validate:launcher: Allow specifying expected tests errors

In the future instead of blacklisting tests we should define
what error is expected, and this way when the bug is closed,
we will notice, also, it will allow us to check GstValidate
error reporting itself.

validate: Pass information about GstValidate execution over a socket

Instead of trying to parsing stdout, generate json messages and
send them over a socket so that gst-validate-launcher can properly
have informations about gst-validate subprocess execution.

validate: Enhance not-negotiated errors reporting

Keeping negotation information around and trying to figure
out precisely why the elements could not negotied the caps
when we get a NOT_NEGOTIATED error on the bus giving the
user details about it.

validate:meson: Add tests

validate:launcher: Use a xunit reporter only when explicitely specified

validare: Enhance report message about wrong position

validate:launcher: Report error and exit when a testsuite could not load

Otherwise the user might end up seeing a lot of meaningless logs about
'removed' tests.

validate: launcher: Fix the condition to check if we need an http server

We could be checking if a string was in None

And use gs_string_assign when assigning the first string
without using printf like format.

validate: Indent report details

validate:scenario: Wait for ASYNC_DONE to set async state change DONE

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=769894

meson: Bump version to 1.9.2

And unify the name of the disable_introspection option

Back to development

Release 1.9.2

launcher: Add --dump-on-failure switch

When the test fails, it can be useful to have the log files dumped
to stdout.

https://bugzilla.gnome.org/show_bug.cgi?id=741092

validate: Fix launching gst-validate-launcher in a meson based uninstalled env

meson: Add support for building GIR when used as subproject

Add allow project to us it as subproject too

validate: Add support for Meson as alternative/parallel build system

https://github.com/mesonbuild/meson

validate: Un-blacklist tests that are fixed

the bug reports to which they report have been closed and I can't make
them fail locally.

validate: Blacklist more ogg files

https://bugzilla.gnome.org/show_bug.cgi?id=769545

validate: Blacklist scrub_forward_seeking.op2b-mpeg2-wave_hd_mxf

See https://bugzilla.gnome.org/show_bug.cgi?id=764025

validate: use new API when switching track with playbin3

Move all the implementations of 'switch-track' to
gst-validate-scenario.c while doing so.

Differential Revision: https://phabricator.freedesktop.org/D1227

validate: reporter: break cyclic references with reports

My patch fixing monitor leak (15e7f1bbfd84ce2cc5e6420fee2255c2be95e0f6)
introduced a ref cycle between GstValidateReporter and
GstValidateReport.

The reports uses its reporter so it needs a ref on it
to ensure it's stay alive. But reports are owned by
GstValidateReporter and/or GstValidateRunner.

Fix this by not taking a reference on the reporter but instead caching
its name.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D1029

validate: turn GstValidateReport to a mini object

It handles refcounting for us and will enable automatic leak checks when
using the 'leaks' tracer.

Differential Revision: https://phabricator.freedesktop.org/D1233

validate: inherit from GstObject instead of GObject

This allow us to use to 'leaks' detector to check if those objects are
leaked.

Differential Revision: https://phabricator.freedesktop.org/D1232

validate: call gst_deinit() after gst_validate_deinit()

This allows validate to clean up before the 'leak' tracer list leaked
objects.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D1231

validate: use MAY_BE_LEAKED flag

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D1230

validate: fix pad leaks

Pads returned using the playbin get-{audio,video}-pad are reffed.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D1027

validate: reporter: break cyclic references with reports

My patch fixing monitor leak (15e7f1bbfd84ce2cc5e6420fee2255c2be95e0f6)
introduced a ref cycle between GstValidateReporter and
GstValidateReport.

The reports uses its reporter so it needs a ref on it
to ensure it's stay alive. But reports are owned by GstValidateReporter and/or
GstValidateRunner.
The best way I found to break this cycle is to introduce this purge
method. It's not great but the design is a bit tricky.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D1029

validate: reporter: prevent usage of destroyed runner

Fix crashes.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D1028

validate: runner: prevent hash table modifications while iterating

A GHashTableIter is invalided if the hash table is modified while we are
iterating. Prevent this by taking the runner lock.

Fix assertion warnings with
validate.file.transcode.to_vorbis_and_vp8_in_webm.Sintel_2010_720p_mkv_srt

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D1026

validate: Add jpeg as known format

validate: Fix testsuite after additional check for buffer DISCONT flag

data: Fix make distcheck.

by distributing newly-added files.

Reviewed-by: Guillaume Desmottes <guillaume.desmottes@collabora.co.uk>
Differential Revision: https://phabricator.freedesktop.org/D185

validate: scenario: deploy setup_sink_props_max_lateness config scenario for valgrind

Add to deploy setup_sink_props_max_lateness scenario.
When running gst-validate with valgrind option on the installed package, it fails to find that scenario.

Reviewed-by: Guillaume Desmottes <guillaume.desmottes@collabora.co.uk>
Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D379

docs: Fix typo

Reviewed-by: Alex Băluț <alexandru.balut@gmail.com>
Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D681

validate:launcher: Add h265, opus and vp9 as known formats

Back to development

Release 1.9.1

validate: Fix usage for non-standard http server port

Translate the various stream_info URI from the standard port to the
specified port
Make the port option an integer option

media-descriptor: Fine-tune stream-id checking

Only expect fully identical stream-id from URI which are not local files
nor from our local http server.

Fixes issues with non-default http server port

validate: Use presence of STREAM_START to detect track switching

When doing a track switch, the only reliable way to detect that it
happened is whether a new STREAM_START arrives.
Relying on a DISCONT buffer is not satisfactory, since there might
not have been an element setting that flag upstream.

Checking whether the first buffer after a STREAM_START has the
DISCONT flag properly set should be done in parallel

tools: Make the stream-switching action more generic

This allows it to handle both playbin and playbin3

tools: Fix playbin detection

We might be using playbin3 instead

validate: Use decodebin3/uridecodebin3 when specified

Set the USE_PLAYBIN3 environment variable to use those elements instead
of legacy ones.

tools: New tool to view and compare xunit results

validate: fix one more export

gst-validate-scenario.c:183:7: error: '_gst_validate_action_type' redeclared without dllimport attribute: previous dllimport ignore

This is also declared in gst-validate-internal.h

validate: fix bogus exports for internal symbols

Hopefully fixes win32 build.

gst-validate-scenario.c:183:7: error: '_gst_validate_action_type' redeclared without dllimport attribute: previous dllimport ignored
gst-validate-scenario.c:286:1: error: '_action_check_and_set_printed' redeclared without dllimport attribute: previous dllimport ignored
gst-validate-scenario.c:298:1: error: 'gst_validate_action_is_subaction' redeclared without dllimport attribute: previous dllimport ignored
gst-validate-scenario.c:305:7: error: '_gst_validate_action_type_type' redeclared without dllimport attribute: previous dllimport ignored

validate: Fix Validate plugin paths mixup

validate: fix typo in debug message

validate: fix some recurring typos

validate: fix validate-transcoding option descriptions

validate: improve run-time option descriptions

validate: No execute ON_ADDITION if a previous action has a playback-time

As this is what user will expect in this case.

For example with this scenario:

    set-state, state=null; playback-time=5
    set-property, target-element-name=dvbsrc0, property-name=delsys, property-value=11
    play;

validate:launcher: Add support for relative path while providing file path

Instead of providing full absolute path while validating the file, should be
able to provide the relative path with respect to the present directory.

https://bugzilla.gnome.org/show_bug.cgi?id=753494

validate: fix monitor leak when doing frame analysis

The monitor returned by gst_validate_monitor_factory_create() was never
unreffed.
Report instances now have to keep a ref, as suggested by the TODO, as
the reporter is no longer leaked.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D1012

validate: redefine default cat for the runner

The gstvalidate_debug may not be initialized like with the
validate/reporting which was crashing when run with GST_DEBUG=5.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D1004

validate: transcoding: fix encoding_profile leak

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D980

validate: transcoding: fix caps leaks

The 'all_raw_caps' list is never used and was just leaking caps.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D979

validate: scenario: always unref srcpad

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D959

validate: media-descriptor-writer: fix pad leaks

- the pad returned by gst_element_get_static_pad() was leaked.
- unref the pad from snode when updating it, not the pad passed as
callback to pad_added_cb()

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D958

validate: clean up action_types list on deinit

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D957

validate: keep a ref when registering an override

_add_override_from_struct() could, in theory, register more than once
the same override so we should not transfer the ref.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D956

validate: use g_object_unref() on GstValidateOverride

Those are GObject subclasses, not GstObject.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D955

validate: add mesa-related valgrind suppressions

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D954

validate: generate valgrind suppression traces

Makes fixing easier as then we can just re-use the generated trace.

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D953

validate: fix typo if Xvfb is not installed

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D375

pad-monitor: Don't check for DISCONT flags on buffer in pull-mode

It only makes sense in push-mode

pad-monitor: Update checks for MISSING_DISCONT

* Some SEGMENT might be updates caused by calling gst_pad_set_offset(),
  which will send the same segment but with an updated offset and/or
  based field. For those segments, we don't require a DISCONT on the
  following buffer.
* Ignore differences in flags, they aren't relevant for now to figure
  out whether the segment is an update or not
* Ignore difference in 'position', it's only meant for internal usage
  by elements.
* Changes in the end position (stop in forward playback and start in
  reverse playback) are considering updates

Furthermore, also expect a DISCONT flag on the first buffer following
a STREAM_START.

gst-validate: Avoid overreading array

If we offset the argv table as argument, we need to decrement the number
of items in the array (argc) when iterating it

pad_monitor: Add a check for buffer DISCONT flag

The first buffer after a FLUSH or SEGMENT should have the DISCONT flag
set.

launcher: set gsettings-backend to prevent weird deadlocks

It seems like some sort of forking/dconf/gtype combination can
deadlock occasionally. Setting the gsettings backend to memory
makes it go away.

Same issue: https://cgit.freedesktop.org/gstreamer/gst-plugins-good/commit/tests/check/Makefile.am?id=8e2c1d1de56bddbff22170f8b17473882e0e63f9

validate: add non-seekable fragment file seek tests to the blacklist

The file has no index and is not easily seekable, seeking in these
kind of files isn't implemented.

debug-viewer: Allow running uninstalled with symlink

When uninstalled, we look at the directory of the executable to find
the resources. This patch uses realpath in replacement to abspath so
the path get expended, and symlink are followed.

validate: Stop using deprecated method

https://bugzilla.gnome.org/show_bug.cgi?id=764964

scenarios: Fix scrub_backward scenarios

We will be changing states, set the handles-state variable accordingly

Added menu opts to filter in instead of only out

Added also menu option to filter a log level and all above that

https://bugzilla.gnome.org/show_bug.cgi?id=763857

Added support to filter in instead of only out

Added support to filter a log level and all above it

https://bugzilla.gnome.org/show_bug.cgi?id=763857

filter: add more logging

menu: port menu.popup calls

Add 1 extra arg.

debug-viewer: use the gi GLib version rather than the old gobject glib package

debug-viewer: explicitely require GTK+3

debug-viewer: add more logging and some profiling how-to

The port is much slower than the gtk3 version. Try to figure why.

GstDebugViewer/Timeline: port timeline widgets to gtk3

GstDebugViewer: basic port to gtk3 and python gobject

gst-validate: Link with GIO and clean up CFLAGS/LIBADD/LDFLAGS

https://bugzilla.gnome.org/show_bug.cgi?id=764192

validate: use new gst_element_class_add_static_pad_template()

https://bugzilla.gnome.org/show_bug.cgi?id=763197

codecanalyzer: use new gst_element_class_add_static_pad_template()

https://bugzilla.gnome.org/show_bug.cgi?id=763197

Back to development

Release 1.8.0

validate: launcher: Make sure to properly setup all testsuites

When a first testsuite will set paths, it does not mean that we should
just register following testsuite test manager default tests.

So we need to make a difference between the media paths the user passed
with --media-path and the ones defined by the testsuite.

validate:launcher: Handle testslist files even running several testsuites

Only if those testsuites do not use the same Tester as we
currently can't know to what testsuite a test belongs.

launcher: Avoid caching all the debug logs in memory

And just write the temporary XML file on disc

validate: launcher: Blacklist dash and HLS failling seeking tests

As described in https://bugzilla.gnome.org/show_bug.cgi?id=764020

validate:testsuite: Blacklist validate.hls.playback.scrub_forward_seeking.hls_bibbop as it is racy

validate: pad-monitor: Check right segment after seek

After a seek we need to wait for the right segment (meaning the segment
with seqnum == last seek/flush stop seqnum) to check whether the segment.time
has been properly set.

validate: Accept pad return FLUSHING when the element is being teared down

In the case and element is in READY or is going to READY state, it can
always return GST_FLOW_FLUSHING.

Avoid a race where a demuxer sinkpad has not been set to FLUSHING when we are
still processing a buffer but downstream is already FLUSHING and thus
the demuxer is already returning FLUSHING.

validate: Use GstValidate logging system to print buffering avancement

So it can be used in the launcher.
And make sure to properly parse the info in the launcher.

validate:launcher: Remove dependency on wget

Release 1.7.91

validate: Add missing parenthesis to seek position check

https://bugzilla.gnome.org/show_bug.cgi?id=763602