validate: launcher: Make sure to properly setup all testsuites

When a first testsuite will set paths, it does not mean that we should
just register following testsuite test manager default tests.

So we need to make a difference between the media paths the user passed
with --media-path and the ones defined by the testsuite.

validate:launcher: Handle testslist files even running several testsuites

Only if those testsuites do not use the same Tester as we
currently can't know to what testsuite a test belongs.

launcher: Avoid caching all the debug logs in memory

And just write the temporary XML file on disc

validate: launcher: Blacklist dash and HLS failling seeking tests

As described in https://bugzilla.gnome.org/show_bug.cgi?id=764020

validate:testsuite: Blacklist validate.hls.playback.scrub_forward_seeking.hls_bibbop as it is racy

validate: pad-monitor: Check right segment after seek

After a seek we need to wait for the right segment (meaning the segment
with seqnum == last seek/flush stop seqnum) to check whether the segment.time
has been properly set.

validate: Accept pad return FLUSHING when the element is being teared down

In the case and element is in READY or is going to READY state, it can
always return GST_FLOW_FLUSHING.

Avoid a race where a demuxer sinkpad has not been set to FLUSHING when we are
still processing a buffer but downstream is already FLUSHING and thus
the demuxer is already returning FLUSHING.

validate: Use GstValidate logging system to print buffering avancement

So it can be used in the launcher.
And make sure to properly parse the info in the launcher.

validate:launcher: Remove dependency on wget

Release 1.7.91

validate: Add missing parenthesis to seek position check

https://bugzilla.gnome.org/show_bug.cgi?id=763602

validate: Fix overflow seek position comparision

MAX(0, ((gint64) priv->segment_start - priv->seek_pos_tol) will be a high
positive number thanks to being interpreted as unsigned values if
segment_start < seek_pos_tol. Fix this by explicitly checking for this case
and only doing the subtraction otherwise.

This fixes the problem from fdccffbb2e5885b3f8e7369cdbda45b6717ffab0
completely now.

https://bugzilla.gnome.org/show_bug.cgi?id=763602

validate: Fix seding mistakes

When we added namespace to make GI happy we ended up with
structure called like GstValidateMediaGstValidateMediaXXX.

monitor: Add critical issue for checking accurate seek results

If an accurate seek is accepted, the resulting segment.time should be
exactly the requested seek start value..

https://bugzilla.gnome.org/show_bug.cgi?id=763299

validate: Fix accurate seeking in paused failling condition

Validate: Fix consider, launch spelling mistakes

https://bugzilla.gnome.org/show_bug.cgi?id=763289

validate: Fix wrong condition check when adding tests

When listing tests, checking whether uri is present or not and displaying error.
But uri does notneed to be present in case of pipeline generator. So the condition check is wrong.
This results in validateelements testsuite not working. Hence modifying the condition to
not error out on valid cases.

https://bugzilla.gnome.org/show_bug.cgi?id=762422

Release 1.7.90

validate:launcher: Strip os.pathsep from extra env variables

We might be working with something that is not a path

validate: Add a missing new line to media info files

validate: Fix build

validate:launcher: Add a way to fail if test have been removed/added

validate: Fix annotations

Skipping all functions and methods that are not relevant and not easily
introspectable

Differential Revision: https://phabricator.freedesktop.org/D706

validate: Remove unimplemented function

Differential Revision: https://phabricator.freedesktop.org/D705

validate: Namespace all our structures and objects

Making GI a bit happier.

Those are not stable API anyway...

Differential Revision: https://phabricator.freedesktop.org/D704

validate: Misc annotation and gi friendly cleanups

Differential Revision: https://phabricator.freedesktop.org/D703

validate: Guarantee that we never create 2 monitors for the same object

Differential Revision: https://phabricator.freedesktop.org/D702

validate: Turn GstValidateRunner into a GstTracer

This way we do not need the LD_PRELOAD hack anymore

Add a new libgstvalidateplugin GStreamer plugin, making sure it shares
the exact same code as the library (exposing only the wanted symbols).

Fix the way we set where to install GstValidate plugins

Try to keep backward compatibility even if tracers should never be instantiated
after an GstElement has been instantiated.

Differential Revision: https://phabricator.freedesktop.org/D459

reporter: Properly reset g_log handler when reporter is destroyed

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D699

validate: Make _deinit thread safe

Reviewed-by: Thibault Saunier <tsaunier@gnome.org>
Differential Revision: https://phabricator.freedesktop.org/D698

validate:launcher: handle spaces in transcode output path

When there are spaces in transcoding output path, then it fails. Hence adding the
path in double quotes

https://bugzilla.gnome.org/show_bug.cgi?id=756217

validate:launcher: Add proper check for is_seekable

The seekable variable in media_info file is of type string. When checking if the file
is seekable using is_seekable, it just returns the string, resulting in it always being true.
It should actually be comparing the string and returning true or false based on comparison

https://bugzilla.gnome.org/show_bug.cgi?id=755854

validate: fast_forward: Calculate proper playback-time for scenario

In case of fast-forward scenario, the playback-time is not set properly
as per increase in the rate. This is resulting in short media files of duration
less that 15 seconds to fail.

https://bugzilla.gnome.org/show_bug.cgi?id=754151

codecanalyzer: fix typo leading to implicit decl warning at build-time

codecanalyzer: do not use g_error if abort is not desired

Use g_printerr() instead.

g_error() calls abort after outputting the message
so these blocks' return statements and free()s
were unreachable.

Aditionally, fix wrong void returns on non-void
function, drop trailing whitespace before newline and
add \n's as needed (default handler won't add one).

codecanalyzer: add missing includes for g_printf()

codecanalyzer: Update README URL in help dialog

Previous one was a 404

configure: fix typos

pad-monitor: More fixes of previous commit

You'd think in 2016 compilers could complain when assigning/comparing
different types of enums ... *sigh*.

tools: Fix relative track switching

I have no idea where that "-2" came from, but it was obviously wrong.
Just use modulo "total number of streams" to get the proper track id.

validate: Remove debugging left overs

pad-monitor: Add support for GstPadEventFullFunc

This ensures our sink pad event wrapper is properly called if the
element implement a GstPadEventFullFunc instead of a regular one.

Removes all stray "buffer received before segment" issues with
queue/multiqueue

validate: Fix testsuite

Use fake elements instead of real ones in our tests so that
we control exactly the number of issues generated.

Until now we were trying to hide extra issues with a probe dropping
events and buffers but since 2dfa548f3645844082c3db65d96d87255701b3ad
"pad: Append hooks instead of prepending to call them in the order they were added"
in core, hidding will not work.

g-i: fix init section to avoid compiler warnings

runner: Report criticals when the reporter is in smart mode

media-descriptor-writer: track running time of buffers

PTS and DTS can be deceiving as a change in segment can dramatically change
playback synchronization. Track the running-time as well to properly
get any change in synchronization

Add a toplevel configure script to build components at once

And this way respect https://github.com/cgwalters/build-api

media-check: enable 'full' for files which reference are also 'full'

If the reference file has frames information, enable it automatically
so that the comparison file also has frames to be used.

https://bugzilla.gnome.org/show_bug.cgi?id=758855

media-descriptor: check if frame data matches

When comparing media descriptors, also check if the frames
match

https://bugzilla.gnome.org/show_bug.cgi?id=758855

media-descriptor-writer: refactor getting the streamnode by a pad

https://bugzilla.gnome.org/show_bug.cgi?id=758855

media-descriptor-writer: remove condition from inside loop

Only enter the loop if it indeed has a change of doing something

docs: fix typo

Retrive -> retrieve

validate: Add some documentation and annotiations

validate: Add a 'smart' reporting details mode

Making sure to show all informations for critical issues, but be synthetic for others

scenario: Set the default action execution interval to 10ms

Having a default value of 0 meant that a g_idle_add loop was constantly
running, causing each test to use 100% cpu.

This is no longer required. Using a 10ms interval brings down cpu usage
to a sane value

codecanalyzer: Fix memory leaks when context parse fails

When g_option_context_parse fails, context and error variables are
not getting free'd which results in memory leaks being reported.

https://bugzilla.gnome.org/show_bug.cgi?id=753862

validate: media-descriptor-writer: Don't create media info when stream info is not present.

When a file does not contain any stream info, then there is no need
to create the media info file as, it is not considered to be a valid file
and no validate checks are done for the same.
This skips unnecessary files like .txt, .dump files

https://bugzilla.gnome.org/show_bug.cgi?id=754006

validate: launcher: Set scenario manager config before discovering testsuites

validate: launcher: Print error when media-info files not present

When there are no media-info files present and --generate-media-info
option is not given, then it just fails without printing error.
Printing an error stating, use --generate-media-info if there are no
media info files.
When there are neither media files and media info files, print error
stating the same

https://bugzilla.gnome.org/show_bug.cgi?id=755087

validate: Fix memory leaks when context parse fails

When g_option_context_parse fails, context and error variables are not getting free'd
which results in memory leaks. Free'ing the same.

And replacing g_error_free with g_clear_error, which checks if the error being passed
is not NULL and sets the variable to NULL on free'ing.

https://bugzilla.gnome.org/show_bug.cgi?id=753862

validate: suppression: suppress 'uninitialised value of size 4' in aacdec

Suppress this error, until the logic in libav is fixed.

https://bugzilla.gnome.org/show_bug.cgi?id=753268

validate: Implement support to run tests inside gdb

Making debugging races leading to crashes easier to debug

validate: Minor documentation fix

validate: Remove 0.10 caps reference from the documentation

validate: Handle setting several scenarios

The user might have scenarios specific to a particular pipeline, and the
application might have several pipelines running and scenarios that
apply on specific pipeline. We have to handle that valid use case.

validate: Un-blacklist seeking HLS tests

They are reliable enough after 36b80edb7263118467dfcaee3923f7c964ae6bc8
in gst-plugins-base now.

validate: Add missing gir include path

Add missing gir include path for building with gst-uninstalled script

Differential Revision: https://phabricator.freedesktop.org/D461

validate-transcoding: trivial patch to change error from 0.10 to 1.0

While printing error in transcoding, gst-validate-transcoding-0.10 is being used.
Changing the same to 1.0

https://bugzilla.gnome.org/show_bug.cgi?id=756215

validate: Add support for prores

validate: fix double free

Summary:
Move variable declarations in the for block so we won't try re-free
tldir in case of early short circuiting of the 'for' code.

Depends on D348

Reviewers: thiblahute

Reviewed By: thiblahute

Differential Revision: https://phabricator.freedesktop.org/D349

validate: fix loading of full path scenario

Summary:
We were checking if the path was a full one but was using the
scenario_name instead of this path when trying to load the scenario.

Depends on D346

Reviewers: thiblahute

Reviewed By: thiblahute

Differential Revision: https://phabricator.freedesktop.org/D348

Update .arcconfig

validate:launcher: throw valgrind error only for definite loss

errors-for-leak-kinds should be set to definite, because almost every test case
, will have possibly lost memory, which may or may not be a leak.
And throwing error for all these cases doesn't seem to be correct.

https://bugzilla.gnome.org/show_bug.cgi?id=752754

validate: launcher: Fix media_check class name and add double quotes for valgrind logs

When creating the class names for media check, uri is being used,
instead of the path. Hence converting the uri using uri2path and creating
class name.
Add double quotes for valgrind logs, to support special characters like space

https://bugzilla.gnome.org/show_bug.cgi?id=752808

validate: media-check: Pass NULL instead of GError if not using it

If not using the GError being passed on to media descriptor, writer and parser,
simply pass NULL instead of GError.

https://bugzilla.gnome.org/show_bug.cgi?id=753340

validate: descriptor-writer: Handle NULL GError address and free GError during error cases

writer_new_discover() API should be able to accept NULL GError and in case of
error, if GError is passed on as parameter, it should be propagated, else it
should be free'd.

https://bugzilla.gnome.org/show_bug.cgi?id=753340

validate:tools: set locale to all and change argument to FILENAME

When file name consists of characters from other languages, say korean,
then it throws an error
Error initializing: Invalid byte sequence in conversion input

Hence setting locale to all to fix this.
And changing the media-info argument to type G_OPTION_ARG_FILENAME

https://bugzilla.gnome.org/show_bug.cgi?id=753486

validate: Print the return value at the end

Makes it easier to know if the test passed or failed.

https://bugzilla.gnome.org/show_bug.cgi?id=754013

validate: launcher: Support relative path for folder names

Even though relative paths are supported, right now it does not
work when we give the path as 'media/' present in the current directory.
Adding support for the same.

https://bugzilla.gnome.org/show_bug.cgi?id=754100

validate:launcher: Treat min-media-duration as a float

scenarios: Set min-media-duration on switch_audio_track

validate:scenario: Add a way to define a timeout for actions execution

Reviewers: Mathieu_Du

Differential Revision: https://phabricator.freedesktop.org/D271

validatessim: Stop using deprecated gst_segment_to_position()

Back to development

Release 1.6.0

validate: scenarios: set need clock sync for switching subtitle track

As soon as the track is changed, the pipeline state is set to NULL
by execution 'stop' action even if there is a 'playback-time' with 5sec.
If the AV sink is not synchronized,
audio fakesink and video fakesink has different position value.
When the validate request the position information of pipeline
to do 'stop' action, the audio fakesink response of the position query
with the bigger value than 5sec.

https://bugzilla.gnome.org/show_bug.cgi?id=755101

Release 1.5.90

Update common submodule

validate: Put the GstValidate testsuite version in the launcher config

This way testsuite implementation can have the information

validate/transcoding: Don't override the target state of the scenario when receiving BUFFERING=100%

If the scenario handles the states and wants to stay in PAUSED, it's not a
good idea to change the state to PLAYING when receiving BUFFERING=100%. This
caused a race condition in varios seeking tests, most often in the dash scrub
seeking test.

validate: Don't override the target state of the scenario when receiving BUFFERING=100%

If the scenario handles the states and wants to stay in PAUSED, it's not a
good idea to change the state to PLAYING when receiving BUFFERING=100%. This
caused a race condition in varios seeking tests, most often in the dash scrub
seeking test.

validate: Fix typo

validate/launcher: Blacklist some HLS seeking tests again

validate/launcher: Un-blacklist validate.dash.playback.reverse_playback.*

Fixed now

validate/launcher: Un-blacklist validate.hls.playback.reverse_playback.*

It apparently succeeds now.

validate/launcher: De-blacklist some HLS tests

validate/launcher: Blacklist some DASH tests

launcher: Handle override files for media files

And make sure to create a new dict for extra_env_vars when instanciating
GstValidateTest

launcher: Make sure MediaDescriptor is set in the GstValidateTest class itself

It is used there but was set in each and every subclasses

validate/launcher: Treat DASH like HLS in another place