validate: launcher: Use a Queue to test for test completion

TestManager will use a Queue to track progress for all tests. This
commit implements a queue inside Test to simplify the transition.

Patch 3/4 to make TestManager handle waiting for processes instead of
expecting each Test to do it.

https://bugzilla.gnome.org/show_bug.cgi?id=743063

validate: launcher: Initialize Test start time outside of wait_process

wait_process will be moved to TestManager, so the values used to track
process update must remain inside Test.

Patch 2/4 to make TestManager handle waiting for processes instead of
expecting each Test to do it.

validate: launcher: Split process_update() out of wait_process()

Patch 1/4 to make TestManager handle waiting for processes instead of
expecting each Test to do it.

validate: launcher: Move logfile handling out of Reporter and into Test

This makes each Test handle its own logfile, allowing the Reporter to
work on multiple tests at the same time.

Patch 5/5 to move logfile handling out of Reporter and into Test.

validate: launcher: Remove redundant check

self.out is always available when _get_captured() is called.

Patch 4/5 to move logfile handling out of Reporter and into Test.

validate: launcher: Split test log file handling in Reporter

Patch 3/5 to move logfile handling out of Reporter and into Test.

validate: launcher: Separate Reporter from current Test

Instead of saving the current Test in Reporter for every test, use
function parameters to achieve the same goal.

Patch 2/5 to move logfile handling out of Reporter and into Test.

validate: launcher: Initialize reporter timer before starting all tests

Patch 1/5 to move logfile handling out of Reporter and into Test.

validate: launcher: Don't wait for processes longer than necessary

socket interposer: Be even more platform restrictive.

validate: do not compile for android.

validate: Implement a fault injection library.

+ And implement a corrupt-socket-recv action
+ Only compile this on Linux, LD_PRELOAD won't work on Windows.

For now the registering of the action is done through
a call to socket_interposer_init, this will get better
when we refactor the action logic.

https://bugzilla.gnome.org/show_bug.cgi?id=743871

validate: tests more issues with caps.

https://bugzilla.gnome.org/show_bug.cgi?id=743387

validate: Add a test case for caps missing field.

+ Make the fake decoder have video/x-raw caps.

https://bugzilla.gnome.org/show_bug.cgi?id=743387

validate: prepare tests for port to tracers backend.

https://bugzilla.gnome.org/show_bug.cgi?id=743387

bin-monitor: add itself as gobject data.

validate: launcher: Fix test log header output

Write log file header before running tests, instead of overwriting the
file afterwards.

https://bugzilla.gnome.org/show_bug.cgi?id=742966

validate: launcher: Always create log files

Create log files even when stdout redirection is enabled.
This commit partially reverts 20c28de.

https://bugzilla.gnome.org/show_bug.cgi?id=742973

validate: launcher: Introduce new parameter for log file redirecting

Allow log file redirection through the new --redirect-logs parameter.
Keep the old --logs-dir stdout/stderr parameter, but reset to the
default logs directory in that case, and set redirect_logs internally.
This also prevents the creation of an stdout/stderr directory for
writing xunit.xml.

https://bugzilla.gnome.org/show_bug.cgi?id=742973

pad-monitor: plug caps leak on iterator resync

pad-monitor: use the same filter caps when querying downstream caps

To avoid comparing the real result that has been filtered against
a much larger caps that contains all possibilities.

validate: tests:  disable g_log handler

It messes up our own failures counter

And pass test-utils into gst-indent

tests: padmonitor: disable glog handling

It messes up our own failures counter

pad-monitor: get correct caps to check for proxied fields in caps queries

Elements should proxy the peer element's caps fields and not what they
have currently set on their pads when replying to a caps query

pad-monitor: Only add pending caps fields for source pads

As caps events are downstream, caps set travels from sinks to
sources. Adding pending setcaps values to sink pads makes no sense
as when a new caps is set on the sink it would compare with values
currently set on the source pad, causing a critical failure when
renegotiation happens.

validate: launcher: Take the timeout as ref timeout to compute hard_timeout

when it is provided.

validate: launcher: Set a hard timeout on GstValidate tests if we know the duration

validate: launcher: Force kill subprocess when done with them

Making sure that we do not end up having spurious subprocess around

launcher: baseclass: add missing parameter

Fixes "NameError: global name 'options' is not defined"

validate: launcher: Properly handle non default main dir

for the case of the new testsuite files

validate: launcher: Make the gstvalidate application a python module

validate: Remove remaining reference to launcher/apps/validate

It has been removed now.

validate: Avoid assert removing an already removed signal handler

And, make sure that we set the return value != 0 when we receive
SIGINT

validate: Handle setting the HTTP server local path from testsuites

validate: Rename gst-qa-assets to gst-integration-testsuites

validate: print execution of set_subtitles actions

validate: Factor out an LauncherConfig class type to handle configurations

Allowing us to more simply define default value and expose an API on
top of it

validate: Remove file specific blacklisted tests

validate: Let the user know when new tests are added, or tests are REMOVED

validate: Add a cleaner API to setup tests in testsuite files

With the testsuite format you will get a setup_tests(tests_manager,
options) function called for each TestManager.

The function will have the exact same role as with old config
file but with a clean API and not magic global variables.

This implies that we need default blacklist to be directly set
on the TestManager and not on options.blacklisted_test

validate: Add a way to sync all assets, including big ones

validate: Remove the default testsuite implementation

The default testsuite implementation should belong to the default
asset repo where we have the corresponding knowledge.

We should style manage a sensible list of known blacklisted tests,
encoding profiles, and generators in GstValidate itself and allow testsuite
actual implementations to easily use them though the register_default_*
methods.

This allow us to be able to remove the ugly execfile() call.

validate: Make sure to at least listen to GStreamer and GLib g_logs

If somewhere else someone is overriding the g_log default handler,
we would not get notified of anything.

validate: Disable coloration of GST_DEBUG logs when we have no-color

Do that only when those logs are not saved to a file

validate: Factor out a function to print action types parametters

+ Remove playback-type from the list and just print it

pad-monitor: do not enforce caps querying rules for converters

Some encoders/decoders can also be converters, do not enforce
caps proxying rules for them

validate: fix typo in documentation

There are some typing mistakes in gst-validate-launcher --help
Hence fixing the same.

https://bugzilla.gnome.org/show_bug.cgi?id=740833

validate: Handle unlimited tests duration

Running full length scenario when the user asks

validate: Already having a monitor is no error

validate: pre commit hook: Do not try to run pep8 on non python files!

validate: Add scub_*_seeking_full scenarios

Which basically do the same thing as scrub_*_seeking but during
throughout the whole duration of the media

validate: Enhance documentation

validate: Add an option to update all .media_info files

validate:scenario: Execute actions without playback time without a valid position

If the user did not specify any playback time we should be able to
execute actions even if the pipeline can't answer the position query

+ Make simpler to read the conditions of an action execution

validate:scenario: Properly handle ASYNC action execution in the API

The ->execute function now return a GstValidateExecuteActionReturn
which can be set as ASYNC in order to tell the scenario that the action
will be executed asynchronously, when the action is done, the caller is
responsible for calling gst_validate_action_set_done(); so that the
scenario keeps going on.

In this commit we make sure that the old API keeps working as
GST_VALIDATE_EXECUTE_ACTION_ERROR == FALSE and
GST_VALIDATE_EXECUTE_ACTION_OK == TRUE

Morevover GstValidateExecuteActionReturn is just a define

API:
    + gst_validate_action_set_done
    + GstValidateExecuteActionReturn

https://bugzilla.gnome.org/show_bug.cgi?id=739854

validate: Add a GstValidateActionTypeFlag flag

Allowing us to define action types more in detail.
Keep backward compatibility, at least with the C API

https://bugzilla.gnome.org/show_bug.cgi?id=739854

validate: Add a GstValidatePipelineMonitor subclass

We had quite a bit of code dedicated to handled GstPipeline monitoring
inside GstValidateBinMonitor, cleanly split that code into a new object
type

https://bugzilla.gnome.org/show_bug.cgi?id=740704

validate:launcher: Force clock sync for some protocols

In HLS for example, not having clock sync might lead to races and failures
do not test that for now

validate: Don't fail getting master report from a ghostpad without target

validate: Print current position even if we do not know the rate

That could cause gst-validate-launcher to wrongly concider tests
as timeout

validate:scenario: Force clock sink for scenarios with a pause action

validate: Handle wrong paths when listing avalaible apps

User can make mistake or we can have an empty path.

validate: Do not check if first buffer running time is 0

It can perfectly not be 0, so it makes no sense to check that.

https://bugzilla.gnome.org/show_bug.cgi?id=739965

validate: Add audiomixer test to the default testsuite

pad-monitor: Give better details about segment mismatch issues

validate: Be more precise in issue type for wrong seqnum

Depending on the type of event where the bug occurs,
it is not the same issue type. That allows us to have
much precise reports, and better explain the user
where the issue stands.

validate: Fix a few annotation issues

validate: Add the notion of WAIT_MULTIPLIER for the wait action

Allowing the user to decide to wait more, or less, or even not wait
for the wait action to execute when running scenarios.

validate:scenario: Report an EXECUTION_ERROR on action execution failure

If the action type handles a better error report type, it should just
return TRUE, and report its issue itself.

validate: Do not exit when we can not discover a result file

Loggable.error actually exit the process, it is not what we want!

+ Avoid a backtrace

scenario: Allow set-property action to work much earlier

By default an action has no playback-time, this makes it actionable
immediatly.

When no playback-time is set on a set-property action, it will
be activated the moment the element is added in the pipeline.

validate-bin-monitor: Initialize local variable

Avoids segfaults when freeing them if they didn't get filled in

validate: update pre-commit hook.

+ Allows to run multiple pre-commit hooks.
+ Always relink the hooks on autogen.
+ Run pep8 on commited python files.

https://bugzilla.gnome.org/show_bug.cgi?id=739208

apps: gstvalidate.py: fix various pyflakes / uncaught pep8 issues.

https://bugzilla.gnome.org/show_bug.cgi?id=739208

validate-launcher: utils: fix various pyflakes / uncaught pep8 issues.

https://bugzilla.gnome.org/show_bug.cgi?id=739208

validate-launcher: main: fix various pyflakes / uncaught pep8 issues.

https://bugzilla.gnome.org/show_bug.cgi?id=739208

validate-launcher: loggable: fix various pyflakes / uncaught pep8 issues.

https://bugzilla.gnome.org/show_bug.cgi?id=739208

validate-launcher: baseclasses: fix various pyflakes / uncaught pep8 issues.

https://bugzilla.gnome.org/show_bug.cgi?id=739208

validate-launcher: pep8ify sources.

https://bugzilla.gnome.org/show_bug.cgi?id=739208

validate-utils: downgrade ERROR to DEBUG.

This function is called in places where it is legit for it
to return NULL.

launcher: add a way to specify an application directory.

https://bugzilla.gnome.org/show_bug.cgi?id=739091

launcher: Don't implement product-specific TestManagers.

This manager will be moved in GES.

https://bugzilla.gnome.org/show_bug.cgi?id=739091

validate-launcher: restructure filesystem

https://bugzilla.gnome.org/show_bug.cgi?id=739091

validate: Fix compiler warning about implicit enum type conversion

gst-validate-reporter.c:119:39: error: implicit conversion from enumeration type
      'GstValidateReportingDetails' to different enumeration type
      'GstValidateInterceptionReturn' [-Werror,-Wenum-conversion]
  GstValidateInterceptionReturn ret = GST_VALIDATE_SHOW_UNKNOWN;
                                ~~~   ^~~~~~~~~~~~~~~~~~~~~~~~~
gst-validate-reporter.c:124:11: error: implicit conversion from enumeration type
      'GstValidateReportingDetails' to different enumeration type
      'GstValidateInterceptionReturn' [-Werror,-Wenum-conversion]
    ret = iface->get_reporting_level (reporter);
        ~ ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
gst-validate-reporter.c:127:10: error: implicit conversion from enumeration type
      'GstValidateInterceptionReturn' to different enumeration type
      'GstValidateReportingDetails' [-Werror,-Wenum-conversion]
  return ret;
  ~~~~~~ ^~~

build: We install all headers system wide for now.

Will be fixed when the API is deemed stable enough

validate: rename GstValidateReportingLevel.

Removes the confusion with GstValidateReportLevel.

Modeled on GstDebugGraphDetails.

validate: Verify that elements always send a segment before pushing EOS

EOS is some kind of data flow and thus a segment event should always be
pushed before the EOS is sent

validate: Properly check that the seqnum of the EOS is always properly set

In the pipeline, an EOS should always have the same seqnum of the
previous SEGMENT event that was received. If the segment is the result
of a seek, it should always be the same as the seek seqnum too.

+ (Mathieu Duponchelle): fix reporting and concatenation tests.

validate: Add support for text based override files

Allowing user to easily determine the severity of issue
types in a config file

https://bugzilla.gnome.org/show_bug.cgi?id=737852

validate: Remove unused method

gst_media_descriptor_add_frame is not used anywhere

https://bugzilla.gnome.org/show_bug.cgi?id=737852

validate: Move GstStructure file parsing into utils

So it can be reused, at least in GstValidate.

validate: report: Simplify the issue ID registering using GQuarks

+ Remove unused issue types

https://bugzilla.gnome.org/show_bug.cgi?id=737790

validate: Check all buffers when we have the info from MediaDescriptor

We now check that each buffer is the expected one for each buffer that
come into the decoder.

+ Fix some minor leaks in test-utils

https://bugzilla.gnome.org/show_bug.cgi?id=736138

validate:media-descriptor-parser: Add a way to create from a string

So it is simple to make use of it from the testsuite

https://bugzilla.gnome.org/show_bug.cgi?id=736138

report: g_critical are CRITICAL issues!

https://bugzilla.gnome.org/show_bug.cgi?id=736138

validate: launcher: Fix printing of errors in final report

https://bugzilla.gnome.org/show_bug.cgi?id=736138

validate: Add the possibility to generate media infos with frame descs

+ Fix a little issue when the generation fails.

https://bugzilla.gnome.org/show_bug.cgi?id=736138

validate: MediaDescriptors: Add md5sum to buffer informations

In the media descriptor files, we now have the md5sum of the actual
content of encoded buffers so that we can check that the buffer content is
perfectly what is was supposed to be.

+ Fix the check of whether a frame is a keyframe in the string
  comparison (g_ascii_strcasecmp  return 0 if string matches)

https://bugzilla.gnome.org/show_bug.cgi?id=736138

validate: Move some method between GstMediaDescriptorParser and GstMediaDescriptor

So that method land where they actually belong.

https://bugzilla.gnome.org/show_bug.cgi?id=736138

validate: Add a way to pass a MediaDescriptor around monitors

And add an option in gst-validate so that the user can define what
media descriptor file to use.

https://bugzilla.gnome.org/show_bug.cgi?id=736138