json tests: assume all user pipelines can seek reverse

When doing a targeted test, it is up to the user to make sure
their pipeline + scenario behaves correctly.

validate:launcher: Pass the right timeout_factor is passed to subprojects

scenario: Do not dereference NULL pointer

validate:pipeline-monitor: Connect deep properties notification only when required

This is quite expensive and can lead to an overwhelm mainloop.

validate:scenario: Keep a reference to 'description' structure

For it to be reusable outside the scenario

doc: Minor typo fixes.

scenario: Use internal sinks when a sink bin can be used to check last-sample

docs: Document validate core configuration

validate:flow: Log buffers even when tracking srcpads

validate:launcher: Move get_fakesink_for_media_type to utils

So it can be reused in other apps like GES

validate: Also monitor ghost pads

Allowing overrides to work on ghost pads too

validateflow: Add `buffers-checksum` option to log buffers data checksum

validate: Add SCENARIO_NAME and CONFIG_NAME vars in configs/scenarios

validate: Set 'LOGSDIR' variable in scenarios and config files

Implementing support for variables in config files.

scenario: Set `SCENARIO_PATH/DIR` variables in scenarios

And add some documentation about it

scenario: Add a `TMPDIR` global variables in scenarios

This also adds the notion of global variables which will be useable
in config files too.

And add some documentation about default variables in scenarios

docs: Update validate action types

Include minor fixes in the action types and markdown generator

validate: Misc leaks plugging

validate:launcher: Strip env vars in command line outputing verbose

But activate if activating verbosity more than once

docs: Document GES validate action types

validate:reporter: Show report by branches when doing smart reporting

Meaning that instead of getting 1 "Detected on" line per monitor,
there will be one per "branch" like:

    Detected on <audioconvert1:sink, audioconvert1:src, audioresample1:sink, audioresample1:src, smart-adder-adder:sink_0, smart-adder-adder:src, smart-adder-capsfilter:sink, smart-adder-capsfilter:src, capsfilter2:sink, capsfilter2:src, tee1:sink, tee1:src_0>

Making it simpler to read and a bit less verbose.

validate:launcher: Avoid repeating failure info in summaries

validate:scenario: Move force-key-unit action from the transcoding tool

The action is generally useful but was implemented in a way that
was restricting its usage for no good reason. Refactor the
implementation adding more argument so it can be used in a wider
context, such as uvch264src.

Something like:

``` bash
echo "video-request-key-unit, direction=upstream, all-header=true, count=1, target-element-factory-name=h264parse, srcpad=src, playback-time=1.0" > tmp.scenario && \
echo "stop,playback-time=2.0" >> tmp.scenario && \
gst-validate-1.0 --set-scenario=tmp.scenario uvch264src \
       device=/dev/video0 name=src iframe-period=33 auto-start=true src.vfsrc ! queue ! fakesink \
       src.vidsrc ! queue ! video/x-h264,width=1280,height=720,framerate=30/1 ! h264parse ! fakesink
```

works now.

validate:scenario: Minor documentation cleanup

validate:pipeline-monitor: Avoid wrong position issue

If the reported position or duration is NONE, do not check its
validity

meson: Bump minimal GLib version to 2.44

This means we can use some newer features and get rid of some
boilerplate code using the G_DECLARE_* macros.

As discussed on IRC, 2.44 is old enough by now to start depending on it.

validate: Implement seeking with DEFAULT format

ssim: Report critical issue when override not attached

ssim: Fix the way we handle when an override is attached

docs: Minor fix about ssim plugin

docs: Fix docstrings

validate:launcher: Do not dump to big log files

Avoiding ' The script exceeded the maximum execution time set for the job' in GitLab

docs: Document the validateflow plugin

docs: Document validate action types

Just did:

```
 gst-validate-1.0 --inspect-action-type all >   docs/gst-validate-action-types.md
```

validate: inspect: Output valid markdown

So it can be used directly in the documentation Also add a special "all"
argument to `gst-validate-1.0 --inspect-action-type` so we can generate
the documentation for all action types easily.

doc: Port to hotdoc

Ideally we want a GstValidate hotdoc plugin... not for now.

meson: Use dep.type_name() when it makes sense

doc: Minor fixes

launcher: testsuites: skip systemclock stress tests

These are very flaky when the build bots are under load.

validate: fix build on macOS

_Q_VALIDATE_MONITOR was defined twice because it wasn't declared
as extern in the header, so it would be defined as variable in all
included files. This doesn't seem to cause problems on Linux, but
seems to cause build failures on macOS.

Fixes #42

Back to development

Release 1.16.0

validate:check: Mare nle test_simple_operation as long

validate:check: Fix some mistakes translating regex from gitlab-ci.yml

ci: Run valgrind tests when changing the check testsuite

validate:launcher: Set ORC_CODE=backup when running gst unit tests under valgrind

validate:check: Blacklist and mark some GES tests as long under valgrind

validate:testsuites: Add unit tests blacklists

validate:launcher: Ignore possibly lost for now

TestsManager: _add_blacklist in set_default_blacklist

Otherwise test suites that want to set_default_blacklist and
add tests in setup_tests were seeing their blacklist ignored.

Split up and rename set_blacklists() to complete the refactoring

Check indirect leaks

validate:launcher: Do not copy logs for non flaky tests

That looks weird for users and is incorrect

validate:launcher: Fix printing debug logs URIs

validate:launcher: Do not stop tcp server when reiterating tests runs

validate:launcher: Associate issues with the bug they come from

Making it simpler to follow when print the known issues

validate:launcher: Indent known issues printing

validate:launcher: Print the number of times the test was run when --forever

validate:launcher: Add python suppression files

validate:launcher: Use md viewer to dump md logs if avalaible

And enhance the markdown
See https://github.com/axiros/terminal_markdown_viewer

validate:launcher: Avoid forking when running gstcheck tests in gdb

validate:launcher: Add an option to output HTML if commonmark is installed

validate:launcher: Do not user python 3.5 features

validate:launcher: Move all logs to one single log files to be displayed to end user

validate:launcher: Make extra_logfiles a set and fix their names

validate:launcher: Remove spurious print

validate:launcher: Remove noise about empty known issues in logs

validate:launcher: Fix printing application name in the logs

Release 1.15.90

validate: autotools: dist mock decryptor header file

validate: win32: add new api to export file

validate:launcher: Add a list of well known subpression files from gst-build subprojects

Fixes https://gitlab.freedesktop.org/gstreamer/gst-devtools/issues/38

validate: Add a mecanism to rerun failling tests

And add a way to mark some 'flakes' as tolerated

validate:launcher: Reset process on clean

validate: Print error message details in our reports

validate:launcher: Dump applied known issues in the logs

validate:launcher: Put all logs inside the failure node

Pleasing gitlab CI reporting system

validate:launcher: By default use cpu_count / 2

validate:launcher: Print name of the test to be debugged

When --debug was passed

validate:pad-monitor: Accept any return value when we aggregated FLUSHING while tearing down

Basically nothing guarantees that the set of pads we aggregated the flow
for is the same as the one that was aggregated during the actual data
flow as some pads could have been removed meanwhile.

validate:scenario: Allow last-sample to not be set when checking it

And instead of failling, wait for it to be set again.

Depends on https://gitlab.freedesktop.org/gstreamer/gstreamer/merge_requests/119

validate: Return the GstValidateAction on .ref()

validate: Generate dot files and link to them on CI

validate:launcher: Try to send SIGINT before killing processes

Giving a chance for validate to print reports

validate:launcher: Add a way to say that a known issues can happen several times

validate:launcher: Remove now useless code to check sending EOS brings down the pipeline

If we want to make an exception we can use known issues these days

validate:launcher: Be a bit more resilient in GstValidateListener

And handle exception decoding received json info

validate:scenario: Implement a way to execute an action on message

And use it for seek forward and fast forward scenarios

validate:launcher: Add a way to require a non fatal error when matching a fatal one

validate:launcher: Add a way to force coloration

validate:launcher: factor out TTY check and enhance iteration output

validate:scenario: Clear up last seek on EOS generating a 'stop' action

Otherwise there is a race leading to a segfault where ASYNC_DONE is
received *after* generating EOS ourselves:

```
Executing stop (
    - generated-after-eos=true
)
<Caught SIGNAL: SIGSEGV>

**Stack trace**:

...
Thread 1 (Thread 0x7f3c3e50df00 (LWP 10183)):
    #8  0x00007f3c3f01bea5 in g_cclosure_marshal_generic (closure=<optimized out>, return_gvalue=<optimized out>, n_param_values=<optimized out>, param_values=<optimized out>, invocation_hint=<optimized out>, marshal_data=<optimized out>) at gclosure.c:1496
    #9  0x00007f3c3f01b3dd in g_closure_invoke (closure=0x1855980, return_value=0x0, n_param_values=2, param_values=0x7ffda2e0a7e0, invocation_hint=0x7ffda2e0a760) at gclosure.c:810
    #10 0x00007f3c3f02e983 in signal_emit_unlocked_R (node=node@entry=0x15af670, detail=detail@entry=298, instance=instance@entry=0x171fc80, emission_return=emission_return@entry=0x0, instance_and_params=instance_and_params@entry=0x7ffda2e0a7e0) at gsignal.c:3635
    #11 0x00007f3c3f037aaa in g_signal_emit_valist (instance=<optimized out>, signal_id=<optimized out>, detail=<optimized out>, var_args=var_args@entry=0x7ffda2e0a9c0) at gsignal.c:3391
[Inferior 1 (process 10183) detached]

```

validate:launcher: Add generated known issue list to the logs instead of printing then

validate:launcher: Add a way to force stdout coloring

validate:launcher: Rework expected-issues data format

Instead of having the issues centered on the test classes, they
are now focusing on the "bug".

And harmise names on `expected_issue` not `expected_failures`

validate:launcher: Allow printing log URL on a CI server

validate:launcher: Fix getting skip-parser when generating media descriptor

On old version it didn't exist

validate:launcher: Review default for `--mute`

`--mute` is now True by default and added `--unmute` if the user wants
to have visual/audio feedback. It was really annoying to have thousand
of window pop up by default

validate:launcher: Allow referencing known issue by exiting signal names

validate:launcher: Output markdown as much as possible

validate:launcher: Implement bug checks for gitlab

And use new gitlab urls for all the bugs