validate:scenario: Make the action->prepare function return a GstValidateExecuteActionReturn

Implementers might want to report the error themselves

validate: Add a way to check last frame number

This introduces a new 'timecode-frame-number' in the 'check-last-sample'
action type se we can verify the number of output frames.

validate: Enhance debug message on invalid expression function call

validate:utils: Allow plain string in `gst_validate_utils_get_strv`

validatessim: Avoid having ':' in file names

This is unsupported on windows

validate:ssim: Flush cairo surface before getting pixels

validate:launcher: Fix reporting on failure when running forever/fatal

validate:ssim: Enhance printing position

Adding a new `gst_validate_print_position` method which also
sends messages to the runner if required.

validate:launcher: Add a generator to generate test for frame accurate seeking

validate:ssim: Use stream time to reference frames

validate:ssim: Don't check neighbor frames when comparing exact same frame

validate:ssim: Enhance debugging message when similarity do not match

Printing out where the diff image file is

validate:launcher: Enhance support for running ssim tests

Using a special 'ssim' variable in pipeline dicts to activate it
Similare to what we do for validateflow

validate:launcher: Add support for skipped media info files

Those are skipped to generate tests by default but are updated when
required, this will allow us to generate specific test on demand for
those

validate:ssim: Avoid segfaults trying to attach pads without a template

validate:scenario:Handle GStreamer serialized timestamps

validate:launcher: Never try to load a testsuite with the same name from different locations

validate:media-check: Fix wrong exit code

There are code paths where the runner doesn't contain any issue but an error has already been reported

validate:launcher: Add support for the imagesequence protocol

validate:launcher: Fix reporting on failure when running forever/fatal

validate:launcher: Cache GstValidateMediaDescriptor to avoid reparsing .media_info

Saving another second at startup

validate:launcher: Generate profiling data even if an exception happens

validate:launcher: Batch inspecting scenarios

Removing almost 1 second to start running tests with the default
testsuite

validate:launcher: Fix printed test number

validate:launcher: Allow passing configs paths when loading from dictionary

The same way we allow it for scenarios

debug-viewer: Display nanoseconds in the timestamp column

validate: Don't use sprintf + glib format modifiers

We do not have a way to know the format modifiers to use with string
functions provided by the system. `G_GUINT64_FORMAT` and other string
modifiers only work for glib string formatting functions. We cannot
use them for string functions provided by the stdlib. See:
https://developer.gnome.org/glib/stable/glib-Basic-Types.html#glib-Basic-Types.description

```
 ../validate/plugins/flow/formatting.c: In function 'format_number':
../validate/plugins/flow/formatting.c:68:22: error: unknown conversion type character 'l' in format [-Werror=format=]
   sprintf (dest_str, "%" G_GUINT64_FORMAT, number);
                      ^~~
In file included from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib/gtypes.h:32,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib/galloca.h:32,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib.h:30,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/gstreamer-1.0/gst/gst.h:27,
                 from ../validate/plugins/flow/formatting.h:26,
                 from ../validate/plugins/flow/formatting.c:30:
/builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/lib/glib-2.0/include/glibconfig.h:69:28: note: format string is defined here
 #define G_GUINT64_FORMAT "llu"
                            ^
../validate/plugins/flow/formatting.c:68:22: error: too many arguments for format [-Werror=format-extra-args]
   sprintf (dest_str, "%" G_GUINT64_FORMAT, number);
                      ^~~
../validate/plugins/flow/formatting.c:68:22: error: unknown conversion type character 'l' in format [-Werror=format=]
In file included from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib/gtypes.h:32,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib/galloca.h:32,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib.h:30,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/gstreamer-1.0/gst/gst.h:27,
                 from ../validate/plugins/flow/formatting.h:26,
                 from ../validate/plugins/flow/formatting.c:30:
/builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/lib/glib-2.0/include/glibconfig.h:69:28: note: format string is defined here
 #define G_GUINT64_FORMAT "llu"
                            ^
../validate/plugins/flow/formatting.c:68:22: error: too many arguments for format [-Werror=format-extra-args]
   sprintf (dest_str, "%" G_GUINT64_FORMAT, number);
                      ^~~
```

Needed for https://gitlab.freedesktop.org/gstreamer/cerbero/merge_requests/419

meson: remove vs_module_defs

The GST_EXPORT should handle it.

launcher: Do not dump output on known issues

And remove dead code

validate: Fix leak parsing structure files

validate: Enhance error reporting for errors in struct files

Get a sense of files and line numbers in the parsed GstStructure
and take that information when reporting GstValidateAction errors
by letting the user know where the action comes from in the messages.

And accept non-literal string in printing formats.

validate: Add a specific error type for check actions

And mark it as `NO_BACKTRACE | FULL_DETAILS`, same as for
other action failure types.

validate: Enhance error reporting when scenario or configs are invalid

validate: Add a flags to issues

Currently those allow registering issue that:
- Won't print backtrace as it is sometimes useless info
- Will repeat the details even in smart mode

validate: Consider ',' as continuing line marker in struct files

Since `,` is the separator between fields of GstStructure we can
safely consider that if a line ends with it, the following line
is the logical continuity of the serialized GstStructure.

This makes writing those files more convenient and reading them
more pleasant as we do not need to add extra `\` at end of lines
anymore

validate:launcher: Handle validate report bigger than allowed by the socket

This almost never happens but I had a case where we had a report
with a GstSample in the caps that were reported leading to an
error printed.

validate:launcher: Reference exception in a var as we use it in the handling

validate:flow: Make field filtering in what is logged more generic

Instead of forcing it on event, allow specifying filters on anything
we log, meaning also buffers

validateflow: Add a logged-event-fields configuration

validate:scenario: Stop rounding up clocktime values

This doesn't make any sense in that context

validate:launcher: Fix defining several scenario with a same config

When generating tests from dictionary the dict format allows passing
several scenario for a same config and pipelines, but this was breaking
the case where expected flow is different with each config, instead we
should generate one config per scenario, fixing the expectation files
generated.

validate:launcher: Print the duration of the test run in the logs

validate:flow: Add a way to set the types of events to log/ignore

Added two properties to the plugin:
     * ignored-event-types: A list of event types to be ignored when logging events
     * logged-event-types: A list of event types to be logged when logging events

This commits also moves the "ignored-event-fields" property to using a proper
GstValueList for the list of event fields to be taken into account, instead
of the home grown separated by comas list of string, making the API more
uniform.

This also adds a simple helper method: `gst_validate_utils_get_strv`

gst-validate-launcher: separate known error from passed tests

Introduce known_error in statistics to keep in mind the expected
error result.

gst-validate-launcher: update documentation

Use the new api to create your custom testsuite.
Fix some broken links and enhance the logging system.

launcher: Allow partionning the tests

This introduce new command line options, --parts and --part-index. When
--parts is set to a value larger then 1, the tests will be split in the
same number of group. The group number identified by --part-index will
be executed.

This is being added in orther to support gliblab CI parallel feature.

validate:launcher: Try to dump logs with bat if avalaible

We got to many issues with mdv, it seems not to be maintained
bat is a very good replacement.

validate:launcher: Support mixed str/bytes control sequences.

It is not safe for `_preformat_levels` to assume that all of the fields in a
`TerminalController` have the same type; at least in my environment, some of
these fields are populated with `bytes` while others remain strings.

This change conditionally applies decoding to each control sequence separately
using a helper function `_as_string`.  As a side-effect, it also eliminates some
code repetition in `_preformat_levels`.

Closes #50.

validate:launcher: Enhance progress reporting using a progress bar

This also allows us to properly report progress on the CI

validate:launcher: Take our timeout factor into account for gstcheck

validate:scenario: fix some typos

validate:scenario: Implement an action to check property value

meson: Remove unused gtk_doc option

The "doc" option is available to disable the documentation.

check: unblacklist removed systemclock tests

See https://gitlab.freedesktop.org/gstreamer/gstreamer/merge_requests/348

check: unblacklist gstreamer.pipelines_parse_launch.delayed_link

It should not be flaky anymore after
https://gitlab.freedesktop.org/gstreamer/gstreamer/merge_requests/343

validate:launcher: Use python dict for pipeline description

validate-scenario: Initialize variable

We could end up using it uninitialized

CID: 1444920

validate: launcher: Make encoding extra check use common code path

Reusing the reporting infrastructure instead of shurtcuting it

validate: Add vp9 transcoding tests

Making sure to encode small frames as vp9enc is slow.

validate: Fix memory leaks

Various structures were being leaked.

validate:launcher: Avoid clashes when importing testsuite

This introduce an hard dependency on python >= 3.5, same as meson

check: blacklist gst-plugins-good.elements_splitmux.test_splitmuxsink$

https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/626

gstvalidate: fix GstValidateRTSPMediaDescriptor typo

gst-validate-bin-monitor: Remove unused field.

validateflow: Don't use colon in file names

The colon character commonly used to separate the element name and the
pad name is reserved in Windows filesystems, so it's better to use
something safer.

This patch replaces it with '-'. Please update
gst-integration-testsuites too where another commit has renamed all the
files.

validate: blacklist gstreamer-vaapi checks

They still can be checked by running the tests explicitly.

meson: build gir even when cross-compiling if introspection was enabled explicitly

This can be made to work in certain circumstances when
cross-compiling, so default to not building g-i stuff
when cross-compiling, but allow it if introspection was
enabled explicitly via -Dintrospection=enabled.

See gstreamer/gstreamer#454 and gstreamer/gstreamer#381.

validate: remove autotools build

codecanalyzer: remove

Remove in effort to declutter. There has been
pretty much no activity at all since the initial
commit in 2014 apart from a few coverity fixes.
Doesn't seem super-useful in its current form
either. Still available on github at
https://github.com/sreerenjb/codecanalyzer/
if anyone has a use for it.

mediainfo: remove

This looks bitrotten and abandoned,
remove in an effort to declutter.

vagrant: remove

This looks bitrotten and still targets Ubuntu 13.10
and autotools. Doesn't look like anyone has been using
this in the last 5+ years, so let's remove it in an
effort to declutter.

validate:launcher: Fix the 'can-happen-several-times' known issue field

validate: Check that pull_range is called from the streaming thread

`gst_pad_pull_range` should always be called from the streaming thread,
we now check that when pull_range is called, and if the sinkpad calling
the function has a GstTask with a running thread, the function is called
from that thread.

validate-scanario: Fix crash when using installed validate

When installed, the lookup path will endup on the very last try, but the
scenario_file was left unset, which lead to a crash.

validate: fix build with newer gcc

In file included from ../../../../dist/linux_x86_64/include/gstreamer-1.0/gst/gst.h:55,
                 from ../validate/gst/validate/gst-validate-scenario.c:45:
../validate/gst/validate/gst-validate-scenario.c: In function ‘gst_validate_scenario_load’:
../../../../dist/linux_x86_64/include/gstreamer-1.0/gst/gstinfo.h:645:5: error: ‘%s’ directive argument is null [-Werror=format-overflow=]
  645 |     gst_debug_log ((cat), (level), __FILE__, GST_FUNCTION, __LINE__, \
      |     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  646 |         (GObject *) (object), __VA_ARGS__);    \
      |         ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../../../../dist/linux_x86_64/include/gstreamer-1.0/gst/gstinfo.h:1067:26: note: in expansion of macro ‘GST_CAT_LEVEL_LOG’
 1067 | #define GST_ERROR(...)   GST_CAT_LEVEL_LOG (GST_CAT_DEFAULT, GST_LEVEL_ERROR,   NULL, __VA_ARGS__)
      |                          ^~~~~~~~~~~~~~~~~
../validate/gst/validate/gst-validate-scenario.c:3615:5: note: in expansion of macro ‘GST_ERROR’
 3615 |     GST_ERROR ("Invalid name for scenario '%s'", scenario_name);
      |     ^~~~~~~~~
../validate/gst/validate/gst-validate-scenario.c:3615:44: note: format string is defined here
 3615 |     GST_ERROR ("Invalid name for scenario '%s'", scenario_name);
      |                                            ^~

validate:launcher: Do not hardcode pathsep

validate/flow: fix werror build with android clang

../validate/plugins/flow/gstvalidateflow.c:75:3: error: redefinition of typedef 'ValidateFlowOverride' is a C11 feature [-Werror,-Wtypedef-redefinition]
} ValidateFlowOverride;
  ^
../validate/plugins/flow/gstvalidateflow.h:31:23: note: previous definition is here
G_DECLARE_FINAL_TYPE (ValidateFlowOverride, validate_flow_override,
                      ^

validate: fix -Werror=unused-function with clang

[3623/4053] Compiling C object 'subprojects/gst-devtools/validate/plugins/flow/697521d@@gstvalidateflow@sha/gstvalidateflow.c.o'.
../subprojects/gst-devtools/validate/plugins/flow/gstvalidateflow.c:85:1: warning: unused function 'VALIDATE_IS_FLOW_OVERRIDE' [-Wunused-function]
G_DECLARE_FINAL_TYPE (ValidateFlowOverride, validate_flow_override,
^
/usr/include/glib-2.0/gobject/gtype.h:1407:26: note: expanded from macro 'G_DECLARE_FINAL_TYPE'
  static inline gboolean MODULE##_IS_##OBJ_NAME (gpointer ptr) {                                         \
                         ^
<scratch space>:129:1: note: expanded from here
VALIDATE_IS_FLOW_OVERRIDE
^

validate: fix -Werror=format-nonliteral build with clang

[3470/4053] Compiling C object 'subprojects/gst-devtools/validate/gst/validate/28db7b6@@gstvalidatetracer@sha/gst-validate-reporter.c.o'.
../subprojects/gst-devtools/validate/gst/validate/gst-validate-reporter.c:186:31: warning: format string is not a string literal [-Wformat-nonliteral]
  message = g_strdup_vprintf (format, vacopy);
                              ^~~~~~
[3487/4053] Compiling C object 'subprojects/gst-devtools/validate/gst/validate/28db7b6@@gstvalidatetracer@sha/gst-validate-report.c.o'.
../subprojects/gst-devtools/validate/gst/validate/gst-validate-report.c:1007:34: warning: format string is not a string literal [-Wformat-nonliteral]
  tmp = gst_info_strdup_vprintf (format, args);
                                 ^~~~~~
[76/151] Compiling C object 'subprojects/gst-devtools/validate/plugins/flow/697521d@@gstvalidateflow@sha/gstvalidateflow.c.o'.
../subprojects/gst-devtools/validate/plugins/flow/gstvalidateflow.c:125:65: warning: format string is not a string literal [-Wformat-nonliteral]
  if (!flow->error_writing_file && vfprintf (flow->output_file, format, ap) < 0) {
                                                                ^~~~~~

validate: Add a scenario for 5 seconds playback use-cases

validate/ssim: Clean-up temporary directory

When no output-dir is specified in the plugin config, a temporary directory is
created, so it needs to be removed when no-longer needed.

validate/launcher: Ensure the HTTP server is started when a pipeline needs it

Pipelines declared in gst-integration-testsuites can rely on the validate HTTP
server, so when an URI pointing to it is detected, advertise the server as
needed before starting the test.

For this to work the test scenario should explicitely declare the pipeline uri,
as shown in this example:

    "some_playbin3":
    {
        "pipeline": "playbin3 uri=%(uri)s video-sink=%(videosink)s",
        "config": [
            "%(validateflow)s, pad=sink:sink"
        ],
        "scenarios": ["play_15s"],
        "uri": "http://127.0.0.1:%(http-server-port)s/defaults/html/foo.html"
    }

validate:launcher: Allow passing any extra_data in json test definition

This means that we can now pass any extra key that `populate_tests`
expects, meaning any key expected by FakeMediaDescriptor and
a few other keys supported by the methods such as
`expected-issues` and `extra_env_vars`

launcher: Raise an exception when provided scenario can't be found

validate: add missing G_BEGIN/END_DECLS in validate.h

validate: Update blacklisting reason for fast forward rtsp

While https://gitlab.freedesktop.org/gstreamer/gst-rtsp-server/issues/14
was merged, the client side (in particular rtpbasedepayload) still
isn't expected to work appropriately

validate: fix build with older GLib versions

g_enum_to_string() is only available in newer ones.

Add compatibility workaround for the time being to decouple
this from the decision whether to bump the GLib requirement
and what to bump it to.

https://gitlab.freedesktop.org/gstreamer/gstreamer/merge_requests/199

Fixes #45

scenario: fix PAUSED position check

The way this was implemented was simply wrong, first of all checking
the position against the segment after a seek in PAUSED by a query
of the pipeline position is of limited interest, and can only work
in forward playback.

Furthermore the check was a huge blob of code that didn't even look
like it was pretending to do a good job at checking the position in
reverse playback.

json tests: assume all user pipelines can seek reverse

When doing a targeted test, it is up to the user to make sure
their pipeline + scenario behaves correctly.

validate:launcher: Pass the right timeout_factor is passed to subprojects

scenario: Do not dereference NULL pointer

validate:pipeline-monitor: Connect deep properties notification only when required

This is quite expensive and can lead to an overwhelm mainloop.

validate:scenario: Keep a reference to 'description' structure

For it to be reusable outside the scenario

doc: Minor typo fixes.

scenario: Use internal sinks when a sink bin can be used to check last-sample

docs: Document validate core configuration

validate:flow: Log buffers even when tracking srcpads

validate:launcher: Move get_fakesink_for_media_type to utils

So it can be reused in other apps like GES

validate: Also monitor ghost pads

Allowing overrides to work on ghost pads too

validateflow: Add `buffers-checksum` option to log buffers data checksum