validate: Add a check-position action type

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-devtools/-/merge_requests/182>

validate:scenario: Enhance failures messages

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-devtools/-/merge_requests/182>

validate: Add a way to run a TestClock in scenarios

A TestClock will be used automatically when a scenario has a
`crank-clock` action.

And make `validate` and `debug-viewer` options features in meson,
no reason they weren't and now we require gst-check to build validate

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-devtools/-/merge_requests/182>

validate: Introduce the concept of "Test files"

This way we can have a single file that wraps scenarios,
`gst-validate-1.0` arguments, as well as a configuration.

It changes the name of `description` of scenarios to use `meta`
The goal is to replace tests describes in python with dictionary
to fully self contained `.validatetest` files which look like:

```
meta,
    handles-states=true,
    ignore-eos=true,
    gst-validate-args = {
         "videotestsrc pattern=blue ! video/x-raw,format=I420,framerate=1/1 ! timeoverlay ! $(videosink) name=videosink allocation-meta-flags=0",
    },
    configs = {
         "$(validateflow), pad=videosink:sink, buffers-checksum=true, ignored-fields={\"buffers=meta\", }",
    }

play
seek, start=0.0, stop=5.0, flags=accurate+flush, rate=1.0
crank-clock, expected-elapsed-time=0.0
crank-clock, repeat=4, expected-elapsed-time=1.0
crank-clock, expected-elapsed-time=1.0
stop, on-message=eos
```

validate:flow: Sensibly improve stdout

validate: Fix criticals around NULL structure usage

validate: Fix 'repeat' parameter on non ASYNC action types

validate:scenario: Do not consider action with 'on-message' as on addition

validate: report: Handle when reporting NULL action

And add information about the action repeat state.

validate: Handle comments in multiline expressions

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-devtools/-/merge_requests/179>

validate: Fix multi variable in a single structure field

We were keeping using the GMatchInfo even after modifying the string
which is explicitly stated as invalid in the GRegex documentation

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-devtools/-/merge_requests/179>

validate:scenario: Fix 'on-message' actions execution

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-devtools/-/merge_requests/177>

validate: Add { and [ as line continuation markers

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-devtools/-/merge_requests/177>

validate-launcher: Fix syntax error

This error prevents downloading assets from scratch. This regression was
introduced by MR !145 / commit 2581fef6843bfb53f3fc6f629577c1f013ef84e7

utils: Fix double free in error case

This was detected by Coverity. The content point would have been freed gain in
the done: label.

CID 1461289

validate: Use gst_print for validate report messages

ci: Port from only: to rules

This fixed CI breakage introduced by gst-ci!247

validate: Plug some leaks

And add some valgrind suppression for fontconfig

validate:ssim: Allow specifying file framerate to use frame numbers during comparison

validate:scenario: Make the action->prepare function return a GstValidateExecuteActionReturn

Implementers might want to report the error themselves

validate: Add a way to check last frame number

This introduces a new 'timecode-frame-number' in the 'check-last-sample'
action type se we can verify the number of output frames.

validate: Enhance debug message on invalid expression function call

validate:utils: Allow plain string in `gst_validate_utils_get_strv`

validatessim: Avoid having ':' in file names

This is unsupported on windows

validate:ssim: Flush cairo surface before getting pixels

validate:launcher: Fix reporting on failure when running forever/fatal

validate:ssim: Enhance printing position

Adding a new `gst_validate_print_position` method which also
sends messages to the runner if required.

validate:launcher: Add a generator to generate test for frame accurate seeking

validate:ssim: Use stream time to reference frames

validate:ssim: Don't check neighbor frames when comparing exact same frame

validate:ssim: Enhance debugging message when similarity do not match

Printing out where the diff image file is

validate:launcher: Enhance support for running ssim tests

Using a special 'ssim' variable in pipeline dicts to activate it
Similare to what we do for validateflow

validate:launcher: Add support for skipped media info files

Those are skipped to generate tests by default but are updated when
required, this will allow us to generate specific test on demand for
those

validate:ssim: Avoid segfaults trying to attach pads without a template

validate:scenario:Handle GStreamer serialized timestamps

validate:launcher: Never try to load a testsuite with the same name from different locations

validate:media-check: Fix wrong exit code

There are code paths where the runner doesn't contain any issue but an error has already been reported

validate:launcher: Add support for the imagesequence protocol

validate:launcher: Fix reporting on failure when running forever/fatal

validate:launcher: Cache GstValidateMediaDescriptor to avoid reparsing .media_info

Saving another second at startup

validate:launcher: Generate profiling data even if an exception happens

validate:launcher: Batch inspecting scenarios

Removing almost 1 second to start running tests with the default
testsuite

validate:launcher: Fix printed test number

validate:launcher: Allow passing configs paths when loading from dictionary

The same way we allow it for scenarios

debug-viewer: Display nanoseconds in the timestamp column

validate: Don't use sprintf + glib format modifiers

We do not have a way to know the format modifiers to use with string
functions provided by the system. `G_GUINT64_FORMAT` and other string
modifiers only work for glib string formatting functions. We cannot
use them for string functions provided by the stdlib. See:
https://developer.gnome.org/glib/stable/glib-Basic-Types.html#glib-Basic-Types.description

```
 ../validate/plugins/flow/formatting.c: In function 'format_number':
../validate/plugins/flow/formatting.c:68:22: error: unknown conversion type character 'l' in format [-Werror=format=]
   sprintf (dest_str, "%" G_GUINT64_FORMAT, number);
                      ^~~
In file included from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib/gtypes.h:32,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib/galloca.h:32,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib.h:30,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/gstreamer-1.0/gst/gst.h:27,
                 from ../validate/plugins/flow/formatting.h:26,
                 from ../validate/plugins/flow/formatting.c:30:
/builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/lib/glib-2.0/include/glibconfig.h:69:28: note: format string is defined here
 #define G_GUINT64_FORMAT "llu"
                            ^
../validate/plugins/flow/formatting.c:68:22: error: too many arguments for format [-Werror=format-extra-args]
   sprintf (dest_str, "%" G_GUINT64_FORMAT, number);
                      ^~~
../validate/plugins/flow/formatting.c:68:22: error: unknown conversion type character 'l' in format [-Werror=format=]
In file included from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib/gtypes.h:32,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib/galloca.h:32,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/glib-2.0/glib.h:30,
                 from /builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/include/gstreamer-1.0/gst/gst.h:27,
                 from ../validate/plugins/flow/formatting.h:26,
                 from ../validate/plugins/flow/formatting.c:30:
/builds/nirbheek/cerbero/cerbero-build/dist/windows_x86_64/lib/glib-2.0/include/glibconfig.h:69:28: note: format string is defined here
 #define G_GUINT64_FORMAT "llu"
                            ^
../validate/plugins/flow/formatting.c:68:22: error: too many arguments for format [-Werror=format-extra-args]
   sprintf (dest_str, "%" G_GUINT64_FORMAT, number);
                      ^~~
```

Needed for https://gitlab.freedesktop.org/gstreamer/cerbero/merge_requests/419

meson: remove vs_module_defs

The GST_EXPORT should handle it.

launcher: Do not dump output on known issues

And remove dead code

validate: Fix leak parsing structure files

validate: Enhance error reporting for errors in struct files

Get a sense of files and line numbers in the parsed GstStructure
and take that information when reporting GstValidateAction errors
by letting the user know where the action comes from in the messages.

And accept non-literal string in printing formats.

validate: Add a specific error type for check actions

And mark it as `NO_BACKTRACE | FULL_DETAILS`, same as for
other action failure types.

validate: Enhance error reporting when scenario or configs are invalid

validate: Add a flags to issues

Currently those allow registering issue that:
- Won't print backtrace as it is sometimes useless info
- Will repeat the details even in smart mode

validate: Consider ',' as continuing line marker in struct files

Since `,` is the separator between fields of GstStructure we can
safely consider that if a line ends with it, the following line
is the logical continuity of the serialized GstStructure.

This makes writing those files more convenient and reading them
more pleasant as we do not need to add extra `\` at end of lines
anymore

validate:launcher: Handle validate report bigger than allowed by the socket

This almost never happens but I had a case where we had a report
with a GstSample in the caps that were reported leading to an
error printed.

validate:launcher: Reference exception in a var as we use it in the handling

validate:flow: Make field filtering in what is logged more generic

Instead of forcing it on event, allow specifying filters on anything
we log, meaning also buffers

validateflow: Add a logged-event-fields configuration

validate:scenario: Stop rounding up clocktime values

This doesn't make any sense in that context

validate:launcher: Fix defining several scenario with a same config

When generating tests from dictionary the dict format allows passing
several scenario for a same config and pipelines, but this was breaking
the case where expected flow is different with each config, instead we
should generate one config per scenario, fixing the expectation files
generated.

validate:launcher: Print the duration of the test run in the logs

validate:flow: Add a way to set the types of events to log/ignore

Added two properties to the plugin:
     * ignored-event-types: A list of event types to be ignored when logging events
     * logged-event-types: A list of event types to be logged when logging events

This commits also moves the "ignored-event-fields" property to using a proper
GstValueList for the list of event fields to be taken into account, instead
of the home grown separated by comas list of string, making the API more
uniform.

This also adds a simple helper method: `gst_validate_utils_get_strv`

gst-validate-launcher: separate known error from passed tests

Introduce known_error in statistics to keep in mind the expected
error result.

gst-validate-launcher: update documentation

Use the new api to create your custom testsuite.
Fix some broken links and enhance the logging system.

launcher: Allow partionning the tests

This introduce new command line options, --parts and --part-index. When
--parts is set to a value larger then 1, the tests will be split in the
same number of group. The group number identified by --part-index will
be executed.

This is being added in orther to support gliblab CI parallel feature.

validate:launcher: Try to dump logs with bat if avalaible

We got to many issues with mdv, it seems not to be maintained
bat is a very good replacement.

validate:launcher: Support mixed str/bytes control sequences.

It is not safe for `_preformat_levels` to assume that all of the fields in a
`TerminalController` have the same type; at least in my environment, some of
these fields are populated with `bytes` while others remain strings.

This change conditionally applies decoding to each control sequence separately
using a helper function `_as_string`.  As a side-effect, it also eliminates some
code repetition in `_preformat_levels`.

Closes #50.

validate:launcher: Enhance progress reporting using a progress bar

This also allows us to properly report progress on the CI

validate:launcher: Take our timeout factor into account for gstcheck

validate:scenario: fix some typos

validate:scenario: Implement an action to check property value

meson: Remove unused gtk_doc option

The "doc" option is available to disable the documentation.

check: unblacklist removed systemclock tests

See https://gitlab.freedesktop.org/gstreamer/gstreamer/merge_requests/348

check: unblacklist gstreamer.pipelines_parse_launch.delayed_link

It should not be flaky anymore after
https://gitlab.freedesktop.org/gstreamer/gstreamer/merge_requests/343

validate:launcher: Use python dict for pipeline description

validate-scenario: Initialize variable

We could end up using it uninitialized

CID: 1444920

validate: launcher: Make encoding extra check use common code path

Reusing the reporting infrastructure instead of shurtcuting it

validate: Add vp9 transcoding tests

Making sure to encode small frames as vp9enc is slow.

validate: Fix memory leaks

Various structures were being leaked.

validate:launcher: Avoid clashes when importing testsuite

This introduce an hard dependency on python >= 3.5, same as meson

check: blacklist gst-plugins-good.elements_splitmux.test_splitmuxsink$

https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/626

gstvalidate: fix GstValidateRTSPMediaDescriptor typo

gst-validate-bin-monitor: Remove unused field.

validateflow: Don't use colon in file names

The colon character commonly used to separate the element name and the
pad name is reserved in Windows filesystems, so it's better to use
something safer.

This patch replaces it with '-'. Please update
gst-integration-testsuites too where another commit has renamed all the
files.

validate: blacklist gstreamer-vaapi checks

They still can be checked by running the tests explicitly.

meson: build gir even when cross-compiling if introspection was enabled explicitly

This can be made to work in certain circumstances when
cross-compiling, so default to not building g-i stuff
when cross-compiling, but allow it if introspection was
enabled explicitly via -Dintrospection=enabled.

See gstreamer/gstreamer#454 and gstreamer/gstreamer#381.

validate: remove autotools build

codecanalyzer: remove

Remove in effort to declutter. There has been
pretty much no activity at all since the initial
commit in 2014 apart from a few coverity fixes.
Doesn't seem super-useful in its current form
either. Still available on github at
https://github.com/sreerenjb/codecanalyzer/
if anyone has a use for it.

mediainfo: remove

This looks bitrotten and abandoned,
remove in an effort to declutter.

vagrant: remove

This looks bitrotten and still targets Ubuntu 13.10
and autotools. Doesn't look like anyone has been using
this in the last 5+ years, so let's remove it in an
effort to declutter.

validate:launcher: Fix the 'can-happen-several-times' known issue field

validate: Check that pull_range is called from the streaming thread

`gst_pad_pull_range` should always be called from the streaming thread,
we now check that when pull_range is called, and if the sinkpad calling
the function has a GstTask with a running thread, the function is called
from that thread.

validate-scanario: Fix crash when using installed validate

When installed, the lookup path will endup on the very last try, but the
scenario_file was left unset, which lead to a crash.

validate: fix build with newer gcc

In file included from ../../../../dist/linux_x86_64/include/gstreamer-1.0/gst/gst.h:55,
                 from ../validate/gst/validate/gst-validate-scenario.c:45:
../validate/gst/validate/gst-validate-scenario.c: In function ‘gst_validate_scenario_load’:
../../../../dist/linux_x86_64/include/gstreamer-1.0/gst/gstinfo.h:645:5: error: ‘%s’ directive argument is null [-Werror=format-overflow=]
  645 |     gst_debug_log ((cat), (level), __FILE__, GST_FUNCTION, __LINE__, \
      |     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  646 |         (GObject *) (object), __VA_ARGS__);    \
      |         ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../../../../dist/linux_x86_64/include/gstreamer-1.0/gst/gstinfo.h:1067:26: note: in expansion of macro ‘GST_CAT_LEVEL_LOG’
 1067 | #define GST_ERROR(...)   GST_CAT_LEVEL_LOG (GST_CAT_DEFAULT, GST_LEVEL_ERROR,   NULL, __VA_ARGS__)
      |                          ^~~~~~~~~~~~~~~~~
../validate/gst/validate/gst-validate-scenario.c:3615:5: note: in expansion of macro ‘GST_ERROR’
 3615 |     GST_ERROR ("Invalid name for scenario '%s'", scenario_name);
      |     ^~~~~~~~~
../validate/gst/validate/gst-validate-scenario.c:3615:44: note: format string is defined here
 3615 |     GST_ERROR ("Invalid name for scenario '%s'", scenario_name);
      |                                            ^~

validate:launcher: Do not hardcode pathsep

validate/flow: fix werror build with android clang

../validate/plugins/flow/gstvalidateflow.c:75:3: error: redefinition of typedef 'ValidateFlowOverride' is a C11 feature [-Werror,-Wtypedef-redefinition]
} ValidateFlowOverride;
  ^
../validate/plugins/flow/gstvalidateflow.h:31:23: note: previous definition is here
G_DECLARE_FINAL_TYPE (ValidateFlowOverride, validate_flow_override,
                      ^

validate: fix -Werror=unused-function with clang

[3623/4053] Compiling C object 'subprojects/gst-devtools/validate/plugins/flow/697521d@@gstvalidateflow@sha/gstvalidateflow.c.o'.
../subprojects/gst-devtools/validate/plugins/flow/gstvalidateflow.c:85:1: warning: unused function 'VALIDATE_IS_FLOW_OVERRIDE' [-Wunused-function]
G_DECLARE_FINAL_TYPE (ValidateFlowOverride, validate_flow_override,
^
/usr/include/glib-2.0/gobject/gtype.h:1407:26: note: expanded from macro 'G_DECLARE_FINAL_TYPE'
  static inline gboolean MODULE##_IS_##OBJ_NAME (gpointer ptr) {                                         \
                         ^
<scratch space>:129:1: note: expanded from here
VALIDATE_IS_FLOW_OVERRIDE
^

validate: fix -Werror=format-nonliteral build with clang

[3470/4053] Compiling C object 'subprojects/gst-devtools/validate/gst/validate/28db7b6@@gstvalidatetracer@sha/gst-validate-reporter.c.o'.
../subprojects/gst-devtools/validate/gst/validate/gst-validate-reporter.c:186:31: warning: format string is not a string literal [-Wformat-nonliteral]
  message = g_strdup_vprintf (format, vacopy);
                              ^~~~~~
[3487/4053] Compiling C object 'subprojects/gst-devtools/validate/gst/validate/28db7b6@@gstvalidatetracer@sha/gst-validate-report.c.o'.
../subprojects/gst-devtools/validate/gst/validate/gst-validate-report.c:1007:34: warning: format string is not a string literal [-Wformat-nonliteral]
  tmp = gst_info_strdup_vprintf (format, args);
                                 ^~~~~~
[76/151] Compiling C object 'subprojects/gst-devtools/validate/plugins/flow/697521d@@gstvalidateflow@sha/gstvalidateflow.c.o'.
../subprojects/gst-devtools/validate/plugins/flow/gstvalidateflow.c:125:65: warning: format string is not a string literal [-Wformat-nonliteral]
  if (!flow->error_writing_file && vfprintf (flow->output_file, format, ap) < 0) {
                                                                ^~~~~~

validate: Add a scenario for 5 seconds playback use-cases

validate/ssim: Clean-up temporary directory

When no output-dir is specified in the plugin config, a temporary directory is
created, so it needs to be removed when no-longer needed.