gst-validate-bin-monitor: Remove unused field.

validateflow: Don't use colon in file names

The colon character commonly used to separate the element name and the
pad name is reserved in Windows filesystems, so it's better to use
something safer.

This patch replaces it with '-'. Please update
gst-integration-testsuites too where another commit has renamed all the
files.

validate: blacklist gstreamer-vaapi checks

They still can be checked by running the tests explicitly.

meson: build gir even when cross-compiling if introspection was enabled explicitly

This can be made to work in certain circumstances when
cross-compiling, so default to not building g-i stuff
when cross-compiling, but allow it if introspection was
enabled explicitly via -Dintrospection=enabled.

See gstreamer/gstreamer#454 and gstreamer/gstreamer#381.

validate: remove autotools build

codecanalyzer: remove

Remove in effort to declutter. There has been
pretty much no activity at all since the initial
commit in 2014 apart from a few coverity fixes.
Doesn't seem super-useful in its current form
either. Still available on github at
https://github.com/sreerenjb/codecanalyzer/
if anyone has a use for it.

mediainfo: remove

This looks bitrotten and abandoned,
remove in an effort to declutter.

vagrant: remove

This looks bitrotten and still targets Ubuntu 13.10
and autotools. Doesn't look like anyone has been using
this in the last 5+ years, so let's remove it in an
effort to declutter.

validate:launcher: Fix the 'can-happen-several-times' known issue field

validate: Check that pull_range is called from the streaming thread

`gst_pad_pull_range` should always be called from the streaming thread,
we now check that when pull_range is called, and if the sinkpad calling
the function has a GstTask with a running thread, the function is called
from that thread.

validate-scanario: Fix crash when using installed validate

When installed, the lookup path will endup on the very last try, but the
scenario_file was left unset, which lead to a crash.

validate: fix build with newer gcc

In file included from ../../../../dist/linux_x86_64/include/gstreamer-1.0/gst/gst.h:55,
                 from ../validate/gst/validate/gst-validate-scenario.c:45:
../validate/gst/validate/gst-validate-scenario.c: In function ‘gst_validate_scenario_load’:
../../../../dist/linux_x86_64/include/gstreamer-1.0/gst/gstinfo.h:645:5: error: ‘%s’ directive argument is null [-Werror=format-overflow=]
  645 |     gst_debug_log ((cat), (level), __FILE__, GST_FUNCTION, __LINE__, \
      |     ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
  646 |         (GObject *) (object), __VA_ARGS__);    \
      |         ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../../../../dist/linux_x86_64/include/gstreamer-1.0/gst/gstinfo.h:1067:26: note: in expansion of macro ‘GST_CAT_LEVEL_LOG’
 1067 | #define GST_ERROR(...)   GST_CAT_LEVEL_LOG (GST_CAT_DEFAULT, GST_LEVEL_ERROR,   NULL, __VA_ARGS__)
      |                          ^~~~~~~~~~~~~~~~~
../validate/gst/validate/gst-validate-scenario.c:3615:5: note: in expansion of macro ‘GST_ERROR’
 3615 |     GST_ERROR ("Invalid name for scenario '%s'", scenario_name);
      |     ^~~~~~~~~
../validate/gst/validate/gst-validate-scenario.c:3615:44: note: format string is defined here
 3615 |     GST_ERROR ("Invalid name for scenario '%s'", scenario_name);
      |                                            ^~

validate:launcher: Do not hardcode pathsep

validate/flow: fix werror build with android clang

../validate/plugins/flow/gstvalidateflow.c:75:3: error: redefinition of typedef 'ValidateFlowOverride' is a C11 feature [-Werror,-Wtypedef-redefinition]
} ValidateFlowOverride;
  ^
../validate/plugins/flow/gstvalidateflow.h:31:23: note: previous definition is here
G_DECLARE_FINAL_TYPE (ValidateFlowOverride, validate_flow_override,
                      ^

validate: fix -Werror=unused-function with clang

[3623/4053] Compiling C object 'subprojects/gst-devtools/validate/plugins/flow/697521d@@gstvalidateflow@sha/gstvalidateflow.c.o'.
../subprojects/gst-devtools/validate/plugins/flow/gstvalidateflow.c:85:1: warning: unused function 'VALIDATE_IS_FLOW_OVERRIDE' [-Wunused-function]
G_DECLARE_FINAL_TYPE (ValidateFlowOverride, validate_flow_override,
^
/usr/include/glib-2.0/gobject/gtype.h:1407:26: note: expanded from macro 'G_DECLARE_FINAL_TYPE'
  static inline gboolean MODULE##_IS_##OBJ_NAME (gpointer ptr) {                                         \
                         ^
<scratch space>:129:1: note: expanded from here
VALIDATE_IS_FLOW_OVERRIDE
^

validate: fix -Werror=format-nonliteral build with clang

[3470/4053] Compiling C object 'subprojects/gst-devtools/validate/gst/validate/28db7b6@@gstvalidatetracer@sha/gst-validate-reporter.c.o'.
../subprojects/gst-devtools/validate/gst/validate/gst-validate-reporter.c:186:31: warning: format string is not a string literal [-Wformat-nonliteral]
  message = g_strdup_vprintf (format, vacopy);
                              ^~~~~~
[3487/4053] Compiling C object 'subprojects/gst-devtools/validate/gst/validate/28db7b6@@gstvalidatetracer@sha/gst-validate-report.c.o'.
../subprojects/gst-devtools/validate/gst/validate/gst-validate-report.c:1007:34: warning: format string is not a string literal [-Wformat-nonliteral]
  tmp = gst_info_strdup_vprintf (format, args);
                                 ^~~~~~
[76/151] Compiling C object 'subprojects/gst-devtools/validate/plugins/flow/697521d@@gstvalidateflow@sha/gstvalidateflow.c.o'.
../subprojects/gst-devtools/validate/plugins/flow/gstvalidateflow.c:125:65: warning: format string is not a string literal [-Wformat-nonliteral]
  if (!flow->error_writing_file && vfprintf (flow->output_file, format, ap) < 0) {
                                                                ^~~~~~

validate: Add a scenario for 5 seconds playback use-cases

validate/ssim: Clean-up temporary directory

When no output-dir is specified in the plugin config, a temporary directory is
created, so it needs to be removed when no-longer needed.

validate/launcher: Ensure the HTTP server is started when a pipeline needs it

Pipelines declared in gst-integration-testsuites can rely on the validate HTTP
server, so when an URI pointing to it is detected, advertise the server as
needed before starting the test.

For this to work the test scenario should explicitely declare the pipeline uri,
as shown in this example:

    "some_playbin3":
    {
        "pipeline": "playbin3 uri=%(uri)s video-sink=%(videosink)s",
        "config": [
            "%(validateflow)s, pad=sink:sink"
        ],
        "scenarios": ["play_15s"],
        "uri": "http://127.0.0.1:%(http-server-port)s/defaults/html/foo.html"
    }

validate:launcher: Allow passing any extra_data in json test definition

This means that we can now pass any extra key that `populate_tests`
expects, meaning any key expected by FakeMediaDescriptor and
a few other keys supported by the methods such as
`expected-issues` and `extra_env_vars`

launcher: Raise an exception when provided scenario can't be found

validate: add missing G_BEGIN/END_DECLS in validate.h

validate: Update blacklisting reason for fast forward rtsp

While https://gitlab.freedesktop.org/gstreamer/gst-rtsp-server/issues/14
was merged, the client side (in particular rtpbasedepayload) still
isn't expected to work appropriately

validate: fix build with older GLib versions

g_enum_to_string() is only available in newer ones.

Add compatibility workaround for the time being to decouple
this from the decision whether to bump the GLib requirement
and what to bump it to.

https://gitlab.freedesktop.org/gstreamer/gstreamer/merge_requests/199

Fixes #45

scenario: fix PAUSED position check

The way this was implemented was simply wrong, first of all checking
the position against the segment after a seek in PAUSED by a query
of the pipeline position is of limited interest, and can only work
in forward playback.

Furthermore the check was a huge blob of code that didn't even look
like it was pretending to do a good job at checking the position in
reverse playback.

json tests: assume all user pipelines can seek reverse

When doing a targeted test, it is up to the user to make sure
their pipeline + scenario behaves correctly.

validate:launcher: Pass the right timeout_factor is passed to subprojects

scenario: Do not dereference NULL pointer

validate:pipeline-monitor: Connect deep properties notification only when required

This is quite expensive and can lead to an overwhelm mainloop.

validate:scenario: Keep a reference to 'description' structure

For it to be reusable outside the scenario

doc: Minor typo fixes.

scenario: Use internal sinks when a sink bin can be used to check last-sample

docs: Document validate core configuration

validate:flow: Log buffers even when tracking srcpads

validate:launcher: Move get_fakesink_for_media_type to utils

So it can be reused in other apps like GES

validate: Also monitor ghost pads

Allowing overrides to work on ghost pads too

validateflow: Add `buffers-checksum` option to log buffers data checksum

validate: Add SCENARIO_NAME and CONFIG_NAME vars in configs/scenarios

validate: Set 'LOGSDIR' variable in scenarios and config files

Implementing support for variables in config files.

scenario: Set `SCENARIO_PATH/DIR` variables in scenarios

And add some documentation about it

scenario: Add a `TMPDIR` global variables in scenarios

This also adds the notion of global variables which will be useable
in config files too.

And add some documentation about default variables in scenarios

docs: Update validate action types

Include minor fixes in the action types and markdown generator

validate: Misc leaks plugging

validate:launcher: Strip env vars in command line outputing verbose

But activate if activating verbosity more than once

docs: Document GES validate action types

validate:reporter: Show report by branches when doing smart reporting

Meaning that instead of getting 1 "Detected on" line per monitor,
there will be one per "branch" like:

    Detected on <audioconvert1:sink, audioconvert1:src, audioresample1:sink, audioresample1:src, smart-adder-adder:sink_0, smart-adder-adder:src, smart-adder-capsfilter:sink, smart-adder-capsfilter:src, capsfilter2:sink, capsfilter2:src, tee1:sink, tee1:src_0>

Making it simpler to read and a bit less verbose.

validate:launcher: Avoid repeating failure info in summaries

validate:scenario: Move force-key-unit action from the transcoding tool

The action is generally useful but was implemented in a way that
was restricting its usage for no good reason. Refactor the
implementation adding more argument so it can be used in a wider
context, such as uvch264src.

Something like:

``` bash
echo "video-request-key-unit, direction=upstream, all-header=true, count=1, target-element-factory-name=h264parse, srcpad=src, playback-time=1.0" > tmp.scenario && \
echo "stop,playback-time=2.0" >> tmp.scenario && \
gst-validate-1.0 --set-scenario=tmp.scenario uvch264src \
       device=/dev/video0 name=src iframe-period=33 auto-start=true src.vfsrc ! queue ! fakesink \
       src.vidsrc ! queue ! video/x-h264,width=1280,height=720,framerate=30/1 ! h264parse ! fakesink
```

works now.

validate:scenario: Minor documentation cleanup

validate:pipeline-monitor: Avoid wrong position issue

If the reported position or duration is NONE, do not check its
validity

meson: Bump minimal GLib version to 2.44

This means we can use some newer features and get rid of some
boilerplate code using the G_DECLARE_* macros.

As discussed on IRC, 2.44 is old enough by now to start depending on it.

validate: Implement seeking with DEFAULT format

ssim: Report critical issue when override not attached

ssim: Fix the way we handle when an override is attached

docs: Minor fix about ssim plugin

docs: Fix docstrings

validate:launcher: Do not dump to big log files

Avoiding ' The script exceeded the maximum execution time set for the job' in GitLab

docs: Document the validateflow plugin

docs: Document validate action types

Just did:

```
 gst-validate-1.0 --inspect-action-type all >   docs/gst-validate-action-types.md
```

validate: inspect: Output valid markdown

So it can be used directly in the documentation Also add a special "all"
argument to `gst-validate-1.0 --inspect-action-type` so we can generate
the documentation for all action types easily.

doc: Port to hotdoc

Ideally we want a GstValidate hotdoc plugin... not for now.

meson: Use dep.type_name() when it makes sense

doc: Minor fixes

launcher: testsuites: skip systemclock stress tests

These are very flaky when the build bots are under load.

validate: fix build on macOS

_Q_VALIDATE_MONITOR was defined twice because it wasn't declared
as extern in the header, so it would be defined as variable in all
included files. This doesn't seem to cause problems on Linux, but
seems to cause build failures on macOS.

Fixes #42

Back to development

Release 1.16.0

validate:check: Mare nle test_simple_operation as long

validate:check: Fix some mistakes translating regex from gitlab-ci.yml

ci: Run valgrind tests when changing the check testsuite

validate:launcher: Set ORC_CODE=backup when running gst unit tests under valgrind

validate:check: Blacklist and mark some GES tests as long under valgrind

validate:testsuites: Add unit tests blacklists

validate:launcher: Ignore possibly lost for now

TestsManager: _add_blacklist in set_default_blacklist

Otherwise test suites that want to set_default_blacklist and
add tests in setup_tests were seeing their blacklist ignored.

Split up and rename set_blacklists() to complete the refactoring

Check indirect leaks

validate:launcher: Do not copy logs for non flaky tests

That looks weird for users and is incorrect

validate:launcher: Fix printing debug logs URIs

validate:launcher: Do not stop tcp server when reiterating tests runs

validate:launcher: Associate issues with the bug they come from

Making it simpler to follow when print the known issues

validate:launcher: Indent known issues printing

validate:launcher: Print the number of times the test was run when --forever

validate:launcher: Add python suppression files

validate:launcher: Use md viewer to dump md logs if avalaible

And enhance the markdown
See https://github.com/axiros/terminal_markdown_viewer

validate:launcher: Avoid forking when running gstcheck tests in gdb

validate:launcher: Add an option to output HTML if commonmark is installed

validate:launcher: Do not user python 3.5 features

validate:launcher: Move all logs to one single log files to be displayed to end user

validate:launcher: Make extra_logfiles a set and fix their names

validate:launcher: Remove spurious print

validate:launcher: Remove noise about empty known issues in logs

validate:launcher: Fix printing application name in the logs

Release 1.15.90

validate: autotools: dist mock decryptor header file

validate: win32: add new api to export file

validate:launcher: Add a list of well known subpression files from gst-build subprojects

Fixes https://gitlab.freedesktop.org/gstreamer/gst-devtools/issues/38

validate: Add a mecanism to rerun failling tests

And add a way to mark some 'flakes' as tolerated

validate:launcher: Reset process on clean

validate: Print error message details in our reports

validate:launcher: Dump applied known issues in the logs