validate: media-check: Add a way to skip pluggin parsers

This is useful when you want to check only the demuxer output.

- Keep the information in the media file so that we can launch media-check
  with the proper arguments in the launcher. Update it accordingly.
- Refactor compare_streams to simplify it, which in the end leads to
  reporting all the issues instead of exiting on the first one.

validate: media-descriptor: Add a way to specify when a field value is unknown

And this way is to set the attribute to... `unknown`

validate: media-check: Also check that segments are correct

debug-viewer: Fix reload file action.

Copy the log file only we're loading a file different from the previous file.
The previous version of this code was broken because the existing tmpfile was
removed from disk before being copied to a new temporary file.

validate/media-descriptor: Fix indentation

validate: Add a new issue to detect invalid event seqnum

Events should always have a valid seqnum. Add a new issue which
allows detecting such events. And use that check in the
pad monitor

validate: Update all gitignore

gst-validate-launcher: let gdb handle SIGINT itself

Otherwise both gdb and gst-validate-launcher will react to ^C at the
same time, gdb will be killed by SIGHUP (because gst-validate-launcher
quitted in consequence of the ^C) and the terminal state will be left
garbled because readline inside gdb had disabled echo.

https://bugzilla.gnome.org/show_bug.cgi?id=796396

gst-validate-launcher: disable timeouts when debugging in gdb interactively

An interactive debugging session can be going for a long time, we don't
want any timeouts in that case.

https://bugzilla.gnome.org/show_bug.cgi?id=796397

gst-validate-launcher: Stop in --gdb by default, add --gdb-non-stop

This patch modifies the default behavior of --gdb to not run and quit
automatically the test, but rather wait for user input. This is
usually much more convenient to debug all kinds of bugs.

The automatic run behavior has been moved to a new command switch:
--gdb-non-stop

https://bugzilla.gnome.org/show_bug.cgi?id=796389

validate: Error out if gst_parse_launch sets an error.

https://bugzilla.gnome.org/show_bug.cgi?id=796240

validate:launcher: Error out loudly if the testlist changes

When --fail-on-testlist-change is set.

validate:launcher: Do not print time spent if the testsuite never started

validate: launcher: Make sure testsuites are used/configured once only

validate:launcher: Add a way to check if a gst feature is present

And make sure iqa is present to run IQA tests.

validate:launcher: Cleanup the way we find where -validate tools are

validate: launcher: Add a way to simply run SSIM checks on rendered files

We will run a simple pipeline with the IQA element to run ssim (dssim)
tests on the rendered files, comparing it with a reference file.

For now we use the very empiric 1.0 value as a ssim error threshold and
the goal is basically to detect completely broken renderings.

validate: Add support for the new testbin protocol

debug-viewer: Ignore broken utf8 errors

Not much we can do if the input file is not perfectly valid UTF8
but we should just do as good as we can.

debug-viewer: MEMDUMP debug level support

validate: Remove hls.*seek_with_stop blacklisting

The issue is closed upstream (because of concentrating on decodebin3
instead), and initial forever testing seems to show the issue doesn't
happen anymore

meson: Update option names to omit disable_ prefixes

Also yield common options to the outer project (gst-build in our case)
so that they don't have to be set manually.

validate: pipeline: Handle the case where a pad has no monitor

We do not monitor ghost pads, only real pads, so this is a totally
legitimate case.

https://bugzilla.gnome.org/show_bug.cgi?id=792536

validate: fix out of source tree build error

It fails to generate gst-validate-enum-types.h and gst-validate-enum-types.c
when build out of source tree. Add the path for template files.

https://bugzilla.gnome.org/show_bug.cgi?id=795531

Signed-off-by: Kai Kang <kai.kang@windriver.com>

debug-viewer: Fix raising unhandled exception

Old code was uselessly complex

debug-viewer: Fix stacktrace after port to py3

debug-viewer: Copy log files in temporaries before using them

They are mmap'ed and it gets wrong if the file is changed.
There is high probablility the user will generate new logs while
inspecting some logs in the same file

debug-viewer: Add a shortcut to show/hide timeline

debug-viewer: Port to meson

This allows us to run unit test as part of ninja test and have versionning
in sync. Also the goal is to have everything inside meson.

https://bugzilla.gnome.org/show_bug.cgi?id=795282

validate:launcher: Add support for specifying a workdir in tests

validate:launcher: printc is accepting object as arguments

Make sure in all code paths those are converted to strings

debug-viewer: Dispatcher source ID clean-up

This patch fixes this runtime warning:
GstDebugViewer/Common/Data.py:67: Warning: Source ID 17 was not found when attempting to remove it
  GObject.source_remove(self.source_id)

debug-viewer: PEP8 all the things

debug-viewer: Port to Python3

And fix unit-tests.

https://bugzilla.gnome.org/show_bug.cgi?id=795260

debug-viewer: remove broken/unimplemented plugins

Update python hook with the new pycodestyle

validate:launcher: Add a method to find tests in a TestManager

validate:launcher: Extract method to set a validate configuration on tests

validate: Handle having a list of structure based/file path configs

launcher: Print test number in the order they finish

Instead of the test index in the list of tests as it is
meaningless to the user and feels weird.

Also minor fix in the test name display when running with --forever.

launcher: Minor indentation issue fixes

launcher: Clean up outpout

Make our stdout output simpler to follow by:
  - Not printing the tests we launch (it is not really useful in the end)
  - Using `\r` when printing the passed tests
  - Not reprinting all the test in a now useless summary

check: Use meson introspect to list meson tests

Back to development

Release 1.14.0

validate: Fix the way we set the testsuite version

The testuite version should be 'master' during development
and the version number on releases, during the pre-release
cycle, there is no nano version, thus our detection handling
was mistaking.

meson: update version

Release 1.13.91

validate: GST_EXPORT -> GST_VALIDATE_API

We need different export decorators for the different libs.
For now no actual change though, just rename before the release,
and add prelude headers to define the new decorator to GST_EXPORT.

debug-viewer: solved crash when maximum freq sentinel is 0

https://bugzilla.gnome.org/show_bug.cgi?id=794282

debug-viewer: Fix copying current line

debug-viewer: Add an appdata file

Release 1.13.90

meson: enable more warnings

debug-viewer: fix names of actions/functions

https://bugzilla.gnome.org/show_bug.cgi?id=793241

debug-viewer: Added filter for threads

https://bugzilla.gnome.org/show_bug.cgi?id=793241

debug-viewer: Added filter for function

https://bugzilla.gnome.org/show_bug.cgi?id=793241

meson: simplify GST_DISABLE_GST_DEBUG check and don't use add_global_*

add_global_arguments() can't be used in subprojects. It's
entirely possible that devtools is a subproject but gstreamer
is picked up from an installed location, so we should
really use add_project_arguments() in both cases.

validate: tools: fix build dependencies for validate-rtsp-server

In file included from ../subprojects/gst-devtools/validate/tools/gst-validate-rtsp-server.c:21:0:
.../gst/gst.h:31:10: fatal error: gst/gstenumtypes.h: No such file or directory

validategtk: Stop using deprecated keymap API

gstvalidategtk.c:184:7: error: ‘gdk_keymap_get_default’ is deprecated: Use 'gdk_keymap_get_for_display' instead [-Werror=deprecated-declarations]
       gdk_keymap_get_entries_for_keyval (gdk_keymap_get_default (),
       ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

debug-viewer: Fixed C++ destructors detection

https://bugzilla.gnome.org/show_bug.cgi?id=793447

Fix versions

Back to development

Release 1.13.1

validate: dist enum types templates

debug-viewer: Fix C++ detection of lambdas as function

https://bugzilla.gnome.org/show_bug.cgi?id=793422

validate-pad-monitor: Use GST_SEQNUM_INVALID

Instead of 0 (which is valid)

debug-viewer; Store thread as long instead of int

On 64-bit platforms, the thread id can be over 2^32 so use a long
to handle it.

tools: gst-validate-images-check: Fix typo

https://bugzilla.gnome.org/show_bug.cgi?id=792035

meson: use -fno-strict-aliasing where supported

https://bugzilla.gnome.org/show_bug.cgi?id=769183

validate/baseclasses: Release un-needed data when test ends

This was keeping around 500-700kB of data for each test, which was
gradually raising memory usage of a full run by 100MB+

The reports are definitely not needed, and we only need to keep
information from the subprocess env variable that we might need
later on for final reporting

validate/baseclasses: Don't leak several hundred MB of XML

The xml-based MediaDescriptor were keeping open the XML file and the
associated ElementTree structures, resulting in memory usage of several
hundred megabytes.

Instead cache the information we need immediately and release the
XML structure

meson: Add missing force_rtsp2 scenario

Without this file, gst-validate installed using meson will fail all
RTSP2 tests

validate: Remove protocol-specific timeouts

Since we now check position/status of pipeline at regular intevals,
we no longer need to impose a different timeout based on the
protocol used.

Avoids having 4min long timeouts for no reason (30s is enough)

validate: Use a single TCPServer for subprocess communication

Instead of creating a separate TCPServer for each test, just create
one which handles all connections in a threaded fashion.

Shaves off ~500ms per test

https://bugzilla.gnome.org/show_bug.cgi?id=791159

validate-launcher: Allow running tests out-of-order

When the --shuffle option is used, the tests will be run out of order.
This optimizes CPU utilization since it allows running synchronized
and unsynchronized tests at the same.

validate: Reduce time waiting for subprocess to stop

stopping the subprocess is done from the main thread, this would
throttle starting/stopping any tests by one second.
Start with 50ms, and gradually increase the wait between iterations

gstvalidate: Lower timeout to check for rtsp-server to be up

Check every 100ms, avoids throttling all rtsp tests by 500ms

validate:launcher: Launch tests in `_TestsLauncher` not in TestsManagaer

So that Test from several TestManager can run in parallel and thus avoid
waiting for tests from one TestManager to run the following one.,

Also by design TestsLauncher should always have been the responsible for
... launching tests.

validate: Don't leak strings

We only use them in the error/debug case anyway

validate-report: Plug leaks

The trace was never freed, nor were the output of g_str_split

validate-scenario: Don't assume element have factories

Some elements might not originate from factories (like custom/internal
elements).

Avoids dereferencing a NULL pointer

validate-scenario: Handle non-relative switch

Make sure we stay within the number of present streams (and avoid
out-of-bound read).

CID #1415470

validate-scenario: Handle switching stream of type not present

Unlikely to happen, but at least don't end up doing unsafe calculation
with n == 0 afterwards

CID #1415453

meson: Always require the latest gst-rtsp-server

In the worst case, when building with gst-uninstalled, we will try to
link against an older gst-rtsp-server provided by the system. Found by
philn.

validate: Call g-ir-scanner with the same toolchain as the rest

validate-analyze: Update for xml format changes

validate: launcher: Run rtsp tests against both V1 and V2

https://bugzilla.gnome.org/show_bug.cgi?id=781446

validate:launcher: Allow disabling using the number of failed tests as exitcode

This is usefull on CI servers where the test results will be inspected
and the status of the build built from it.

validate: launcher: Modify the order of the parser argument

Modify the order of the parser argument before setting dir_group

https://bugzilla.gnome.org/show_bug.cgi?id=786715

launcher: Automatically disable output coloration if not supported

meson: Fix the way we set the testsuite version

validate:launcher: Use the number of failed test as exit code

We used to always return 0, which was not right!

launcher: Avoid exceptions when inspecting renders files

We were a bit to strict on the Exception types which lead to
the launcher failling itself when it shouldn't

meson: hide symbols by default unless explicitly exported

validate: hide some private symbols

validate: Plug a potential leak when retrieving peer pad

validate: Fix going over ghostpads/proxypads

meson: fix a few meson warnings

WARNING: The variable(s) 'DATADIR', 'LIBDIR' in the input file
  'subprojects/gst-devtools/validate/launcher/config.py.in' are not
  present in the given configuration data
WARNING: Passed invalid keyword argument "scanobj_args". This will
  become a hard error in the future.
WARNING: Keyword argument "install" defined multiple times. This
  will be a an error in future Meson releases.

validate:win32: Update .def file.