validate:launcher: Treat min-media-duration as a float

scenarios: Set min-media-duration on switch_audio_track

validate:scenario: Add a way to define a timeout for actions execution

Reviewers: Mathieu_Du

Differential Revision: https://phabricator.freedesktop.org/D271

validatessim: Stop using deprecated gst_segment_to_position()

Back to development

Release 1.6.0

validate: scenarios: set need clock sync for switching subtitle track

As soon as the track is changed, the pipeline state is set to NULL
by execution 'stop' action even if there is a 'playback-time' with 5sec.
If the AV sink is not synchronized,
audio fakesink and video fakesink has different position value.
When the validate request the position information of pipeline
to do 'stop' action, the audio fakesink response of the position query
with the bigger value than 5sec.

https://bugzilla.gnome.org/show_bug.cgi?id=755101

Release 1.5.90

Update common submodule

validate: Put the GstValidate testsuite version in the launcher config

This way testsuite implementation can have the information

validate/transcoding: Don't override the target state of the scenario when receiving BUFFERING=100%

If the scenario handles the states and wants to stay in PAUSED, it's not a
good idea to change the state to PLAYING when receiving BUFFERING=100%. This
caused a race condition in varios seeking tests, most often in the dash scrub
seeking test.

validate: Don't override the target state of the scenario when receiving BUFFERING=100%

If the scenario handles the states and wants to stay in PAUSED, it's not a
good idea to change the state to PLAYING when receiving BUFFERING=100%. This
caused a race condition in varios seeking tests, most often in the dash scrub
seeking test.

validate: Fix typo

validate/launcher: Blacklist some HLS seeking tests again

validate/launcher: Un-blacklist validate.dash.playback.reverse_playback.*

Fixed now

validate/launcher: Un-blacklist validate.hls.playback.reverse_playback.*

It apparently succeeds now.

validate/launcher: De-blacklist some HLS tests

validate/launcher: Blacklist some DASH tests

launcher: Handle override files for media files

And make sure to create a new dict for extra_env_vars when instanciating
GstValidateTest

launcher: Make sure MediaDescriptor is set in the GstValidateTest class itself

It is used there but was set in each and every subclasses

validate/launcher: Treat DASH like HLS in another place

validate: scenario: fix leak during error cases

When message_async is not called during error cases, needs_parsing GList is
not being freed resulting in leak. Hence free'ing the same in finalize.

https://bugzilla.gnome.org/show_bug.cgi?id=753339

validate: descriptor-writer: Handle error when stream info is not available

There is no check to see if stream info is available. This leads to
assertion error. Adding proper error messages for the same and reported
the same as a validate warning message.

https://bugzilla.gnome.org/show_bug.cgi?id=752758

validate: descriptor-writer: Print proper error message when discover fails

When discovering the files, there will be different kind of errors. If we print
the exact message, then it will be more helpful for user. Especially in the case
of missing plugins, displaying which plugin is missing as error message

https://bugzilla.gnome.org/show_bug.cgi?id=752758

validate:override-registry: fix memory leak

mutex is being initialized but not cleared.

https://bugzilla.gnome.org/show_bug.cgi?id=752754

validate: tools: transcoding error due to wrong condition check

when checking the restriction caps, not adding proper check, which
results in assertion error when calling gst_caps_from_string

https://bugzilla.gnome.org/show_bug.cgi?id=752749

validate:launcher: Fix documentation

Fix some trivial spelling mistakes in documentation
and document about --update-media-info.

https://bugzilla.gnome.org/show_bug.cgi?id=752748

validate:launcher: escape the characters to remove bad range in regex

When media file name consists of some special characters of the format
[b-a].mp3, then it fails with 'bad character range' error and exits.
call re.escape to escape the characters before using it in findall

https://bugzilla.gnome.org/show_bug.cgi?id=752650

validate:launcher: improve uri generation for --medias-path

When --medias-paths option is being used, right now we have to
specify the full path, like /home/user/gst/master/media/
But when inside master directory, would like to specify only
media/ and expect it to work. Using os.path.abspath and create uri based on that.
This way we can either just pass media/ or pass the full path as parameters.

https://bugzilla.gnome.org/show_bug.cgi?id=752518

validate:launcher: skip setting up test suite for --medias-paths

in validate.py, some mixer test generators are being added by default.
When passing --media-paths, i would not want to test these.
So instead of setting up the validate test suite, just call tester.register_defaults().

https://bugzilla.gnome.org/show_bug.cgi?id=752518

validate: scenarios: Change start time for reverse playback

Right now reverse playback happens till the beginning of the media file.
But for files which are longer than 150 seconds,
Timeout 'Hard timeout reached: 150 secs' error happens. So we should set the
start time within 150 seconds.

https://bugzilla.gnome.org/show_bug.cgi?id=753216

validate: launcher: Add a --force-sync option

Which should put the testsuite in a clean state (basically using git
reset --hard for git based testsuite for example)

validate: Enable flac reverse playback tests

This is now supported and works as expected.

validate: media-descriptor: Workaround file:// stream-id changing

file:// base stream-id will vary depending on the file path. As we
don't expect everyone to use the same absolute path to place the
validate testsuite, the resulting stream-id changes. Because of that,
we can't match the stream-id in the recorded file, hence cannot do
further check. We work around this by doing what filesink would do,
which is compute a SHA256 of the URI which we can use to first
validate the ID is prefixed like expected, and decide if we should
consider the stream IDs the same or not.

https://bugzilla.gnome.org/show_bug.cgi?id=753079

validate: media-descriptor: Fix reading seekable record

Casting the result of g_strmp0 to boolean won't make gboolean
value 0 or 1. We need proper 0 and 1 so we can use == comparision.

validate: media-descriptor: handle proper return values

while comparing the media descriptor with --expected-results, the return
values are not being handled properly, which results in wrong comparision

https://bugzilla.gnome.org/show_bug.cgi?id=748390

validate: media-descriptor: Add comment before ignored return value

As stated in the bug, this comparison failing is not a critical
error, warning is enough. Add a comment so nobody thinks it's a
coding error.

https://bugzilla.gnome.org/review?bug=748390

validate: media-descriptor: remove duplicate conditions

when comparing tags, two conditions in if an else if are same
the correct way is to first check if both are NULL and return.
changed the condition accordingly.

https://bugzilla.gnome.org/show_bug.cgi?id=748390

validate: media-descriptor: fix trivial spelling mistakes

replace comparse_stream with compare_streams

https://bugzilla.gnome.org/show_bug.cgi?id=748390

validate:tools: set locale to all and change argument to FILENAME

When file name consists of characters from other languages, say korean,
then it throws an error
Error initializing: Invalid byte sequence in conversion input

Hence setting locale to all to fix this.
And changing the media-info argument to type G_OPTION_ARG_FILENAME

https://bugzilla.gnome.org/show_bug.cgi?id=752945

validate: Add a method to get action->scenario in a thread safe way

API:
  gst_validate_action_get_scenario

validate-scenario: Use thread-safe GWeakRef

Since _set_done() is meant to be thread safe,
it can not be used with g_object_add_weak_pointer(),
instead, one must use GWeakRef. But since it is in the API,
document that fact and add a couple assertions to make sure
it doesn't get broken in the future.

validate-scenario: Use GLib functions to make sure GMainContext is used

scenario: Only modify the actions from the main thread

The action's content is not protected by a mutex, so only
modify it from the main thread.

gitignore: Add more generated files

validate-scenario: get duration from media_info if not able to query

In case of files, which don't have duration in header, baseparse
estimates the duration only after 1.5 seconds. But Async_done event
is sent before the duration is estimated, which results in error.
If duration query fails, getting the duration from the media-info being
passed through --set-media-info. If media-info is also not set,
printing an error message and throwing error.

https://bugzilla.gnome.org/show_bug.cgi?id=752521

validate:launcher: add quotes to the file path

When folder name contains space or other special characters,
it fails to recognise the same and error is thrown. Adding the path
inside  to recognise the same

https://bugzilla.gnome.org/show_bug.cgi?id=752611

validate:launcher: unquote the path to remove special characters

When getting path from url using, url2path, it is returning
special characters (%20 for space etc..), instead of returning
plain path. path.unquote replaces the same..

https://bugzilla.gnome.org/show_bug.cgi?id=752611

validate:launcher: return on error cases properly

When folder name contains spaces during --medias-paths, it does not
create the media info, but still it shows as passed.
Returing failed during this case

https://bugzilla.gnome.org/show_bug.cgi?id=752611

validate:launcher: handle file path in --medias-paths

right now --medias-paths accepts only directories. Added support to
accept file path as well.

https://bugzilla.gnome.org/show_bug.cgi?id=752692

validate:launcher: skip default media path for --media-paths option

when --media-paths is specified, then no need to check the default media.
And add Force argument to let testsuite force the inclusion of
default media directory.

https://bugzilla.gnome.org/show_bug.cgi?id=752461

validate:ssim: Fix calls to the converters

We were mixing them

validate:main.py: trivial document fixes

gst-validate-launch is being used instead of gst-validate-launcher
in a couple of places.

https://bugzilla.gnome.org/show_bug.cgi?id=752455

validate:gtk: Handle the case were we are 'pressing' only a modifier

validate: don't store the full description struct

Summary:
When running valgrind we'll have 2 scenarios loaded (the normal one and
"setup_sink_props_max_lateness.scenario"). The loading code shouldn't assume
which one will contain the description it actually care about and so just look
for the fields it actually needs.

Reviewers: thiblahute

Differential Revision: http://phabricator.freedesktop.org/D199

validate:scenario: Report EVENT_SEEK_NOT_HANDLED as reported error on error

validate: Document the GST_VALIDATE_CONFIG environment variable

validate:scenario: Implement a config to set the interval between action calls

Allowing users to decide the time between which the action should be
executed. In some cases executing on idle might lead to action not
being executed fast enough so the user might want to force an interval
in that case.

Back to development

Release 1.5.2

validate:scenario: Reset seeked_in_paused when wrong position detected

+ Lower some debug output to LOG

validate:ssim: Inform about min average and min minimum similarities

validate: spelling fixes

analize != analyze

validate: media-check: add newline to end of print statements

https://bugzilla.gnome.org/show_bug.cgi?id=750089

validate: media-check: fix double unref in error code path

Writer would get unrefed twice when it could not parse the file.

https://bugzilla.gnome.org/show_bug.cgi?id=750606

validate: tools: fix build

/usr/bin/ld: gst-validate-images-check.o: undefined reference to symbol 'gst_init'
/home/tpm/gst/glib-master/gstreamer/gst/.libs/libgstreamer-1.0.so.0: error adding symbols: DSO missing from command line

validate:ssim: Make position reporting parseable by the launcher

validate:ssim: Print better information about execution

validate: print REPORTER->name when passed as source in validate_printf

validate:launcher: Avoid printing twice env variables

When printing test command.

validate:tools: Cleanup Makefile.am

Removing useless CFLAGS and LIBS

validate:media-descriptor-writer: cleanup get tag code

https://bugzilla.gnome.org/show_bug.cgi?id=750609

validate: Do not define GstValidateOverride type twice

validate: Fix make distcheck

validate: Generate documentation for Validate plugins

Summary: Depends on D215

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D216

validate: Add a validate ssim plugin

Summary:
 + Bump gst-video dependency to 1.4 as we need GstVideoConvert

 Depends on D213: validate: Mark gst_validate_report a G_GNUC_PRINTF

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D215

validate: Mark gst_validate_report a G_GNUC_PRINTF

Summary:
And fix the issue it raised

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D213

Depends on D211

validate: Add a gst-validate-images-check tool

Summary:
That is a new tool that uses ssim algorithm to compare images

+ Add a GstValidateVideo internal library adding an helper Gssim class

Depends on D210

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D211

validate:utils: Add a utility to get a GstClockTime from a structure

Summary:
Properly handling the different types that can represent ClockTime

Make use of it in gst_validate_action_get_clocktime

API: gst_validate_utils_get_clocktime

Depends on D209

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D210

validate: Properly clear the overrides registry on deinit

Summary: Depends on D208

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D209

validate: Add a way to check whether Validate is initialized

Summary:
API:

  gst_validate_is_initialized

Depends on D207

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D208

validate:override: Add a vmethod to check whether a monitor can attach it

Summary: Depends on D206

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D207

validate:override-registry: Make use of gst_validate_element_has_klass

Summary:
+ Fix a minor mixup bug between klass_overrides and name_overrides

Depends on D205

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D206

validate:override: Make overrides GObjects

Summary:
This way we can subclass them getting a proper
context in the various override methods.

Depends on D204

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D205

validate:  Move plugins to the toplevel directory

Summary:
Otherwise we end up with circular / complicated dependencies between
Validate, its libraries, and the plugins

Depends on D203

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D204

validate:scenario: Round up computed ClockTime values

Otherwise we end up with rounding error and instead of
seeking to 0.1 we seek to 0.09999999999 for example

Reviewers: Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D203

validate:runner: Add a method to force exiting the runner

This method is similar to runner_printf() but can be used
only once. The user needs to make sure all the pipeline
are in NULL state when this is called.

The method emits a "STOPPING" signal and at that point
overrides or monitors should do extra processing/checks if
needed.

+ Make use of it everywhere where it makes sense.

API:
  gst_validate_runner_exit
  GstValidateRunner::stopping signal

pad-monitor: Check that an ERROR GstMessage has been posted on GST_FLOW_ERROR

Summary:
Before returning GST_FLOW_ERROR, an element must post an ERROR GstMessage,
enforce that.

Reviewers: thiblahute, Mathieu_Du

Differential Revision: http://phabricator.freedesktop.org/D201

validate: remove unused assignment

Reviewers: thiblahute

Differential Revision: http://phabricator.freedesktop.org/D202

Revert "validate-utils: simplify _read_builtin ()"

This breaks the fast_forward scenario parsing.

This reverts commit 0cfff156b1d7013174652cdd25d3ad3f0571813e.

validate-utils: clean error handling in _file_get_lines ()

validate-utils: simplify _read_builtin ()

validate-utils: sqrt(-1.0) leads to undefined result

Using sqrt of -1 is not valid and leads to undefined results.
When comparing the return value of the fucntion in validate-scenario,
it is being checked with ret == -1, so it makes sense to just return -1 in error case.

https://bugzilla.gnome.org/show_bug.cgi?id=748389

validate:scenario: Make sure to actually test position to execute actions

validate: add valgrind ignore supps for theora encoder

Reviewers: thiblahute

Differential Revision: http://phabricator.freedesktop.org/D181

validate: add more H264 valgrind supp rules

Reviewers: thiblahute

Differential Revision: http://phabricator.freedesktop.org/D180

validate:gtk: Use event->type directly

gdk_event_get_event_type was introduced in Gtk 3.10 only

https://bugzilla.gnome.org/show_bug.cgi?id=749421

validate:launcher: extra_env_variables is a dictionnary

validate:launcher: Always set the protocol when creating a GstValidateMediaDescriptor

Summary: Depends on D174

Reviewers: Mathieu_Du, gdesmott

Differential Revision: http://phabricator.freedesktop.org/D175

validate:launcher: Allow passing extra env variables to the tests

Summary: Depends on D173

Reviewers: Mathieu_Du, gdesmott

Differential Revision: http://phabricator.freedesktop.org/D174