validate: Only use one debugging category: validate

There's no point in having a different debug category per file, you
can filter it by source filename if you *really* want that.

gst-validate: print issues at the end

And improve documentation about usage

media-check: add results file comparison

Adds a new expected-results argument to receive a file that is used
as a base for comparison with the new results. In case differences are
found, the application will print those issues.

reporter: do not print issues to stdout

media-info: fix playback tests

They weren't waiting for the pipeline to properly change state
before sending seek events, that would cause some events to
return TRUE even if they were not handled

media-check: return nonzero if a test failed

media-info: add playback and reverse-playback tests

The tests are very simple as they only write the first error they
found during playback. If no error is set, an empty string is
printed.

The playback pipeline isn't monitored with validate monitors for now

rename: gst-validate-file-check -> gst-validate-media-check

It not only validates files, takes any URI

media-info: add stream topology parsing

Currently it only saves/loads the main type, but all topology is
already being parsed for future use

media-info: add duration and seekable entries

Add duration entry in ns and seekable as a boolean to a new group
'media-info'

media-info: replacing file-checker with a simpler media-info struct

This struct stores information about a media and tests run on it. It
also has a few helper functions that allows storing the results to a
file and loading it back.

Instead of having the file-checker object that would compare the
extracted values from the file to expected results set to its properties,
the media-info will store the values and it will be possible to compare
old media-info with new media-info from the same file. This allows
tracking improvements and regressions on different gstreamer versions.

Right now, the media-info is very tiny and doesn't store much info, only
the uri and the file size in bytes, but it will receive more additions in
the upcoming commits for storing duration, media topology, seekability and
playback information.

.gitignore: Update for 1.0 and cleanup

all: Enable more C warnings at build time

And fix the issues:
* Proper forward declaration
* static functions marked properly
* absolute includes
* declaration order

reporter: Fix proper debug message output partially

In order for the special gstreamer print argument handler to be used
you can't use g_strdup_printf. You need to pass it the actual va_list.

pad-monitor: Handle case where internal pad iterator is NULL

Can happen with inputselector

pad-monitor: Don't use signal that doesn't exist

Note that we should just ensure we always get the pads from the parent

pad-monitor: Update raw audio caps checks

pad-monitor: Fix locking issues

We were taking locks twice.

Also add debugging info when taking/releasing locks to help further similar issues

file-checker: GstEncodingProfile is a GObject in 1.0

gst-validate: port to 1.0

po: missing po rename

validade: add missing config.h includes

validate: add init function

Adds an init() function that should be called before using the lib.
It takes care of calling all internal initializing functions in
gst-validete

tools: improve documentation

rename gst-qa -> gst-validate

pad-monitor: only do complete caps checks on setcaps

On get caps it is acceptable to have missing fields to simplify caps
negotiation

qa-preload: split to separate lib

It should only be used separately, otherwise it will wrap around any
pipeline from applications linking with gstqa

file-check: add reverse-playback test

Adds a test that checks if reverse playback works without errors

qa-reporter: Make debug message a bit more readable

By surrounding it with double quotes

pad-monitor: 0.10 uses "channel-positions" field in audio caps

And it's an array, not a string

Makefile: Clean up for make distcheck

Directories, headers, files weren't properly disted

Also clean up the various CFLAGS/HEADERS/SOURCES variables and remove
ones that aren't needed.

po: Add missing Makevars file

pad-monitor: use correct variable for segment comparisons

Use the expected versus the received instead of using the received
twice.

reporter: fix printf format type

docs: improve and update docs

qa-scenario: re add scenarios creation to bin-monitor

GstPipelines are monitored by bin monitors. Create scenarios if
requested from the bin monitors and store them there.

qa-monitor: remove reference to the runner

qa-monitor implements qa-reporter, and we already have a runner stored
there.

gitignore: ignore more binaries

qa-file-check: add new binary to run file checks easily

It creates a GstQaFileChecker and runs it on the passed URI with
the tests enabled as arguments

qa-runner: simplify runner to not hold refs to monitor/pipeline

The GstQaRunner is now a simple aggregator of reports that it receives
from monitors and filechecker. This allows it to be used in both
scenarios without  APIs that expect GstElement or Monitors, that are
only used on the pipeline monitoring QA tests.

file-checker: add file playback testing feature

Adds a property that triggers the file playback tests on
GstQaFileCheker. Also enable it in the gst-transcoding post file checks.

The implementation is simple, just create a playbin2 and use fakesinks
as sinks, set it to playing and wait for either EOS or ERROR messages.

qa-reporter: fix typo

file-checker: include restriction caps tests when checking for profiles

Also move the caps check earlier on the path, to error out sooner and
avoid iterating the sub streams without needing

file-checker: replace encoding profile comparison

Use our own custom comparison to allow to add more fine grained error
reporting. Also the encoding profile is_equal function is too strict as
it also compares profiles names, that doesn't matter to us.

This commit implementation is still initial and needs improvements as it
isn't using the restriction caps, which includes information that might not be
on the profile format caps.

qa-reporter: fix crash by avoiding unref an integer

makefile: fix build of gst-qa- tools

file-checker: add error report and new report types

Add a list of new report types and use them in the file-checker.
The errors are mostly related to testing file attributes against
expected values

qa-file-checker: add a file checker object/runner

It is an object that is capable to run a few file checks. The
implemented tests are: file size, duration, if the file is seekable and
comparing the file stream types with a encoding profile

qa-scenario: adding eos scenario action

Allows sending EOS to the pipeline

qa-scenario: add new scenario action - Pause

The pause action instructs the pipeline to go to paused state and then
return to playing. It has the argument 'duration', that indicates the
duration for which the pipeline will remain in paused

qa-scenario: refactor to accomodate more actions

Refactor to be able to reuse to add more actions to scenarios.
Planned are pauses and encoding changes

qa-scenario: avoid assertion on dispose

After an error, the pipeline might still be null, check before unreffing

qa-scenario: fix typo on define variable

qa-report: fix typo on assertion comparison

gst-qa-element-monitor: do not bypass monitor factory

A pad monitor was created directly. Prefer going through the
factory.

gst-qa-reporter: fix use of uninitialized repeat field

gst-qa-reporter: fix report leak when discarding repeated report

gst-qa: fix build in po

Using a lot of grep and some cargo culting.

gst-qa: make tools depend on libraries

This fixes parallel build randomly breaking.

qa-report: expose API for adding custom issues

expose gst_qa_issue_register and gst_qa_issue_new to allow applications
to register their own custom issues.

Issues IDs should use Areas higher than GST_QA_AREA_OTHER for custom
areas. And to add more issues to existing areas, the IDs should be
higher than GST_QA_ISSUE_ID_CUSTOM_FIRST.

Custom issues registering should be done at startup and from the same
thread as there is no locking around the issues hashtable

Fix typos

qa-runner: Remove printing API from qa-runner

Replace it with functions to list the reports

pad-monitor: fix NULL format string

An empty message should be an empty string.

qa-runner: removing _setup call

Do setup on the _new function directly instead of having a separate
call for that

qa-override: add more pad overrides for buffer probe and caps

Add override functions for custom checking of buffer probe and
getcaps/setcaps functions.

pad-monitor: call the event/query/buffer overrides

Use the new event/buffer/query overrides to allow custom checks
on those scenarios

qa-override: add callbacks for query/buffer/event functions

Add callbacks for pad event/buffer/query functions in case the
override wants to do additional checks

gst-qa-override-registry: load overrides dynamically

Shared objects listed in GST_QA_OVERRIDE are loaded on startup,
and the symbol gst_qa_create_overrides is run. It should create
any override needed. While it can do anything it wants, this
is discouraged.

GST_QA_OVERRIDE should be a comma separated list of shared objects,
any relative paths should be from the current working directory
at the time they are loaded (ie, if the process to be traced
changes cwd, use absolute paths).

No attempt whatsoever is made at not running what was not meant.

Includes a sample shared object for illustration purposes.

qa-override-registry: register overrides by gtype and klass

Overrides can now be registerd by gtype, meaning that they will
be attached to monitors that the target is of the requested type.

Also by element klass, that will check that the element has the
selected class in its details

qa-monitor: implement intercept_report

It is used to iterate over overrides and modify the report level if
the overrides wants to do so.

Also adds a new mutex only for the overrides to avoid deadlocks when
reporting if we used the same lock for iterating the overrides

qa-reporter: fix copy n paste left over

qa-reporter: add function for intercepting reports

after report creation, this function is called and implementers can
modify the report to their liking before it is posted to the runner

qa-monitor: chain gst_qa_monitor_finalize to parent's finalize

It was chaining to the parent's dispose.

gst-qa-report: put the correct format to avoid compiler warnings

i18n: copy necessary files in-tree

GstIssueId: make this uintptr_t

As it's used a a placeholder pointer for g_hash_table use,
it needs to be converted back and forth to a pointer.

gst-qa-override-registry: adding the override-registry

This registry should contain the list of GstQaOverride to
be used on the pipelines being monitored

qa-override: adds qa-override that can change the report level of issues

Useful for customizing the level of issues for particular elements/tests
when they are more relevant or have to be disabled

qa-report: splitting a GstQaReport into a GstQaIssue and GstQaReport

Reports now point to Issues, that are uniquely identified and have
translatable descriptions. This way we are going to be able to uniquely
identify the issues and applications can enable/disable checks for
specific elements.

qa: Make it possible to set a scenario from the command line in test apps

qa: Properly set reporter's runner reference

That was never set, but it is needed for the reporter to properly add
reports to the runner.
We still keep a reference on the monitor to make things simpler

reporter: Use Gst debugging log in the _report method directly

Using __VALIST__ was not properly working
+ Add a gstqareporter debug category

scenario: Implement the GstQaReporter interface and make use of it

This way we can report issues from a scenario
Also add a Seek aread to the known areas list

We now need to pass the runner to the scenario instead of the
pipeline as the GstQaReporter interface needs it.

qa: Add a GstQaReporter interface that objects needing reporting can implement

Various type of object should be able to do some reporting, so we have
to make sure all the code to do that is in one place. Creating an interface
makes it simple to share information and it avoid to have a baseclass for
something that is not actually important enough to create a baseclass.

Conflicts:
gst/qa/gst-qa-pad-monitor.c

qa: Add a GstQaScenario class making it possible to execute scenarios

A scenario correspond to a suite of action to execute on a pipeline,
for the time being, we only support seeking the pipeline, but in the
future we can imagine doing some queries, setting pipeline state, etc...

The scenario can be loaded thanks to the GST_QA_SCENARIO environment
variable, making it usable with any existant application, in case, the
application can be used interactively, the user should either, not load
any scenario or let the application run without interacting with it.

pad-monitor: add lots of locking

When handling elements that spawn multiple threads (hardware
enc/decoders), the pad monitor has to protect its variables specially
because some checks involve iterating over internally linked pads to
add/get some data for comparison (expected events, timestamp ranges,
caps).

Aside from locking its own mutex, the pad monitor can also lock the
parent's mutex when it needs to use data from its internally linked
pads. The locking order should always be parent and then individual
pad-monitor mutexes. This should prevent deadlocks when multiple
pad-monitors from the same element start doing checks at the same time
from different threads.

pad-monitor: remove already solved TODOs

pad-monitor: accept unexpected flow return if pad is eos

Track eos event and mark that pad as eos so that checking for the
flow return knows when 'unexpected' is acceptable

pad-monitor: improve caps proxying check on getcaps

Only check if fields are proxied for sink getcaps as it is when
downstream restrictions should be proxied. Also improve the
fields comparison to handle single value x multi value
(list/array/range) contain relations.

pad-monitor: improve type conformance checking for caps

Replace the macro with a more powerful variadic function that can
check for more acceptable types for the same caps.

This removes a few more false positives

pad-monitor: only expect a new segment if pad is running on push mode

For pull mode, it should just provide the buffers, regardless of getting
a new segment or not

gst-qa: show help and exit when no arguments are provided

Instead of attempting to create empty pipelines and weird things
happening :)

pad-monitor: fix flushes checking

flush events shouldn't fail, so we don't need to rollback when it
returns false from downstream (this is common when downstream is still
not-linked) and it would cause gst-qa to spit false positives.

Also refactor the common event handling for both sink and src event
functions into a common place. Currently we handle flushes the same
for both pad's directions

pad-monitor: only merge caps if they exist

Downtream can not be linked, so we shouldn't try to merge
NULL caps

configure: add nano version to enable Werror

pad-monitor: fix expected setcaps fields comparison

Use the correct structure when getting the GValues and print different
messages for missing and different fields on the setcaps caps

pad-monitor: improve timestamp ranges comparison message a little

Show the buffer range that is being compared.

pad-monitor: add check for serialized events order

Store expected serialized events and their 'timestamps' to check if
they are pushed in the same order/time as they were received

pad-monitor: add check for setcaps passing audio/video fields

Checks that the common audio/video fields are correctly passed
downstream after a setcaps

pad-monitor: add check for getcaps proxying audio/video fields

Checks that the common audio/video fields are correctly proxied by
the elements after a getcaps