audiodecoder: improve reverse playback

... by doing some more (reverse) timestamp interpolating and
refactoring downstream pushing.

Fixes #661983.

audio: add GST_AUDIO_INFO_IS_VALID macro and use in audio decoder base class

API: GST_AUDIO_INFO_IS_VALID

tests: require Gtk+ 3.0 for examples and Gtk-based test apps

The Gtk+ dependency is entirely optional, we're just not
supporting Gtk+ 2.x any longer.

audio: fix order in LIBADD

Local libs must come first.

playsinkconvertbin: fix visualisations again

Make caps writable before merging other caps into them.

baseaudiosink: make unsigned properties unsigned, not signed

configure: suppress warnings about unused variables if debugging system is disabled in core

https://bugzilla.gnome.org/show_bug.cgi?id=662952

textoverlay: continue processing text when silent

This prevents playback wegding when text buffers are
left to pile up.

https://bugzilla.gnome.org/show_bug.cgi?id=662829

win32: update .def file for new audiosink API

API: gst_base_audio_sink_get_alignment_threshold()
API: gst_base_audio_sink_set_alignment_threshold()
API: gst_base_audio_sink_get_discont_wait()
API: gst_base_audio_sink_set_discont_wait()

examples: sprinkle GST_DEBUG_BIN_TO_DOT_FILE_WITH_TS in seek test utility

https://bugzilla.gnome.org/show_bug.cgi?id=630497

docs: fix up some Since: markers

theoraenc: fix speed level failure test

It was testing the opposite of what it thought it was.

https://bugzilla.gnome.org/show_bug.cgi?id=663390

theoraenc: make logically static const data just so

https://bugzilla.gnome.org/show_bug.cgi?id=663391

theoraenc: use th_packet_iskeyframe instead of peeking at bits

https://bugzilla.gnome.org/show_bug.cgi?id=663391

theoraenc: trivial comment typos fixes

https://bugzilla.gnome.org/show_bug.cgi?id=663391

theoraenc: warn when trying to set an ignored obsolete property

https://bugzilla.gnome.org/show_bug.cgi?id=663391

theoraenc: refuse to get to READY if the encoder was disabled

https://bugzilla.gnome.org/show_bug.cgi?id=663391

oggdemux: survive skeleton finding length behind our backs in push mode

In push mode, we determine duration by doing a seek to the end of the
stream. However, a skeleton stream with an index will cause the duration
to be known already, and we end up never setting the push_time_duration
variable which we use to know duration has been determined.

https://bugzilla.gnome.org/show_bug.cgi?id=662049

valgrind: add ALSA leaks fixed by snd_config_update_free_global

If they go when calling snd_config_update_free_global, they're
not really bug leaks, but more like intentional ones we don't
want to get told about.

https://bugzilla.gnome.org/show_bug.cgi?id=615342

baseaudiosink: make discont-wait configurable

Now we can configure how much time to wait before deciding that a
discont has happened.

Also, adds getter and setter to allow derived implementations to set
this value upon construction.

Suggestions and several improvements by Havard Graff.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

baseaudiosink: delay the resyncing of timestamp vs ringbuffertime

A common problem for audio-playback is that the timestamps might not
be completely linear. This is specially common when doing streaming over
a network, where you can have jittery and/or bursty packettransmission,
which again will often be reflected on the buffertimestamps.

Now, the current implementation have a threshold that says how far the
buffertimestamp is allowed o drift from the ideal aligned time in the
ringbuffer. This was an instant reaction, and ment that if one buffer
arrived with a timestamp that would breach the drift-tolerance, a resync
would take place, and the result would be an audible gap for the
listener.

The annoying thing would be that in the case of a "timestamp-outlier",
you would first resync one way, say +100ms, and then, if the next
timestamp was "back on track", you would end up resyncing the other way
(-100ms) So in fact, when you had only one buffer with slightly off
timestamping, you would end up with *two* audible gaps. This is the
problem this patch addresses.

The way to "fix" this problem with the previous implementation, would
have been to increase the "drift-tolerance" to a value that was greater
than the largest timestamp-outlier one would normally expect.  The big
problem with this approach, however, is that it will allow normal
operations with a huge offset timestamp vs running-time, which is
detrimental to lip-sync. If the drift-tolerance is set to 200ms, it
basically means that lip-sync can easily end up being off by that much.

This patch will basically start a timer when the first breach of
drift-tolerance is detected. If any following timestamp for the next n
nanoseconds gets "back on track" within the threshold, it has basically
eliminated the effect of an outlier, and the timer is stopped.  If,
however, all timestamps within this time-limit are breaching the
threshold, we are probably facing a more permanent offset in the
timestamps, and a resync is allowed to happen.

So basically this patch offers something as rare as both higher
accuracy, it terms of allowing smaller drift-tolerances, as well as much
smoother, less glitchy playback!

Commit message and improvments by Havard Graff.

Fixes bug #640859.

baseaudiosink: rename some variables

baseaudiosink: use gst_util_uint64_scale_int when appropriate

It's probably safer this way.

baseaudiosink: split drift-tolerance into alignment-threshold

So that drift-tolerance is used for clock slaving resync, and
alignment-threshold is for timestamp drift.

baseaudiosink: trivial comment fixes

Some found by Havard Graff.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

subtitleoverlay: Use gst_caps_merge() instead of gst_caps_union()

This keeps the caps order and is more efficient.

playsinkconvertbin: Use gst_caps_merge() instead of gst_caps_union()

This keeps the caps order and is more efficient.

Add missing default include paths to androgenizer call

Fixes building tag/ with Android's NDK

decodebin2: Post all source pads in stream-topology messages as "element-srcpad" values

This allows us to easily get ahold of all pads on a stream-topology message, including
pre-decoder ones, while "pad" only gives us access to the raw pads (as used by discoverer).

decodebin2: Use existing "caps" quark for one of the structure sets

playsinkconvertbin: Don't add identity multiple times

playsink: send flush start/stop event when we switch elements

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: re-add identity where appropriate

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: lock the new {set,get}_property functions

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsinkconvertbin: Be more consistent with ghostpad targets

Set up targets on READY->PAUSED state change to passthrough by
default. This prevents the targets from being unset on the
first run, while the 'raw' variable would mean that some
target is set.

playsinkconvertbin: No need to remove the identity

The identity element should be handled by the GstBin's cleanup,
removing it on the remove_elements function might remove it
too soon, as this function can be called directly from playsink

playsinkconvertbin: Adding some debug messages

Adds a couple debug messages and some g_assert to make debugging
easier

playsink-videoconvert: Fix warning on build

Remove unused variable

playsink: handle after-the-fact changes in converters/volume booleans

The playsink was nastily poking a boolean in the structure.
Make those booleans properties, so we are told when they change,
and rebuild the conversion bin when they do.

Some cleanup to go with it too.

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: handle NULL cached caps in getcaps

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: consider both passthrough and converter caps in getcaps

Since we can switch between both modes.

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: cache inner converter bin caps

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: keep both raw and non raw pipelines at all times

and switch between them as needed.

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: only compare against the media type we expect

ie, audio/x-raw- for audio, video/x-raw- for video.

Add a trailing - to be more specific. I doubt there's anything
like audio/x-rawhide or something, but you never know.

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: refactor the converter bins since they are almost identical

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: fix passthrough mode (hopefully)

The code was doing counterintuitive rewiring of pads when the
bin did not contain any elements. We now add an identity element
in that case, which makes it simpler, and should fix the AC3
passthrough mode when using pulseaudio (but I don't see the bug
here so can't test).

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: handle NULL ghost pad target

For the src pad anyway.

https://bugzilla.gnome.org/show_bug.cgi?id=661262

Revert "playsinkaudioconvert: Fix warning when there is no target pad yet"

This reverts commit f35c51c14915729f0fdf2b348f351ea7e81027cc.

Better patch coming soon.

oggmux: Remove obsolete #include

docs: add draft for subtitle overlays to design docs

Main purpose is to provide a generic way to make subtitles work on
top of non-raw video (vaapi, vdpau, etc.).

configure: Allow setting GLIB_EXTRA_CFLAGS

Similar to gstreamer commit bb2020b1e794210cf7d44c6626122f611016a620

subtitleoverlay: don't use soon-to-be-deprecated gst_filter_run()

audiosink: avoid deadlocking audioringbuffer thread

... when it goes into wait for ringbuffer starting just after such
having been signalled.

Fixes #661738.

typefind: extract SOF marker in jpeg typefinder

The SOF types are defined by http://www.w3.org/Graphics/JPEG/itu-t81.pdf

This is needed to make sure that we plug a jpeg decoder that
can handle the type of JPEG we have (e.g. lossless JPEG)

https://bugzilla.gnome.org/show_bug.cgi?id=556648

oggmux: port to gstcollectpads2

build: Fix build for moved volume subdir

volume: move volume example to audio

audio examples. fix the makefile

volume: make global vars static

audiomix: add a simple audiomix example

playsinkaudioconvert: Fix warning when there is no target pad yet

decodebin2: Link elements before testing if they can reach the READY state

This is made possible by filtering errors. This is required to let
harware accelerated element query the video context. The video context
is used to determine if the HW is capable, and thus if the element is
supported or not.

Fixes bug #662330.

playbasebin: remove avoidable call to gst_object_set_name

oggdemux: remove avoidable call to gst_object_set_name

audioconvert: bury dead test program

Disable ext/vorbis for the android ndk build

It currently makes the build fail. Idea is to enable
it back again once its building problems get sorted
out.

subtitleoverlay: fix leaks of pad templates and internal proxy pads

subtitleoverlay: fix leak of element reference through pad block

If the pad block never happens because there is no data flow at all, the
callback is never fired and the reference is never released. This causes a
reference cycle between the pad and element, so valgrind is not very vocal
about it (memory is still reachable).

audiodecoder: having gather queue contents implies some draining is in order

... which ensures e.g. processing and sending last fragment of reverse playback
downstream at EOS.

vorbisdec: do not try to read past the buffer array

https://bugzilla.gnome.org/show_bug.cgi?id=662108

vorbisdec: only finish header packet frame if received in-stream

... rather than scaring audiodecoder with a frame extracted from caps.

Fixes #662108 (partially).

x(v)imagesink: make it more clean that "synchronous" props are not for avsync

baseaudiosink: fix unused variable compiler warning if debugging in core is disabled

https://bugzilla.gnome.org/show_bug.cgi?id=660150

subtitleoverlay: fix event unref in (rare) error case

decodebin2: fire drained signal where appropriate

This will allow playbin2 to send its about-to-finish signal.
Taken out (apparently by mistake) by the EOS rewrite in july.

https://bugzilla.gnome.org/show_bug.cgi?id=661202

oggdemux: do not retry seeking indefinitely

https://bugzilla.gnome.org/show_bug.cgi?id=661897

videotestsrc: fix LDADD missing GST_LIBS

vorbisenc: only push header buffers following initial events

audioencoder: fix compile warning

tests: vorbisenc: adjust discontinuity checking to audioencoder behaviour

... which still detects gaps and marks DISCONT, depending on configuration,
but may come up with somewhat different timestamps when crossing the gap.

tests: vorbisdec: properly configure audiodecoder when requiring perfect ts

tests: vorbisdec: remove empty header buffer check

... as empty buffers are discarded, and header buffers are now
also optionally retrieved from caps anyway.

audioencoder: only resync to upstream upon discont in perfect ts mode

... as documented, where discont is marked here if tolerance has been
exceeded.

audiodecoder: fix timestamp tolerance handling

audiodecoder: handle empty input by discarding

vorbisdec: port to audiodecoder

audioencoder: make upstream queries MT-safe

audiodecoder: make upstream queries and events MT-safe

vorbisenc: port to audioencoder

tests: actually test what we said we would

All tests were testing the default sine wave

https://bugzilla.gnome.org/show_bug.cgi?id=661106

audiotestsrc: add missing break

And make violet noise usable

https://bugzilla.gnome.org/show_bug.cgi?id=661105

playsink: fix caps negotiation through the new convenience bins

The bins' getcaps was bypassing the inner elements, and thus
failing to account for the caps transformations they allow,
which caused YUV video pipelines to fail with ximagesink, which
does not support YUV, even though the convenience bin includes
a colorspace converter for just this purpose.

https://bugzilla.gnome.org/show_bug.cgi?id=660816

playbin2: fix mismatch between video/ and video/x-dvd-subpicture

The new code was checking for a prefix, and would find video/
first. Check in two passes, first checking for a perfect match,
and falling back to a prefix check if nothing was found.

https://bugzilla.gnome.org/show_bug.cgi?id=657261

encodebin: Re-enable parsers

Re-enable parsers in encodebin to allow more passthrough scenarios
to work. Specially the ones that require changing 'stream formats'.
i.e. h264 in mkv to mpegts.

playsink: Add audio- and text-sink props

auditestsrc: indent fix

playsink: Add video-sink property

The video-sink property allows manual specification via g_object_set ()
of the video sink element to be used.

playbin2: Minor cleanup of decoder-sink compatibility checking code

playbin2: Make sure that the decoders we plug are compatible with the fixed sink

The fact that a decoder is not compatible with the fixed sink
is currently happenning in the case where we have hardware accelerated
video decoders on the system (especially vaapi elements that are actually plugged),
and the user is providing a sink that doesn't support the surface.

A simple example that shows how it used to crash on a system where gstreamer-vaapi
is installed:
    gst-launch playbin2 video-sink=xvimagesink uri=/codec/supported/by/vaapi

What we are now doing in this case, is avoid using the accelerated
decoder and plug a "normal" decoder instead (if avalaible).

This commit doesn't handle the case where we have hardware accelerated
demuxing.

encoding-profile: add a function to create a profile from a discoverer info

Only A/V streams are added at the moment, there does not seem to be
a similar way to add other streams (eg, subtitles).

https://bugzilla.gnome.org/show_bug.cgi?id=642878