libgstvideo: add a new API to handle QoS events and dropping logic

https://bugzilla.gnome.org/show_bug.cgi?id=658241

audioencoder: elaborate some documentation

audiodecoder: add some documentation

audiodecoder: really discard NULL decoded frame altogether

... including any timestamp, rather than having that one influence base_ts.

alsasrc: style fix

Use timestamp==0 instead of mixing it with !timestamp style checks.

alsasrc: handle the case where the drivers don't supply timestamps

If highres-timestamp is 0, try lowres and if that fails fallback to system clock
timestamps.

oggmux: set collectpads2 not to wait on sparse streams

https://bugzilla.gnome.org/show_bug.cgi?id=663174

playsinkconvertbin: make identiy silent

audio: remove unstable API guards from the audio decoder and encoder base classes

docs: mention explicitly that playbin2 signals are emitted from a streaming thread

decodebin2: Set the multiqueue limits to the playing limits after overrun too

We don't expect any new pads anymore and prerolling is finished now.

decodebin2: Cache the upstream seekability for demuxer decode chains and use it for the non-preroll multiqueue limits

After preroll the multiqueue limits are still set to the preroll
limits if use-buffering is set to TRUE. In that case we only want
time limits on the multiqueue if upstream is seekable.

decodebin2: fix prerolling for low bitrate streams from hlsdemux

Such streams were detected as seekable, as the query on the typefind
element was testing the m3u8 file listing the actual streams, and
not going through the demuxer(s).

We now check for seekability for each multiqueue following a demuxer,
so the query will flow through the elements which might prevent seeking.

https://bugzilla.gnome.org/show_bug.cgi?id=647769

oggdemux: minor cleanup

libgstriff: add a couple tags that need skipping

Found in a sample in the wild, appears to be ID3 tag.

https://bugzilla.gnome.org/show_bug.cgi?id=660249

videorate: Rename ARG_ enums to PROP_

This is more consistent with other code and these are
properties anyway, not arguments

videorate: Add property to force an output framerate

API: GstVideoRate:force-fps

Changing the framerate during playback is not possible
with a capsfilter downstream if upstream is not using
gst_pad_alloc_buffer(). In that case there's no way in
0.10 to signal to videorate that the preferred framerate
has changed.

This new property will force the output framerate to
a specific value and can be changed during playback.

playsinkconvertbin: Reconfigure if we switch from raw to incompatible raw caps

We might need to add converters and worked in passthrough mode before.

playsinkconvertbin: Override acceptcaps function for the two ghostpads

The ghostpad acceptcaps functions are not valid in this case because
we don't only accept the caps accepted by the target but could also
insert converters. Fixes bug #663892.

playsinkaudioconvert: use-volume and use-converters are no construct-only properties anymore

Fixes bug #663893.

oggdemux: skip the second bisection when possible

If we already saw the keyframes that we need to find,
we do not need to bisect to find them.

This will always be the case for streams with audio only,
where each frame acts as a keyframe, but will occasionally
also happen for streams with video.

https://bugzilla.gnome.org/show_bug.cgi?id=662475

oggdemux: improve push time seeking

Various tweaks to improve convergence, in particular for
the worst case, which is now cut in about half.

https://bugzilla.gnome.org/show_bug.cgi?id=662475

oggdemux: gather some more stats about bisection

https://bugzilla.gnome.org/show_bug.cgi?id=662475

vorbisenc: do not accept 256 channels, 255 is the max vorbis supports

oggstream: extract opus comments if available

oggstream: recognize opus headers from data, not packet count

Opus streams outside of Ogg may not have headers, and oggstream
may be used by oggmux to mux an Opus stream which does not come
from Ogg - thus without headers.
Determining headerness by packet count would strip the first two
packets from such an Opus stream, leading to a very small amount
of audio being clipped at the beginning of the stream.

oggdemux: add some more debug info when determining start time

oggstream: fix opus duration calculation

oggstream: early out on headers when determining packet duration

oggstream: account for opus pre-skip in granpos/time mapping

playsinkconvertbin: avoid removing children from bin twice

GstBin base class removes children in dispose, so we need to do the same.

ogg: add opus support

vorbisenc: reset tag setter interface when appropriate

audioencoder: invalidate format info when setup negotiation failed

... which ensures nothing subsequently tries to slip past _chain
and into a possibly improperly setup subclass.

audiodecoder: accept dropped buffers before we know the format

This allows flacdec to not emit audio for headers, while allowing
the base audio decoder to keep its timestamps in sync.

audio: Remove some unused variables

rtcpbuffer: Add feedback message types from RFC 5104

These are Codec Control messages (CCM)

https://bugzilla.gnome.org/show_bug.cgi?id=658419

audiodecoder: improve reverse playback

... by doing some more (reverse) timestamp interpolating and
refactoring downstream pushing.

Fixes #661983.

audio: add GST_AUDIO_INFO_IS_VALID macro and use in audio decoder base class

API: GST_AUDIO_INFO_IS_VALID

tests: require Gtk+ 3.0 for examples and Gtk-based test apps

The Gtk+ dependency is entirely optional, we're just not
supporting Gtk+ 2.x any longer.

audio: fix order in LIBADD

Local libs must come first.

playsinkconvertbin: fix visualisations again

Make caps writable before merging other caps into them.

baseaudiosink: make unsigned properties unsigned, not signed

configure: suppress warnings about unused variables if debugging system is disabled in core

https://bugzilla.gnome.org/show_bug.cgi?id=662952

textoverlay: continue processing text when silent

This prevents playback wegding when text buffers are
left to pile up.

https://bugzilla.gnome.org/show_bug.cgi?id=662829

win32: update .def file for new audiosink API

API: gst_base_audio_sink_get_alignment_threshold()
API: gst_base_audio_sink_set_alignment_threshold()
API: gst_base_audio_sink_get_discont_wait()
API: gst_base_audio_sink_set_discont_wait()

examples: sprinkle GST_DEBUG_BIN_TO_DOT_FILE_WITH_TS in seek test utility

https://bugzilla.gnome.org/show_bug.cgi?id=630497

docs: fix up some Since: markers

theoraenc: fix speed level failure test

It was testing the opposite of what it thought it was.

https://bugzilla.gnome.org/show_bug.cgi?id=663390

theoraenc: make logically static const data just so

https://bugzilla.gnome.org/show_bug.cgi?id=663391

theoraenc: use th_packet_iskeyframe instead of peeking at bits

https://bugzilla.gnome.org/show_bug.cgi?id=663391

theoraenc: trivial comment typos fixes

https://bugzilla.gnome.org/show_bug.cgi?id=663391

theoraenc: warn when trying to set an ignored obsolete property

https://bugzilla.gnome.org/show_bug.cgi?id=663391

theoraenc: refuse to get to READY if the encoder was disabled

https://bugzilla.gnome.org/show_bug.cgi?id=663391

oggdemux: survive skeleton finding length behind our backs in push mode

In push mode, we determine duration by doing a seek to the end of the
stream. However, a skeleton stream with an index will cause the duration
to be known already, and we end up never setting the push_time_duration
variable which we use to know duration has been determined.

https://bugzilla.gnome.org/show_bug.cgi?id=662049

valgrind: add ALSA leaks fixed by snd_config_update_free_global

If they go when calling snd_config_update_free_global, they're
not really bug leaks, but more like intentional ones we don't
want to get told about.

https://bugzilla.gnome.org/show_bug.cgi?id=615342

baseaudiosink: make discont-wait configurable

Now we can configure how much time to wait before deciding that a
discont has happened.

Also, adds getter and setter to allow derived implementations to set
this value upon construction.

Suggestions and several improvements by Havard Graff.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

baseaudiosink: delay the resyncing of timestamp vs ringbuffertime

A common problem for audio-playback is that the timestamps might not
be completely linear. This is specially common when doing streaming over
a network, where you can have jittery and/or bursty packettransmission,
which again will often be reflected on the buffertimestamps.

Now, the current implementation have a threshold that says how far the
buffertimestamp is allowed o drift from the ideal aligned time in the
ringbuffer. This was an instant reaction, and ment that if one buffer
arrived with a timestamp that would breach the drift-tolerance, a resync
would take place, and the result would be an audible gap for the
listener.

The annoying thing would be that in the case of a "timestamp-outlier",
you would first resync one way, say +100ms, and then, if the next
timestamp was "back on track", you would end up resyncing the other way
(-100ms) So in fact, when you had only one buffer with slightly off
timestamping, you would end up with *two* audible gaps. This is the
problem this patch addresses.

The way to "fix" this problem with the previous implementation, would
have been to increase the "drift-tolerance" to a value that was greater
than the largest timestamp-outlier one would normally expect.  The big
problem with this approach, however, is that it will allow normal
operations with a huge offset timestamp vs running-time, which is
detrimental to lip-sync. If the drift-tolerance is set to 200ms, it
basically means that lip-sync can easily end up being off by that much.

This patch will basically start a timer when the first breach of
drift-tolerance is detected. If any following timestamp for the next n
nanoseconds gets "back on track" within the threshold, it has basically
eliminated the effect of an outlier, and the timer is stopped.  If,
however, all timestamps within this time-limit are breaching the
threshold, we are probably facing a more permanent offset in the
timestamps, and a resync is allowed to happen.

So basically this patch offers something as rare as both higher
accuracy, it terms of allowing smaller drift-tolerances, as well as much
smoother, less glitchy playback!

Commit message and improvments by Havard Graff.

Fixes bug #640859.

baseaudiosink: rename some variables

baseaudiosink: use gst_util_uint64_scale_int when appropriate

It's probably safer this way.

baseaudiosink: split drift-tolerance into alignment-threshold

So that drift-tolerance is used for clock slaving resync, and
alignment-threshold is for timestamp drift.

baseaudiosink: trivial comment fixes

Some found by Havard Graff.

Signed-off-by: Felipe Contreras <felipe.contreras@gmail.com>

subtitleoverlay: Use gst_caps_merge() instead of gst_caps_union()

This keeps the caps order and is more efficient.

playsinkconvertbin: Use gst_caps_merge() instead of gst_caps_union()

This keeps the caps order and is more efficient.

Add missing default include paths to androgenizer call

Fixes building tag/ with Android's NDK

decodebin2: Post all source pads in stream-topology messages as "element-srcpad" values

This allows us to easily get ahold of all pads on a stream-topology message, including
pre-decoder ones, while "pad" only gives us access to the raw pads (as used by discoverer).

decodebin2: Use existing "caps" quark for one of the structure sets

playsinkconvertbin: Don't add identity multiple times

playsink: send flush start/stop event when we switch elements

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: re-add identity where appropriate

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: lock the new {set,get}_property functions

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsinkconvertbin: Be more consistent with ghostpad targets

Set up targets on READY->PAUSED state change to passthrough by
default. This prevents the targets from being unset on the
first run, while the 'raw' variable would mean that some
target is set.

playsinkconvertbin: No need to remove the identity

The identity element should be handled by the GstBin's cleanup,
removing it on the remove_elements function might remove it
too soon, as this function can be called directly from playsink

playsinkconvertbin: Adding some debug messages

Adds a couple debug messages and some g_assert to make debugging
easier

playsink-videoconvert: Fix warning on build

Remove unused variable

playsink: handle after-the-fact changes in converters/volume booleans

The playsink was nastily poking a boolean in the structure.
Make those booleans properties, so we are told when they change,
and rebuild the conversion bin when they do.

Some cleanup to go with it too.

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: handle NULL cached caps in getcaps

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: consider both passthrough and converter caps in getcaps

Since we can switch between both modes.

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: cache inner converter bin caps

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: keep both raw and non raw pipelines at all times

and switch between them as needed.

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: only compare against the media type we expect

ie, audio/x-raw- for audio, video/x-raw- for video.

Add a trailing - to be more specific. I doubt there's anything
like audio/x-rawhide or something, but you never know.

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: refactor the converter bins since they are almost identical

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: fix passthrough mode (hopefully)

The code was doing counterintuitive rewiring of pads when the
bin did not contain any elements. We now add an identity element
in that case, which makes it simpler, and should fix the AC3
passthrough mode when using pulseaudio (but I don't see the bug
here so can't test).

https://bugzilla.gnome.org/show_bug.cgi?id=661262

playsink: handle NULL ghost pad target

For the src pad anyway.

https://bugzilla.gnome.org/show_bug.cgi?id=661262

Revert "playsinkaudioconvert: Fix warning when there is no target pad yet"

This reverts commit f35c51c14915729f0fdf2b348f351ea7e81027cc.

Better patch coming soon.

oggmux: Remove obsolete #include

docs: add draft for subtitle overlays to design docs

Main purpose is to provide a generic way to make subtitles work on
top of non-raw video (vaapi, vdpau, etc.).

configure: Allow setting GLIB_EXTRA_CFLAGS

Similar to gstreamer commit bb2020b1e794210cf7d44c6626122f611016a620

subtitleoverlay: don't use soon-to-be-deprecated gst_filter_run()

audiosink: avoid deadlocking audioringbuffer thread

... when it goes into wait for ringbuffer starting just after such
having been signalled.

Fixes #661738.

typefind: extract SOF marker in jpeg typefinder

The SOF types are defined by http://www.w3.org/Graphics/JPEG/itu-t81.pdf

This is needed to make sure that we plug a jpeg decoder that
can handle the type of JPEG we have (e.g. lossless JPEG)

https://bugzilla.gnome.org/show_bug.cgi?id=556648

oggmux: port to gstcollectpads2

build: Fix build for moved volume subdir

volume: move volume example to audio

audio examples. fix the makefile

volume: make global vars static

audiomix: add a simple audiomix example

playsinkaudioconvert: Fix warning when there is no target pad yet

decodebin2: Link elements before testing if they can reach the READY state

This is made possible by filtering errors. This is required to let
harware accelerated element query the video context. The video context
is used to determine if the HW is capable, and thus if the element is
supported or not.

Fixes bug #662330.

playbasebin: remove avoidable call to gst_object_set_name