audio: adapt API for non-interleaved formats

Allow an array of sample blocks to be passed to the channel mix and
quantizer functions to support non-interleaved formats.

audio-converter: improve API for non-interleaved formats

Make it possible to pass an array of sample blocks when dealing with
non-interleaved formats.

riff: add FourCC aliases

Support media using the aliases defined in http://www.fourcc.org/ that are
exact duplicates of already known codes.

riff: use defined FourCC

Make gst_riff_create_video_caps() use the FourCC available in riff-ids.h,
like gst_riff_create_audio_caps() does.

videodecoder: add some debug around pool negotiation

It lets us know easily which pool is activated or
inactivated during the negotiation.

https://bugzilla.gnome.org/show_bug.cgi?id=720597

video/convertframe: Add crop meta support via videocrop

https://bugzilla.gnome.org/show_bug.cgi?id=759329

rtpbasedepay: when setting discont flag make sure rtpbuffer is current

Depayloaders will look at rtpbuffer->buffer for the discont flag.
When we set the discont flag on a buffer in the rtp base depayloader
and we have to make the buffer writable, make sure the rtpbuffer
actually contains the newly-flagged buffer, not the original input
buffer. This was introduced with the addition of the process_rtp_packet
vfunc, but would only trigger if the input buffer wasn't flagged
already and was not writable already.

tests: rtpbasedepayload: add test for seqnum gap discont setting

The problem was triggered only when the input buffers were not
writable, so add extra ref to test this code path.

rtpbasedepay: fix possible refcounting issue when detecting a discont

When we detect a discont and the input buffer isn't already flagged
as discont, handle_buffer() does a gst_buffer_make_writable() on the
input buffer in order to set the flag. This assumed it had ownership
of the input buffer though, which it didn't. This would still work
fine in most scenarios, but could lead to crashes or mini object
unref criticals in some cases when a discont is detected, e.g. when
using pcapparse in front of a depayloader. This problem was
introduced in bc14cdf529e.

multisocketsink: add GstNetworkMessage event

Add a property and logic to send a GstNetworkMessage event containing
the message that was received from a client. This can be used to
implement simply bidirectional communication.

multisocketsink: add dispatched event

Add a property and logic to send a GstNetworkMessageDispatched
event upstream to notify that a buffer has been sent. This can be used
to keep track of what client received what buffers.

socketsrc: handle GstNetworkMessage events

Add a property to handle GstNetworkMessage events. These events contain
a buffer that is sent on the socket to allow for simple bidirectional
communication.

audio-convert: improve converter API

Improve the converter API to allow for an max input and output number of
samples and return the number of consumed/produced samples.

appsrc: duration query support based on the size property

https://bugzilla.gnome.org/show_bug.cgi?id=759126

Automatic update of common submodule

From b319909 to 86e4663

multisocketsink: let downstream know we support metadata

Let downstream know that we support GstNetControlMessage metadata API.

videodecoder: Avoid pushing buffers before segment start

In the case where the stream doesn't have a framerate set and the frames
don't have a duration set, we still want to use the clipping path to
make sure we don't push buffers outside of the segment.

The problem was the previous iteration was setting a duration of 2s, which
meant that any buffer which was less than 2s before the segment start would
end up getting pushed.

Instead, use a saner 40ms (25fps single frame duration) to figure out whether
the frame could be within the segment or not

Drop usage of deprecated g-ir-scanner --strip-prefix flag

decodebin2: fix "Attempt to unlock mutex that was not locked"

Introduced in commit ee44337f, caused the decodebin
test_text_plain_streams unit test to abort.

https://bugzilla.gnome.org/show_bug.cgi?id=752651

playback: Expose XSUB formats by default

This is a workaround, we should remove this once we have a proper
decoder

discoverer: Also consider XSUB as a subtitle format

pbutils: Add description for XSUB subpicture format

riff: 'DXSA' is the same as 'DXSB'

Which is subpicture/x-xsub

streamsynchronizer: Rename GstStream => GstSyncStream

Avoid clashes with future GstStream from core

rtspconnection: Update capitalization of x-sessioncookie

Some servers incorrectly parse header names with strict case-sensitivity.  For
compatibility with these systems change X-Sessioncookie to x-sessioncookie.

https://bugzilla.gnome.org/show_bug.cgi?id=758921

decodebin: Update buffering messages when removing an element that had buffering pending

Otherwise we'll remove that element while keeping its buffering message in our
list, and because of that never ever report buffering 100% as that element
will always be at a lower percentage.

This fixes e.g. seeking over Period boundaries in DASH and various other
issues when buffering happens between group switches.

Also use a new mutex for protecting the buffering messages. The object lock is
already used by gst_object_has_as_ancestor() and we need to use it now for
checking if the buffering message sender has the to-be-removed element as
ancestor.

multisocketsink: keep on reading when we stop sending

When we stop sending because we need more data, still keep a GSource
around to receive data from the clients.
Also handle read and write in the same go.

audiobasesrc: Post latency message on the bus after set_caps()

The latency is only known once the caps are known, and might change
whenever the caps are changing.

https://bugzilla.gnome.org/show_bug.cgi?id=758911

audiobasesink: Post latency message on the bus after set_caps()

Any latency query before this will not get the correct latency so a new
latency query should be triggered once the audio sink know its own latency.

Without this the initial latency query from the pipeline arrives too early
sometimes and the resulting latency is too short.

https://bugzilla.gnome.org/show_bug.cgi?id=758911

[PATCH] Fix a race condition accessing the decode_chain field.

Make sure that any access to the GstDecodeBin's decode_chain
field is protected using the EXPOSE_LOCK.  Also add a simple
reference counter to the GstDecodeChain structure so that when
the type_found signal fires it can hold onto the decode chain
even while the EXPOSE_LOCK is not held.  This should fix a
race condition if the type_found signal fires right in the
middle of a state change that messes with the same decode
chain.

https://bugzilla.gnome.org/show_bug.cgi?id=755260

decodebin: early out on pad-added when the pad is inactive

The pad may be recently deactivated if the element is switched
back down very quickly.

https://bugzilla.gnome.org/show_bug.cgi?id=752651

decodebin: lock the expose lock around decode_chain use

Helps with a crash in decodebin when quickly switching states.

https://bugzilla.gnome.org/show_bug.cgi?id=752651

codec-utils: accept wrong version field in OpusHead header

Some Opus files found on the wild have 0 in the version field of the
OpusHead header, instead of the correct value of 1. The files still
play, don't make this error fatal.

https://bugzilla.gnome.org/show_bug.cgi?id=758754

allocators: add debug category for fd memory and allocator

Debugging can now be viewed by setting GST_DEBUG=fdmemory:9

https://bugzilla.gnome.org/show_bug.cgi?id=758744

tests: tags: add unit test for ID3v2 PRIVATE_DATA tag extraction

https://bugzilla.gnome.org/show_bug.cgi?id=730926

id3v2frames: Handle private frames

Handle PRIV ID3 tag having owner information (string)
and binary data, add to tag messages list.

https://bugzilla.gnome.org/show_bug.cgi?id=730926

tags: id3: make sure to register private-id3v2-frame tag before using it

rtspconnection: Add support for parsing custom headers

https://bugzilla.gnome.org/show_bug.cgi?id=758235

Remove unnecessary NULL checks before g_free()

g_free() is NULL-safe

xvimagesink/ximagesink: Fix structure memory leak

https://bugzilla.gnome.org/show_bug.cgi?id=758204

codec-utils: guint8 can't hold value over 255

channels is a guint8, so the max value is 255 and checking if it value is
> 256 will never be false.

CID 1338687, CID 1338688

audio-converter: remove unneeded check for unsigned < 0

Commit ff6d1a2a25b247688f38e117782a6b43d525706a changed sample's type from
gint to gsize (and renamed it to in_samples). gsize is an unsigned long,
which means it can never be a negative value and the check making sure that
in_samples is >= 0 is never going to be false. Removing it.

CID 1338689

tests:video: Fix overlay rectangle and buffer leak

Created overlay rectangle is not being freed in video tests
pix2 buffer is being created and not freed

https://bugzilla.gnome.org/show_bug.cgi?id=757927

pbutils:encoding-target: Fix string memory leak

https://bugzilla.gnome.org/show_bug.cgi?id=757926

audio-quantize: Fix dither_buffer memory leak

https://bugzilla.gnome.org/show_bug.cgi?id=757928

vorbisdec: Re-init on new caps

If we get new input caps, then reset the decoder
ready for new headers and fresh data. Makes
chained oggs work when reusing the decoder.

videometa: add GstVideoAffineTransformationMeta

Adds a simple 4x4 affine transformations meta for passing arbitrary
transformations on buffers.

Based on patch by Matthieu Bouron

https://bugzilla.gnome.org/show_bug.cgi?id=731791

audio-converter: add output size argument

Make it possible to have a different number of output samples than input
samples when we, for example, want to add resampling later.

discoverer: Check API arguments and assert if needed

decodebin: Properly deactivate ghostpads

Just setting the ghostpad as flushing wasn't enough. It needs to be
consistent on the internal proxypad also, otherwise you end up in
situations where:
* a pending buffer on the target pad triggers the sticky event
  propagation
* the default implementation sees that the proxypad is not flushing,
  so it tries to push it to the other pad (the actual ghostpad)
* the ghostpad is flushing, so returns FALSE
* the push_event function sees that pushing the event failed...
* ... and pending buffer push returns GST_FLOW_ERROR, instead of
  GST_FLOW_FLUSHING

By using gst_pad_set_active(FALSE), we ensure that both the ghostpad
and the proxypad are flushing/deactivated. The situation above will
no longer occur, and a GST_FLOW_FLUSHING will be returned.

audioconvert: fix build

Don't include file that is no longer generated, and remove some
files that are no longer needed because they have moved into the
lib. Fixes distcheck.

audio-converter: require interleaved samples and no resampling

We can't yet do resampling or anything other than interleaved audio.

audio: update ORC dist files

audio-converter: move audio converter to audio libs

Move the audio-converter helper to the audio library.

audio-channel-mix: move channel mixer to audio libs

Move the channel mixer code to the audio library

audio: add debug categories

channelmix: don't limit channelpositions

Don't set a limit on the channel positions, just like the metadata.

channelmix: simplify API a little

Remove the format and layout from the mix_samples function and use the
format when creating the channel mixer object. Also use a flag to handle
the unlikely case of non-interleaved samples like we do elsewhere.

channelmix: GstChannel -> GstAudioChannel

Rename GstChannel to GstAudioChannel

audio-quantize: update docs

Update docs
Add another flag for the quantizer

audioconvert: cleanups and add some docs

Add docs for the internal audioconvert object before moving it to the
audio library.
Remove get_sizes and implement the trivial logic in the element.
Remove some unused orc functions

defs: update defs

audio: update orc files

audioconvert: move audio quantize code to libs

Move the audio quantize code from audioconvert to the audio library.
work on making an audio converter helper function similar to the video
converter.
Fold fastrandom directly into the quantizer, add some ORC code to
optimize this later.

audio-channels: rename get_default_mask

Rename _get_default_mask() to _get_fallback_mask() to make it more
clear that the function only provides a fallback if nothing else can be
done. Also clarify this in the documentation.

API: gst_audio_channel_get_fallback_mask()

volume: Do not try to get binding value array if we are not processing any sample

In some conditions we might process empty buffers, calling
gst_control_binding_get_value_array in that case will lead
to the assertion:

  (lt-ges-launch-1.0:18859): GStreamer-CRITICAL **: gst_control_binding_get_value_array: assertion 'values' failed

audio-channels: make method to get default channel-mask

Add a new method to get the default channel-mask.
Use the new method on audiodecoder and audioconvert.

API: gst_audio_channel_get_default_mask()

tests: Add a test for video blending over transparent frames

And fix the test_overlay_blend test where we blend over a
transparent frame and where expecting wrong results

https://bugzilla.gnome.org/show_bug.cgi?id=681447

video: blend using OVER operation

Also support all premultiplied/non-premultiplied source/destination
configurations

https://bugzilla.gnome.org/show_bug.cgi?id=681447

oggdemux: Create full Opus caps with all fields

https://bugzilla.gnome.org/show_bug.cgi?id=757152

codec-utils: Add utilities for Opus caps and the OpusHead header

https://bugzilla.gnome.org/show_bug.cgi?id=757152

oggmux: Use GstAudioClippingMeta for Opus for accurate end clipping

... instead of relying on the segment. For the clipping at the start we assume
a proper value in the OpusHead, as generated by opusparse or opusenc.

Transmuxing in general is not guaranteed to produce the correct values, or
even have a OpusHead (e.g. when having RTP input).

https://bugzilla.gnome.org/show_bug.cgi?id=757153

oggdemux: Add GstAudioClippingMeta for Opus for accurate start/end clipping

https://bugzilla.gnome.org/show_bug.cgi?id=757153

audio: Add GstAudioClippingMeta for specifying clipping on encoded audio buffers

https://bugzilla.gnome.org/show_bug.cgi?id=757153

oggdemux: Allow start clipping for Opus

The granulepos does not have the pre-skip subtracted while timestamps do,
and the last granulepos will be shorter by the number of samples that should
be dropped because of padding in the end.

As such, extrapolating the granule of the beginning of the first frame will
lead to a negative value, which is not a problem but intentional.

https://bugzilla.gnome.org/show_bug.cgi?id=757153

audio: update disted orc backup files

audioclock: use GST_STIME_FORMAT for GstClockTimeDiff

GST_STIME_FORMAT is more appropriate for GstClockTimeDiff since it can
handle negative values better.

https://bugzilla.gnome.org/show_bug.cgi?id=757480

videodecoder: Print GstClockTimeDiff as a signed integer in debug logs

audio-format: add TRUNCATE_RANGE flag

Add a TRUNCATE_RANGE flag for unpack functions to fill the least
significate bits with 0 (as did the old code). Also add functions
that don't truncate. Use the TRUNC flag in audioconvert for
backwards compatibility for now.

audiopack: improve pack functions

Avoid shifts by using convh functions.

audioconvert: change multiplier for int<->float conversion

Use (1 << 31) as the multiplier for int<->float conversions. This makes
sure that int->float conversions always end up with floats between
[-1.0, 1.0].
For the conversion from float to int, this multiplier will give the complete
int range after we perform clipping.
Change the unit test to take this into consideration.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=755301

audiobasesink: use GST_STIME_ARGS for GstClockTimeDiff

No need to use G_GINT64_FORMAT for potentially negative values of
GstClockTimeDiff. Since 1.6 these can be handled with GST_STIME_ARGS.
Plus it creates more readable values in the logs.

https://bugzilla.gnome.org/show_bug.cgi?id=757480

oggmux: Print GstClockTimeDiff as a signed integer in debug logs

oggdemux: Use GstClockTimeDiff and print signed integer in debug logs

Use GstClockTimeDiff and Clock macros to print signed integer time
differences in the debug logs.

https://bugzilla.gnome.org/show_bug.cgi?id=757480

examples: use GST_STIME_FORMAT for GstClockTimeDiff

GST_STIME_FORMAT is more appropriate for GstClockTimeDiff since it can
handle negative values better.

https://bugzilla.gnome.org/show_bug.cgi?id=757480

audio: Fix parameters to gst_buffer_get_audio_downmix_meta() in macro

audiotestsrc: increase freq limit

Raise the frequency limit and try to negotiate to a samplerate of 4*freq
when larger then the default samplerate.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=754450

audiotestsrc: add support for unlimited number of channels

Raise the channel limit and set the channel-mask for > 2 channels.

audiotestsrc: add support for all formats

Use the pack functions to also support the other audio formats we
have.

videodecoder: subtract time difference with GST_CLOCK_DIFF

To ensure the subtraction of two GstClockTime values (which are guint64)
can be negative. Use GST_CLOCK_DIFF which returns a gint64.

CID 1338049

encoding-profile: Do not force user to provide an encoding profile name

And use the profile called `default` if none provided.

encoding-target: Do not unconditionally break when searching for a target

Otherwise the loop is useless!

Fixes CID 1338051

audioresample: Clip input buffers to the segment before handling them

https://bugzilla.gnome.org/show_bug.cgi?id=757068

audioconvert: Clip input buffers to the segment before handling them

https://bugzilla.gnome.org/show_bug.cgi?id=757068

audiofilter: Clip input buffers to the segment before handling them

https://bugzilla.gnome.org/show_bug.cgi?id=757068

audioconvert: update orc backup code to fix build without orc

multisocketsink: fix "client-removed" signal on 64-bit platforms and with bindings

The client-removed signal used G_INT_TYPE instead of G_SOCKET_TYPE
in its definition leading to problems on platforms where the size
of a pointer is larger than the size of an integer, It would also
not work at all with dynamic language bindings.

https://bugzilla.gnome.org/show_bug.cgi?id=757155

videotestsrc: fix handling of Bayer format 'gbrg'

Due to a typo, videotestsrc did not handle the Bayer
format 'gbrg' properly and reported it as invalid,
causing negotiation errors.

https://bugzilla.gnome.org/show_bug.cgi?id=757264

audioconvert: rework audioconvert

Rewrite audioconvert to try to make it more clear what steps are
executed during conversion.
Add passthrough step that just does a memcpy when possible.
Add ORC optimized dither and quantization functions.
Implement noise-shaping on S32 samples only and allow for arbitrary
noise shaping coefficients if we want this later.

channelmix: fix up API a little

don't use gpointer * for something that should be gpointer.