audioconvert: move audio quantize code to libs

Move the audio quantize code from audioconvert to the audio library.
work on making an audio converter helper function similar to the video
converter.
Fold fastrandom directly into the quantizer, add some ORC code to
optimize this later.

audio-channels: rename get_default_mask

Rename _get_default_mask() to _get_fallback_mask() to make it more
clear that the function only provides a fallback if nothing else can be
done. Also clarify this in the documentation.

API: gst_audio_channel_get_fallback_mask()

volume: Do not try to get binding value array if we are not processing any sample

In some conditions we might process empty buffers, calling
gst_control_binding_get_value_array in that case will lead
to the assertion:

  (lt-ges-launch-1.0:18859): GStreamer-CRITICAL **: gst_control_binding_get_value_array: assertion 'values' failed

audio-channels: make method to get default channel-mask

Add a new method to get the default channel-mask.
Use the new method on audiodecoder and audioconvert.

API: gst_audio_channel_get_default_mask()

tests: Add a test for video blending over transparent frames

And fix the test_overlay_blend test where we blend over a
transparent frame and where expecting wrong results

https://bugzilla.gnome.org/show_bug.cgi?id=681447

video: blend using OVER operation

Also support all premultiplied/non-premultiplied source/destination
configurations

https://bugzilla.gnome.org/show_bug.cgi?id=681447

oggdemux: Create full Opus caps with all fields

https://bugzilla.gnome.org/show_bug.cgi?id=757152

codec-utils: Add utilities for Opus caps and the OpusHead header

https://bugzilla.gnome.org/show_bug.cgi?id=757152

oggmux: Use GstAudioClippingMeta for Opus for accurate end clipping

... instead of relying on the segment. For the clipping at the start we assume
a proper value in the OpusHead, as generated by opusparse or opusenc.

Transmuxing in general is not guaranteed to produce the correct values, or
even have a OpusHead (e.g. when having RTP input).

https://bugzilla.gnome.org/show_bug.cgi?id=757153

oggdemux: Add GstAudioClippingMeta for Opus for accurate start/end clipping

https://bugzilla.gnome.org/show_bug.cgi?id=757153

audio: Add GstAudioClippingMeta for specifying clipping on encoded audio buffers

https://bugzilla.gnome.org/show_bug.cgi?id=757153

oggdemux: Allow start clipping for Opus

The granulepos does not have the pre-skip subtracted while timestamps do,
and the last granulepos will be shorter by the number of samples that should
be dropped because of padding in the end.

As such, extrapolating the granule of the beginning of the first frame will
lead to a negative value, which is not a problem but intentional.

https://bugzilla.gnome.org/show_bug.cgi?id=757153

audio: update disted orc backup files

audioclock: use GST_STIME_FORMAT for GstClockTimeDiff

GST_STIME_FORMAT is more appropriate for GstClockTimeDiff since it can
handle negative values better.

https://bugzilla.gnome.org/show_bug.cgi?id=757480

videodecoder: Print GstClockTimeDiff as a signed integer in debug logs

audio-format: add TRUNCATE_RANGE flag

Add a TRUNCATE_RANGE flag for unpack functions to fill the least
significate bits with 0 (as did the old code). Also add functions
that don't truncate. Use the TRUNC flag in audioconvert for
backwards compatibility for now.

audiopack: improve pack functions

Avoid shifts by using convh functions.

audioconvert: change multiplier for int<->float conversion

Use (1 << 31) as the multiplier for int<->float conversions. This makes
sure that int->float conversions always end up with floats between
[-1.0, 1.0].
For the conversion from float to int, this multiplier will give the complete
int range after we perform clipping.
Change the unit test to take this into consideration.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=755301

audiobasesink: use GST_STIME_ARGS for GstClockTimeDiff

No need to use G_GINT64_FORMAT for potentially negative values of
GstClockTimeDiff. Since 1.6 these can be handled with GST_STIME_ARGS.
Plus it creates more readable values in the logs.

https://bugzilla.gnome.org/show_bug.cgi?id=757480

oggmux: Print GstClockTimeDiff as a signed integer in debug logs

oggdemux: Use GstClockTimeDiff and print signed integer in debug logs

Use GstClockTimeDiff and Clock macros to print signed integer time
differences in the debug logs.

https://bugzilla.gnome.org/show_bug.cgi?id=757480

examples: use GST_STIME_FORMAT for GstClockTimeDiff

GST_STIME_FORMAT is more appropriate for GstClockTimeDiff since it can
handle negative values better.

https://bugzilla.gnome.org/show_bug.cgi?id=757480

audio: Fix parameters to gst_buffer_get_audio_downmix_meta() in macro

audiotestsrc: increase freq limit

Raise the frequency limit and try to negotiate to a samplerate of 4*freq
when larger then the default samplerate.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=754450

audiotestsrc: add support for unlimited number of channels

Raise the channel limit and set the channel-mask for > 2 channels.

audiotestsrc: add support for all formats

Use the pack functions to also support the other audio formats we
have.

videodecoder: subtract time difference with GST_CLOCK_DIFF

To ensure the subtraction of two GstClockTime values (which are guint64)
can be negative. Use GST_CLOCK_DIFF which returns a gint64.

CID 1338049

encoding-profile: Do not force user to provide an encoding profile name

And use the profile called `default` if none provided.

encoding-target: Do not unconditionally break when searching for a target

Otherwise the loop is useless!

Fixes CID 1338051

audioresample: Clip input buffers to the segment before handling them

https://bugzilla.gnome.org/show_bug.cgi?id=757068

audioconvert: Clip input buffers to the segment before handling them

https://bugzilla.gnome.org/show_bug.cgi?id=757068

audiofilter: Clip input buffers to the segment before handling them

https://bugzilla.gnome.org/show_bug.cgi?id=757068

audioconvert: update orc backup code to fix build without orc

multisocketsink: fix "client-removed" signal on 64-bit platforms and with bindings

The client-removed signal used G_INT_TYPE instead of G_SOCKET_TYPE
in its definition leading to problems on platforms where the size
of a pointer is larger than the size of an integer, It would also
not work at all with dynamic language bindings.

https://bugzilla.gnome.org/show_bug.cgi?id=757155

videotestsrc: fix handling of Bayer format 'gbrg'

Due to a typo, videotestsrc did not handle the Bayer
format 'gbrg' properly and reported it as invalid,
causing negotiation errors.

https://bugzilla.gnome.org/show_bug.cgi?id=757264

audioconvert: rework audioconvert

Rewrite audioconvert to try to make it more clear what steps are
executed during conversion.
Add passthrough step that just does a memcpy when possible.
Add ORC optimized dither and quantization functions.
Implement noise-shaping on S32 samples only and allow for arbitrary
noise shaping coefficients if we want this later.

channelmix: fix up API a little

don't use gpointer * for something that should be gpointer.

audioquantize: make helper for add with saturation

videodecoder: Print another time difference as a signed integer instead of a huge unsigned one

videodecoder: Print GstClockTimeDiff as a signed integer in debug logs

tools: gst-device-monitor: fix two memory leaks

The removed GList link needs to be freed too, and
the G_OPTION_REMAINING arguments need to be freed.

encoding-target: Add a GST_ENCODING_TARGET_PATH envvar to find target files

encoding-target: Allow having encoding target without a category set

There was already some code to handle that, but the support was not
complete in those code paths.

encoding-target: Create directory before trying to save encoding targets

encoding-profile: Allow specifying the target category in the serialized encoding target

audioconvert: make the quantizer a reusable object

Turn the quantizer into a reusable object.

audioconvert: make the channel mixer a separate reusable object

A first attempt at making the channel mixer a separate object.

audioquantize: fix 8-pole noise shaping

Fix the 8-pole noise shaping error update. We were mixing errors from
different channels.

decodebin: Send SEEK events directly to adaptive streaming demuxers

This makes sure that they will always get SEEK events, even if we're currently
in the middle of a group switch (i.e. switching to another
representation/bitrate/etc).

https://bugzilla.gnome.org/show_bug.cgi?id=606382

decodebin: fix event leak

As stated in GST_PAD_PROBE_HANDLED's documentation, we are
supposed to unref the event before returning.

Fixes an event leak in the validate.hls.playback.play_15s.hls_bibbop
validate scenario.

https://bugzilla.gnome.org/show_bug.cgi?id=754459

audioconvert: Update disted orc files

audioconvert: use pack/unpack functions

Rework the converter to use the pack/unpack functions
Because the unpack functions can only unpack to 1 format, add a separate
conversion step for doubles when the unpack function produces int.
Do conversion to S32 in the quantize function directly.
Tweak the conversion factor for doing float->int conversion slightly to
get the full range of negative samples, use clamp to make sure we don't
exceed our int range on the positive axis (see also #755301)

playbin: Send upstream events directly to playsink

Send event directly to playsink instead of letting GstBin iterate
over all sink elements. The latter might send the event multiple times
in case the SEEK causes a reconfiguration of the pipeline, as can easily
happen with adaptive streaming demuxers.

What would then happen is that the iterator would be reset, we send the
event again, and on the second time it will fail in the majority of cases
because the pipeline is still being reconfigured

tests: typefindfunctions: fix error leaks

https://bugzilla.gnome.org/show_bug.cgi?id=757008

videotestsrc: Force alpha downstream if foreground color contains alpha

Otherwise the foreground color won't be fully represented in the
outputted frames.

https://bugzilla.gnome.org/show_bug.cgi?id=755482

video: overlay-composition: fix rectangle and composition cast macros

Closing parenthesis was missing in two cases.

https://bugzilla.gnome.org/show_bug.cgi?id=756893

Automatic update of common submodule

From b99800a to b319909

Use new GST_ENABLE_EXTRA_CHECKS #define

https://bugzilla.gnome.org/show_bug.cgi?id=756870

Automatic update of common submodule

From 9aed1d7 to b99800a

rtp: GST_RTP_BUFFER_MAP_FLAG_SKIP_PADDING is Since 1.6.1

decodebin: track the exposable pads through connect_pad

The logic introduced by
[d50b713: decodebin: set the decode pad target before setting elements to PAUSED]
to expose pads would only ever be able to possibly expose one (the last) pad per element.

Make it so that any exposable pads are able to be exposed rather than just the
last pad returned by connect_element.

https://bugzilla.gnome.org/show_bug.cgi?id=742924

decodebin: return the possibly new chain in analyze_new_pad

In the case of analyzing a demuxer chain, analyze_new_pad may create
a new GstDecodeChain.  This was not propagated to the calling function which as
of [d50b713f decodebin: set the decode pad target before setting elements to PAUSED]
is now required to be able to expose the correct pad.

https://bugzilla.gnome.org/show_bug.cgi?id=742924

playsink: relink text_pad in case of reconfiguration

In case of reconfiguration, text_pad should be re-connected with
stream synchronizer sink pad. Otherwise we'll leave an unlinked pad around if
there always was a streamsynchronizer text pad.

https://bugzilla.gnome.org/show_bug.cgi?id=756804

audiobasesink: fix issue about eos handling during flushing

If the flush-start is arrived during _eos_wait() in basesink,
the 'eos' flag is overwritten to TRUE after exiting the _eos_wait().
To resolve the overwritten issue,
the subclass doing the _eos_wait() call should return the right value.
If the eos flag is set to TRUE again, it will cause error(enter the eos flow)
of the following state changing from PAUSED to PLAYING in basesink.

https://bugzilla.gnome.org/show_bug.cgi?id=754980

decodebin/playbin/playsink/subtitleoverlay: Post async-done on state change failures

https://bugzilla.gnome.org/show_bug.cgi?id=756611

playsink: Immediately error out if state change fails

Otherwise we chain up to the parent class' change_state function and might
override the failure with SUCCESS.

https://bugzilla.gnome.org/show_bug.cgi?id=756611

playbin/uridecodebin: Always post async-done immediately if we're a live pipeline

Not only if the base class told us, but also if one of our own elements did.

https://bugzilla.gnome.org/show_bug.cgi?id=756611

decodebin: set the decode pad target before setting elements to PAUSED

Otherwise caps and context queries will disappear into nothing and therefore
fail.  With autoplug-query now actually working, users (such as playbin) can
proxy these queries to the selected video sink and be able to select an
more appropriate configuration.

https://bugzilla.gnome.org/show_bug.cgi?id=731204

video: Add out annotations to the out parameters of gst_video_calculate_display_ratio()

https://bugzilla.gnome.org/show_bug.cgi?id=754567

win32 update exports for new rtp symbols

rtpbuffer: Add map flag to skip padding

Encrypted RTP buffers may contain encrypted padding, hence it's
necessary to have an option to relax the validation in order to
successfully map the buffer.

When the flag GST_RTP_BUFFER_MAP_FLAG_SKIP_PADDING is set
gst_rtp_buffer_map() will map the buffer like if padding is not
present.

https://bugzilla.gnome.org/show_bug.cgi?id=752705

Revert "rtpbuffer: increase logging level when map fails"

This reverts commit e3c8a820176ba39dfae85944fa9c6ae202ec681d.

It causes too much noise in the logs.

rtpbuffer: increase logging level when map fails

https://bugzilla.gnome.org/show_bug.cgi?id=756641

playsink: Fix volume element leak

In case sink implements a streamvolume interface, volume element is being got
from the sink. But this is transfer full. So the memory should be freed before
setting it to NULL. This was resulting in major memory leaks

https://bugzilla.gnome.org/show_bug.cgi?id=755867

alsa: Use 8 bit pointer type for byte-based pointer arithmetic

Usually these loops only run once, so there's no problem here. But sometimes
they run twice, and by adding the number of bytes to a 16 bit pointer type we
would advance twice as much as we should.

Also use snd_pcm_frames_to_bytes() in alsasrc to calculate
the number of bytes to skip, same as we do in alsasink.

Thanks to Lucio A. Hernandez <lucio.a.hernandez@gmail.com> for reporting.

Revert "audioencoder: timestamp headers same as first buffer and use duration 0"

This reverts commit dd4d6d9ed54c2a63a7e45661519d9965417707c5.

It breaks ogg muxing and the vorbisenc unit test.

audioencoder: timestamp headers same as first buffer and use duration 0

https://bugzilla.gnome.org/show_bug.cgi?id=754224

audioencoder-tests: port to use GstHarness

https://bugzilla.gnome.org/show_bug.cgi?id=754223

audiodecoder-test: port to using GstHarness

https://bugzilla.gnome.org/show_bug.cgi?id=754196

xvimagesink: Put error message into debug output instead of just throwing it away

Update GLib dependency to 2.40.0

rtpbasepayload: Implement video SDP attributes

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=726472

gst-play: Removed erroneous comment

The "fall through" comment was wrong. Removed.

https://bugzilla.gnome.org/show_bug.cgi?id=755440

gst-play: Add keyboard shortcut '0' to seek to beginning

https://bugzilla.gnome.org/show_bug.cgi?id=755440

videorate: remove unnecessary break statement

Trivial patch to remove unncessary break statement used after
goto statement.

https://bugzilla.gnome.org/show_bug.cgi?id=754054

gstreamer: base: Fix memory leaks when context parse fails.

When g_option_context_parse fails, context and error variables are not getting free'd
which results in memory leaks. Free'ing the same.

And replacing g_error_free with g_clear_error, which checks if the error being passed
is not NULL and sets the variable to NULL on free'ing.

https://bugzilla.gnome.org/show_bug.cgi?id=753852

encodebin: Fix special case

Allows to run such a command line :

gst-launch-1.0 uridecodebin uri=file:///home/meh/Music/sthg.mp4 ! \
encodebin profile-string="audio/x-wav|1" ! filesink location=sthg.wav

Previously the code failed because wavenc is considered as a muxer.
We still want encodebin to audio/x-wav as an AudioEncodingProfile,
so this simple fix allows that.

Ability to mux raw streams in containers such as matroskamux
is a different issue.

https://bugzilla.gnome.org/show_bug.cgi?id=751470

decodebin: free hidden groups at time of switching groups

hidden groups should be freed at time of switching groups to avoid memory use
from balloning up.

https://bugzilla.gnome.org/show_bug.cgi?id=755770

win32: Update exports for new audiovisualizer symbols

tests: Add baseaudiovisualizer test, moved from -bad

videotestsrc: Don't fixate framerate if downstream didn't provide one

intersection with a downstream that accepts any video/x-raw caps
with no further detail won't create a framerate field. If it's
not in the caps, don't fixate it, just set it to 30/1

docs: add alsamidisrc to docs

midi: add an ALSA MIDI sequencer source

The alsamidisrc element allows to get input event from ALSA MIDI
sequencer devices, and possibly convert them to sound using some
downstream element like fluiddec.

Fixes #738687

visual: make private all variable subclasses don't need

Subclasses don't need access to all variables. Making them private.

https://bugzilla.gnome.org/show_bug.cgi?id=742875

visual: merge audiovisalizer base classes

Move the audiovisualizer base class to pbutils, so it can be used by plugins
from other modules

https://bugzilla.gnome.org/show_bug.cgi?id=742875

typefinding: minor clean-up

Remove unnecessary brackets from IS_MPEGTS_HEADER macro.

typefinding: mpeg-ts detection improvement

Allow AFC to be 0 for null pid packets.

https://bugzilla.gnome.org/show_bug.cgi?id=726117

tests: subparse: add unit test for closing tag detection

</ i> should be handled like </i>

https://bugzilla.gnome.org/show_bug.cgi?id=755875

subparse: detect closing tags even if there's a space after the slash

</ i> should be handled like </i>

https://bugzilla.gnome.org/show_bug.cgi?id=755875

app: pass PKG_CONFIG_PATH for gir files for libgstapp as well

gir include search directories should respect PKG_CONFIG_PATH,
just like we do everywhere else. Makes g-i pick up the right
paths when using ./configure --with-pkg-config-path=

https://bugzilla.gnome.org/show_bug.cgi?id=755494