decodebin: an element can negotiate before we block it

When we initialize an element in decodebin, we 1) set it to PAUSED and
push sticky events on its sinkpad to trigger negotiation 2) block its
src pad(s) to detect CAPS events. We can't block before 1) as that
would lead to a deadlock.

It's possible (and common) tho that an element configures its srcpad
during 1) and before 2). Therefore before this change we would
typically block and expose an element's pad only once the element
output its first buffer, triggering sticky events to be resent. One
consequence of this behaviour is that it sometimes broke
renegotiation.

With this change now we consider a pad ready to be exposed when it's
->blocked or has fixed caps (which were set before we could block it).

https://bugzilla.gnome.org/show_bug.cgi?id=765456

opusdec: intersect with the filter before returning on getcaps

So upstream gets a smaller set to decide upon as it is what it requested
with the filter

https://bugzilla.gnome.org/show_bug.cgi?id=765684

opusdec: improve getcaps to return all possible rates

The library is capable of converting to different rates.

Includes tests.

https://bugzilla.gnome.org/show_bug.cgi?id=765684

opusdec: remove artificial restriction on rate negotiation

Remove restrictions when rate is 48000, the underlying lib supports
converting any of the input to any of the output rates.

https://bugzilla.gnome.org/show_bug.cgi?id=765684

opusdec: refactor getcaps repeated code into a function

Easier to read and maintain

tests: opus: remove apparently useless macro in tests

encoding-profile: Fix caps memory leak

encoding-profile: Recurse into nested container profiles and only add the final audio/video streams

If we e.g. have AVI with DV container with video/audio inside the DV
container, we can't handle this at this point with an encoding profile.
Instead of erroring out, flatten the container hierarchy.

https://bugzilla.gnome.org/show_bug.cgi?id=765708

encoding-profile: Fail to create encoding profile from discoverer info if no streams could be added

https://bugzilla.gnome.org/show_bug.cgi?id=765708

encoding-profile: Move adding of each stream to a helper function

https://bugzilla.gnome.org/show_bug.cgi?id=765708

exiftag: handle GST_TAG_CAPTURING_FOCAL_LENGTH_35_MM tag

This tag match the EXIF_TAG_FOCAL_LENGTH_IN_35_MM_FILM exif tag and is
stored on a short. Hence there is a precision loss compared to the
GstTag which is a double value.

https://bugzilla.gnome.org/show_bug.cgi?id=753930

tag: add GST_TAG_CAPTURING_FOCAL_LENGTH_35_MM tag

It is the 35 mm equivalent focal length of the lens, mainly used in
photography. Tag value is stored in a double value to be consistent with
GST_TAG_CAPTURING_FOCAL_LENGTH.

https://bugzilla.gnome.org/show_bug.cgi?id=753930

opusdec: fix caps leaks

The caps returned by gst_pad_get_allowed_caps() was leaked.

https://bugzilla.gnome.org/show_bug.cgi?id=765706

audio: Add const to segment parameter of gst_audio_buffer_clip()

e.g., allows this to be used with the reference retrieved by
gst_event_parse_segment().

https://bugzilla.gnome.org/show_bug.cgi?id=765663

ximagesink: generate reconfigure on window handle change

When ximagesink is given a new window handle, it should check
its geometry and if the size of the new window differs from
the previous one, create reconfigure event in order to get
a chance to negotiate a more suitable image resolution with
the upstream elements.

We can't rely on receiving Expose or ConfigureNotify from
the X server for the newly assigned window, which would also
generate reconfigure.

https://bugzilla.gnome.org/show_bug.cgi?id=765424

smartencoder: Only accept TIME segments for real

... and don't try to push pending data without ever having received a SEGMENT
event before EOS

https://bugzilla.gnome.org/show_bug.cgi?id=765541

codec-utils: H265 level idc 0 is not valid

Don't put level=0 into the caps, it confuses other elements.

https://bugzilla.gnome.org/show_bug.cgi?id=765538

codec-utils: H264 level idc 0 is not valid

Don't put level=0 into the caps, it confuses other elements.

https://bugzilla.gnome.org/show_bug.cgi?id=765538

encoding-profile: Remove codec_data and streamheader fields from constraint caps

When converting discoverer output to an encoding profile, it makes sense to
omit these. It's very very unlikely that our encoder is going to produce bit
by bit the same codec_data or streamheader.

https://bugzilla.gnome.org/show_bug.cgi?id=765534

encoding-profile: Don't put G_BEGIN_DECLS around #include statements

It should only be around our own declarations.

video-converter: add more fastpaths for I420 -> RGB

Use the I420->BGRA and a new I420->ARGB to speed up any I420 to RGB
operation.

sdp: update since markers to 1.8.1 for some new APIs

As we decided to backport some fixes we update the since markers.

tests: vorbisenc: fix with CK_FORK=no

decodebin: Always add a multiqueue in single-stream use-buffering pipelines

If we are configured to use buffering and there is no demuxer in the chain, we
still want a multiqueue, otherwise we will ignore the use-buffering property.
In that case, we will insert a multiqueue after the parser or decoder - not
elsewhere, otherwise we won't have timestamps.

https://bugzilla.gnome.org/show_bug.cgi?id=764948

gst-play: call gst_deinit()

So we can use gst-play to track memory leaks.

https://bugzilla.gnome.org/show_bug.cgi?id=765216

win32: update .def for new API

Revert "audioringbuffer: start ringbuffer if needed upon commit"

This reverts commit 13ee94ef1091f8a8a90dbd395b39876c26c5188e.

Causes audio glitches at startup by starting to output segments
from the ringbuffer before it has been filled / fully prerolled.

https://bugzilla.gnome.org/show_bug.cgi?id=657076

sdpmessage: new gst_sdp_media_parse_keymgmt/gst_sdp_media_parse_keymgmt

We add a couple of new functions gst_sdp_media_parse_keymgmt and
gst_sdp_media_parse_keymgmt. We also implement
gst_sdp_message_attributes_to_caps and gst_sdp_media_attributes_to_caps
in terms of these new functions and also gst_mikey_message_to_caps.

mikey: add new function gst_mikey_message_to_caps

subparse: fix build with GCC 4.6.3

gstsubparse.c: In function ‘parse_subrip’:
gstsubparse.c:988:7: error: ignoring return value of ‘strtol’, declared with attribute warn_unused_result [-Werror=unused-result]
cc1: all warnings being treated as errors

https://bugzilla.gnome.org/show_bug.cgi?id=765042

.gitignore: add test-resample binary

mikey: allow passing srtp or srtcp to create mikey message

Current implementation requires all srtp and srtcp parameters to be
given in the caps. MIKEY uses only one algorithm for encryption and one
for authentication so we now allow passing srtp or srtcp parameters. If
both are given srtp parametres will be preferred.

https://bugzilla.gnome.org/show_bug.cgi?id=765027

Automatic update of common submodule

From 6f2d209 to ac2f647

videometa: Initialize all fields of all metas with default values

The metas are not allocated with all fields initialized to zeroes.

https://bugzilla.gnome.org/show_bug.cgi?id=764902

videometa: Explicitly initialize GstVideoCropMeta on init

It is not allocated with all fields initialized to 0.

https://bugzilla.gnome.org/show_bug.cgi?id=764902

alsa: properly convert position-less channels from ALSA

The only way for ALSA to expose a position-less multi channels is to
return an array full of SND_CHMAP_MONO. Converting this to a
GST_AUDIO_CHANNEL_POSITION_MONO array would be invalid as
GST_AUDIO_CHANNEL_POSITION_MONO is meant to be used only with one
channel.

Fix this by using GST_AUDIO_CHANNEL_POSITION_NONE which is meant to be
used for position-less channels.

https://bugzilla.gnome.org/show_bug.cgi?id=763799

audioringbuffer: don't attempt to reorder position-less channels

As said in its doc GST_AUDIO_CHANNEL_POSITION_NONE is meant to be used
for "position-less channels, e.g. from a sound card that records 1024
channels; mutually exclusive with any other channel position".

But at the moment using such positions would raise a
'g_return_if_reached' warning as gst_audio_get_channel_reorder_map()
would reject it.

Fix this by preventing any attempt to reorder in such case as that's not
what we want anyway.

https://bugzilla.gnome.org/show_bug.cgi?id=763799

audio: add debug output if channels mapping does not match

https://bugzilla.gnome.org/show_bug.cgi?id=763985

alsa: add some debugging output to alsa_detect_channels_mapping()

https://bugzilla.gnome.org/show_bug.cgi?id=763985

gst-audio: add gst_audio_channel_positions_to_string()

We currently don't log much about channel positions making debugging
harder as it should be. This is the first step in my attempt to improve
this.

https://bugzilla.gnome.org/show_bug.cgi?id=763985

alsa: factor out alsa_detect_channels_mapping()

This code was duplicated in alsasrc and alsasink.

https://bugzilla.gnome.org/show_bug.cgi?id=763985

alsa: coding style fix

Was using tabs instead of spaces.

https://bugzilla.gnome.org/show_bug.cgi?id=763985

fdmemory, rtpbasedepayload: Ran gst-indent

https://bugzilla.gnome.org/show_bug.cgi?id=764948

decodebin: Rename misleading variable is_parser_converter into is_parser

In that place, the variable isn't checking whether the element is a
converter, only if it is a parser.

https://bugzilla.gnome.org/show_bug.cgi?id=764948

audio: Fix a race with the audioringbuffer thread

There is a small window of time where the audio ringbuffer thread
can access the parent thread variable, before it's initialized
by the parent thread. The patch replaces this variable use by
g_thread_self().

https://bugzilla.gnome.org/show_bug.cgi?id=764865

tests: libscpp: test RTP/RTCP buffer init macros with C++ compiler

subtitleoverlay: Don't complain when stream-start is the first event.

When blocking the subtitle pad, it's expected that stream-start
is the first event, and that it can precede caps arriving on the
peer pad - in fact the caps can only have arrived on the peer
pad when it was pre-primed with sticky events previously.

Instead, just pass the stream-start and don't block, because
stream-start is sticky anyway.

subparse: WebVTT Cue identifiers are optional

Don't require a cue identifier preceding the time range line
when parsing WebVTT. We could also store the CueID, but it's
not using anywhere, so just ignore it for now.

win32: Add new libgstaudio symbols

libs: audio: split allocation query caps and pad caps

Since the allocation query caps contains memory size and the pad's caps
contains the display size, an audio encoder or decoder might need to allocate
a different buffer size than the size negotiated in the caps.

This patch splits this logic distinction for audiodecoder and audioencoder.

Thus the user, if needs a different allocation caps, should set it through
gst_audio_{encoder,decoder}_set_allocation_cap() before calling the negotiate()
vmethod. Otherwise the allocation_caps will be the same as the caps in the
src pad.

https://bugzilla.gnome.org/show_bug.cgi?id=764421

libs: video: split allocation query caos and pad caps

Since the allocation query caps contains memory size and the pad's caps
contains the display size, a video encoder or decoder might need to allocate
a different frame size than the size negotiated in the caps.

This patch splits this logic distinction for videodecoder and videoencoder.

The user if needs a different allocation caps, should set the allocation_caps
in the GstVideoCodecState before calling negotiate() vmethod. Otherwise the
allocation_caps will be the same as the caps set in the src pad.

https://bugzilla.gnome.org/show_bug.cgi?id=764421

audioencoder: fix gtk-doc comment format

rtpbasedepayload: look at ssrc before sequence numbers

Doing so prevents us dropping buffers in the rare, but possible, situations,
when the stream changes SSRC and new sequence numbers does not differ
much from the last sequence number from previous SSRC. For example:
ssrc - 0xaaaa 101,102,103,104 ssrc - 0xbbbb 102, 103, 104, 105...
In the scenario above we don't want to drop the first 3 packets of
0xbbbb stream.

https://bugzilla.gnome.org/show_bug.cgi?id=764459

videorate: Don't fill up the segment with duplicate buffers if drop_only==TRUE

videorate: Remove dead code

We never get into this code path at all if drop_only==TRUE.

videorate: avoid useless buffer copy in drop-only mode

Make writable the buffer before pushing it lead to a buffer copy. It's
because a reference is keep for the previous buffer.
The previous buffer reference is only need to duplicate the buffer. In
drop-only mode, the previous buffer is release just after pushing the
buffer so a copy is done but it's useless.

https://bugzilla.gnome.org/show_bug.cgi?id=764319

video: fix example code in gst_video_frame_map() docs

GST_VIDEO_FRAME_PLANE_PSTRIDE() does not exist.

https://bugzilla.gnome.org/show_bug.cgi?id=764414

discoverer: copy over result and seekable fields when copying a discoverer info

The function gst_discoverer_info_copy doesn't copy the data members seekable
and result of the source GstDiscovererInfo.

In the case of copying a GstDiscovererInfo for later use, the seekbale will be
undefined, which in practice usually will be false, even though the seekable of
the original GstDiscovererInfo is true.

https://bugzilla.gnome.org/show_bug.cgi?id=762710

video-format: Fix macro documentation

The parameter type was wrongly documenting that a GstVideoInfo structure
pointer was needed, while it needs a GstVideoFormatInfo structure
pointer.

https://bugzilla.gnome.org/show_bug.cgi?id=764414

test: fix indentation

rtp: rtcpbuffer: fix indentation

https://bugzilla.gnome.org/show_bug.cgi?id=761944

rtp: rtpcbuffer: fix Since markers

https://bugzilla.gnome.org/show_bug.cgi?id=761944

audio-resampler: disable neon on arm64

Fix the build on arm64 by using HAVE_ARM_NEON instead of __ARM_NEON__.

subparse: Add more parsing guards

Insert extra checks for the validity of the incoming
data when parsing subrip/webvtt content and debug log
output for invalid content.

Should fix Coverity warnings.

subparse: add missing break between formats

A break is missing at the end of case GST_SUB_PARSE_FORMAT_LRC or it will
fallthrough to WebVTT. This fixes commit fd2a14144a7a.

audio-resampler: Use _mm_set_epi64x(0, x) instead of _mm_cvtsi64_si128(x) in more places

win32: Update exports for new video formats

Update win32 exports for P010_10BE and P010_10LE
video formats.

video: add P010 format support

P010 is a YUV420 format with an interleaved U-V plane and 2-bytes per
component with the the color value stored in the 10 most significant
bits.

https://bugzilla.gnome.org/show_bug.cgi?id=761607
---
Changes since v2:
- Set bits=16 in DPTH10_10_10_HI
Changes since v1:
- Fixed x-offset calculation in uv.
- Added 6-bit shifts to FormatInfo.

resampler: Use _mm_set_epi64x(0, x) instead of _mm_cvtsi64_si128(x)

The latter is only available on x86-64 for some reason.

audio: Fix distcheck

Don't forget to dist the needed files (which don't need to be installed)

audio-resampler: estimate memory usage in auto mode

Estimate the memory usage and use this to decide between full or
interpolated filter.

audioresample: remove last ORC remains

audio-resampler: small optimizations

audio-resampler: improve non-interleaved flags

Make it possible to have different interleaving on input and output
because we can quite trivially do that.

audio-resampler: unroll some more loops

Unroll some loops.

audio-resampler: keep precision

Transpose and add before applying the cubic interpolation to avoid
overflows when using full precision.

audio-resampler: small cleanups

audio-resampler: optimize no resampling

Switch to the faster nearest resample method when are doing no rate
conversion.

audio-resampler: add VARIABLE_RATE flag

Add a VARIABLE rate flag that selects an interpolating filter.
Move some function setup code in the _new function.

audio-resampler: more neon optimizations

audio-resampler: avoid overflow in cubic interpolation

Shift out an extra bit to have some more headroom when doing cubic
interpolation.

audio-resampler: overread only 8 taps

We only need 8 taps of zeroes as headroom for the SIMD optimized
functions.

audio-converter: use helper to check intermediate format

audio-resampler: fix phase

audio-resampler: fix neon assembler

audio-resampler: avoid some format conversion

Store the filter in the desired sample format so that we can simply do a
linear or cubic interpolation to get the new filter instead of having to
go through gdouble and then convert.

audio-resampler: fix neon linear float interpolation

audio-resampler: reorder filter coefficients for more speed

Reorder the filter coefficients to make it easier to use SIMD for
interpolation.
Fix orc flags a little.
Add specialized nearest resampling function.

audio-resampler: remove stereo optimizations

The stereo optimizations don't give enough benefit.
Rename none to full to make it clear that we use a full filter instead
of an interpolated one

audio-resample: remove neon double stubs

NEON does not have double types.

audio-resampler: add more neon optimizations

audio-resampler: add more neon optimizations

audio-resampler: add neon optimizations

Unroll some more loops in the fallback code that seems to work fine
for ARM.
Add some simple ARM optimizations taken from speex.

audio-resampler: give better hints about the precision

Give better hints to the compiler about the precision we expect from
the multiplications.

audio-resample: small optimizations

Remove some inline functions that are called in the slow path.
Unroll C fallback functions a little.

audio-resampler: Use n_phases when calculating taps offset

Tweak linear interpolation oversampling.
Clear filter cache on rate changes when using a full filter.

audio-resampler: improve filter construction

Remove some unused variables from the inner product functions.
Make filter coefficients by interpolating if required.
Rename some fields.
Try hard to not recalculate filters when just chaging the rate.
Add more proprties to audioresample.

audio-resampler: avoid overflow in fraction calculation

audio-resampler: increase precision

audio-resampler: add more optimizations