audiodecoder: fix invalid timestamps when PLC and delay

Elements inherited from GstAudioDecoder, supporting PLC and introducing
delay produce invalid timestamps. Good example is opusdec with in-band FEC
enabled. After receiving GAP event it delays the audio concealment until
the next buffer arrives. The next buffer will have DISCONT flag set which
will make GstAudioDecoder to reset it's internal state, thus forgetting
the timestamp of GAP event. As a result the concealed audio will have the
timestamp of the next buffer (with DISCONT flag) but not the timestamp
from the event.

exiftag: Increase serialized geo precision

The serialization of double typed geographical
coordinates to DMS system supported by the exif
standards was previously truncated without need.

The previous code truncated the seconds part of
the coordinate to a fraction with denominator
equal to 1 causing a bug on the deserialization
when the test for the coordinate to be serialized
was more precise.

This patch applies a 10E6 multiplier to the numerator
equal to the denominator of the rational number.

Eg. Latitude = 89.5688643 Serialization

DMS Old code = 89/1 deg, 34/1 min, 7/1 sec
DMS New code = 89/1 deg, 34/1 min, 79114800UL/10000000UL

Deserialization

DMS Old code = 89.5686111111
DMS New code = 89.5688643

The new test tries to serialize a higher precision
coordinate.

The types of the coordinates are also guint32 instead
of gint like previously. guint32 is the type of the
fraction components in the exif.

https://bugzilla.gnome.org/show_bug.cgi?id=767537

audiovisualizer: Fix calculations for bytes<->samples conversions

Use bpf instead of channels * sizeof(gint16).

https://bugzilla.gnome.org/show_bug.cgi?id=767505

audiovisualizer: Use GST_BUFFER_PTS() instead of GST_BUFFER_TIMESTAMP()

https://bugzilla.gnome.org/show_bug.cgi?id=767506

audiovisualizer: fix timestamp calculation for audio channels > 1

We have to use bps*channels instead of just bps, which is exactly what bpf is for.

https://bugzilla.gnome.org/show_bug.cgi?id=767507

videodecoder: handle buffer's flags at offset

For reverse playback it is important to handle correctly the frame sync
points, which is set when the input buffer doesn't have the DELTA_UNIT flag.

This is handled correctly when decoder is packetized, but when it is not the
frame's sync point is not copied, and the reverse playback never decodes frame
batches.

The current patch adds the buffer's flags to the Timestamp list, where the
timestamp and duration of the input buffers are hold.

videodecoder: squash two message logs into one

There were two consecutive log messages in gst_video_decoder_decode_frame().
Given the information they provide, it is more efficient to squash them into a
single one.

videodecoder: playback rate is in input_segment

The playback rate is hold in the input_segment member variable, not in the
output_segment, and the parse_gather list was never filled because of that.

This patch changes the comparison with input_segment.

videodecoder: Use input segment rate instead of output segment rate to decide whether the drain on keyframes

The output segment is only set up after data is output, which might be far in
the future for reverse playback. Also we are here interested in the state at
the current *input* frame (which is the keyframe), not any possible output.

videodecoder: Only drain in KEY_UNITS trick mode after a keyframe in forwards playback mode

For reverse playback the same behaviour was already implemented in
flush_parse().

For reverse playback, chain_forward() is only used to gather frames and not
for decoding, and it is actually called by the draining logic, causing an
infinite recursion.

videodecoder: Don't push late frames

While it's a bit tricky to discard frames *before* decoding (because
we might not be sure which data is needed or not by the decoder), we
can discard them after decoding if they are too late anyway.

Any following basetransform based element or similar would drop the frame too.

videodecoder: Avoid recursive drain/flush calls

_chain_forward() can also be called with reverse playback. Blindly
calling drain_out() on DISCONT buffers would end up in a recursive
call.

videodecoder: Drain out keyframes in TRICK_MODE_KEY_UNITS

When asked to just decode keyframe, if we got a keyframe drain out
the decoder straight away.
This avoids having to wait for the next frame and reduces delay even
more.

https://bugzilla.gnome.org/show_bug.cgi?id=767232

videodecoder: Drain decoder on DISCONT buffers

This ensures the decoder is properly drained out when receiving a
DISCONT buffer. The optimal way of doing this would have been to
receive a GAP event before hand but it is not always possible.

Fixes big delays with some decoders (ex gst-libav) that will not
drain out data when only decoding keyframes.

https://bugzilla.gnome.org/show_bug.cgi?id=767232

tagdemux: preserve timestamp when skipping a tag at the beginning of a buffer

gst_buffer_copy_region() does not copy the timestamp if it doesn't start
with the first byte. We just skip the tag here, so the timestamp is still
valid.

https://bugzilla.gnome.org/show_bug.cgi?id=767173

video-color: Fix colorimetry IS_UNKNOWN

Fix issue with colorimetry default indicies not being in sync with the
actual table causing IS_UNKNOWN() to sometimes fail.

https://bugzilla.gnome.org/show_bug.cgi?id=767163

opusenc, subtitleoverlay: use MAY_BE_LEAKED flag

Flag caps that are cached locally and will never be freed.

https://bugzilla.gnome.org/show_bug.cgi?id=767155

decodebin: Create a new decode element with the parser/convert capsfilter if there is a multiqueue after the parser

https://bugzilla.gnome.org/show_bug.cgi?id=767102

videodecoder: Make sure the DISCONT flag is set on the outgoing buffer

The base class was setting the DISCONT flag before checking whether the buffer
would be in segment or not.

Fix issues with DISCONT flags not being properly propagated downstream when
decoders buffers were out of segment.

https://bugzilla.gnome.org/show_bug.cgi?id=766800

docs: design: add IYU2 raw video format description

https://bugzilla.gnome.org/show_bug.cgi?id=763026

textoverlay: enable shaded background drawing for new IYU2 format

video: add IYU2 format

This existed in 0.10 and is needed by dc1394src.

IYU2 format is a YUV fully-sampled packed format similar to v308
but with different component order (U-Y-V instead of Y-U-V).

http://www.fourcc.org/yuv.php#IYU2

https://bugzilla.gnome.org/show_bug.cgi?id=763026#c5

libvisual: Factor out endian-order RGB formats

MSVC seems to ignore preprocessor conditionals inside static
pad templates. Also remove unnecessary quotes inside caps strings.

g-i: pass compiler env to g-ir-scanner

It's what introspection.mak does as well. Should
fix spurious build failures on gnome-continuous.

opus: use default error messages in some more cases

opusdec: use default error message strings in more cases

Details should go into the debug message. We should probably
make up new codes for encoder/decoder lib init failures too.

opus: Post error message on GST_FLOW_ERROR

https://bugzilla.gnome.org/show_bug.cgi?id=766265

opusdec: Use GST_AUDIO_DECODER_ERROR

This way, the first invalid stream won't break all decoding.

https://bugzilla.gnome.org/show_bug.cgi?id=766265

videosink: ensure the debug category is always initialized

gst_video_sink_center_rect() can be called without a GstVideoSink
having been instantiated so we can't relly on the video sink
class_init function to init the category.

Fix a warning when running:
GST_CHECKS=test_video_center_rect GST_DEBUG=6 G_DEBUG=fatal_warnings make libs/video.check-norepeat

https://bugzilla.gnome.org/show_bug.cgi?id=766510

playbin: fix suburidecodebin leak

We take a ref before removing which was never freeded.
The element is still alive anyway because the group has its own ref as
well.

Fix a leak with the 'test_suburi_error_wrongproto' test.

https://bugzilla.gnome.org/show_bug.cgi?id=766515

tests: playbin: add test for new "element-setup" signal

https://bugzilla.gnome.org/show_bug.cgi?id=578933

playbin: add "element-setup" signal

Allows configuration of plugged elements.

https://bugzilla.gnome.org/show_bug.cgi?id=578933

app: remove marshaller files from git

app: use generic marshallers

oggdemux: Reset keyframe_granule when needed

This avoids ending up with bogus values when doing flushing seeks
in push-mode.

https://bugzilla.gnome.org/show_bug.cgi?id=766467

docs: Update for git master

video/affinetransformationmeta: define the coordinate space used

Based on the expected output from the already existing usage by androidmedia
and the opengl plugins.

https://bugzilla.gnome.org/show_bug.cgi?id=764667

pbutils: add description for WebVTT

tests: playsink: add minimal test for playsink element

Attempt to reproduce leak.

https://bugzilla.gnome.org/show_bug.cgi?id=755867

vorbistag: fix buffer leaks in tests

It internally uses gst_check_chain_func() so we
should call gst_check_drop_buffers() when tearing down tests to free
the buffers which have been exchanged through the pipeline.

https://bugzilla.gnome.org/show_bug.cgi?id=766226

appsrc: fix buffer leaks in tests

It internally uses gst_check_chain_func() so we
should call gst_check_drop_buffers() when tearing down tests to free
the buffers which have been exchanged through the pipeline.

https://bugzilla.gnome.org/show_bug.cgi?id=766226

audiorate: fix buffer leaks in tests

It internally uses gst_check_chain_func() so we
should call gst_check_drop_buffers() when tearing down tests to free
the buffers which have been exchanged through the pipeline.

https://bugzilla.gnome.org/show_bug.cgi?id=766226

sdp: parse sdp attributes in case that sdp message doesn't contain mikey message

https://bugzilla.gnome.org/show_bug.cgi?id=766204

appsrc: Add duration property for providing a duration in TIME format

https://bugzilla.gnome.org/show_bug.cgi?id=766229

videodecoder/encoder: Correct GST_IS_*CODER_CLASS macros

They are currently not used, but would result in a compiler error due to wrong
variable name usage.

https://bugzilla.gnome.org/show_bug.cgi?id=766203

multihandlesink: Warn if trying to change the state from the streaming thread

Instead of silently returning GST_STATE_CHANGE_FAILURE.

decodebin: an element can negotiate before we block it

When we initialize an element in decodebin, we 1) set it to PAUSED and
push sticky events on its sinkpad to trigger negotiation 2) block its
src pad(s) to detect CAPS events. We can't block before 1) as that
would lead to a deadlock.

It's possible (and common) tho that an element configures its srcpad
during 1) and before 2). Therefore before this change we would
typically block and expose an element's pad only once the element
output its first buffer, triggering sticky events to be resent. One
consequence of this behaviour is that it sometimes broke
renegotiation.

With this change now we consider a pad ready to be exposed when it's
->blocked or has fixed caps (which were set before we could block it).

https://bugzilla.gnome.org/show_bug.cgi?id=765456

opusdec: intersect with the filter before returning on getcaps

So upstream gets a smaller set to decide upon as it is what it requested
with the filter

https://bugzilla.gnome.org/show_bug.cgi?id=765684

opusdec: improve getcaps to return all possible rates

The library is capable of converting to different rates.

Includes tests.

https://bugzilla.gnome.org/show_bug.cgi?id=765684

opusdec: remove artificial restriction on rate negotiation

Remove restrictions when rate is 48000, the underlying lib supports
converting any of the input to any of the output rates.

https://bugzilla.gnome.org/show_bug.cgi?id=765684

opusdec: refactor getcaps repeated code into a function

Easier to read and maintain

tests: opus: remove apparently useless macro in tests

encoding-profile: Fix caps memory leak

encoding-profile: Recurse into nested container profiles and only add the final audio/video streams

If we e.g. have AVI with DV container with video/audio inside the DV
container, we can't handle this at this point with an encoding profile.
Instead of erroring out, flatten the container hierarchy.

https://bugzilla.gnome.org/show_bug.cgi?id=765708

encoding-profile: Fail to create encoding profile from discoverer info if no streams could be added

https://bugzilla.gnome.org/show_bug.cgi?id=765708

encoding-profile: Move adding of each stream to a helper function

https://bugzilla.gnome.org/show_bug.cgi?id=765708

exiftag: handle GST_TAG_CAPTURING_FOCAL_LENGTH_35_MM tag

This tag match the EXIF_TAG_FOCAL_LENGTH_IN_35_MM_FILM exif tag and is
stored on a short. Hence there is a precision loss compared to the
GstTag which is a double value.

https://bugzilla.gnome.org/show_bug.cgi?id=753930

tag: add GST_TAG_CAPTURING_FOCAL_LENGTH_35_MM tag

It is the 35 mm equivalent focal length of the lens, mainly used in
photography. Tag value is stored in a double value to be consistent with
GST_TAG_CAPTURING_FOCAL_LENGTH.

https://bugzilla.gnome.org/show_bug.cgi?id=753930

opusdec: fix caps leaks

The caps returned by gst_pad_get_allowed_caps() was leaked.

https://bugzilla.gnome.org/show_bug.cgi?id=765706

audio: Add const to segment parameter of gst_audio_buffer_clip()

e.g., allows this to be used with the reference retrieved by
gst_event_parse_segment().

https://bugzilla.gnome.org/show_bug.cgi?id=765663

ximagesink: generate reconfigure on window handle change

When ximagesink is given a new window handle, it should check
its geometry and if the size of the new window differs from
the previous one, create reconfigure event in order to get
a chance to negotiate a more suitable image resolution with
the upstream elements.

We can't rely on receiving Expose or ConfigureNotify from
the X server for the newly assigned window, which would also
generate reconfigure.

https://bugzilla.gnome.org/show_bug.cgi?id=765424

smartencoder: Only accept TIME segments for real

... and don't try to push pending data without ever having received a SEGMENT
event before EOS

https://bugzilla.gnome.org/show_bug.cgi?id=765541

codec-utils: H265 level idc 0 is not valid

Don't put level=0 into the caps, it confuses other elements.

https://bugzilla.gnome.org/show_bug.cgi?id=765538

codec-utils: H264 level idc 0 is not valid

Don't put level=0 into the caps, it confuses other elements.

https://bugzilla.gnome.org/show_bug.cgi?id=765538

encoding-profile: Remove codec_data and streamheader fields from constraint caps

When converting discoverer output to an encoding profile, it makes sense to
omit these. It's very very unlikely that our encoder is going to produce bit
by bit the same codec_data or streamheader.

https://bugzilla.gnome.org/show_bug.cgi?id=765534

encoding-profile: Don't put G_BEGIN_DECLS around #include statements

It should only be around our own declarations.

video-converter: add more fastpaths for I420 -> RGB

Use the I420->BGRA and a new I420->ARGB to speed up any I420 to RGB
operation.

sdp: update since markers to 1.8.1 for some new APIs

As we decided to backport some fixes we update the since markers.

tests: vorbisenc: fix with CK_FORK=no

decodebin: Always add a multiqueue in single-stream use-buffering pipelines

If we are configured to use buffering and there is no demuxer in the chain, we
still want a multiqueue, otherwise we will ignore the use-buffering property.
In that case, we will insert a multiqueue after the parser or decoder - not
elsewhere, otherwise we won't have timestamps.

https://bugzilla.gnome.org/show_bug.cgi?id=764948

gst-play: call gst_deinit()

So we can use gst-play to track memory leaks.

https://bugzilla.gnome.org/show_bug.cgi?id=765216

win32: update .def for new API

Revert "audioringbuffer: start ringbuffer if needed upon commit"

This reverts commit 13ee94ef1091f8a8a90dbd395b39876c26c5188e.

Causes audio glitches at startup by starting to output segments
from the ringbuffer before it has been filled / fully prerolled.

https://bugzilla.gnome.org/show_bug.cgi?id=657076

sdpmessage: new gst_sdp_media_parse_keymgmt/gst_sdp_media_parse_keymgmt

We add a couple of new functions gst_sdp_media_parse_keymgmt and
gst_sdp_media_parse_keymgmt. We also implement
gst_sdp_message_attributes_to_caps and gst_sdp_media_attributes_to_caps
in terms of these new functions and also gst_mikey_message_to_caps.

mikey: add new function gst_mikey_message_to_caps

subparse: fix build with GCC 4.6.3

gstsubparse.c: In function ‘parse_subrip’:
gstsubparse.c:988:7: error: ignoring return value of ‘strtol’, declared with attribute warn_unused_result [-Werror=unused-result]
cc1: all warnings being treated as errors

https://bugzilla.gnome.org/show_bug.cgi?id=765042

.gitignore: add test-resample binary

mikey: allow passing srtp or srtcp to create mikey message

Current implementation requires all srtp and srtcp parameters to be
given in the caps. MIKEY uses only one algorithm for encryption and one
for authentication so we now allow passing srtp or srtcp parameters. If
both are given srtp parametres will be preferred.

https://bugzilla.gnome.org/show_bug.cgi?id=765027

Automatic update of common submodule

From 6f2d209 to ac2f647

videometa: Initialize all fields of all metas with default values

The metas are not allocated with all fields initialized to zeroes.

https://bugzilla.gnome.org/show_bug.cgi?id=764902

videometa: Explicitly initialize GstVideoCropMeta on init

It is not allocated with all fields initialized to 0.

https://bugzilla.gnome.org/show_bug.cgi?id=764902

alsa: properly convert position-less channels from ALSA

The only way for ALSA to expose a position-less multi channels is to
return an array full of SND_CHMAP_MONO. Converting this to a
GST_AUDIO_CHANNEL_POSITION_MONO array would be invalid as
GST_AUDIO_CHANNEL_POSITION_MONO is meant to be used only with one
channel.

Fix this by using GST_AUDIO_CHANNEL_POSITION_NONE which is meant to be
used for position-less channels.

https://bugzilla.gnome.org/show_bug.cgi?id=763799

audioringbuffer: don't attempt to reorder position-less channels

As said in its doc GST_AUDIO_CHANNEL_POSITION_NONE is meant to be used
for "position-less channels, e.g. from a sound card that records 1024
channels; mutually exclusive with any other channel position".

But at the moment using such positions would raise a
'g_return_if_reached' warning as gst_audio_get_channel_reorder_map()
would reject it.

Fix this by preventing any attempt to reorder in such case as that's not
what we want anyway.

https://bugzilla.gnome.org/show_bug.cgi?id=763799

audio: add debug output if channels mapping does not match

https://bugzilla.gnome.org/show_bug.cgi?id=763985

alsa: add some debugging output to alsa_detect_channels_mapping()

https://bugzilla.gnome.org/show_bug.cgi?id=763985

gst-audio: add gst_audio_channel_positions_to_string()

We currently don't log much about channel positions making debugging
harder as it should be. This is the first step in my attempt to improve
this.

https://bugzilla.gnome.org/show_bug.cgi?id=763985

alsa: factor out alsa_detect_channels_mapping()

This code was duplicated in alsasrc and alsasink.

https://bugzilla.gnome.org/show_bug.cgi?id=763985

alsa: coding style fix

Was using tabs instead of spaces.

https://bugzilla.gnome.org/show_bug.cgi?id=763985

fdmemory, rtpbasedepayload: Ran gst-indent

https://bugzilla.gnome.org/show_bug.cgi?id=764948

decodebin: Rename misleading variable is_parser_converter into is_parser

In that place, the variable isn't checking whether the element is a
converter, only if it is a parser.

https://bugzilla.gnome.org/show_bug.cgi?id=764948

audio: Fix a race with the audioringbuffer thread

There is a small window of time where the audio ringbuffer thread
can access the parent thread variable, before it's initialized
by the parent thread. The patch replaces this variable use by
g_thread_self().

https://bugzilla.gnome.org/show_bug.cgi?id=764865

tests: libscpp: test RTP/RTCP buffer init macros with C++ compiler

subtitleoverlay: Don't complain when stream-start is the first event.

When blocking the subtitle pad, it's expected that stream-start
is the first event, and that it can precede caps arriving on the
peer pad - in fact the caps can only have arrived on the peer
pad when it was pre-primed with sticky events previously.

Instead, just pass the stream-start and don't block, because
stream-start is sticky anyway.

subparse: WebVTT Cue identifiers are optional

Don't require a cue identifier preceding the time range line
when parsing WebVTT. We could also store the CueID, but it's
not using anywhere, so just ignore it for now.

win32: Add new libgstaudio symbols

libs: audio: split allocation query caps and pad caps

Since the allocation query caps contains memory size and the pad's caps
contains the display size, an audio encoder or decoder might need to allocate
a different buffer size than the size negotiated in the caps.

This patch splits this logic distinction for audiodecoder and audioencoder.

Thus the user, if needs a different allocation caps, should set it through
gst_audio_{encoder,decoder}_set_allocation_cap() before calling the negotiate()
vmethod. Otherwise the allocation_caps will be the same as the caps in the
src pad.

https://bugzilla.gnome.org/show_bug.cgi?id=764421

libs: video: split allocation query caos and pad caps

Since the allocation query caps contains memory size and the pad's caps
contains the display size, a video encoder or decoder might need to allocate
a different frame size than the size negotiated in the caps.

This patch splits this logic distinction for videodecoder and videoencoder.

The user if needs a different allocation caps, should set the allocation_caps
in the GstVideoCodecState before calling negotiate() vmethod. Otherwise the
allocation_caps will be the same as the caps set in the src pad.

https://bugzilla.gnome.org/show_bug.cgi?id=764421

audioencoder: fix gtk-doc comment format

rtpbasedepayload: look at ssrc before sequence numbers

Doing so prevents us dropping buffers in the rare, but possible, situations,
when the stream changes SSRC and new sequence numbers does not differ
much from the last sequence number from previous SSRC. For example:
ssrc - 0xaaaa 101,102,103,104 ssrc - 0xbbbb 102, 103, 104, 105...
In the scenario above we don't want to drop the first 3 packets of
0xbbbb stream.

https://bugzilla.gnome.org/show_bug.cgi?id=764459

videorate: Don't fill up the segment with duplicate buffers if drop_only==TRUE