videoencoder/decoder: Move conversion utility functions to a common header and use consistently in encoder/decoder

appsrc: If do-timestamp=TRUE, capture the time when the buffer was pushed to the source

... instead of the time when it was pushed further downstream.

https://bugzilla.gnome.org/show_bug.cgi?id=763630

basertpdepayload: create valid segment when given non-time segment

This will become an error in 1.10.

https://bugzilla.gnome.org/show_bug.cgi?id=765796

tagdemux: fix handling of very short files in push mode

By default we'll wait for a certain amount of data before
attempting typefinding. However, if the stream is fairly
short, we might get EOS before we ever attempted any
typefinding, so at this point we should force typefinding
and output any pending data if we manage to detect the
type.

https://bugzilla.gnome.org//show_bug.cgi?id=768178

tagdemux: fix erroring out if we reach EOS without detecting type

In 0.10 the source pad was a dynamic pad that was only added once
the type had been detected, but in 1.x it's an always source pad,
so checking whether it's still NULL won't work to detect if the
type has been detected.

Makes tagdemux error out when we get EOS but haven't managed to
identify the format of the data after the tag.

https://bugzilla.gnome.org//show_bug.cgi?id=768178

parsebin: Fix authors and description

playback: Remove uridecodebin3

This was committed by mistake. The solution forward is to use the
appropriate combination of urisourcebin and decodebin3

playback: New elements

With contributions from Jan Schmidt <jan@centricular.com>

* decodebin3 and playbin3 have the same purpose as the decodebin and
playbin elements, except make usage of more 1.x features and the new
GstStream API. This allows them to be more memory/cpu efficient.

* parsebin is a new element that demuxers/depayloads/parses an incoming
stream and exposes elementary streams. It is used by decodebin3.
It also automatically creates GstStream and GstStreamCollection for
elements that don't natively create them and sends the corresponding
events and messages

* Any application using playbin can use playbin3 by setting the env
variable USE_PLAYBIN3=1 without reconfiguration/recompilation.

audioconvert: Handle fallback channel mask for mono correctly

It's 0 and no mask should be set for mono at all.

https://bugzilla.gnome.org/show_bug.cgi?id=757472

playsink: Don't send another step event to the audio-sink if we got step-done from there

Otherwise we would end up with a deadlock as the audio-sink emits step-done
from its streaming thread.

playsink: Force STEP events on the video-sink for GST_FORMAT_BUFFERS

It does not make much sense for audio sinks.

configure: Need to add -DGST_STATIC_COMPILATION when building only statically

https://bugzilla.gnome.org/show_bug.cgi?id=767463

oggdemux: demote an expected error to debug

Dropping a buffer because we have a seek pending is normal,
and will now happen when we trigger a seek while going through
the packets in a page. So this should not be an error.

video-converter: fix interlaced scaling some more

Fix problem with the line cache where it would forget the first line in
the cache in some cases.
Keep as much backlog as we have taps. This generally works better and we
could do even better by calculating the overlap in all taps.
Allocated enough lines for the line cache.
Use only half the number of taps for the interlaced lines because we
only have half the number of lines.
The pixel shift should be relative to the new output pixel size so scale
it.
Fixes: https://bugzilla.gnome.org/show_bug.cgi?id=767921

plugin-doc: Minor re-order

Automatic update of plugins doc files

tests: discoverer: handle missing ogg/codec plugins gracefully

https://bugzilla.gnome.org/show_bug.cgi?id=767859

Automatic update of common submodule

From ac2f647 to f363b32

opusdec: handle missing buffers with no duration

If buffer duration is missing, it is parsed from the packet data.
This is not foolproof, since Opus can change durations on the
fly.

https://bugzilla.gnome.org/show_bug.cgi?id=767826

tagdemux: preserve duration when skipping a tag at the beginning of a buffer

gst_buffer_copy_region() does not copy the duration if it doesn't start
with the first byte. We just skip the tag here, so the duration is still
valid.

https://bugzilla.gnome.org/show_bug.cgi?id=767791

discoverer: Only allow serializing OK discoverer infos to GVariants

They will be incomplete otherwise and we can't generate the full serialized
information, and instead will crash somewhere on the way.

https://bugzilla.gnome.org/show_bug.cgi?id=767859

oggdemux: fix audio glitches with low bitrate vorbis

A low bitrate stream which can pack more than 2 seconds of audio
in a page would cause the stream's position to be updated not
often enough, and would trigger a spurious "jump" via a GAP
event. Instead, we update the stream position after calculating
the new overall segment position.

https://bugzilla.gnome.org/show_bug.cgi?id=764966

opusdec: test for PLC timestamp when FEC is enabled.

audiodecoder: fix invalid timestamps when PLC and delay

Elements inherited from GstAudioDecoder, supporting PLC and introducing
delay produce invalid timestamps. Good example is opusdec with in-band FEC
enabled. After receiving GAP event it delays the audio concealment until
the next buffer arrives. The next buffer will have DISCONT flag set which
will make GstAudioDecoder to reset it's internal state, thus forgetting
the timestamp of GAP event. As a result the concealed audio will have the
timestamp of the next buffer (with DISCONT flag) but not the timestamp
from the event.

exiftag: Increase serialized geo precision

The serialization of double typed geographical
coordinates to DMS system supported by the exif
standards was previously truncated without need.

The previous code truncated the seconds part of
the coordinate to a fraction with denominator
equal to 1 causing a bug on the deserialization
when the test for the coordinate to be serialized
was more precise.

This patch applies a 10E6 multiplier to the numerator
equal to the denominator of the rational number.

Eg. Latitude = 89.5688643 Serialization

DMS Old code = 89/1 deg, 34/1 min, 7/1 sec
DMS New code = 89/1 deg, 34/1 min, 79114800UL/10000000UL

Deserialization

DMS Old code = 89.5686111111
DMS New code = 89.5688643

The new test tries to serialize a higher precision
coordinate.

The types of the coordinates are also guint32 instead
of gint like previously. guint32 is the type of the
fraction components in the exif.

https://bugzilla.gnome.org/show_bug.cgi?id=767537

audiovisualizer: Fix calculations for bytes<->samples conversions

Use bpf instead of channels * sizeof(gint16).

https://bugzilla.gnome.org/show_bug.cgi?id=767505

audiovisualizer: Use GST_BUFFER_PTS() instead of GST_BUFFER_TIMESTAMP()

https://bugzilla.gnome.org/show_bug.cgi?id=767506

audiovisualizer: fix timestamp calculation for audio channels > 1

We have to use bps*channels instead of just bps, which is exactly what bpf is for.

https://bugzilla.gnome.org/show_bug.cgi?id=767507

videodecoder: handle buffer's flags at offset

For reverse playback it is important to handle correctly the frame sync
points, which is set when the input buffer doesn't have the DELTA_UNIT flag.

This is handled correctly when decoder is packetized, but when it is not the
frame's sync point is not copied, and the reverse playback never decodes frame
batches.

The current patch adds the buffer's flags to the Timestamp list, where the
timestamp and duration of the input buffers are hold.

videodecoder: squash two message logs into one

There were two consecutive log messages in gst_video_decoder_decode_frame().
Given the information they provide, it is more efficient to squash them into a
single one.

videodecoder: playback rate is in input_segment

The playback rate is hold in the input_segment member variable, not in the
output_segment, and the parse_gather list was never filled because of that.

This patch changes the comparison with input_segment.

videodecoder: Use input segment rate instead of output segment rate to decide whether the drain on keyframes

The output segment is only set up after data is output, which might be far in
the future for reverse playback. Also we are here interested in the state at
the current *input* frame (which is the keyframe), not any possible output.

videodecoder: Only drain in KEY_UNITS trick mode after a keyframe in forwards playback mode

For reverse playback the same behaviour was already implemented in
flush_parse().

For reverse playback, chain_forward() is only used to gather frames and not
for decoding, and it is actually called by the draining logic, causing an
infinite recursion.

videodecoder: Don't push late frames

While it's a bit tricky to discard frames *before* decoding (because
we might not be sure which data is needed or not by the decoder), we
can discard them after decoding if they are too late anyway.

Any following basetransform based element or similar would drop the frame too.

videodecoder: Avoid recursive drain/flush calls

_chain_forward() can also be called with reverse playback. Blindly
calling drain_out() on DISCONT buffers would end up in a recursive
call.

videodecoder: Drain out keyframes in TRICK_MODE_KEY_UNITS

When asked to just decode keyframe, if we got a keyframe drain out
the decoder straight away.
This avoids having to wait for the next frame and reduces delay even
more.

https://bugzilla.gnome.org/show_bug.cgi?id=767232

videodecoder: Drain decoder on DISCONT buffers

This ensures the decoder is properly drained out when receiving a
DISCONT buffer. The optimal way of doing this would have been to
receive a GAP event before hand but it is not always possible.

Fixes big delays with some decoders (ex gst-libav) that will not
drain out data when only decoding keyframes.

https://bugzilla.gnome.org/show_bug.cgi?id=767232

tagdemux: preserve timestamp when skipping a tag at the beginning of a buffer

gst_buffer_copy_region() does not copy the timestamp if it doesn't start
with the first byte. We just skip the tag here, so the timestamp is still
valid.

https://bugzilla.gnome.org/show_bug.cgi?id=767173

video-color: Fix colorimetry IS_UNKNOWN

Fix issue with colorimetry default indicies not being in sync with the
actual table causing IS_UNKNOWN() to sometimes fail.

https://bugzilla.gnome.org/show_bug.cgi?id=767163

opusenc, subtitleoverlay: use MAY_BE_LEAKED flag

Flag caps that are cached locally and will never be freed.

https://bugzilla.gnome.org/show_bug.cgi?id=767155

decodebin: Create a new decode element with the parser/convert capsfilter if there is a multiqueue after the parser

https://bugzilla.gnome.org/show_bug.cgi?id=767102

videodecoder: Make sure the DISCONT flag is set on the outgoing buffer

The base class was setting the DISCONT flag before checking whether the buffer
would be in segment or not.

Fix issues with DISCONT flags not being properly propagated downstream when
decoders buffers were out of segment.

https://bugzilla.gnome.org/show_bug.cgi?id=766800

docs: design: add IYU2 raw video format description

https://bugzilla.gnome.org/show_bug.cgi?id=763026

textoverlay: enable shaded background drawing for new IYU2 format

video: add IYU2 format

This existed in 0.10 and is needed by dc1394src.

IYU2 format is a YUV fully-sampled packed format similar to v308
but with different component order (U-Y-V instead of Y-U-V).

http://www.fourcc.org/yuv.php#IYU2

https://bugzilla.gnome.org/show_bug.cgi?id=763026#c5

libvisual: Factor out endian-order RGB formats

MSVC seems to ignore preprocessor conditionals inside static
pad templates. Also remove unnecessary quotes inside caps strings.

g-i: pass compiler env to g-ir-scanner

It's what introspection.mak does as well. Should
fix spurious build failures on gnome-continuous.

opus: use default error messages in some more cases

opusdec: use default error message strings in more cases

Details should go into the debug message. We should probably
make up new codes for encoder/decoder lib init failures too.

opus: Post error message on GST_FLOW_ERROR

https://bugzilla.gnome.org/show_bug.cgi?id=766265

opusdec: Use GST_AUDIO_DECODER_ERROR

This way, the first invalid stream won't break all decoding.

https://bugzilla.gnome.org/show_bug.cgi?id=766265

videosink: ensure the debug category is always initialized

gst_video_sink_center_rect() can be called without a GstVideoSink
having been instantiated so we can't relly on the video sink
class_init function to init the category.

Fix a warning when running:
GST_CHECKS=test_video_center_rect GST_DEBUG=6 G_DEBUG=fatal_warnings make libs/video.check-norepeat

https://bugzilla.gnome.org/show_bug.cgi?id=766510

playbin: fix suburidecodebin leak

We take a ref before removing which was never freeded.
The element is still alive anyway because the group has its own ref as
well.

Fix a leak with the 'test_suburi_error_wrongproto' test.

https://bugzilla.gnome.org/show_bug.cgi?id=766515

tests: playbin: add test for new "element-setup" signal

https://bugzilla.gnome.org/show_bug.cgi?id=578933

playbin: add "element-setup" signal

Allows configuration of plugged elements.

https://bugzilla.gnome.org/show_bug.cgi?id=578933

app: remove marshaller files from git

app: use generic marshallers

oggdemux: Reset keyframe_granule when needed

This avoids ending up with bogus values when doing flushing seeks
in push-mode.

https://bugzilla.gnome.org/show_bug.cgi?id=766467

docs: Update for git master

video/affinetransformationmeta: define the coordinate space used

Based on the expected output from the already existing usage by androidmedia
and the opengl plugins.

https://bugzilla.gnome.org/show_bug.cgi?id=764667

pbutils: add description for WebVTT

tests: playsink: add minimal test for playsink element

Attempt to reproduce leak.

https://bugzilla.gnome.org/show_bug.cgi?id=755867

vorbistag: fix buffer leaks in tests

It internally uses gst_check_chain_func() so we
should call gst_check_drop_buffers() when tearing down tests to free
the buffers which have been exchanged through the pipeline.

https://bugzilla.gnome.org/show_bug.cgi?id=766226

appsrc: fix buffer leaks in tests

It internally uses gst_check_chain_func() so we
should call gst_check_drop_buffers() when tearing down tests to free
the buffers which have been exchanged through the pipeline.

https://bugzilla.gnome.org/show_bug.cgi?id=766226

audiorate: fix buffer leaks in tests

It internally uses gst_check_chain_func() so we
should call gst_check_drop_buffers() when tearing down tests to free
the buffers which have been exchanged through the pipeline.

https://bugzilla.gnome.org/show_bug.cgi?id=766226

sdp: parse sdp attributes in case that sdp message doesn't contain mikey message

https://bugzilla.gnome.org/show_bug.cgi?id=766204

appsrc: Add duration property for providing a duration in TIME format

https://bugzilla.gnome.org/show_bug.cgi?id=766229

videodecoder/encoder: Correct GST_IS_*CODER_CLASS macros

They are currently not used, but would result in a compiler error due to wrong
variable name usage.

https://bugzilla.gnome.org/show_bug.cgi?id=766203

multihandlesink: Warn if trying to change the state from the streaming thread

Instead of silently returning GST_STATE_CHANGE_FAILURE.

decodebin: an element can negotiate before we block it

When we initialize an element in decodebin, we 1) set it to PAUSED and
push sticky events on its sinkpad to trigger negotiation 2) block its
src pad(s) to detect CAPS events. We can't block before 1) as that
would lead to a deadlock.

It's possible (and common) tho that an element configures its srcpad
during 1) and before 2). Therefore before this change we would
typically block and expose an element's pad only once the element
output its first buffer, triggering sticky events to be resent. One
consequence of this behaviour is that it sometimes broke
renegotiation.

With this change now we consider a pad ready to be exposed when it's
->blocked or has fixed caps (which were set before we could block it).

https://bugzilla.gnome.org/show_bug.cgi?id=765456

opusdec: intersect with the filter before returning on getcaps

So upstream gets a smaller set to decide upon as it is what it requested
with the filter

https://bugzilla.gnome.org/show_bug.cgi?id=765684

opusdec: improve getcaps to return all possible rates

The library is capable of converting to different rates.

Includes tests.

https://bugzilla.gnome.org/show_bug.cgi?id=765684

opusdec: remove artificial restriction on rate negotiation

Remove restrictions when rate is 48000, the underlying lib supports
converting any of the input to any of the output rates.

https://bugzilla.gnome.org/show_bug.cgi?id=765684

opusdec: refactor getcaps repeated code into a function

Easier to read and maintain

tests: opus: remove apparently useless macro in tests

encoding-profile: Fix caps memory leak

encoding-profile: Recurse into nested container profiles and only add the final audio/video streams

If we e.g. have AVI with DV container with video/audio inside the DV
container, we can't handle this at this point with an encoding profile.
Instead of erroring out, flatten the container hierarchy.

https://bugzilla.gnome.org/show_bug.cgi?id=765708

encoding-profile: Fail to create encoding profile from discoverer info if no streams could be added

https://bugzilla.gnome.org/show_bug.cgi?id=765708

encoding-profile: Move adding of each stream to a helper function

https://bugzilla.gnome.org/show_bug.cgi?id=765708

exiftag: handle GST_TAG_CAPTURING_FOCAL_LENGTH_35_MM tag

This tag match the EXIF_TAG_FOCAL_LENGTH_IN_35_MM_FILM exif tag and is
stored on a short. Hence there is a precision loss compared to the
GstTag which is a double value.

https://bugzilla.gnome.org/show_bug.cgi?id=753930

tag: add GST_TAG_CAPTURING_FOCAL_LENGTH_35_MM tag

It is the 35 mm equivalent focal length of the lens, mainly used in
photography. Tag value is stored in a double value to be consistent with
GST_TAG_CAPTURING_FOCAL_LENGTH.

https://bugzilla.gnome.org/show_bug.cgi?id=753930

opusdec: fix caps leaks

The caps returned by gst_pad_get_allowed_caps() was leaked.

https://bugzilla.gnome.org/show_bug.cgi?id=765706

audio: Add const to segment parameter of gst_audio_buffer_clip()

e.g., allows this to be used with the reference retrieved by
gst_event_parse_segment().

https://bugzilla.gnome.org/show_bug.cgi?id=765663

ximagesink: generate reconfigure on window handle change

When ximagesink is given a new window handle, it should check
its geometry and if the size of the new window differs from
the previous one, create reconfigure event in order to get
a chance to negotiate a more suitable image resolution with
the upstream elements.

We can't rely on receiving Expose or ConfigureNotify from
the X server for the newly assigned window, which would also
generate reconfigure.

https://bugzilla.gnome.org/show_bug.cgi?id=765424

smartencoder: Only accept TIME segments for real

... and don't try to push pending data without ever having received a SEGMENT
event before EOS

https://bugzilla.gnome.org/show_bug.cgi?id=765541

codec-utils: H265 level idc 0 is not valid

Don't put level=0 into the caps, it confuses other elements.

https://bugzilla.gnome.org/show_bug.cgi?id=765538

codec-utils: H264 level idc 0 is not valid

Don't put level=0 into the caps, it confuses other elements.

https://bugzilla.gnome.org/show_bug.cgi?id=765538

encoding-profile: Remove codec_data and streamheader fields from constraint caps

When converting discoverer output to an encoding profile, it makes sense to
omit these. It's very very unlikely that our encoder is going to produce bit
by bit the same codec_data or streamheader.

https://bugzilla.gnome.org/show_bug.cgi?id=765534

encoding-profile: Don't put G_BEGIN_DECLS around #include statements

It should only be around our own declarations.

video-converter: add more fastpaths for I420 -> RGB

Use the I420->BGRA and a new I420->ARGB to speed up any I420 to RGB
operation.

sdp: update since markers to 1.8.1 for some new APIs

As we decided to backport some fixes we update the since markers.

tests: vorbisenc: fix with CK_FORK=no

decodebin: Always add a multiqueue in single-stream use-buffering pipelines

If we are configured to use buffering and there is no demuxer in the chain, we
still want a multiqueue, otherwise we will ignore the use-buffering property.
In that case, we will insert a multiqueue after the parser or decoder - not
elsewhere, otherwise we won't have timestamps.

https://bugzilla.gnome.org/show_bug.cgi?id=764948

gst-play: call gst_deinit()

So we can use gst-play to track memory leaks.

https://bugzilla.gnome.org/show_bug.cgi?id=765216

win32: update .def for new API

Revert "audioringbuffer: start ringbuffer if needed upon commit"

This reverts commit 13ee94ef1091f8a8a90dbd395b39876c26c5188e.

Causes audio glitches at startup by starting to output segments
from the ringbuffer before it has been filled / fully prerolled.

https://bugzilla.gnome.org/show_bug.cgi?id=657076

sdpmessage: new gst_sdp_media_parse_keymgmt/gst_sdp_media_parse_keymgmt

We add a couple of new functions gst_sdp_media_parse_keymgmt and
gst_sdp_media_parse_keymgmt. We also implement
gst_sdp_message_attributes_to_caps and gst_sdp_media_attributes_to_caps
in terms of these new functions and also gst_mikey_message_to_caps.

mikey: add new function gst_mikey_message_to_caps

subparse: fix build with GCC 4.6.3

gstsubparse.c: In function ‘parse_subrip’:
gstsubparse.c:988:7: error: ignoring return value of ‘strtol’, declared with attribute warn_unused_result [-Werror=unused-result]
cc1: all warnings being treated as errors

https://bugzilla.gnome.org/show_bug.cgi?id=765042

.gitignore: add test-resample binary