id3v2mux: Set picture type in the APIC frames

id3v2mux: Set image-description from the info struct, not the caps

wavpackparse: Post AUDIO_CODEC tag

sbcparse: Post AUDIO_CODEC tag

flacparse: Post AUDIO_CODEC tag

https://bugzilla.gnome.org/show_bug.cgi?id=720512

dcaparse: Post AUDIO_CODEC tag

amrparse: Post AUDIO_CODEC tag

ac3parse: Post AUDIO_CODEC tag

aacparse: Post AUDIO_CODEC tag

mpegaudioparse: Use pbutils functionality to create the AUDIO_CODEC tag

rtpsession: Add error message if the app tries to set the internal-ssrc

rtpsession: Only count nacks when a nack packet is received

Not when any RTCP feedback packet is.

tests: Initialize segment in rtpcollision test

rtpsession: Process PSFB FIR requests which lack the media ssrc

According to RFC 5104 section 4.3.1.2, RTCP PSFB FIR message SHALL
have a media_ssrc field set to 0. The actual media ssrc is in the FCI.
So in that case, we ignore the retained feedback and just let it through
to the rtp_session_process_fir() function which will check for the actual
SSRC inside the FCI.

Fixes a regression introduced by commit 57c27ec3

rtpsession: fix rb blocks disappearing after the first rtcp cycle with multiple senders

Previously, when the session had multiple internal sender SSRCs, it would
issue SR reports with RB blocks only on the first RTCP timeout and afterwards
SR reports would be sent empty. This was because the "generation" number
in RTPSource would increase more than once during the same cycle and afterwards
it would always be greater than the session's generation, which would cause
it to be skipped from being included in RBs.

This commit fixes this problem by:
1) Increasing the RTPSource generation only at the end of each cycle,
which essentially fixes the problem but only when the internal senders
are less than GST_RTCP_MAX_RB_COUNT.
2) Keeping for each RTPSource a set of SSRCs which stores which SSRC's
SR the given RTPSource has been reported in, which also fixes the problem
when the internal senders are more than GST_RTCP_MAX_RB_COUNT. This is
necessary because of the fact that any RTPSource is marked as reported
in itself's SR and makes it impossible to know if it has been reported
in other SRs too or not, and which.

tests/check: add an rtpsession unit test to verify all RBs are included in all SRs, roundrobin

This test checks that when we have multiple internal sender sources
in rtpsession, SRs contain RBs for every other sender source, and that
they are included roundrobin when they exceed ST_RTCP_MAX_RB_COUNT,
which is the max number of RBs that can fit in a SR.

docs: improve docs

doc: add design-rtpcollision.txt that explains when GstRTPCollision is created

It also talks about "BYE only the corresponding source, not the whole session."

tests/check: improve rtpcollision::test_master_ssrc_collision to ensure that a collision does not BYE the whole session

Conflicts:
tests/check/elements/rtpcollision.c

tests/check: add rtpcollision::test_master_ssrc_collision unit test

It checks the payloader changes its ssrc when collision happens

rtpsession: keep extra stats for scheduling BYE

Keep an extra stats structure for scheduling the BYE packets. When we
decide to schedule BYE, make a copy of the current stats into the
bye_stats. Then while we schedule the BYE, update and use only the
bye_stats. When we finished scheduling the BYE packet, we use the
regular stats again.

rtpsession: when we schedule BYE, only deal with BYE sources

When we are doing the RTCP timeout to schedule BYE packets, don't
generate RTCP for all sources but only for the sources marked as BYE.

rtpsession: reset state after scheduling BYE

After we do RTCP, we are not scheduling bye anymore.

rtpsession: also count NACKS when no signal was pending

session: ignore RTCP packets for the BYE sources

When we are scheduling BYE packets, ignore all RTCP for the sources that
are scheduling a BYE packet. Other sources that are not scheduling BYE
should continue receiving RTCP packets as usual.

rtpsession: determine if the session is doing point-to-point

In this case T_dither_max is set to 0 according to RFC 4585

rtpjitterbuffer: serialize events in the buffer

Serialize events into the jitterbuffer by inserting them with a -1
seqnum.
Update unit test to expect events from the streaming thread.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=652986

rtpjitterbuffer: detect -1 seqnum

Keep the seqnum as a full guint so that we can check for -1 entries and
deal with them correctly.
Immediately try to push -1 seqnum.

rtpjitterbuffer: reorganize jitterbuffer items

Keep the oldest item at the head and the newest items on the tail. This
makes it easier to deal with -1 seqnums.

jitterbuffer: correctly check for invalid values

Check for -1 on the guint from the buffer item instead of on the guint16
or guint32.
Also insert -1 seqnum at the head of the jitterbuffer.

osxvideosink: fix segfault when dealing with padded frames

Fixes crashes with vtdec ! osxvideosink where VideoToolbox outputs padded UYVY

mulawdec: Require caps to be set before accepting any data

wavpackdec: Require caps to be set before accepting any data

speexdec: Require caps to be set before accepting any data

flacdec: Require caps to be set before accepting any data

vpx: Use new gst_video_decoder_set_needs_format() API

pulsesink: Free device_info in accepts caps

https://bugzilla.gnome.org/show_bug.cgi?id=719811

rtptheorapay: Don't send headers twice if we got them from the caps already

rtptheorapay: Don't leak config data when receiving a second CAPS event

rtpvorbispay: Don't send headers twice if we got them from the caps already

rtpvorbispay: Don't leak config data when receiving a second CAPS event

rtpstreamdepay: Add RFC4571 RTP stream depayloading element

https://bugzilla.gnome.org/show_bug.cgi?id=719829

rtpstreampay: Add RFC4571 RTP stream payloading element

https://bugzilla.gnome.org/show_bug.cgi?id=719829

qtdemux: improve fragment-start tracking

Some buffers can have multiple moov atoms inside and the strategy
of using the gst_adapter_prev_pts timestamp to get the base timestamp
for the media of the fragment would fail as it would reuse the same
base timestamp for all moofs in the buffer instead of accumulating
the durations for all of them.

Heres a better explanation of the issue:
qtdemux receives a buffer where PTS(buf) = X
buf -> moofA | moofB | moofC

The problem was that PTS(buf) was used as the base timestamp for
all 3 moofs, causing all buffers to be X based. In this case we want
only moofA to be X based as it is what the PTS on buf means, and the
other moofB and moofC just use the accumulated timestamp from the
previous moofs durations.

To solve this, this patch uses gst_adapter_prev_pts distance
result, this allows qtdemux to calculate if it should use the
resulting pts or just accumulate the samples as it can identify
if the moofs belong to the same upstream buffer or not.

https://bugzilla.gnome.org/show_bug.cgi?id=719783

v4l2bufferpool: add support for multi-planar V4l2 API in DMABUF mode

Fixes bug https://bugzilla.gnome.org/show_bug.cgi?id=712754

v4l2: refactor by emulating one v4l2_plane in non-MPLANE mode

so that the buffer informations can be retrieved the same way
in both MPLANE and non-MPLANE mode.

Here "emulating" means "manually fill in the plane".

Fixes bug https://bugzilla.gnome.org/show_bug.cgi?id=712754

v4l2: add support for multi-planar V4L2 API

This api is in linux kernel since version 2.6.39,
and present in all version 3.

The commit that adds the API in master branch of the
linux kernel source is:
https://github.com/torvalds/linux/commit/f8f3914cf922f5f9e1d60e9e10f6fb92742907ad

v4l2 doc: "Some devices require data for each input
or output video frame to be placed in discontiguous
memory buffers"

There are newer structures 'struct v4l2_pix_format_mplane'
and 'struct v4l2_plane'.
So the pixel format is not setup with the same API when using
multi-planar.

Also for gst-v4l2, one of the difference is that in GstV4l2Meta
there are now one mem pointer for each maped plane.

When not using multi-planar, this commit takes care of keeping
the same code path than previously. So that the 2 cases are
in two different blocks triggered from V4L2_TYPE_IS_MULTIPLANAR.

Fixes bug https://bugzilla.gnome.org/show_bug.cgi?id=712754

audioparsers: don't leak template caps

audioparsers: use ACCEPT_INTERSECT flag

The parser can accept input that is not completely specified. Use the
ACCEPT_INTERSECT flag on the sinkpad to tweak the acceptcaps function to
check for intersection only. This allows us to proxy downstream
constraints while still allowing non-subset caps as input.
We can then also remove the appended template caps workaround.
Make a unit-test to check the new feature.

This reverts commit 26040ee38cb9e7c42f3d9a0282b3e5cace7ca42d

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=705024

audioparsers: remove fields from filter

We need to remove the fields from the filter when we can convert
between them.

audioparsers: refactor code to remove caps fields

deinterlace: microoptimisation: avoid some unnecessary GValue copies

deinterlace: fix off-by-one crash when downstream caps contain a list of framerates

https://bugzilla.gnome.org/show_bug.cgi?id=719544

qtdemux: Use the timestamp of the moof as the base fragment start

In SmoothStreaming fragmented scenario, the timestamps are calculated
starting from the fragment buffer timestamp. When there is a not-linked
return from downstream, qtdemux will return upstream and will keep the
non-pushed data into its adapter.

On a new fragment buffer pushed to qtdemux, the new buffer timestamp
would overwrite the previous one that should be used on the still
to be pushed buffers. Because of this, this patch will also
update the fragment_start timestamp from the adapter last pts
to make sure the moof and timestamps are in sync and will result
in correct timestamps for all fragments.

qtdemux: avoid re-reading the same moov and entering into loop

In the scenario of "mdat | moov (with fragmented artifacts)" qtdemux
could read the moov again after the mdat because it was considering the
media as a fragmented one.

To avoid this loop this patch makes it store
the last processed moov_offset to avoid parsing it again.
And it also checks if there are any samples to play before
resturning to the mdat, so that it knows there is new data to be played.

https://bugzilla.gnome.org/show_bug.cgi?id=691570

qtdemux: do not free streams if they were not created locally

When parsing a trak only free streams on failures if those streams
were created locally. They could have been created from a previous
fragment, in this case we they have valid info from the other fragment.
Including pads.

https://bugzilla.gnome.org/show_bug.cgi?id=691570

videomixer: Simplify NV12/21 blending code macros

videomixer: Fix segfault when filling the background of a UYVY frame

https://bugzilla.gnome.org/show_bug.cgi?id=712401

qtdemux: fix compilation with gst debuging disabled

qtdemux.c:9452:1: error: label at end of compound statement

rtph264pay: Map inbuffer once only

Do not call gst_buffer_extract() twice since each call will map and
unmap the biffer.

https://bugzilla.gnome.org/show_bug.cgi?id=719434

videoflip: Add unit test for the 'automatic' method

These new tests send a tag event before seding the buffer. Tested case are an
empty tag list, a tag list with orientation-180 set and an invalid orientation value.

https://bugzilla.gnome.org/show_bug.cgi?id=719497

videoflip: don't crash on tag events without orientation tag

Would crash in g_free() trying to free an uninitialised pointer.

https://bugzilla.gnome.org/show_bug.cgi?id=719497

rtpsession: don't unref buffer twice

Cleaning the packet info will already unref the buffer.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=715078

qtdemux: Add HydrogenAudio ReplayGain tags

Identical to the itunes (tm) version, but labelled with
org.hydrogenaudio.replaygain as the producer.

videomixer: explicitly fail when alpha information would have been lost.

gitignore: Updated to ignore *.swp and .dirstamp

matroska-demux: Allow a bit more variation when detecting common framerates

Instead of +/- 1ns we allow 2ns now. Due to rounding errors there are
some Matroska files out there with 33.333331ms per frame for 30fps.

matroska-demux: Use gst_util_double_to_fraction() instead of GValue magic

videoflip: Set default method at contruction

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=712333

v4l2object: Use space instead of tabs

https://bugzilla.gnome.org/show_bug.cgi?id=712754

v4l2object: Fix header indentation so it's readable again

It's unfortunate to have to do this, but with the mix of tabs and space, plus all the random
indentation this header has become very hard to read.

https://bugzilla.gnome.org/show_bug.cgi?id=712754

check: fix jitterbuffer check

Don't advance the clock to 240ms too early.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=710013

jpegdec: deprecate max-errors

The property wasn't use internally, let the base class handle the
number of errors to tolerate.

rtpjitterbuffer: improve clear-pt-map handling

Don't reset the expected output seqnum when clearing the pt map because this
could stall the jitterbuffer forever.
Add a unit test for this.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=709800

jpegdec: let the base class decide when to return an error

The base videodecoder class has an error counting feature to tolerate
a few errors before posting an error message. So don't force the
error and let the base class decide when it should happen

https://bugzilla.gnome.org/show_bug.cgi?id=710762

jpegdec: Add data skipping on input

Add missing bytes skipping when bad input is received.

https://bugzilla.gnome.org/show_bug.cgi?id=710762

qtdemux: Discard 2 byte subpicture packets

As for text subtitles and as suggested in #712643, throw
away the 2 byte terminator packets that some encoders insert.

This will make things better when remuxing and causes generation
of gap events.

rtpjitterbuffer: fix wake-up when new buffers come in after running empty

Spotted by 'gratias' on IRC. Probably introduced in recent refactoring.

https://bugzilla.gnome.org/show_bug.cgi?id=715039

matroskamux: correctly handle negative relative timestamps

... rather than scaling these as unsigned.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=712744

Based on patch by Krzysztof Kotlenga <pocek@users.sf.net>

videomixer2: Merge tag events to send them in collected.

Otherwise there were race conditions where we would send tags
on a flushing srcpad.

We have a test for that in GES, but this should be tested
systematically with harness in the future as I believe it
is useful for exactly that kind of cases.

https://bugzilla.gnome.org/show_bug.cgi?id=708165

qtdemux: Use GstVideoInfo helper to create caps for raw video

This way we do not miss mandatory fields in caps.
At the same time use the gst_pb_utils_get_codec_description
helper to get codec description.

https://bugzilla.gnome.org/show_bug.cgi?id=712335

matroskademux: Use GstVideoInfo helper to create caps for raw video

This way we do not miss mandatory fields in caps.
At the same time use the gst_pb_utils_get_codec_description helper to
get codec description.

https://bugzilla.gnome.org/show_bug.cgi?id=712328

multifilesrc: Implement seeking in case of multiple images

https://bugzilla.gnome.org/show_bug.cgi?id=712254

rtpjitterbuffer: pass downstream flowreturn to upstream

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=712722

v4l2: clear cached caps on close

A different device with different caps may be used for the next open.

https://bugzilla.gnome.org/show_bug.cgi?id=712611

g_memmove() is deprecated

Just use plain memmove(), g_memmove() is deprecated in
recent GLib versions.

https://bugzilla.gnome.org/show_bug.cgi?id=712811

rtpvorbisdepay: handle packets > 0xffff

Handle input packet sizes larger than 16 bits in the depayloader.
Remove size restrictions on the payloader.

rtptheoradepay: handle packets > 0xffff

Reorganize some things in the depayloader so that it can handle packets larger
than 16 bits.
Remove the size restriction on the payloader.

isomp4: Handle mp4s subpicture streams better.

Clean up the handling of mp4s streams. Use the generic esds
descriptor function to extract the palette, instead of hard coding
a wrong magic offset.

Add some more size safety checks when parsing ES descriptors, and
replace magic numbers with the descriptive constants that are already
defined.

Enhance dump output for stsd atoms.

Streams from both bug 712643 and historic bug 568278 now both work
correctly.

Fixes: #712643

qtdemux: Sort fourcc declarations and remove duplicates

qtdemux: Merge all the fourcc headers into one

Remove qtdemux_fourcc.h and ftypcc.h and put it all in fourcc.h

rtpjitterbuffer: avoid mapping the buffer

Reuse the parsed structure to get the timestamps.

rtspsrc: fix 'make check'

Fix generic/states check. Also, g_return_if_fail() is
not for internal state checking.

docs: get rid of 'Since: 0.10.x' markers

And some gtk-doc markup fixes.

rtpmanager: fix Since markers

Should be next stable release series version

rtpjitterbuffer: Fix stats property field names and documentation

gstrtpsession: Implement a number of feedback packet statistics

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=711693

qtdemux: remove math operation from loop

The elst_offset doesn't change inside the loop, so compute it
outside

qtmux: fix playback regression

In ae1150e85cf99d7482933aa6f7e4f012fe45a3ec flipping a condition misaligned the
else branch, where for there condition that was change there is none.
Fixes #712303

rtpjitterbuffer: rename property to 'stats'

This makes the unit test work.
We can later also add more stats, not specific to retransmission.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=711411