matroska: Port to color_{primaries,transfer,matrix}_to_iso

... and remove duplicated code.

splitmuxsink: add the ability to mux auxilliary video streams

The primary video stream is used to select fragment cut points
at keyframe boundaries. Auxilliary video streams may be
broken up at any packet - so fragments may not start with a keyframe
for those streams.

splitmuxsrc: Add video_%d pad template.

splitmuxsrc actually supports multiple video pads. Make that clear,
especially since it was already creating pads named "video_0" etc.

qtdemux: fix conditions for end of segment in reverse playback

The time_position field of the stream is offset by the media_start
of its QtDemuxSegment compared to the start of the GstSegment of
the demuxer, take it into account when making comparisons.

matroskademux: Fix mismatched transfer characteristic

TransferCharacteristics(18) should be ARIB STD-B67 (HLG)
See https://www.webmproject.org/docs/container/#TransferCharacteristics

Also map more color primaries indexes which have been handled by matroska-mux.

v4l2: Remove misleading comments

gst_pad_template_new() does not take ownership of the caps

rtp session: Add test for collision loopback detection

Ignore further collisions if the remote SSRC change with ours, it's
probably because someone is sending us back the packets we send out.

rtpsession tests: Add test for third-party collision detection

Add tests to validate the code that ignores the same packets coming
from 2 different sources (an third-party collision).

rtpsession: Add test for collision on incoming packets

Make sure that the collision is properly detected on incoming packets.

rtpsession test: Verify that on-ssrc-collision message is emitted

rtpsession: Also send conflict event when sending packet

If the conflict is detected when sending a packet, then also send an
upstream event to tell the source to reconfigure itself.

Also ignore the collision if we see more than one collision from the same
remote source to avoid problems on loops.

v4l2transform: set right buffer count.

Set right buffer count to avoid one buffer.

rtph265pay: Also immediately send packet if it is a suffix NAL

Immediately send packet if it contains any suffix NAL, this is required
in case they come after the VCL nal to not have to wait until the next frame.

rtph265pay: Don't drop second byte of NAL header

At least keep 2 bytes per NAL even if the second one is 0, the
second byte of the NAL header could very well be 0.

rtph26xpay: Avoid print when there is no bundle at end of packet

rtph26xpay: Wait until there is a VCL or suffix NAL to send

With unit tests.

rtph265pay test: Add unit tests for aggregation

rtph265pay: Implement Aggregation packets

Align with rtph264pay

rtph264pay test: Add unit tests for aggregation

rtph264pay: Report latency when in maximal aggregation mode

rtph264pay: Default to not adding latency when aggregating

Send the bundle as soon as there is one VCL unit in the packet at
the end of an incoming buffer.

The DELTA_UNIT flag is not reliable, so ignore it.

rtp-payloading test: Fix working to 1.0 buffers instead of groups

rtph265pay: Replace fragmentation while-loop with for-loop

Align with rtph264pay

rtph265pay: Rename payload_len to max_fragment_size

Align to rtph264pay

rtph265pay: Clean up _payload_nal

Move determining whether we need to fragment at all into the
fragmenter.

Align with rtph264pay

rtph265pay: Extract sending fragments into _payload_nal_fragment

Align with rtph264pay

rtph265pay: Extract sending a single packet into _payload_nal_single

Align with rtph264pay

rtph265pay: Define and use FU_A_TYPE_ID

Align with rtph264pay

rtph265pay: Use snake_case variables

Align with rtph264pay

rtph265pay: Clean up whitespace and syntax

Align with rtph264pay

rtph264pay: Support STAP-A bundling

Add a new property "do-aggregate"* to the H.264 RTP payloader which
enables STAP-A aggregation as per [RFC-6184][1]. With aggregation enabled,
packets are bundled instead of sent immediately, up until the MTU size.
Bundles also end at access unit boundaries or when packets have to be
fragmented.

*: The property-name is kept generic since it might apply more widely,
   e.g. STAP-B or MTAP.
[1]: https://tools.ietf.org/html/rfc6184#section-5.7

Closes https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/434

rtph264pay: Fix delta-unit/discont handling when injecting SPS/PPS

Apply the wanted delta-unit and discont to the first packet; following
packets for this frame are always delta units and not discont.

rtph264pay: Replace fragmentation while-loop with for-loop

rtph264pay: Calculate the right max_fragments

rtph264pay: Rename payload_len to max_fragment_size

rtph264pay: Clean up _payload_nal_fragment

rtph264pay: Clean up _payload_nal

Move determining whether we need to fragment at all into the fragmenter.

rtph264pay: Clean up _payload_nal_single

rtph264pay: Extract sending fragments into _payload_nal_fragment

rtph264pay: Extract sending a single packet into _payload_nal_single

rtph264pay: Define and use FU_A_TYPE_ID

rtph264pay: Use snake_case variables

rtph264pay: Clean up whitespace and syntax

rtpjitterbuffer: Unlock output if the queue is full

rtpjitterbuffer: Ignore unsolicited rtx packets.

If an rtx packet arrives that hasn't been requested (it might
have been requested from prior to a reset), ignore it so that
it doesn't inadvertently trigger a clock skew.

rtpjitterbuffer: Add unit test for unsolicited rtx affecting skew

rtpjitterbuffer: Only calculate skew or reset if no gap.

In the case of reordered packets, calculating skew would cause
pts values to be off. Only calculate skew when packets come
in as expected. Also, late RTX packets should not trigger
clock skew adjustments.

Fixes #612

qtdemux: Provide a 30 frames lead-in for MP3

mpegaudioparse suggests MP3 needs 10 or 30 frames of lead-in (depending on
mpegaudioversion, which we don't know here), thus provide at least 30 frames
lead-in for such cases as a followup to commit cbfa4531ee5ef.

rtpjitterbuffer: max-dropout-time gets cast to int32

So any value over MAXINT32 gets considered as negative and is silently ignored.

qtdemux: do_seek can never be called with a NULL event

qtdemux: only adjust segment time when adjusting segment start

We ended up setting segment.time to segment.position when doing
reverse playback, which is obviously wrong.

rtspsrc: unref the event in element seek handler

rtspsrc: handle seek event on the element

Without this, the user has to wait for rtspsrc to have sent a PLAY
request and exposed its pads before seeking it.

multiudpsink: Add missing socket.h include

Without this include, macro like SO_BINDTODEVICE is not visible and
associated feature gets out-compiled. This also affects the support for
SO_SNDBUF.

flvmux: Clear new_tags if sending metadata in header

This avoids sending an additional metadata object right after the
headers.

v4l2videodec: Fix drain() function return type

Return right type for drain() function.

audioparsers: add back segment clipping to parsers that have lost it

The pre_push_frame default clipping behaviour was introduced in 2010
with commit 30be03004e82 and modified with commit 4163969a2422 in 2011,
when most parsers didn't implement a pre_push_frame yet. Not having it
meant that clipping was done by default. Those that did implement a
pre_push_frame (flacparse and mpegaudioparse) at the time, had the flag
adjusted as part of the 2011 refactor work.

All other parsers got a pre_push_frame vfunc implementation only in
2013, but seem to have forgot to keep the clipping behaviour, as
was done automatically when a pre_push_frame implementation doesn't
exist for the parser. aacparse lost it with commit 91d4abcea in
July 2013; the others in Dec 2013 as part of AUDIO_CODEC tag posting
in commits 6f89b430e, d2ab5199b, 29f2cae12, 753d3c23a and 292780574.

v4l2: fix compiler warning due to c99-ism

test: flvmux: Test changing caps with one sinkpad

These tests segfault without the preceding crash fix.

test: flvmux: Use gst_harness_sink_push_many

And check its return value.

flvmux: Simplify an if-else chain

Merge the identical branches and turn the condition around to make it
easier to read.

flvmux: Avoid crash when changing caps without both streams

mux->video_pad and mux->audio_pad can be NULL if the corresponding pad
has not been requested.

rtpgstpay: Send caps anyway if caps are pending in the adapter but are different from the new ones

Otherwise it can happen that we receive a caps event, then another caps
event and only then buffers. We would then send out the first caps event
in the stream but mark buffers with the caps version of the second caps
event.

rtpgstdepay: Only store the current caps and drop old caps immediately

Otherwise it can happen that we already collected 7 caps, miss the 8th
caps packet (packet loss) and then re-use the 1st caps for the following
buffers instead of the 8th caps which will likely cause errors further
downstream unless both caps are accidentally the same.

Keeping old caps around does not seem to have any value other than
potentially causing errors. We would always receive new caps whenever
they change (even if they were previous ones) and it's very unlikely
that they happen to be exactly the same as the previous ones.

Also after having received new caps or a buffer with a next caps
version, no buffers with old caps version will arrive anymore.

rtpjitterbuffer: Clear clock master before unreffing

Make sure to clear any master clock on the media_clock
before unreffing it to release the timer callback that's
updating the clock and keeping it reffed.

matroska: Initialise a video_context field to satisfy valgrind

Clear the mastering_display_info_present field explicitly
after reallocating the track context into a video context
to avoid uninitialised warnings in valgrind

docs: Fix link to strings

We can't link to #gchar* this way.

jitterbuffer: unset DTS on output buffers

splitmuxsink: set the same seqnum on flush_start / flush_stop

It's currently not made mandatory by aggregator, but it might
eventually be, and is more consistent behaviour

See https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/977

rtpjitterbuffer: late packets shouldn't affect PTS of the following packet

If, say, a rtx-packet arrives really late, this can have a dramatic
effect on the jitterbuffer clock-skew logic, having it being reset
and losing track of the current dts-to-pts calculations, directly affecting
the packets that arrive later.

This is demonstrated in the test, where a RTX packet is pushed in really
late, and without this patch the last packet will have its PTS affected
by this, where as a late RTX packet should be redundant information, and
not affect anything.

rtpjitterbuffer: fix rtx delay calulation when large packet spacing

rtpjitterbuffer: Fix delay for EXPECTED timers added by gaps

This patch corrects the delay set on EXPECTED timers that are added when
processing gaps. Previously the delay could be too small so that
'timout + delay' was much less than 'now', causing the following retries
to be scheduled too early. (They were sent earlier than
rtx-retry-timeout after the previous timeout.)

rtpjitterbuffer: don't try and calculate packet-rate if seqnum are jumping

Turns out that the "big-gap"-logic of the jitterbuffer has been horribly
broken.

For people using lost-events, an RTP-stream with a gap in sequencenumbers,
would produce exactly that many lost-events immediately.
So if your sequence-numbers jumped 20000, you would get 20000 lost-events
in your pipeline...

The test that looks after this logic "test_push_big_gap", basically
incremented the DTS of the buffer equal to the gap that was introduced,
so that in fact this would be more of a "large pause" test, than an
actual gap/discontinuity in the sequencenumbers.

Once the test was modified to not increment DTS (buffer arrival time) with
a similar gap, all sorts of crazy started happening, including adding
thousands of timers, and the logic that should have kicked in, the
"handle_big_gap_buffer"-logic, was not called at all, why?

Because the number max_dropout is calculated using the packet-rate, and
the packet-rate logic would, in this particular test, report that
the new packet rate was over 400000 packets per second!!!

I believe the right fix is to don't try and update the packet-rate if
there is any jumps in the sequence-numbers, and only do these calculations
for nice, sequential streams.

rtpjitterbuffer: fix unused variables

splitmuxsrc: Protect initial pad configuration with the object lock

gst_splitmux_src_activate_part() configures the pad information
before starting the pad task, but occasionally the changes it makes
to the pad are not seen in the pad task because they're not
protected by the right locking. Use the pad's object lock to
protect those variables.

splitmuxsrc: Restart pad task on a reconfigure

On a reconfigure event, restart streaming on the pad so
that switching tracks in playbin works cleanly

splitmuxsrc: Use an RW lock instead of a mutex to protect the pad list

Fix a deadlock around the pads list by using an RW lock to
allow simultaneous readers. The pad list doesn't really changes
except at startup and shutdown.

splitmuxsrc: Ignore duplicate seeks

Use the seqnum to ignore duplicated seek events.

splitmuxsink: Improve debug output

Make the debug output less confusing by not mentioning a src
pad when doing calculations on the sink pad side.

Improve debug around why a GOP is considered overflowing a fragment

splitmuxsink: Give internal queues useful names

Makes debug output more useful

qtdemux: Provide a 2 frames lead-in for audio decoders

AAC and various other audio codecs need a couple frames of lead-in to
decode it properly. The parser elements like aacparse take care of it
via gst_base_parse_set_frame_rate, but when inside a container, the
demuxer is doing the seek segment handling and never gives lead-in
data downstream.
Handle this similar to going back to a keyframe with video, in the
same place. Without a lead-in, the start of the segment is silence,
when it shouldn't, which becomes especially evident in NLE use cases.

qtdemux: remove indent exception and reindent

As the indent disabling isn't playing along for a following fix,
remove the indent disabling and reindent in a way that doesn't
look too stupid.

v4l2: Fix H.264 level 3 string representation

The string_to_level function handles "3" so the level_to_string function should
do the same, to prevent caps negotiation issues.

v4l2: Profile and level probing support for encoders and decoders

There used to be some profile/level support in encoders. This code was moved to
GstV4l2Codecs and is now also used for decoders. The caps templates for the
H.264, H.265, MPEG4, VP8 and VP9 encoders and decoders should now reflect the
profiles and levels advertised by the kernel.

matroskamux: fix typo in property description

supp: Ignore leaks caused by shout/sethostent

sethostent() seems to be using a global state and we endup with leaks from
that API when called through shout_init(). We had the option to only
ignore the shout case, but the impression is that if we have shout and
another sethostend user, as it's a global state, we may endup with a
different stack trace for the same leak. So in the end, we just ignore
memory allocated by sethostent in general.

pulse-device: Hide the alsa device provider if we provide alsa devices

rtpssrcdemux: Avoid taking streamlock out-of-band

In this change we now protect the internal srcpads list using the
stream lock and limit usage of the internal stream lock to
preventing data flowing on the other src pad type while creating
and signalling the new pad.

This fixes a deadlock with RTPBin shutdown lock. These two locks would
end up being taken in two different order, which caused a deadlock. More
generally, we should not rely on a streamlock when handling out-of-band
data, so as a side effect, we should not take a stream lock when
iterating internal links.

v4l2object: Orphan buffer pool on object_stop if supported

Use V4L2 buffer orphaning, on recent kernels so that
the device can be restarted immediately with
a new buffer pool during renogatiation.

v4l2bufferpool: Free orphaned allocator resources when buffers are released

Allocator resources cannot be freed when a buffer pool is orphaned
while its buffers are in use. They should, however, be freed once those
buffers are no longer needed. This patch disposes of any buffers
belonging to an orphaned pool as they are released, and makes sure
that the allocator is cleaned up when the last buffer is returned.

v4l2bufferpool: return TRUE when buffer pool orphaning succeeds

When trying to orphan a buffer pool, successfully return and unref
the pool when the pool is either successfully stopped or orphaned.
Indicate failure and leave the pool untouched otherwise.

meson: Bump minimal GLib version to 2.44

This means we can use some newer features and get rid of some
boilerplate code using the G_DECLARE_* macros.

As discussed on IRC, 2.44 is old enough by now to start depending on it.

qtmux: Use size of first closed caption buffer in prefill mode

It must be accurate for all samples to work in Final Cut properly, so
the best we can do is to assume that all samples are the same as the
first. Bigger samples are truncated, smaller samples are padded.

doc: remove xml from comments

docs: update plugins cache

And add gtk+ and qt plugins

dv, gtk, qt, osxaudio, osxvideo, waveform: add to plugins list

Makes sure the paths for these plugins are included in the
uninstalled plugin paths list. And also for the docs.

Fixes #604

matroskamux: Add new property to offset all streams to start at zero

This takes the timestamp of the earliest stream and offsets it so that
it starts at 0. Some software (VLC, ffmpeg-based) does not properly
handle Matroska files that start at timestamps much bigger than zero.

Closes https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/449

rtpmp4gdepay: don't spam debug log for broken ADTS-in-RTP AAC

Print warning only once.

splitmuxsink: Only set running time on finalizing sink element when in async-finalize mode

There is only a single sink element in async-finalize mode, and we would
keep the running time from previous fragments set in that case. As we
don't ever set the running time for the very last fragment on EOS, this
would mean that the closing time reported for the very last fragment is
the same as the closing time of the previous fragment.

rtspsrc: Remove uneeded keep-alive hack

The rtsp connection code has been fixed now.

https://bugzilla.gnome.org/show_bug.cgi?id=744209