rtspsrc: expose and implement onvif-mode property

Refactor the code for parsing and generating the Range, taking
advantage of existing API in GstRtspTimeRange.

Only use the TCP protocol in that mode, as per the specification.

Generate an accurate segment when in that mode, and signal to the
depayloader that it should not generate its own segment, through
the "onvif-mode" field in the caps, see
<https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/merge_requests/328>
for more information.

Translate trickmode seek flags to their ONVIF representation

Expose an onvif-rate-control property

rtspsrc: improve handling of rate in seeks

rtpfunnel: forward correct segment when switching pad

Forwarding a single segment event from the pad that first gets
chained is incorrect: when that first event was sent by an element
such as x264enc, with its offset start, we end pushing out of segment
buffers for the other pad(s).

Instead, everytime the active pad changes, forward the appropriate
segment event.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1028

rtspsrc: Use new GstRTSPMessage API to set message body from a buffer directly

rtpsource: fix receiver source stats to consider previously queued packets

When it is not clear yet if a packet relative to a source should be
pushed, the packet is put into a queue, this happens in two cases:

  - the source is still in probation;
  - there is a large jump in seqnum, and it is not clear what
    the cause is, future packets will help making a guess.

In either case stats about received packets are not updated at all; and
even if they were, when init_seq() is called it resets all receiver
stats, effectively loosing any possible stat about previously received
packets.

Fix this by taking into account the queued packets and update the stats
when calling init_seq().

rtpsource: clarify meaning of the octets-sent and octets-received stats

The octets-send and octets-received stats count the payload bytes
excluding RTP and lower level headers, clarify that in the
documentation.

rtpsource: expose field bytes_received in RTPSourceStats

Since commit c971d1a9a (rtpsource: refactor bitrate estimation,
2010-03-02) bytes_received filed in RTPSourceStats is set but then never
used again, expose it so that it can be used  by user code to verify how
many bytes have been received.

rtpmanager: consider UDP and IP headers in bandwidth calculation

According to RFC3550 lower-level headers should be considered for
bandwidth calculation.

See https://tools.ietf.org/html/rfc3550#section-6.2 paragraph 4:

  Bandwidth calculations for control and data traffic include
  lower-layer transport and network protocols (e.g., UDP and IP) since
  that is what the resource reservation system would need to know.

Fix the source data to accommodate that.

Assume UDPv4 over IP for now, this is a simplification but it's good
enough for now.

While at it define a constant and use that instead of a magic number.

NOTE: this change basically reverts the logic of commit 529f443a6
(rtpsource: use payload size to estimate bitrate, 2010-03-02)

qtdemux: Use empty-array safe way to cleanup GPtrArray

Fix assertion fail
GLib-CRITICAL **: g_ptr_array_remove_range: assertion 'index_ < rarray->len' failed

rtpmp4vpay: config-interval -1 send at idr

adjust/port from rtph264pay and allow sending the configuration data at
every IDR

The payloader was stripping the configuration data when the
config-interval was set to 0. The code was written in such a way !(a >
0) that it stripped the config when it was set at -1 (send config_data
as soon as possible).

This resulted in some MPEG4 streams where no GOP/VOP-I was detected to
be sent out without configuration.

matroskademux: Ignore crc32 element while peeking at cluster.

gtkglsink: fix crash when widget is resized after element destruction

Prevent _size_changed_cb() to be called after gtkglsink has been finalized.

Fix #632

qtdemux: fix reverse playback EOS conditions

In reverse playback, we don't want to rely on the position of the current
keyframe to decide a stream is EOS: the last GOP we push will start with
a keyframe, which position is likely to be outside of the segment.

Instead, let the normal seek_to_previous_keyframe mechanism do its job,
it works just fine.

qtdemux: fix key unit seek corner case

If a key unit seek is performed with a time position that matches
the offset of a keyframe, but not its actual PTS, we need to
adjust the segment nevertheless.

For example consider the following case:

* stream starts with a keyframe at 0 nanosecond, lasting 40 milliseconds
* user does a key unit seek at 20 milliseconds
* we don't adjust the segment as the time position is "over" a keyframe
* we push a segment that starts at 20 milliseconds
* we push a buffer with PTS == 0
* an element downstream (eg rtponviftimestamp) tries to calculate the
  stream time of the buffer, fails to do so and drops it

jpegdec: Don't dereference NULL input state if we have no caps in TIME segments

Simply assume that the JPEG frame is not going to be interlaced instead
of crashing.

rtp: opuspay: fix memory leak in gst_rtp_opus_pay_setcaps.

The src caps were never dereferenced, causing a memory leak.

qtdemux: implement support for trickmode interval

When the seek event contains a (newly-added) trickmode interval,
and TRICKMODE_KEY_UNITS was requested, only let through keyframes
separated with the required interval

meson: Don't generate doc cache when no plugins are enabled

Fixes gst-build with -Dauto-features=disabled

matroska: Port to color_{primaries,transfer,matrix}_to_iso

... and remove duplicated code.

splitmuxsink: add the ability to mux auxilliary video streams

The primary video stream is used to select fragment cut points
at keyframe boundaries. Auxilliary video streams may be
broken up at any packet - so fragments may not start with a keyframe
for those streams.

splitmuxsrc: Add video_%d pad template.

splitmuxsrc actually supports multiple video pads. Make that clear,
especially since it was already creating pads named "video_0" etc.

qtdemux: fix conditions for end of segment in reverse playback

The time_position field of the stream is offset by the media_start
of its QtDemuxSegment compared to the start of the GstSegment of
the demuxer, take it into account when making comparisons.

matroskademux: Fix mismatched transfer characteristic

TransferCharacteristics(18) should be ARIB STD-B67 (HLG)
See https://www.webmproject.org/docs/container/#TransferCharacteristics

Also map more color primaries indexes which have been handled by matroska-mux.

v4l2: Remove misleading comments

gst_pad_template_new() does not take ownership of the caps

rtp session: Add test for collision loopback detection

Ignore further collisions if the remote SSRC change with ours, it's
probably because someone is sending us back the packets we send out.

rtpsession tests: Add test for third-party collision detection

Add tests to validate the code that ignores the same packets coming
from 2 different sources (an third-party collision).

rtpsession: Add test for collision on incoming packets

Make sure that the collision is properly detected on incoming packets.

rtpsession test: Verify that on-ssrc-collision message is emitted

rtpsession: Also send conflict event when sending packet

If the conflict is detected when sending a packet, then also send an
upstream event to tell the source to reconfigure itself.

Also ignore the collision if we see more than one collision from the same
remote source to avoid problems on loops.

v4l2transform: set right buffer count.

Set right buffer count to avoid one buffer.

rtph265pay: Also immediately send packet if it is a suffix NAL

Immediately send packet if it contains any suffix NAL, this is required
in case they come after the VCL nal to not have to wait until the next frame.

rtph265pay: Don't drop second byte of NAL header

At least keep 2 bytes per NAL even if the second one is 0, the
second byte of the NAL header could very well be 0.

rtph26xpay: Avoid print when there is no bundle at end of packet

rtph26xpay: Wait until there is a VCL or suffix NAL to send

With unit tests.

rtph265pay test: Add unit tests for aggregation

rtph265pay: Implement Aggregation packets

Align with rtph264pay

rtph264pay test: Add unit tests for aggregation

rtph264pay: Report latency when in maximal aggregation mode

rtph264pay: Default to not adding latency when aggregating

Send the bundle as soon as there is one VCL unit in the packet at
the end of an incoming buffer.

The DELTA_UNIT flag is not reliable, so ignore it.

rtp-payloading test: Fix working to 1.0 buffers instead of groups

rtph265pay: Replace fragmentation while-loop with for-loop

Align with rtph264pay

rtph265pay: Rename payload_len to max_fragment_size

Align to rtph264pay

rtph265pay: Clean up _payload_nal

Move determining whether we need to fragment at all into the
fragmenter.

Align with rtph264pay

rtph265pay: Extract sending fragments into _payload_nal_fragment

Align with rtph264pay

rtph265pay: Extract sending a single packet into _payload_nal_single

Align with rtph264pay

rtph265pay: Define and use FU_A_TYPE_ID

Align with rtph264pay

rtph265pay: Use snake_case variables

Align with rtph264pay

rtph265pay: Clean up whitespace and syntax

Align with rtph264pay

rtph264pay: Support STAP-A bundling

Add a new property "do-aggregate"* to the H.264 RTP payloader which
enables STAP-A aggregation as per [RFC-6184][1]. With aggregation enabled,
packets are bundled instead of sent immediately, up until the MTU size.
Bundles also end at access unit boundaries or when packets have to be
fragmented.

*: The property-name is kept generic since it might apply more widely,
   e.g. STAP-B or MTAP.
[1]: https://tools.ietf.org/html/rfc6184#section-5.7

Closes https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/434

rtph264pay: Fix delta-unit/discont handling when injecting SPS/PPS

Apply the wanted delta-unit and discont to the first packet; following
packets for this frame are always delta units and not discont.

rtph264pay: Replace fragmentation while-loop with for-loop

rtph264pay: Calculate the right max_fragments

rtph264pay: Rename payload_len to max_fragment_size

rtph264pay: Clean up _payload_nal_fragment

rtph264pay: Clean up _payload_nal

Move determining whether we need to fragment at all into the fragmenter.

rtph264pay: Clean up _payload_nal_single

rtph264pay: Extract sending fragments into _payload_nal_fragment

rtph264pay: Extract sending a single packet into _payload_nal_single

rtph264pay: Define and use FU_A_TYPE_ID

rtph264pay: Use snake_case variables

rtph264pay: Clean up whitespace and syntax

rtpjitterbuffer: Unlock output if the queue is full

rtpjitterbuffer: Ignore unsolicited rtx packets.

If an rtx packet arrives that hasn't been requested (it might
have been requested from prior to a reset), ignore it so that
it doesn't inadvertently trigger a clock skew.

rtpjitterbuffer: Add unit test for unsolicited rtx affecting skew

rtpjitterbuffer: Only calculate skew or reset if no gap.

In the case of reordered packets, calculating skew would cause
pts values to be off. Only calculate skew when packets come
in as expected. Also, late RTX packets should not trigger
clock skew adjustments.

Fixes #612

qtdemux: Provide a 30 frames lead-in for MP3

mpegaudioparse suggests MP3 needs 10 or 30 frames of lead-in (depending on
mpegaudioversion, which we don't know here), thus provide at least 30 frames
lead-in for such cases as a followup to commit cbfa4531ee5ef.

rtpjitterbuffer: max-dropout-time gets cast to int32

So any value over MAXINT32 gets considered as negative and is silently ignored.

qtdemux: do_seek can never be called with a NULL event

qtdemux: only adjust segment time when adjusting segment start

We ended up setting segment.time to segment.position when doing
reverse playback, which is obviously wrong.

rtspsrc: unref the event in element seek handler

rtspsrc: handle seek event on the element

Without this, the user has to wait for rtspsrc to have sent a PLAY
request and exposed its pads before seeking it.

multiudpsink: Add missing socket.h include

Without this include, macro like SO_BINDTODEVICE is not visible and
associated feature gets out-compiled. This also affects the support for
SO_SNDBUF.

flvmux: Clear new_tags if sending metadata in header

This avoids sending an additional metadata object right after the
headers.

v4l2videodec: Fix drain() function return type

Return right type for drain() function.

audioparsers: add back segment clipping to parsers that have lost it

The pre_push_frame default clipping behaviour was introduced in 2010
with commit 30be03004e82 and modified with commit 4163969a2422 in 2011,
when most parsers didn't implement a pre_push_frame yet. Not having it
meant that clipping was done by default. Those that did implement a
pre_push_frame (flacparse and mpegaudioparse) at the time, had the flag
adjusted as part of the 2011 refactor work.

All other parsers got a pre_push_frame vfunc implementation only in
2013, but seem to have forgot to keep the clipping behaviour, as
was done automatically when a pre_push_frame implementation doesn't
exist for the parser. aacparse lost it with commit 91d4abcea in
July 2013; the others in Dec 2013 as part of AUDIO_CODEC tag posting
in commits 6f89b430e, d2ab5199b, 29f2cae12, 753d3c23a and 292780574.

v4l2: fix compiler warning due to c99-ism

test: flvmux: Test changing caps with one sinkpad

These tests segfault without the preceding crash fix.

test: flvmux: Use gst_harness_sink_push_many

And check its return value.

flvmux: Simplify an if-else chain

Merge the identical branches and turn the condition around to make it
easier to read.

flvmux: Avoid crash when changing caps without both streams

mux->video_pad and mux->audio_pad can be NULL if the corresponding pad
has not been requested.

rtpgstpay: Send caps anyway if caps are pending in the adapter but are different from the new ones

Otherwise it can happen that we receive a caps event, then another caps
event and only then buffers. We would then send out the first caps event
in the stream but mark buffers with the caps version of the second caps
event.

rtpgstdepay: Only store the current caps and drop old caps immediately

Otherwise it can happen that we already collected 7 caps, miss the 8th
caps packet (packet loss) and then re-use the 1st caps for the following
buffers instead of the 8th caps which will likely cause errors further
downstream unless both caps are accidentally the same.

Keeping old caps around does not seem to have any value other than
potentially causing errors. We would always receive new caps whenever
they change (even if they were previous ones) and it's very unlikely
that they happen to be exactly the same as the previous ones.

Also after having received new caps or a buffer with a next caps
version, no buffers with old caps version will arrive anymore.

rtpjitterbuffer: Clear clock master before unreffing

Make sure to clear any master clock on the media_clock
before unreffing it to release the timer callback that's
updating the clock and keeping it reffed.

matroska: Initialise a video_context field to satisfy valgrind

Clear the mastering_display_info_present field explicitly
after reallocating the track context into a video context
to avoid uninitialised warnings in valgrind

docs: Fix link to strings

We can't link to #gchar* this way.

jitterbuffer: unset DTS on output buffers

splitmuxsink: set the same seqnum on flush_start / flush_stop

It's currently not made mandatory by aggregator, but it might
eventually be, and is more consistent behaviour

See https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/977

rtpjitterbuffer: late packets shouldn't affect PTS of the following packet

If, say, a rtx-packet arrives really late, this can have a dramatic
effect on the jitterbuffer clock-skew logic, having it being reset
and losing track of the current dts-to-pts calculations, directly affecting
the packets that arrive later.

This is demonstrated in the test, where a RTX packet is pushed in really
late, and without this patch the last packet will have its PTS affected
by this, where as a late RTX packet should be redundant information, and
not affect anything.

rtpjitterbuffer: fix rtx delay calulation when large packet spacing

rtpjitterbuffer: Fix delay for EXPECTED timers added by gaps

This patch corrects the delay set on EXPECTED timers that are added when
processing gaps. Previously the delay could be too small so that
'timout + delay' was much less than 'now', causing the following retries
to be scheduled too early. (They were sent earlier than
rtx-retry-timeout after the previous timeout.)

rtpjitterbuffer: don't try and calculate packet-rate if seqnum are jumping

Turns out that the "big-gap"-logic of the jitterbuffer has been horribly
broken.

For people using lost-events, an RTP-stream with a gap in sequencenumbers,
would produce exactly that many lost-events immediately.
So if your sequence-numbers jumped 20000, you would get 20000 lost-events
in your pipeline...

The test that looks after this logic "test_push_big_gap", basically
incremented the DTS of the buffer equal to the gap that was introduced,
so that in fact this would be more of a "large pause" test, than an
actual gap/discontinuity in the sequencenumbers.

Once the test was modified to not increment DTS (buffer arrival time) with
a similar gap, all sorts of crazy started happening, including adding
thousands of timers, and the logic that should have kicked in, the
"handle_big_gap_buffer"-logic, was not called at all, why?

Because the number max_dropout is calculated using the packet-rate, and
the packet-rate logic would, in this particular test, report that
the new packet rate was over 400000 packets per second!!!

I believe the right fix is to don't try and update the packet-rate if
there is any jumps in the sequence-numbers, and only do these calculations
for nice, sequential streams.

rtpjitterbuffer: fix unused variables

splitmuxsrc: Protect initial pad configuration with the object lock

gst_splitmux_src_activate_part() configures the pad information
before starting the pad task, but occasionally the changes it makes
to the pad are not seen in the pad task because they're not
protected by the right locking. Use the pad's object lock to
protect those variables.

splitmuxsrc: Restart pad task on a reconfigure

On a reconfigure event, restart streaming on the pad so
that switching tracks in playbin works cleanly

splitmuxsrc: Use an RW lock instead of a mutex to protect the pad list

Fix a deadlock around the pads list by using an RW lock to
allow simultaneous readers. The pad list doesn't really changes
except at startup and shutdown.

splitmuxsrc: Ignore duplicate seeks

Use the seqnum to ignore duplicated seek events.

splitmuxsink: Improve debug output

Make the debug output less confusing by not mentioning a src
pad when doing calculations on the sink pad side.

Improve debug around why a GOP is considered overflowing a fragment

splitmuxsink: Give internal queues useful names

Makes debug output more useful

qtdemux: Provide a 2 frames lead-in for audio decoders

AAC and various other audio codecs need a couple frames of lead-in to
decode it properly. The parser elements like aacparse take care of it
via gst_base_parse_set_frame_rate, but when inside a container, the
demuxer is doing the seek segment handling and never gives lead-in
data downstream.
Handle this similar to going back to a keyframe with video, in the
same place. Without a lead-in, the start of the segment is silence,
when it shouldn't, which becomes especially evident in NLE use cases.

qtdemux: remove indent exception and reindent

As the indent disabling isn't playing along for a following fix,
remove the indent disabling and reindent in a way that doesn't
look too stupid.