rtpjitterbuffer: various test-improvements

Mainly generalize all the latest tests that have found various stalls
in the jitterbuffer, so that they only consist of a series of packets
with various seqnum/rtptime/rtx combinations, arriving at a specific time.

This means future tests can be more easily written to prove certain
behavior does not cause stalls.

Also fix the warning on windows:
warning C4244: 'initializing': conversion from 'double' to 'gint', possible loss of data

rtpjitterbuffer: fix waiting timer/queue code

Changing the types from boolean to guint due to the ++ operand used on
them, and only call JBUF_SIGNAL_QUEUE after settling down,
or else you end up signaling the waiting code in chain() for every buffer
pushed out.

qtmux: Error out instead of crashing if reserved-max-duration is 0 or no samples could be created in prefill mode

gdkpixbufoverlay: Use GST_VIDEO_OVERLAY_COMPOSITION_BLEND_FORMATS for the supported formats

We don't do any blending by ourselves since a while now.

Note that this is a regression in "supported" formats: previously
ARGB64 was supported, for example, but in practice it caused blending to
not take place at all.

splitmuxsrc: Fix some deadlock conditions and a crash

When switching the splitmuxsrc state back to NULL quickly, it
can encounter deadlocks shutting down the part readers that
are still starting up, or encounter a crash if the splitmuxsrc
cleaned up the parts before the async callback could run.

Taking the state lock to post async-start / async-done messages can
deadlock if the state change function is trying to shut down the
element, so use some finer grained locks for that.

splitmux: Make the unit test faster

The playback test is considerably faster if it runs with the
appsink set to sync=false

tests: splitmux: Add test for timecode based split

splitmuxsink: Split fragment only if queued time is larger than threshold

The queued time includes the duration of the last queued frame
(i.e., new keyframe) so the condition check should not be inclusive.
Note that the new fragment will be cut excluding the last frame
and therefore if the condition is inclusive way,
the fragment might have one frame shorter duration for all keyframe
stream such as jpeg or all-inter video streams.

splitmuxsink: Don't need to trace next timecode for split decision

Since the commit 94bb76b6b9c48981d3ad42a8c4370b9658db4229, splitmuxsink
will split fragments based on queued time and the threshold of that.
So don't need to store the next timecode for split decision.

v4l2: add alternate interlace mode

When using this mode each frame is split in two fields, each one being
transferred using its own buffer.
This is implemented with the V4L2_FIELD_ALTERNATE field format in v4l2.

This mode is enabled using a caps filter such as
"v4l2src ! video/x-raw\(format:Interlaced\)"

Here are the main changes related to this feature:

- use the INTERLACED caps feature with this mode.

- in this mode both fields of a given frame have the same sequence/offset
so adjust the algorithm checking for lost field/frame accordingly.

- double pool's min number of buffers as each frame requires 2 buffers.

Fix #504
Co-authored-by: Zeeshan Ali <zeenix@collabora.co.uk>

v4l2: display field when setting or trying format

Ease debugging interlacing pipelines.

v4l2: pass v4l2object to GST_V4L2_MIN_BUFFERS()

Will be used to double the number of buffers in alternate interlace
mode.

v4l2: use GST_VIDEO_INFO_FIELD_HEIGHT()

Use GST_VIDEO_INFO_FIELD_HEIGHT() instead of GST_VIDEO_INFO_HEIGHT()
when we actually want the field height rather than the frame height.
So far both are equals but that won't longer be the case when
implementing alternate interlace mode.

splitmuxsink: Mark some split decision related properties as MUTABLE_READY

The change of various criteria for split decision while muxing is on progress
wouldn't work well as expected.

splitmuxsink: Take account queued time and max-size-timecode for split decision

Not only the requested keyframe time, the queued size should be
a criterion for the split decision of timecode based mode
(same as max-size-time based split case).

qmlgloverlay: fix usage without an qmlglsink in the pipeline

Without a qmlglsink, we need to retrieve the window system display
ourselves rather than relying solely on qmlglsink to have priority on
the choice of display.

Fix usage of C99

It's 2020, way too early for that, let's stick to C89 for now.

v4l2bufferpool: Use unique name for v4l2bufferpool object

Assign unique sequence number to an object name for better debugging

qmlgloverlay: don't leak resources freed on a different GL thread

deleting a QOpenGLFrameBufferObject needs to occur on the same thread it
was created on in order to actually free the relevant resources
immediately.  Otherwise, they will be queued for deletion and not freed
until the associated QOpenGLContext is destroyed.

qt: reorganize include defines

rtptimerqueue: remove ->num from the timer

This concept was only used by the "multi"-lost timer, and since that
one is not around any longer, the "num" concept is superfluous.

rtpjitterbuffer: remove the concept of "already-lost"

This is a concept that only applies when a buffer arrives in the chain
function, and it has already been scheduled as part of a "multi"-lost
timer.

However, "multi"-lost timers are now a thing of the past, making this
whole concept superflous, and this buffer is now simply counted as "late",
having already been pushed out (albeit as a lost-event).

rtpjitterbuffer: immediately insert a lost-event on multiple lost packets

There is a problem with the code today, where a single timer will
be scheduled for a series of lost packets, and then if the first packet
in that series arrives, it will cause a rescheduling of that timer, going
from a "multi"-timer to a single-timer, causing a lot of the packets
in that timer to be unaccounted for, and creating a situation in where
the jitterbuffer will never again push out another packet.

This patch solves the problem by instead of scheduling those lost packets
as another timer, it instead asks to have that lost-event pushed straight
out.

This very much goes with the intent of the code here: These packets are
so desperately late that no cure exists, and we might as well get the
lost-event out of the way and get on with it.

This change has some interesting knock-on effect being presented in
later commits. It completely removes the concept of "already-lost", so
that is why that test has been disabled in this commit, to be
removed later.

rtpjitterbuffer: rework large-gap tests

Make sure to set the time the buffer is supposed to arrive at, so
as not to trigger an artificial situation.

rtpjitterbuffer: refactor lost_timeout code

Split it up in code related to the timer, (do_lost_timeout) and code
to insert a lost-item/event and update private jitterbuffer-variables.

test/check: split out rtptimerqueue-tests in a separate file

gstqmlgl: Link to opengl32.lib on MinGW

qtmux: Fix build warning

gstqtmux.c(644): warning C4133: '=':
  incompatible types - from 'gboolean (__cdecl *)(GstAggregator *,GstAggregatorPad *,GstEvent *)'
  to 'GstFlowReturn (__cdecl *)(GstAggregator *,GstAggregatorPad *,GstEvent *)'

splitmuxsink: Reset cleanly for reuse

Reset the splitmuxsink completely when changing states so that
it can be reused.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1241

mpegaudioparse: Use a constant bit rate to convert between time and bytes if possible.

This should result in no worse accuracy than the base parse element, and may
result in better accuracy. In particular, the number of bytes processed at any
given point, as accumulated by baseparse, can be only accurate to
(1 / # of frames) bytes per second, and if we try to seek immediately after
pausing the pipeline to a large offset, this small inaccuracy can propagate to
something noticeable.

The use case that prompted this patch is a 45-minute MPEG-1 layer 3 file, which
has a constant bit rate but no seek tables. Trying to seek the pipeline
immediately after pauisng it, without the ACCURATE flag, to a location 41
minutes in, yields a location that is, even with <https://gitlab.freedesktop.org/gstreamer/gstreamer/merge_requests/374>,
still audibly incorrect. This patch yields a much closer position, no longer
audibly incorrect, and likely within a frame of the most correct position.

qtmux: fix renegotiation check

By the time sink_event is called, the pad's current caps have
already been updated. To address this, implement sink_event_pre_queue,
and check if the pad can be renegotiated there.

Fixes #707

splitmuxsink: Decouple keyframe request and the decision for fragmentation

Split the decision for keyframe request and fragmentation in order to
ensure periodic keyframe request.

qt: add a qml overlay filter element [part 2]

It takes a qml scene description and renders it using a possible input
stream.

Currently supported on GLX and WGL.

Follow up to (as that MR had an old version of the commit):
- https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/475
- 4778d7166a02caf793df4f845dc35b6933d87c81: qt: add a qml overlay filter element

qt: add a qml overlay filter element

It takes a qml scene description and renders it using a possible input
stream.

Currently supported on GLX and WGL.

qt: don't always activate/deactivate our GstGLContext

Techincally it is enough to activate at the beginning and then forget.

test/qml: add an dynamically adding qmlglsink element

The example shows how to add qmlglsink to an already running pipeline
with pre-existing OpenGL elements.

qmlglsink: propagate the context up the the application

Allows the application to be notified of the OpenGL context creation.

qtitem: fix leak of caps

wavpack: Use G_DECLARE_FINAL_TYPE

vpx: Use G_DECLARE_FINAL_TYPE

twolame: Use G_DECLARE_FINAL_TYPE

taglib: Use G_DECLARE_FINAL_TYPE

speex: Use G_DECLARE_FINAL_TYPE

soup: Use G_DECLARE_FINAL_TYPE

shout2: Use G_DECLARE_FINAL_TYPE

raw1394: Use G_DECLARE_FINAL_TYPE

qt: Use G_DECLARE_FINAL_TYPE

pulse: Use G_DECLARE_FINAL_TYPE

mpg123: Use G_DECLARE_FINAL_TYPE

libpng: Use G_DECLARE_FINAL_TYPE

libcaca: Use G_DECLARE_FINAL_TYPE

lame: Use G_DECLARE_FINAL_TYPE

jack: Use G_DECLARE_FINAL_TYPE

gtk: Use G_DECLARE_FINAL_TYPE

gdk_pixbuf: Use G_DECLARE_FINAL_TYPE

flax: Use G_DECLARE_FINAL_TYPE

dv: Use G_DECLARE_FINAL_TYPE

cairo: Use G_DECLARE_FINAL_TYPE

aalib: Use G_DECLARE_FINAL_TYPE

tests: rtp-payloading: add minimal vp8/vp9 rtp payloading/depayloading test

rtpvp8pay, rtpvp9pay: fix caps leak in set_caps()

videomixer: Don't leak peer caps

imagesequencesrc: Cleanup and add some features

* Implement the GstURIHandlerInterface
* Rework the locking
* Implement backward seeking handling
* Generate documentation

Add an imagesequencesrc element to stream sequence of images

See: https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/121

v4l2src: decrease gst_v4l2src_create log verbosity

Lower the verbosity of the 'sync' log message emitted
each buffer from gst_v4l2src_create down to LOG(6)
from INFO(4). This brings the logging behavior of
v4l2src closer to the GStreamer guidelines, which
recommend the INFO level be reserved for rare or
one-off messages.

qtdemux: Add support for AC4

The caps received from qtdemux for AC-4 content are audio/x-gst-fourcc-ac_4

Based on patch by: Savinderjit Kaur

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/413

imagefreeze: handle reconfigure events on the srcpad

imagefreeze: properly ignore setting caps failures

Ignore the return value of gst_pad_set_caps() so that setcaps will set a
framerate that is usable.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/705

imagefreeze: don't fail sending sticky events downstream

They will be repropagated anyway.

videocrop: Add support for Y41B and Y42B

videocrop: Add support for Y444

- Refactored the planar transform method to support all video formats
  that are stored planar, independent of the used subsampling
- Added support for Y444

videocrop: Use G_VALUE_INIT to initialize GValues

jpegdec: Configure JPEG chroma-siting for YUV formats

rtph26x: Use gst_memory_map() instead of gst_buffer_map() in avc mode

gst_buffer_map () results in memcopying when a GstBuffer contains
more than one GstMemory and when AVC (length-prefixed) alignment is used.
This has quite an impact on performance on systems with limited amount of
resources. With this patch the whole GstBuffer will not be mapped at once,
instead each individual GstMemory will be iterated and mapped separately.

qmlgl: ensure Qt defines GLsync to fix compile on some platforms

By explictly including QtGui/qopengl.h we force the code path that
defines GLsync in the Qt-specific way. Without that, some platforms
failed to compile the qmlgl plugin, since neither Qt nor gstreamer
defined GLsync then, leading to e.g.:

```
make[4]: Entering directory '/.../gst-plugins-good-1.16.1/ext/qt'
  CXX      libgstqmlgl_la-qtitem.lo
In file included from gstqtgl.h:32,
                 from qtitem.h:27,
                 from qtitem.cc:28:
/.../usr/include/gstreamer-1.0/
gst/gl/gstglfuncs.h:93:17: error: expected identifier before ‘*’ token
   ret (GSTGLAPI *name) args;
                 ^
/.../usr/include/gstreamer-1.0/
gst/gl/glprototypes/sync.h:27:1: note: in expansion of macro
‘GST_GL_EXT_FUNCTION’
 GST_GL_EXT_FUNCTION (GLsync, FenceSync,
 ^~~~~~~~~~~~~~~~~~~
```

rtptwcc: make RTPTWCCManager a GObject

rtpjitterbuffer: fix stalling when resetting timers

When calling gst_rtp_jitter_buffer_reset you pass in a seqnum.

This is considered the starting-point for a new stream.

However, the old behavior would unref this buffer, basically lying to
the thread that is pushing out buffers saying that it can expect
this buffer, when it would never arrive. The resulting effect being no
more buffer pushed out of the jitterbuffer, and it would buffer
incoming data indefinitely.

By instead inserting the buffer in the gap_packets queue, the _reset()
function will take responsibility for using that as the first buffer
of the new stream.

Fixes #703

splitmux: Avoid negative DTS

In order to concatenate fragments, splitmuxsrc offsets
the start of each fragment PTS to 0 to align it with the
previous file. This means that DTS can go negative for
the first fragment, with really bad results.

Add a fixed offset to outgoing timestamp ranges to
avoid that.

qtmux: Remove warning in the log for mono video

Vanilla mono video was generating a spurious warning into the debug log
that's just misleading. Handle mono caps explicitly to avoid the warning.

deinterlace: add alternate support

In this mode each field is carried using its own buffer.
Allow deinterlace to negotiate caps with the Interlaced feature and
adjust the algorithm fetching lines.

Fix #620

deinterlace: add wrapper to get field lines from history

No semantic change so far, will be used to implement alternate support.

deinterlace: stop checking line index boundaries

The LINE2() macro already prevents out of bound indexes using CLAMP_HI()
and CLAMP_LOW().

deinterlace: fix video info on output frames

Output frames used to have their interlace mode set to the same one as
the input. This breaks their field and comp heights when deinterlacing
an alternate stream.

deinterlace: use output caps to compute buffer size

In interlace-mode=alternate the input buffers have half the size of the
output ones as each field has its own buffer.

flacparse: fix broken reordering of flac metadata

Each FLAC metadata block starts with a flag denoting whether it is the
last metadata block. The existing flacparse code moves any existing
VORBISCOMMENT block to immediately follow the STREAMINFO block without
changing any block's last-metadata-block flag. If no VORBISCOMMENT block
exists, it created one with the last-metadata-block flag set to true.
This results in gstflacdec sometimes giving bad headers to libflac when
trying to play perfectly valid FLAC files depending on the file's
metadata ordering. Depending on the contents of the other metadata
blocks, current versions of libflac may or may not return
FLAC__STREAM_DECODER_ERROR_STATUS_BAD_HEADER when given this broken
metadata. This is most noticeable with files that have a large cover art
image attached where VORBISCOMMENT is the very last metadata block with
no PADDING afterwards.

This patch changes that behavior so that:

1. For FLAC files that already have a VORBISCOMMENT block, the metadata
   order is preserved.
2. For FLAC files that do not have a VORBISCOMMENT block, the generated
   dummy VORBISCOMMENT is placed immediately after STREAMINFO and
   inherits the last-metadata-block flag from STREAMINFO.

https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/484

tests: flvmux: Instead of using the testclock, just send eos event for drain

When using the testclock for determining clock in test, it is sometimes observed
that the clock entry is not registered in time by the aggregator. So deadlock occurs
between the aggregator and the test thread.

qtdemux: Try to infer useful header values for raw audio if the sound sample descriptions contain zero values

qtdemux: Also use the enda atom for determining endianess of in32, fl32 and fl64 formats

Previously it was only used for in24.

qtdemux: Fix up header information for various fixed-format raw audio formats

Sometimes the headers contain useless, wrong or zero values for e.g. the
sample size with these formats. There's only a single valid value for
them so let's set these instead.

qtdemux: Don't print "unhandled type" warnings for various other raw audio fourccs

qtdemux: Add some more raw audio fourccs to the header instead of duplicating them

rtpjitterbuffer: Don't use glib format modifiers with sscanf

We do not have a way to know the format modifiers to use with string
functions provided by the system. G_GUINT64_FORMAT and other string
modifiers only work for glib string formatting functions. We cannot
use them for string functions provided by the stdlib. See:
https://developer.gnome.org/glib/stable/glib-Basic-Types.html#glib-Basic-Types.description

```
../gst/rtpmanager/gstrtpjitterbuffer.c: In function 'gst_jitter_buffer_sink_parse_caps':
../gst/rtpmanager/gstrtpjitterbuffer.c:1523:32: error: unknown conversion type character 'l' in format [-Werror=format=]
           || sscanf (mediaclk, "direct=%" G_GUINT64_FORMAT, &clock_offset) != 1)
                                ^~~~~~~~~~
In file included from /home/nirbheek/cerbero/build/dist/windows_x86/include/glib-2.0/glib/gtypes.h:32,
                 from /home/nirbheek/cerbero/build/dist/windows_x86/include/glib-2.0/glib/galloca.h:32,
                 from /home/nirbheek/cerbero/build/dist/windows_x86/include/glib-2.0/glib.h:30,
                 from /home/nirbheek/cerbero/build/dist/windows_x86/include/gstreamer-1.0/gst/gst.h:27,
                 from /home/nirbheek/cerbero/build/dist/windows_x86/include/gstreamer-1.0/gst/rtp/gstrtpbuffer.h:27,
                 from ../gst/rtpmanager/gstrtpjitterbuffer.c:108:
/home/nirbheek/cerbero/build/dist/windows_x86/lib/glib-2.0/include/glibconfig.h:69:28: note: format string is defined here
 #define G_GUINT64_FORMAT "llu"
                            ^
../gst/rtpmanager/gstrtpjitterbuffer.c:1523:32: error: too many arguments for format [-Werror=format-extra-args]
           || sscanf (mediaclk, "direct=%" G_GUINT64_FORMAT, &clock_offset) != 1)
                                ^~~~~~~~~~
```

See also: https://gitlab.freedesktop.org/gstreamer/gstreamer/-/merge_requests/379

qtmux: Add support for 8k resolutions in prefill mode with ProRes

rtpjitterbuffer: Include string.h for memcpy() / memset()

Usually something else is pulling it in somehow already, but not on
Windows.

rtpsession: fix crash when no extension-header present for twcc

matroska-mux: Fix incorrect rounding of timestamps

Previously we saved the buffer_timestamp straight into
mux->cluster_time. Since the cluster time saved into the file does not
have as high precision as GstClockTime depending on the timecodescale
the rounding of relative_timestamp was invalid as mux->cluster_time
which it was calculated relative to was not equal to the cluster time
written to the matroska file.

Example of "mkvinfo -v" of how it looks before and after this change in
an scenario where previously timestamps got out of order because of this
issue.

Notice the timestamp of the SimpleBlock right before and right after the
Cluster now being in order. The consequence of this however is that the
cluster timestamp is not necessarily the same as the timestamp of the
first buffer in the cluster however (in case it's rounded up).

Before

| + SimpleBlock (track number 1, 1 frame(s), timecode 126.922s = 00:02:06.922)
|  + Frame with size 432
| + SimpleBlock (track number 2, 1 frame(s), timecode 126.933s = 00:02:06.933)
|  + Frame with size 329
| + SimpleBlock (track number 2, 1 frame(s), timecode 126.955s = 00:02:06.955)
|  + Frame with size 333
|+ Cluster
| + Cluster timecode: 126.954s
| + Cluster previous size: 97344
| + SimpleBlock (key, track number 1, 1 frame(s), timecode 126.954s = 00:02:06.954)
|  + Frame with size 61239
| + SimpleBlock (track number 2, 1 frame(s), timecode 126.975s = 00:02:06.975)
|  + Frame with size 338

After

| + SimpleBlock (track number 1, 1 frame(s), timecode 135.456s = 00:02:15.456)
|  + Frame with size 2260
| + SimpleBlock (track number 2, 1 frame(s), timecode 135.468s = 00:02:15.468)
|  + Frame with size 332
| + SimpleBlock (track number 2, 1 frame(s), timecode 135.490s = 00:02:15.490)
|  + Frame with size 335
|+ Cluster
| + Cluster timecode: 135.489s
| + Cluster previous size: 158758
| + SimpleBlock (key, track number 1, 1 frame(s), timecode 135.490s = 00:02:15.490)
|  + Frame with size 88070
| + SimpleBlock (track number 2, 1 frame(s), timecode 135.511s = 00:02:15.511)
|  + Frame with size 336

souphttpsrc: Fix cookies property

Disable session sharing and cookie jar when cookies property is set.

The cookie jar actually replaces or removes any existing Cookie header
set on the message, so the cookies property was effectively being
ignored. There doesn't appear to be a way to inject the cookies into the
jar without having to specify matching domains etc., so it's not
possible to simulate the old behaviour of unconditionally sending the
cookies with all messages, besides simply disabling the cookie jar.

rtspsrc: remove useless function calls

Comparing gst_rtspsrc_loop_interleaved and gst_rtspsrc_loop_udp, and investigating on timeout issues, it sounds like a piece of code has been originally copied from udp to the interleaved one. The timeout variable is never used inside the interleaved one. No side effect has been seen in the removed function calls.

The debug message removed is pointless as the timeout used is "src->tcp_timeout" that is fixed.

The presence of the two timeout drove my team in investigating if the reference to the tcp_timeout was correct (it is). Hence we removed the misleading reference to the local timeout variable.

rtpbin: fix typo setting max-dropout/misorder-time

we were setting the max-dropout-time to the value of the
max-misorder-time which by default has a factor of 30 difference in
value.

qtdemux: Parse VP Codec Configuration Box

The VP Codec Configuration Box (vpcC) contains vp9 profile and
colorimetry information. Especially the profile information might
be useful for downstream to select capable decoder element.