qtdemux: Add/Fix comments on the various structure variables

No variables were added/removed. This was just a good excuse to:
* Comment what most variables are used for (and when)
* Order them in such a way as to show first the common variables used
  in all cases, followed by those only used in push-mode

qtdemux: Remove unused structure

Let's just remove it, been commented for 7+ years :)

v4l2videodec: use decoder stop command instead of queueing empty buffers

Only if the decoder stop command fails, keep queueing empty buffers to
signal end of stream as before.

https://bugzilla.gnome.org/show_bug.cgi?id=733864

v4l2videodec: add gst_v4l2_decoder_cmd helper

https://bugzilla.gnome.org/show_bug.cgi?id=733864

qtdemux: Forward segments directly if we are operating in PUSH mode on fragmented streams

We shouldn't go through segment activation as we will only have a limited
understanding of how the whole stream timeline looks like from the moof. We
only know about the current fragment, while upstream knows about the whole
stream.

This fixes seeking in DASH streams, both for seeks after the current moof and
for seeks into the current moof. The former would fail because the moof ends
and we can't activate any segment, the latter would cause a segment that stops
at the moof end, and no further fragments would be played because we end up
being EOS.

https://bugzilla.gnome.org/show_bug.cgi?id=767071

v4l2transform: Use looser caps for upstream

When we fixate for upstream, try to not introduce new fields when not
needed. This was imported from videoconvert element.

gstv4l2transform: format fixation for preferring passthrough

* If outgoing format is unfixated, try to set it to input format.

* Call gst_caps_fixate () at end of fixation routine

https://bugzilla.gnome.org/show_bug.cgi?id=766719

v4l2transform: allow to change pixel aspect ratio

Scalers may change width and height independently,
allow to change pixel aspect ratio.

https://bugzilla.gnome.org/show_bug.cgi?id=766712

v4l2transform: fix scaling in case of fixed pixel aspect ratio

To change pixel aspect ratio from DAR to PAR, the necessary scaling factor
is DAR/PAR, not DAR*PAR.
For good measure, add debug output similar to the fixed-width and
fixed-height cases.

https://bugzilla.gnome.org/show_bug.cgi?id=766711

v4l2object: fill colorimetry in gst_v4l2_object_acquire_format

Instead of relying on the default colorimetry chosen by
gst_video_info_set_format(), set info.colorimetry from the
values returned by G_FMT. This allows decoders to propagate
their input colorimetry downstream.

https://bugzilla.gnome.org/show_bug.cgi?id=766383

v4l2object: refactor gst_v4l2_object_get_colorspace to take a v4l2_format parameter

Move the extraction of colorimetry parameters from struct v4l2_format and the
setting of the identity matrix for RGB formats into the function to avoid code
duplication.

https://bugzilla.gnome.org/show_bug.cgi?id=766383

v4l2videodec: use visible size, not coded size, for downstream negotiation filter

gst_v4l2_probe_caps() returns the coded size, not the visible size. Subtract
the known padding from probed caps with the coded size before using them as
filter for caps negotiation with downstream elements.

https://bugzilla.gnome.org/show_bug.cgi?id=766382

v4l2object: use G_SELECTION instead of G_CROP in gst_v4l2_object_acquire_format

The gst_v4l2_object_acquire_format() function is used by v4l2videodec to obtain
the currently set capture format. Since G_FMT returns the coded size, the
visible size needs to be obtained from the compose rectangle in order to
negotiate it with downstream elements. The G_CROP call hasn't worked on mem2mem
capture queues for a long time. Instead use the G_SELECTION call to obtain the
compose rectangle and only fall back to G_CROP for ancient kernels.

https://bugzilla.gnome.org/show_bug.cgi?id=766381

v4l2sink: Use V4L2_BUF_TYPE_VIDEO_OUTPUT_OVERLAY if driver advertises it.

On modern kernels, the G/S_FMT ioctls will always fail using
V4L2_BUF_TYPE_VIDEO_OVERLAY with VFL_DIR_TX (e.g. real overlay out drivers)
since this is not the intented use (rather rx, according to v4l2 API doc).
Probably this is why the Video Output Overlay interface was created, so if
the driver advertises it we might as well use.
For old kernels (pre 2012) the old way might still work so keeping this for
compatibility.

https://bugzilla.gnome.org/show_bug.cgi?id=761165

v4l2object: Use non-deprecated V4L2 type for RGB15

Support for the updated V4L2_PIX_FMT_XRGB555 was added in commit
2538fee2fd8fdb74b05f0a511281bc4707e7cc44 however, when setting the format
for use in v4l2 ioctls, the old deprecated format is still used. Convert
this to the new accepted format type, as the preferred format.

https://bugzilla.gnome.org/show_bug.cgi?id=767300

matroskademux: preserve seek flags

Without this some flags get lost in streaming mode.

https://bugzilla.gnome.org/show_bug.cgi?id=767194

Revert "WIP revert soup"

This reverts commit fdac3a7a231f3848665636cf8122f96103b46e3b.

Was not supposed to be pushed but a local workaround for
https://bugzilla.gnome.org/show_bug.cgi?id=693911#c13

rtpsource: complete warn log with SSRC

https://bugzilla.gnome.org/show_bug.cgi?id=767195

WIP revert soup

dvdemux: Unref seek event in any case

It would be leaked if no seek handler was currently set.

dvdemux: Properly set event/message sequence numbers based on the previous seek

See https://bugzilla.gnome.org/show_bug.cgi?id=765935

https://bugzilla.gnome.org/show_bug.cgi?id=767157

dvdemux: Remember if upstream had a time segment and if not properly create time segments

Previously the segment.time was wrong, and the position was not updated
correctly, resulting in seeks in PUSH mode with upstream providing a BYTES
segment to not work at all.

https://bugzilla.gnome.org/show_bug.cgi?id=767157

dvdemux: Implement SEEKING query so we can actually seek if upstream can't seek in TIME

https://bugzilla.gnome.org/show_bug.cgi?id=767157

dvdemux: Recalculate the frame offsets at the beginning of each BYTE segment and whenever upstream gives us a timestamp

This fixes seeking in DV streams where upstream operates in PUSH mode with a
TIME segment (e.g. avidemux). Without this, we would generate wrong durations
and timestamps after a seek.

https://bugzilla.gnome.org/show_bug.cgi?id=767157

dvdemux: Pass-through buffer DISCONT flags

https://bugzilla.gnome.org/show_bug.cgi?id=767157

rtpvp9depay: Don't assert on flexible mode packets

Instead just post a warning on the bus for now.

tests: rtpbin: fix caps leak

https://bugzilla.gnome.org/show_bug.cgi?id=767156

tests: amrparse: clean up test

- use GST_CHECK_MAIN() to reduce boilerplate
- unref the input caps using a teardown function to prevent leaks

https://bugzilla.gnome.org/show_bug.cgi?id=767156

deinterlace: Ensure DISCONT flag is properly propagated

The output of deinterlace at startup, or when receiving a new DISCONT
buffer, should have the DISCONT flag set on the first buffer.

v4l2src: check for valid size on raw video buffers

Discard buffers that doesn't contain enough data when dealing
with raw video inputs.

https://bugzilla.gnome.org/show_bug.cgi?id=767086

qtdemux: Use the demuxer segment instead of a new one for MSS streams

Upstream might have told us something about the to be expected segment, so
let's use that information instead of coming up with a [0,-1] segment.

https://bugzilla.gnome.org/show_bug.cgi?id=767071

qtdemux: Only activate segments and send SEGMENT events if we have streams

But in that case also remove the pending newsegment event, otherwise we would
later send a possibly outdated event.

https://bugzilla.gnome.org/show_bug.cgi?id=767071

qtdemux: In PULL mode, nothing is ever going to send us a SEGMENT event

https://bugzilla.gnome.org/show_bug.cgi?id=767071

qtdemux: Don't override TIME segments from upstream that we just saw

The point of d8fb7a9c96b108814beeaa0e63f818d4648c7fe9 was to not have any
spurious segments stored for later if we do BYTES->TIME conversion, but
overriding any TIME segments from upstream does not make any sense.

See https://bugzilla.gnome.org/show_bug.cgi?id=763165

https://bugzilla.gnome.org/show_bug.cgi?id=767071

multifilesrc: set position as offset from start-index

query position in GST_FORMAT_BUFFER returns
offset from start-index rather than index.

https://bugzilla.gnome.org/show_bug.cgi?id=752462

tests: add unit test for JPEG-2000 rtp payloader leak

https://bugzilla.gnome.org/show_bug.cgi?id=766870

rtpj2kpay: Fix buffer memory leak

Input buffer memory was not unmapped

https://bugzilla.gnome.org/show_bug.cgi?id=766870

v4l2object: fix caps leak

gst_v4l2_object_probe_caps() was taking an extra ref on the returned
caps for no reason.

https://bugzilla.gnome.org/show_bug.cgi?id=766610

videocrop mark crop properties as mutable in playing state

souphttpsrc: fix buffer leak when flushing

When early returning in gst_soup_http_src_read_buffer() because the
element is FLUSHING, we need to unmap and unref the buffer which was just created.

https://bugzilla.gnome.org/show_bug.cgi?id=766718

qtdemux: Set seek event seqnum on all SEGMENT events

Some were forgotten.

See https://bugzilla.gnome.org/show_bug.cgi?id=765935

avidemux: Pass through seek event seqnums in all SEGMENT/EOS events and SEGMENT_DONE messages/events

See https://bugzilla.gnome.org/show_bug.cgi?id=765935

matroskademux: Set seek event seqnum in EOS and SEGMENT_DONE messages/events

Also actually store the seqnum in pull mode seeks.

See https://bugzilla.gnome.org/show_bug.cgi?id=765935

deinterlace: fix caps leak

The caps returned by gst_pad_get_current_caps() was never unreffed when
not early returning.

Fix a leak with the elements/deinterlace test.

https://bugzilla.gnome.org/show_bug.cgi?id=766558

rtpsession: don't act on suspicious BYE RTCP

Some endpoints (like Tandberg E20) can send BYE packet containing our
internal SSRC. I this case we would detect SSRC collision and get rid
of the source at some point. But because we are still sending packets
with that SSRC the source will be recreated immediately.
This brand new internal source will not have some variables incorrectly
set in its state. For example 'seqnum-base` and `clock-rate` values will be
-1.
The fix is not to act on BYE RTCP if it contains internal or unknown
SSRC.

https://bugzilla.gnome.org/show_bug.cgi?id=762219

rtpsession: Add test for locking of the stats signal

Keeping the lock while emitting the stats signal introduces potential
deadlock in those situations when the signal callback wants the access
to rtpsession's properties which also requre the lock.

https://bugzilla.gnome.org/show_bug.cgi?id=762216

matroskademux: don't hold object lock whilst pushing out headers

matroskademux would take the GST_OBJECT_LOCK in
- gst_matroska_demux_push_codec_data_all()
- gst_matroska_demux_query()

Some parse element such as FLAC checks upstream seekability, and
there is some use cases that matroska-demux is linked to a parse element
(e.g.,FLAC format) without intermediate elements (e.g., queue).
In this case, matroska-demux never returns from _push_codec_data_all()
because the parser can return only after it receives the response to
the upstream query, but that's not going to happen because it's
deadlocked.

Elements must not hold the object lock whilst pushing out events
or data.

https://bugzilla.gnome.org/show_bug.cgi?id=766645

souphttpclientsink: Set sent_buffers and streamheader_buffers to NULL after freeing

Otherwise we might use an already freed list later and crash or worse.

udpsrc: fix Since version for new "loop" property

rtpdec: fix clock leak

gst_system_clock_obtain() returns a new ref.

https://bugzilla.gnome.org/show_bug.cgi?id=766521

udpsrc: add doc blurb with since marker for new "loop" property

avimux: add support for png

https://bugzilla.gnome.org/show_bug.cgi?id=758059

splitmuxsrc: Connect to demux signals before activating

Fix a race in splitmuxsrc by properly connecting to the
demuxer signals we're interested in *before* setting it running.

docs: Update for git master

rtpmp4gpay: Don't produce timestamps based on byte count

The GST_BUFFER_OFFSET of output buffers returned to GstRtpBasePayload
should reflect the number of "samples" in the unit of the RTP clock in this
buffer. If this is not true, then it shouldn't be set.

https://bugzilla.gnome.org/show_bug.cgi?id=761943

matroska-mux: Fix strcmp usage

Just use g_strcmp0 which can handle NULL entries

souphttpsrc: Use audio/x-unaligned-raw instead of audio/x-raw for L16 data

Directly setting audio/x-raw caps leads to problems when the delivered
data blocks do not align properly at sample boundaries (for example, a
data block with 391 bytes). So, instead, set audio/x-unaligned-raw to
let a parser be autoplugged.

https://bugzilla.gnome.org/show_bug.cgi?id=689460

qtdemux: Parsing elst box based on version

segment_duration and media_time should be parsed based on version
of elst box. Specification defines that an elst box with version 1
has uint64 and int64 values for segment_duration and media_time,
respectively.

https://bugzilla.gnome.org/show_bug.cgi?id=766301

souphttpsrc: check if request was cancelled when sending message

It might be that the request was aborted by the application and
we can return immediatelly

souphttpsrc: proxy resolver is on by default

Remove from the session creation parameters

soup: update build to warn about newer deprecated functions

We already depend on 2.48

souphttpsrc: reduce reading latency by using non-blocking read

Non-blocking read will return the amount of data available without
blocking to wait for the full requested size.

The downside is that now it souphttpsrc needs to have a waiting
mechanism in case there is no data available yet to avoid busy
looping arond the inputstream.

rtpsession: Take the lock already when reading the other stats, not just for the hash table

https://bugzilla.gnome.org/show_bug.cgi?id=766025

matroska: use math-compat.h for NAN define

splitmuxsink: Use GstBin async-handling instead of our own.

Set the async-handling property on GstBin to let it manage
async-handling instead of the local handling from the previous
commit. Works because of #174a5e in core

souphttpsrc: refactor to use Soup's sync API

Replace the async API with the sync API to remove all the extra mainloop
and context handling. Currently it blocks reading until 'blocksize'
bytes are available but that can be improved by using:

https://developer.gnome.org/gio/unstable/GPollableInputStream.html#g-pollable-input-stream-read-nonblocking

https://bugzilla.gnome.org/show_bug.cgi?id=693911

tests: souphttpsrc: replace deprecated API

Avoid using soup_server_run_async and old get_port() APIs,
replace with me soup_server_listen and get the port through the
URIs list returned from the server.

jitterbuffer: Upgrade debug message to error

It causes the entire pipeline to fail, it should be easier to find.

splitmuxsink: Hide internal async state changes.

When switching fragments, hide the async-start/async-done
messages from the parent bin, as otherwise we sometimes (very rarely)
hang in PAUSED instead of returning / continuing to PLAYING
state.

splitmuxsink: Remove stray carriage-return from debug

rtp: Ship gstrtpj2kcommon.h file to fix distcheck

avimux: Do not write index and header if idx is NULL

Fixes criticals with e.g.
videotestsrc num-buffers=1 ! identity drop-probability=1.0 ! avimux ! fakesink

https://bugzilla.gnome.org/show_bug.cgi?id=748700

rtpj2kpay: manage T tile invalidation bit correctly, update tile id in header correctly.

1. according to RFC, T bit is only set when either the RTP packet only contains the J2K main header, or the packet contains tile parts from multiple tiles. This is now being managed correctly in the code. The second scenario cannot happen with our payloader, since tile headers are always placed in their own RTP packet, and so a packet cannot contain tile parts from multiple tiles.
However, I have added code to track if multiple tile parts are included in a single RTP packet, in case in the future we want to put header and data in same packet.

2. Old code would set the tile id to zero for all J2K packets. This is now set correctly to the appropriate tile id.

https://bugzilla.gnome.org/show_bug.cgi?id=745187

rtpj2kpay: manage fragmented headers correctly

J2K main header framentation across multiple RTP packets is now handled correctly

https://bugzilla.gnome.org/show_bug.cgi?id=745187

rtpj2k: move common code to shared header, code clean up

https://bugzilla.gnome.org/show_bug.cgi?id=745187

rtpj2k: update documentation

https://bugzilla.gnome.org/show_bug.cgi?id=745187

auparse: Fix sticky event misordering warning

Make sure that src pad has caps before sending segment event.

https://bugzilla.gnome.org/show_bug.cgi?id=766359

rtpsession: Don't notify about stats property changes while taking the session lock

The signal handlers might want to actually get the value of the stats
property, which would take the session lock again and deadlock.

This was introduced by 2e960e70750a0cb7e1117d0c09d08597866a29ee.

https://bugzilla.gnome.org/show_bug.cgi?id=766025

qtdemux: improve edts segment handling after seeks in push mode

Properly handle edts segments for push-based operation seeking.
We only support edts that a single segment that has media at the end,
being preceeded by any number of gap segments.

This also allows the qt segment rate to be respected after seeks

https://bugzilla.gnome.org/show_bug.cgi?id=765669

qtdemux: properly activate segment with rate != 1.0

Also use the qt rate to identify the position within a qt segment
to properly translate playback time to qt media time

https://bugzilla.gnome.org/show_bug.cgi?id=765669

rtpjitterbuffer: Fix stall when receiving already lost packet

When a packet arrives that has already been considered lost as part of a
large gap the "lost timer" for this will be cancelled. If the remaining
packets of this large gap never arrives, there will be missing entries
in the queue and the loop function will keep waiting for these packets
to arrive and never push another packet, effectively stalling the
pipeline.

The proposed fix conciders parts of a large gap definitely lost (since
they are calculated from latency) and ignores the late arrivals.

In practice the issue is rare since large gaps are scheduled immediately,
and for the stall to happen the late arrival needs to be processed
before this times out.

https://bugzilla.gnome.org/show_bug.cgi?id=765933

rtpsession: Take session lock when creating stats

The access to the session hash table must happen while the session lock is
taken, otherwise another thread might modify the hash table while we're
creating the stats.

https://bugzilla.gnome.org/show_bug.cgi?id=766025

qtdemux: update segment when new duration is found

Otherwise the old segment will have a shorter stop time and would
cause the stream to end too early.

qtdemux: dismember activate_segment into 2 parts

One that updates and push a new segment, the other will move the
stream to the new segment starting position

dv: Use correct pixel-aspect-ratio values

The previous ones resulted in odd display aspect ratios and were different
from the ones used by e.g. ffmpeg. The new ones now result in display aspect
ratios of 4:3 and 16:9.

https://bugzilla.gnome.org/show_bug.cgi?id=765946

tests: add splitmuxsrc test for new "format-location" signal

https://bugzilla.gnome.org/show_bug.cgi?id=753625

splitmuxsrc: add a format-location signal that allows bypassing the location property

This signal allows a user to directly return a sorted list of
files to be joined, so that they don't have to follow the
filename pattern that the "location" property expects.

https://bugzilla.gnome.org/show_bug.cgi?id=753625

splitmuxsink: Fix deadlock case when source reaches EOS

https://bugzilla.gnome.org/show_bug.cgi?id=765072

wavparse: simplify and correct header scanning

The wav spec tells that 'fmt' (and 'bext' if present) must come before 'data'.
There is no requirement for 'fmt' to be first. We already had a list of chunks
to skip, but it is easier to just skip any chunk while seeking for 'fmt'.

This fixes reading files generated by ProTools.

osxaudio: Support audio device provider on osx

https://bugzilla.gnome.org/show_bug.cgi?id=753265

avimux: set audio header rate according to calculated bps in stop_file

... now that set_fields is no longer called there by
e538608b3f90539003de21c1db238f3c9b946e30

qtdemux: Store the segment sequence number in the EOS events and SEGMENT_DONE events/message

Also instead of storing it per stream, store it globally in the demuxer. It's
the same for each stream anyway.

https://bugzilla.gnome.org/show_bug.cgi?id=765806

udpsrc: Always bind to ANY when address is a multicast address and not only on Windows

For IPv6 addresses, binding to a multicast group does not work on Linux
either. Always bind to ANY and then later join the multicast group.

https://bugzilla.gnome.org/show_bug.cgi?id=764679

ximageutil: shouldn't implement transform if don't support it

shouldn't implement transform if don't support it. Or gst_buffer_copy_into()
will print ERROR log.

https://bugzilla.gnome.org/show_bug.cgi?id=765583

qtmux: Allow MPEG-1 Layer 1 and 2 in addition to 3 in MP4

Via the MPEG-4 Part 3 spec we can support the other layers too.
Also correct the samples per frame calculation for MP3 if it's MPEG-2 or
MPEG-2.5.

https://bugzilla.gnome.org/show_bug.cgi?id=765725

rtspsrc: Update caps for TCP whenever they change

We only changed them for UDP so far, which caused the wrong seqnum-base and
other information to be passed to rtpjitterbuffer/etc when seeking. This
usually wasn't that much of a problem as the code there is robust enough, but
every now and then it causes us to drop up to 32756 packets before we
continue doing anything meaningful.

https://bugzilla.gnome.org/show_bug.cgi?id=765689

rtpjitterbuffer: Ensure to not take caps with the wrong pt for getting the clock-rate

Especially the caps on the pad might be out of date, and the new caps would be
provided for the current pt via the request-pt-map signal.

https://bugzilla.gnome.org/show_bug.cgi?id=765689

rtspsrc: Don't propagate spurious state change returns from internal elements further

We handle them inside rtspsrc and override them in all other cases anyway, so
do the same for "internal" state changes like PAUSED->PAUSED and
PLAYING->PLAYING.

This keeps unexpected NO_PREROLL to confuse state changes in GstBin.

See also https://bugzilla.gnome.org/show_bug.cgi?id=760532

https://bugzilla.gnome.org/show_bug.cgi?id=765689

avimux: Don't override maximum audio chunk size with the scale again just before writing it

set_fields() should only be called in the beginning, otherwise we will never
remember the maximum audio chunk size and write a wrong block align... which
then causes wrong timestamps and other problems.

avimux: Actually store the largest audio chunk size for the VBR case of MP2/MP3

3ea338ce271e1f6a96d2ed49d4472b091f6f8b7e changed avimux to do that, but it
never actually kept track of the max audio chunk for MP3 and MP2. These are
knowing the hdr.scale only after parsing the frames instead of at setcaps
time.