qtmux: Write tfdt atom into fragmented files.

The DASH spec requires that tfdt atoms be present, so
write one out. ISO/IEC 23009-1:2014 6.3.4.2

https://bugzilla.gnome.org/show_bug.cgi?id=708221

qtdemux: Don't reset output timestamps when no tfdt

If a fragmented stream doesn't have a tfdt, don't
reset the output timestamps at each fragment boundary
by erroneously using the default value of 0. Introduced
by commit 69fc48

https://bugzilla.gnome.org/show_bug.cgi?id=754230

meson: Install presets files

avidemux: fix some caps leaks

https://bugzilla.gnome.org//show_bug.cgi?id=776789

splitmuxsink: Return a bin with a "location" property as a sink

Splitmuxsink might be called with a custom bin as a sink. If it has a
"location" property, it can be used.

splitmux: Rewrite buffer collection and scheduling

Majorly change the way that splitmuxsink collects
incoming data and sends it to the output, so that it
makes all decisions about when / where to split files
on the input side.

Use separate queues for each stream, so they can be
grown individually and kept as small as possible.

This removes raciness I observed where sometimes
some data would end up put in a different output file
over multiple runs with the same input.

Also fixes hangs with input queues getting full
and causing muxing to stall out.

splitmuxsink: Add format-location-full signal

Add a new signal for formatting the filename, which receives
a GstSample containing the first buffer from the reference
stream that will be muxed into that file.

Useful for creating filenames that are based on the
running time or other attributes of the buffer.

To make it work, opening of files and setting filenames is
now deferred until there is some data to write to it,
which also requires some changes to how async state changes
and gap events are handled.

qtdemux: Always snap to the start of the keyframe

When performing a key-unit seek, always snap to the start ts
of the keyframe buffer we landed on so that the keyframe is
entirely within the resulting outgoing segment. That seems
the most sensible result, since the user requested snapping
to the keyframe position.

qtdemux: Omit cslg_shift when snapping seeks

Segments times and seek requests are stored and handled
in raw 'PTS' time, without the cslg_shift - which only applies
to outgoing samples. Omit the cslg_shift portion when
extracting PTS to compare for internal seek snaps.

If the cslg_shift is included, then keyframe+snap-before seeks
generate a segment start/stop time that already includes the
cslg_shift, and it's then added a 2nd time, causing the
first buffer(s) to have timestamps that are out of segment.

qtmux: Remove bogus check in atom_stsc_add_new_entry()

Remove an old check from atom_stsc_add_new_entry() that
extends the last entry in the STSC if the samples per chunk
matches, as the new interleave merging logic requires that
the final entry by updateable. There's already code
below which simply merges the final entry into the previous
one when needed, so rely on that instead.

Fixes asserts like:

ERROR:atoms.c:2940:atom_stsc_update_entry: assertion failed:
(atom_array_index (&stsc->entries, len - 1).first_chunk == first_chunk)

qtdemux: Fix key_time in gst_qtdemux_adjust_seek()

time in segment should be PTS based (not DTS).

https://bugzilla.gnome.org/show_bug.cgi?id=765498

splitmuxsrc: Pass seek flags when activating.

Pass all seek flags when activating a part
based on a seek, so that SNAP flags are preserved.

splitmux: Fix a small race in the splitmuxsrc

Make sure the state of the parser is set to
collecting streams before chaining up to the
parent change_state() method, to close a
small window that can cause playback to
never commence.

check: Remove dead code

multifilesink: refactor max_files handling a bit

Use GQueue instead of a GSList so we don't have to traverse
the whole list to append something every time. And it also
keeps track of the number of items in it for us.

Add a function to add filenames to the list of old files and
use it in more places, so that memory doesn't build up in
other modes either if no max_files limit is specified.

https://bugzilla.gnome.org/show_bug.cgi?id=766991

multifilesink: don't leak memory when no max-files limit is set

Technically we weren't leaking the memory, just storing it internally
and never using it until the element is freed. But we'd still use more
and more memory over time, so this is not good over longer periods
of time. Only keep track of files if there's actually a limit set,
so that we will prune the list from time to time.

https://bugzilla.gnome.org/show_bug.cgi?id=766991

matroskademux: adjust segment stop for KEY_UNIT negative rate seeking

qtdemux: implement pull mode SNAP flag seeking

avidemux: tweak KEY_UNIT SNAP seek handling

Previously, seeking to position y where y is (strictly) within a keyframe
would seek to that keyframe both with SNAP_BEFORE and SNAP_AFTER,
where the latter is now adjusted to really snap to the next keyframe.

avidemux: correctly perform pull mode KEY_UNIT seeking

Rather amazingly (and equally unnoticed), keyunit seeking resulted in segments
where start != time (which is bogus for simple avi timeline).  So, properly
adjust the segment (start) rather than fiddling with segment time (only).

avidemux: restore considering of pull mode KEY_UNIT seeking

... by using the original seek event's flags rather than the corresponding
segment flags, which do not have such counterpart flags (and
do no longer have them covertly sneaking in nowadays).

matroskamux: only drop actual streamheader buffers with xiph codecs

With Xiph codecs the stream header buffers are both in the caps and are
usually also at the beginning of each input stream, but it's perfectly
possible that the input stream does not have the stream header buffers
inline in the data. Matroskamux would drop the first N buffers assuming
they're stream headers, but this meant it would drop actual payload data
when the stream didn't contain the stream headers inline. Fix this by
only dropping leading buffers if they're flagged as stream headers. This
fixes issues with streams that are being tapped into after streaming
has started.

https://bugzilla.gnome.org/show_bug.cgi?id=749098

matroskamux: adjust unit test to modified behaviour

Now matroskamux mark all packets of audio-only streams as keyframes so
in test_block_group after pushing the test audio data 4 buffers are produced
and not more 2. The last buffer is the original data and must match with what
pushed. The remaining ones are matroskamux headers

https://bugzilla.gnome.org/show_bug.cgi?id=754696

matroskamux: mark all packets of audio-only streams as keyframes

This helps with streaming audio-only streams via multifdsink,
tcpserversink and such.

https://bugzilla.gnome.org/show_bug.cgi?id=754696

matroskamux: add G722 audio support

https://bugzilla.gnome.org/show_bug.cgi?id=746574

updsrc: Add to join multiple multicast interfaces

https://bugzilla.gnome.org/show_bug.cgi?id=776030

rtpklvdepay: add the SPARSE flag to the outgoing stream-start event

rtpmanager: place content before Since-version API marker

Avoids confusing the parser

shout2: fix 404 in package origin

qtdemux: Check if we have enough data available when parsing edit lists

Also consume the data entry by entry to get complicated indexing out of
the code.

https://bugzilla.gnome.org/show_bug.cgi?id=776107

v4l2object: Don't check size in a non-list value

After commit 1ea9735a I see these error while using the webcam
integrated in my laptop:

GStreamer-CRITICAL **: gst_value_list_get_size: assertion 'GST_VALUE_HOLDS_LIST (value)' failed

The issue is gst_v4l2src_value_simplify() was doing its job of
generating a single value, rather than the original list. That why,
when getting the list size, a critical warning was raised.

This patch takes advantage of the compiler optimizations to verify
first if the list was simplified, thus use it directly, otherwise,
if it is a list, verify its size.

https://bugzilla.gnome.org/show_bug.cgi?id=776106

tests/jitterbuffer: Major refactoring and cleanups

* Changed PCMU->TEST for common macros
* Changed verify-functions (lost & rtx) into macros.
* Remove option to add marker-bit for test-buffers (not used anywhere)
* Add new push_test_buffer function that makes sure there are correlation
  between dts and the time on the clock. (classic test-mistake)
* Established a generic starting-point for tests with the
  construct_deterministic_initial_state function and use it where
  applicable, which removes lots of "boilerplate" everywhere.
* Add basic lost-event test
* Remove as much "magic constants" as possible.
* Remove 3 tests that no longer are testing anything that others don't,
  and was completely unmaintainable.
* Remove unnecessary use of the testclock
* Verify each test is testing what it actually says it does (and modify
  where it doesn't)

In general, make the tests much smaller, better, more maintainable and
readable.

https://bugzilla.gnome.org/show_bug.cgi?id=774409

Remove generated .spec file

Likely extremely bitrotten, and we should not ship this anyway.

qtdemux: Check that the XiTh size is big enough

https://bugzilla.gnome.org/show_bug.cgi?id=775794

qtdemux: Check node length of video sample description

Add check for node length of video sample description and its fields and
for the XiTh atom.

Also unify the code a bit.

https://bugzilla.gnome.org/show_bug.cgi?id=775794

qtdemux: Enable xvid/mp2 codec support

Add support for xvid video and mp2 audio, add m2v1 fourcc.

https://bugzilla.gnome.org/show_bug.cgi?id=775794

gst: Don't declare variables inside the for loop header

This is a C99 feature.

scaletempo: Ensure to reinit buffers whenever they were not allocated yet

That is, whenever we go through start/stop we have to ensure that on the
next opportunity the buffers are reallocated again. Otherwise the
buffers might be NULL because the element was reused with the same
configuration as before (i.e. set_caps() wouldn't have reinited the
buffers).

https://bugzilla.gnome.org/show_bug.cgi?id=775898

docs: design: remove, moved to gst-docs

meson: Support building without Gst debug

flxdec: Only send SEGMENT events after CAPS

I.e., don't just forward the event but delay it if we don't have caps on
the srcpad yet.

flxdec: Unref and unmap buffers in all code paths as needed

https://bugzilla.gnome.org/show_bug.cgi?id=775888

v4l2object: Don't set empty interlace-mode list

If for some reason we fail to probe formats (all try_fmt calls fail, for
example), this is not a critical error, but we end up with an empty list
of interlace modes. This causes all subsequent negotiation to fail.

This patch fixes interlace-mode setting to be skipped if we failed to
detect any.

https://bugzilla.gnome.org/show_bug.cgi?id=775702

monoscope: Unref allocation query after finished with it

https://bugzilla.gnome.org/show_bug.cgi?id=775752

flxdec: Allocate 0-initialized memory for the decoded frame

Otherwise we might leak arbitrary information from the uninitialized
memory if not every pixel is written.

https://scarybeastsecurity.blogspot.gr/2016/12/1days-0days-pocs-more-gstreamer-flic.html

rtspsrc: Fix session cleanup when handling redirect on PLAY

Redirect on PLAY wasn't doing the necessary session cleanup. Fixed by
removing code from gst_rtspsrc_send that changed the state varable upon
encountering a redirect. Better to let the redirect handlers in
gst_rtspsrc_retrieve_sdp and gst_rtspsrc_play do their own
state-dependent cleanup.

https://bugzilla.gnome.org/show_bug.cgi?id=775543

rtspsrc: always send teardown request

Allow CMD_CLOSE to cancel all commands not only CMD_PAUSE
and ignore CMD_WAIT while closing.

https://bugzilla.gnome.org/show_bug.cgi?id=748360

Automatic update of common submodule

From f980fd9 to 39ac2f5

jitterbuffer: Don't leak duplicate items

When providing items with a seqnum, there is a (very small) probability
that an element with the same seqnum already exists. Don't forget
to free that item if it wasn't inserted.

And avoid returning undefined values when dealing with duplicate items

qtdemux: Sanitize unknown codec caps

We might have non-printable characters in the unknown fourcc, replace
them with '_', in the same way we do it for unknown tags.

avidemux: Free vprp chunk also if it existed but we made no use of it

https://bugzilla.gnome.org/show_bug.cgi?id=775479

matroskademux: Fix memory leak when parsing attachments

gst_tag_image_data_to_image_sample() does not take ownership of the
passed memory, so don't set it to NULL to allow us to free it later.

https://bugzilla.gnome.org/show_bug.cgi?id=775472

matroskademux: Unify zlib/bzip2 decompress loops with the ones from qtdemux

Especially, simplify the code a bit.

qtdemux: Increase inflate buffer in bigger steps

1024 bytes is quite small, let's do 4096 bytes (or one page).
Also remove redundant if, we're always in that case when getting here.

qtdemux: Ensure that size of the pasp atom is as much as we need

https://bugzilla.gnome.org/show_bug.cgi?id=775455

qtdemux: Free compressed moov node and it's corresponding decompressed data

https://bugzilla.gnome.org/show_bug.cgi?id=775455

qtdemux: Check size of compressed MOOV header against available data

And actually read the size of the cmvd atom from the right position.

https://bugzilla.gnome.org/show_bug.cgi?id=775455

qtdemux: Fix zlib inflate loop

Handle errors cleanly, deallocate all memory and return the actual size
of the inflated data.

https://bugzilla.gnome.org/show_bug.cgi?id=775455

aacparse: Make sure we have enough data in the codec_data to be able to parse it

Also error out cleanly if mapping the buffer failed.

https://bugzilla.gnome.org/show_bug.cgi?id=775450

qtdemux: Fix out of bounds read in tag parsing code

We can't simply assume that the length of the tag value as given
inside the stream is correct but should also check against the amount of
data we have actually available.

https://bugzilla.gnome.org/show_bug.cgi?id=775451

rtp: Fix some memory leaks in usage of gst_pad_get_current_caps()

https://bugzilla.gnome.org/show_bug.cgi?id=775071

qtdemux: Read interlacing information from 'fiel' atom

Read interlacing and TFF/BFF information from the 'fiel' atom and pass it
into the caps

https://bugzilla.gnome.org/show_bug.cgi?id=775414

qtdemux: Fix compiler warning

qtdemux.c: In function ‘qtdemux_parse_trak’:
qtdemux.c:10184:38: error: format ‘%lu’ expects argument of type ‘long unsigned int’, but argument 9 has type ‘gint {aka const int}’ [-Werror=format=]
           GST_DEBUG_OBJECT (qtdemux, "Found jpeg: len %u, need %lu", len,
                                      ^

qtdemux: Change off_t type to gint

off_t is a signed integer type provided by sys/types.h on posix systems.
Replace with gint for building on non-posix systems (like windows).

https://bugzilla.gnome.org/show_bug.cgi?id=775287

meson: add libm to has_function checks

The functions from math.h may be implemented in libm.

https://bugzilla.gnome.org/show_bug.cgi?id=774876

Revert "meson: dv plugin now works on MSVC"

This reverts commit 05a89613feff70cff416367f5aa807a1d5c68b63.

Let's not put in stuff that needs unreleased Meson. This can go in
for the next cycle.

avidemux: Ensure that tags are valid UTF-8 before adding them to the taglist

https://bugzilla.gnome.org/show_bug.cgi?id=775219

multipartdemux: Post an error message on the bus if we got EOS without having added any pads

souphttpsrc: Handle non-UTF8 headers and error reasons more gracefully

Especially don't put them into GstStructures in one way or another, just
ignore them or error out cleanly depending on the importance of their
content.

vrawpay: Error out cleanly if mapping the video frame fails

Instead of later dereferencing NULL and crashing.

rtprtxsend: Update statistics before pushing

If an element queries the number of retransmission buffers pushed
*while* the push is still taking place (and before the object lock
is taken just after) it would end up with the wrong statistic
being reported.

Increment it just before the push, avoids races when getting statistics

https://bugzilla.gnome.org/show_bug.cgi?id=768723

common: use https protocol for common submodule

https://bugzilla.gnome.org/show_bug.cgi?id=775110

gstv4l2bufferpool: lock flush_stop against regular qbuf

These can be called from different threads and both manipulate the
pool->buffers array. Lock them properly and let flush_stop move the
array contents into a temporary array on the stack to avoid having
to call release_buffer under the object lock.

https://bugzilla.gnome.org/show_bug.cgi?id=775015

gstv4l2bufferpool: remove critical error message when process is called on an inactive pool

If the pool is inactive, it is guaranteed to also be flushing, so the
following check will return GST_FLOW_FLUSHING anyway.
This can happen if a v4l2src is blocking on DQBUF in create and is sent
an EOS event on another thread. In that case the pool is set to
flushing/inactive without locking, the v4l2src is unblocked, and may
call pool_process with a valid buffer on the already inactive pool.

https://bugzilla.gnome.org/show_bug.cgi?id=775014

v4l2src: release buffer if create fails

gst_base_src_get_range does not expect a buffer to be returned in
the error case, so we are leaking a reference here if create fails.

https://bugzilla.gnome.org/show_bug.cgi?id=775014

rtpbin: Handle create_session() returning NULL in bundle code

CID 1394492.

qtmux: Make sure to only change DTS of writable buffers

And trivial cleanup

https://bugzilla.gnome.org/show_bug.cgi?id=774840

qtmux: Error out much earlier if we don't have a valid PTS

https://bugzilla.gnome.org/show_bug.cgi?id=774840

qtmux: Only use buffer durations if they are actually valid

https://bugzilla.gnome.org/show_bug.cgi?id=774840

qtmux: Revert commits that set DTS and duration on buffers unconditionally

39f7e52266fde3b3c035e22cbcbb2bb1fa207b17 was setting the buffer duration
to 0 if is not valid, under the assumption that this is "the last"
buffer and no others are coming next. This is wrong, last_buf is the
previous buffer and not the very last one.

4e3c13c87c258c9c95e2217d32ab314d12b5fffc was setting DTS to 0 if there
was none. This will set DTS to 0 for all e.g. audio streams, completely
messing up calculations if streams don't start at 0.

https://bugzilla.gnome.org/show_bug.cgi?id=774840

qtmux: Only write "gap" edit list if there is a non-zero gap

https://bugzilla.gnome.org/show_bug.cgi?id=774840

flxdec: rewrite logic based on GstByteReader/Writer

Solves overreading/writing the given arrays and will error out if the
streams asks to do that.

Also does more error checking that the stream is valid and won't
overrun any allocated arrays.  Also mitigate integer overflow errors
calculating allocation sizes.

https://bugzilla.gnome.org/show_bug.cgi?id=774859

flxdec: Don't unref() parent in the chain function

We don't own the reference here, it is owned by the caller and given to
us for the scope of this function. Leftover mistake from 0.10 porting.

https://bugzilla.gnome.org/show_bug.cgi?id=774897

vpxdec: libvpx's release buffer is sometimes called with fb->priv==NULL

Don't assert on this but just ignore these cases.

matroskademux: Fix cluster searching if we search multiple times in one chunk

After finding a cluster id in the byte reader, we skip ahead the reader
position by one further byte to be able to continue searching from there
inside the same chunk if the cluster candidate was a false positive.

We have to accomodate for that additional byte when resuming the search,
otherwise all following pulls are off-by-one for every resume and we run
into an assertion.

matroska: Add size checks to the parsing of FLAC headers

flxdec: fix some warnings comparing unsigned < 0

bf43f44fcfada5ec4a3ce60cb374340486fe9fac was comparing an unsigned
expression to be < 0 which was always false.

gstflxdec.c: In function ‘flx_decode_brun’:
gstflxdec.c:322:33: warning: comparison of unsigned expression < 0 is always false [-Wtype-limits]
         if ((glong) row - count < 0) {
                                 ^
gstflxdec.c:332:33: warning: comparison of unsigned expression < 0 is always false [-Wtype-limits]
         if ((glong) row - count < 0) {
                                 ^

https://bugzilla.gnome.org/show_bug.cgi?id=774834

qtmux: Enable up to 16 unpositioned raw audio channels

https://bugzilla.gnome.org/show_bug.cgi?id=774789

flxdec: add some write bounds checking

Without checking the bounds of the frame we are writing into, we can
write off the end of the destination buffer.

https://scarybeastsecurity.blogspot.dk/2016/11/0day-exploit-advancing-exploitation.html

https://bugzilla.gnome.org/show_bug.cgi?id=774834

qtdemux: Be sure not to read off end of FLAC dfLa box

https://bugzilla.gnome.org/show_bug.cgi?id=773712

matroskademux: add support for skipping invalid data in push mode

https://bugzilla.gnome.org/show_bug.cgi?id=774566

matroskaparse: add support for skipping invalid data

https://bugzilla.gnome.org/show_bug.cgi?id=774566

rtspsrc: Move to new helper function to parse authentication responses

https://bugzilla.gnome.org/show_bug.cgi?id=774416

qtdemux: Fix wrong compiler warning with gcc 6.2

| ../../../git/gst/isomp4/qtdemux.c: In function 'qtdemux_parse_tree':
| ../../../git/gst/isomp4/qtdemux.c:10224:24: error: 'size' may be used uninitialized in this function [-Werror=maybe-uninitialized]
|                  offset += size;
|                         ^~
| ../../../git/gst/isomp4/qtdemux.c:10197:25: note: 'size' was declared here
|                  guint32 size, tag;
|                          ^~~~

https://bugzilla.gnome.org/show_bug.cgi?id=774747

win32: remove copies of generated headers

avidemux: Ensure that raw video have properly aligned buffers

That is, aligned to to 32 bytes for video. Fixes crashes if the raw
buffers are passed to SIMD processing functions.

https://bugzilla.gnome.org/show_bug.cgi?id=774428

qtdemux: Ensure that raw audio and video have properly aligned buffers

That is, aligned to the basic type for audio and to 32 bytes for video.
Fixes crashes if the raw buffers are passed to SIMD processing functions.

https://bugzilla.gnome.org/show_bug.cgi?id=774428

qtmux: Always write edit lists for the tracks to give a more accurate duration

Always write an edit list for the whole track. In general this is not
necessary except for the case of having a gap or DTS adjustment but
it allows to give the whole track's duration in the usually more
accurate media timescale.

https://bugzilla.gnome.org/show_bug.cgi?id=774403

qtdemux: Remove useless return variable

qtdemux_expose_streams() returns flow error immediately, if there is an error.
So, the variable for the flow return is not needed.

https://bugzilla.gnome.org/show_bug.cgi?id=774674

qtdemux: Add support for FLAC encapsulated in ISOBMFF

As defined by
https://git.xiph.org/?p=flac.git;a=blob_plain;f=doc/isoflac.txt

https://bugzilla.gnome.org/show_bug.cgi?id=773712