rtpstats: Keep number of nacks sent/received per source

Currently, the nack packets sent or received are kept at session level,
which makes it impossible to distinguish how many of these packages were
sent/received per ssrc when several sources are in the same session. This
patch is aligned with the https://www.w3.org/TR/webrtc-stats/#dom-rtcrtpstreamstats

https://bugzilla.gnome.org/show_bug.cgi?id=776714

rtph265pay: Fix handling of config-interval

Insert VPS/SPS/PPS before the first NAL unit containing an I-frame in an
access unit only. If an access unit consists of several such NAL units
(tiles) VPS/SPS/PPS should only be inserted before the first of them so
that parameters are only updated between frames.

Do not insert VPS/SPS/PPS before P-frames when config-interval is -1.

https://bugzilla.gnome.org/show_bug.cgi?id=775817

souphttpsrc: report a useful error message when soup_session_send fails

This helps to understand cases where libsoup doesn't set the message
status code after running soup_session_send.

https://bugzilla.gnome.org/show_bug.cgi?id=777222

souphttpsrc: properly check that seek range was respected

This check must be done only when we are sure the request was
successfully sent. soup_session_send() might fail without setting the
status code. In this case status code is 0 so we would only catch the
error after the seek range check. In this case we would report an error
saying that the seek range was not respected, instead of reporting the
underlying error that triggered the soup_session_send() failure.

https://bugzilla.gnome.org/attachment.cgi?bugid=777222

gdkpixbufoverlay: add a positioning coefficient pair

... so as to allow one clearly defined (absolute) positioning mode
that can cater for a variety of absolute but also relative positioning
with respect to edge or center.

gdkpixbufoverlay: update composition in _before_transform

... since we need to determine passthrough mode for buffer preparation before
calling into _transform_ip.

gdkpixbufoverlay: handle setting NULL gdkpixbuf

... which is a clearer way to clear any current overlay, other than
fiddling with alpha or positioning properties to make it virtually go away.

avidemux: Stop reading a ncdt sub-tag if it goes behind the surrounding tag

https://bugzilla.gnome.org/show_bug.cgi?id=777532

avidemux: Fix various out of bounds reads when parsing ncdt tags

https://bugzilla.gnome.org/show_bug.cgi?id=777500

qtdemux: Increment current stts index whenever we finished one stts entry

Otherwise we could read more chunks than there are available, doing an
out of bounds read and potentially crash.

https://bugzilla.gnome.org/show_bug.cgi?id=777469

Revert "qtdemux: Increment current stts index in all code paths after reading one chunk"

This reverts commit 99d5d7570d0b53dad3bc8eb653b1320ee422aace. It broke
playback of various valid files.

qtdemux: Increment current stts index in all code paths after reading one chunk

Otherwise we could read more chunks than there are available, doing an
out of bounds read and potentially crash.

https://bugzilla.gnome.org/show_bug.cgi?id=777469

souphttpsrc: Initialize return variable

In the normal use-case we would end up with ret being unitialized
causing havoc.

https://bugzilla.gnome.org/show_bug.cgi?id=777222

qtdemux: avoid XMP tag parsing fatal error.

qtdemux_handle_xmp_taglist() requires a writable taglist,
but qtdemux->tag_list can become non-writable, specifically
after sending global tags (qtdemux.c:958), which adds a
second reference.  Ensure the list is made writable before
calling (make_writable will copy the list if necessary).

https://bugzilla.gnome.org/show_bug.cgi?id=766177

qtdemux: rework taglist handling

Keep taglist around during element existance to avoid having to
create it at different places before usage. Makes code simpler to handle.

https://bugzilla.gnome.org/show_bug.cgi?id=766177

souphttpsrc: make flow return values handling clearer

The flow return values was stored in the element before because the
result had to be set from callbacks. This is not the case anymore, we
can return the flow result directly from functions, making the code
easier to understand.

https://bugzilla.gnome.org/show_bug.cgi?id=777222

souphttpsrc: properly track redirections

The current code configures libsoup to handle redirections
transparently, without informing the caller, thus preventing the element
to record the redirect code and location uri.

Fix this by always setting the SOUP_MESSAGE_NO_REDIRECT, preventing
libsoup from handling the redirection. When we receive a redirection
request and libsoup can safely handle it, return a custom error which
triggers a retry with the new URI.

https://bugzilla.gnome.org/show_bug.cgi?id=777222

qtmux: add 4444 and 4444xq variants to video/x-prores pad template caps

They are handled since commit 7b565475bf551c53b8eed46f7086f3b372f1f6c4
(qt: Add support for ProRes 4444 XQ).

https://bugzilla.gnome.org/show_bug.cgi?id=777377

matroska: Quiet a WARN when parsing push mode

This warning was noisy when returning EOS, which is
just used to indicate more data is needed from upstream.

qtmux: Don't write Sync Sample Atom for ProRes

https://bugzilla.gnome.org/show_bug.cgi?id=777331

v4l2: Remove usage and definition of LOG_CAPS macro

Unlike former definitions of LOG_CAPS, the current implementation simply
expands to GST_DEBUG_OBJECT. The LOG_CAPS macro is rarely used and most
uses duplicate already existing GST_DEBUG_OBJECT lines. Therefore, the
caps are often printed twice which unnecessarily clutters the debug log.

Replace LOG_CAPS calls with GST_DEBUG_OBJECT, remove LOG_CAPS calls, and
delete the definition of LOG_CAPS.

https://bugzilla.gnome.org/show_bug.cgi?id=776899

v4l2bufferpool: remove duplicated line of code

https://bugzilla.gnome.org/show_bug.cgi?id=777330

v4l2allocator: fix memory type in allocator probe

The buffer memory type provided to the VIDIOC_CREATE_BUFS ioctl shall
be set with the value ("memory") given as input parameter of the
gst_v4l2_allocator_probe() function.

https://bugzilla.gnome.org/show_bug.cgi?id=777327

flacenc: fix other icon counter check

It's never going to be 0 if we first increment and then check.

qtdemux: boldly assume that first 'covr' image is the front cover

qtdemux: extract cover art images into GST_TAG_IMAGE not PREVIEW_IMAGE

These are usually much bigger than icon size and required by
iTunes to be certain fairly large sizes. In qtmux it is also
the IMAGE tags which we write out as 'covr' atoms.

flacenc: also set PICTURE tag width and height if available

flacenc: fix encoder init error with some GST_TAG_PREVIEW_IMAGEs

The encoder fails to initialise when we try to set GST_TAG_PREVIEW_IMAGEs
sent to use by qtdemux from iTunes-generated m4a files. We should
not just blindly translate the PREVIEW tag to file icon image types,
but check if the specific conditions required are met (i.e. image
type 1 must be a 32x32 PNG icon, and what we're getting is 500x500).

https://bugzilla.gnome.org/show_bug.cgi?id=776962

meson: bump version

splitmuxsink: Add option for timecode-based split

If this option is given, it will calculate the next split point based on
timecode difference.

https://bugzilla.gnome.org/show_bug.cgi?id=774209

qtmux: Don't reset request pad numbering across uses

When reset, don't restart request pad numberings, as
request pads can survive across state changes. Only
restart at 0 if all request pads are handed back first.

https://bugzilla.gnome.org/show_bug.cgi?id=777174

rtxqueue: Expose basic statistics as properties.

Statistics about the total number of retransmission requests
and the actual number of retransmitted packets can be helpful
at application-level.

https://bugzilla.gnome.org/show_bug.cgi?id=777182

qtmux: simplify video/x-h264 caps handling

'stream-format' and 'alignment' are defined in pad template caps so
there is no need to check them again here. Also remove bitrate parsing from
caps as bitrate in caps doesn't make sense but from tags, which is
actually the case.

https://bugzilla.gnome.org/show_bug.cgi?id=777181

qtmux: add basic HEVC/H.265 muxing support

https://bugzilla.gnome.org/show_bug.cgi?id=736752

qtmux: Calculate clean aperture size

Calculate clean aperture dimensions by first guessing
display aspect ratio based on pixel aspect ratio and
frame size.

https://bugzilla.gnome.org/show_bug.cgi?id=777100

qtmux: Write tapt atom for MOV files if PAR not 1/1

Needed for QuickTime 7 to properly play files.

Also write the clap atom for MOV files always, not only when ProRes is
used as a video codec. It's mandatory for MOV.

https://bugzilla.gnome.org/show_bug.cgi?id=777100

Back to development

Release 1.11.1

Update .po files

po: Update translations

qtdemux: free seqh after calling qtdemux_parse_svq3_stsd_data()

The seqh buffer allocated in qtdemux_parse_svq3_stsd_data() needs to
be freed by the caller after use.

https://bugzilla.gnome.org/show_bug.cgi?id=777157

Signed-off-by: Andre McCurdy <armccurdy@gmail.com>

isomp4: Don't spam debug log with knonw/padding atoms

Only output WARNING messages for atoms we don't know how to handle
instead of for padding/known atoms we don't need to do any processing
on

https://bugzilla.gnome.org/show_bug.cgi?id=777095

Fix indentation

tests: rtpjitterbuffer: fix compiler warning due to c99-ism

rtpjitterbuffer.c:592:3: error: ‘for’ loop initial declarations are only allowed in C99 mode

autodetect: bring the element state down after success

Otherwise some messages that are emitted by the element on NULL->READY
will not reach the application.

https://bugzilla.gnome.org/show_bug.cgi?id=764947

qtmux: Write tfdt atom into fragmented files.

The DASH spec requires that tfdt atoms be present, so
write one out. ISO/IEC 23009-1:2014 6.3.4.2

https://bugzilla.gnome.org/show_bug.cgi?id=708221

qtdemux: Don't reset output timestamps when no tfdt

If a fragmented stream doesn't have a tfdt, don't
reset the output timestamps at each fragment boundary
by erroneously using the default value of 0. Introduced
by commit 69fc48

https://bugzilla.gnome.org/show_bug.cgi?id=754230

meson: Install presets files

avidemux: fix some caps leaks

https://bugzilla.gnome.org//show_bug.cgi?id=776789

splitmuxsink: Return a bin with a "location" property as a sink

Splitmuxsink might be called with a custom bin as a sink. If it has a
"location" property, it can be used.

splitmux: Rewrite buffer collection and scheduling

Majorly change the way that splitmuxsink collects
incoming data and sends it to the output, so that it
makes all decisions about when / where to split files
on the input side.

Use separate queues for each stream, so they can be
grown individually and kept as small as possible.

This removes raciness I observed where sometimes
some data would end up put in a different output file
over multiple runs with the same input.

Also fixes hangs with input queues getting full
and causing muxing to stall out.

splitmuxsink: Add format-location-full signal

Add a new signal for formatting the filename, which receives
a GstSample containing the first buffer from the reference
stream that will be muxed into that file.

Useful for creating filenames that are based on the
running time or other attributes of the buffer.

To make it work, opening of files and setting filenames is
now deferred until there is some data to write to it,
which also requires some changes to how async state changes
and gap events are handled.

qtdemux: Always snap to the start of the keyframe

When performing a key-unit seek, always snap to the start ts
of the keyframe buffer we landed on so that the keyframe is
entirely within the resulting outgoing segment. That seems
the most sensible result, since the user requested snapping
to the keyframe position.

qtdemux: Omit cslg_shift when snapping seeks

Segments times and seek requests are stored and handled
in raw 'PTS' time, without the cslg_shift - which only applies
to outgoing samples. Omit the cslg_shift portion when
extracting PTS to compare for internal seek snaps.

If the cslg_shift is included, then keyframe+snap-before seeks
generate a segment start/stop time that already includes the
cslg_shift, and it's then added a 2nd time, causing the
first buffer(s) to have timestamps that are out of segment.

qtmux: Remove bogus check in atom_stsc_add_new_entry()

Remove an old check from atom_stsc_add_new_entry() that
extends the last entry in the STSC if the samples per chunk
matches, as the new interleave merging logic requires that
the final entry by updateable. There's already code
below which simply merges the final entry into the previous
one when needed, so rely on that instead.

Fixes asserts like:

ERROR:atoms.c:2940:atom_stsc_update_entry: assertion failed:
(atom_array_index (&stsc->entries, len - 1).first_chunk == first_chunk)

qtdemux: Fix key_time in gst_qtdemux_adjust_seek()

time in segment should be PTS based (not DTS).

https://bugzilla.gnome.org/show_bug.cgi?id=765498

splitmuxsrc: Pass seek flags when activating.

Pass all seek flags when activating a part
based on a seek, so that SNAP flags are preserved.

splitmux: Fix a small race in the splitmuxsrc

Make sure the state of the parser is set to
collecting streams before chaining up to the
parent change_state() method, to close a
small window that can cause playback to
never commence.

check: Remove dead code

multifilesink: refactor max_files handling a bit

Use GQueue instead of a GSList so we don't have to traverse
the whole list to append something every time. And it also
keeps track of the number of items in it for us.

Add a function to add filenames to the list of old files and
use it in more places, so that memory doesn't build up in
other modes either if no max_files limit is specified.

https://bugzilla.gnome.org/show_bug.cgi?id=766991

multifilesink: don't leak memory when no max-files limit is set

Technically we weren't leaking the memory, just storing it internally
and never using it until the element is freed. But we'd still use more
and more memory over time, so this is not good over longer periods
of time. Only keep track of files if there's actually a limit set,
so that we will prune the list from time to time.

https://bugzilla.gnome.org/show_bug.cgi?id=766991

matroskademux: adjust segment stop for KEY_UNIT negative rate seeking

qtdemux: implement pull mode SNAP flag seeking

avidemux: tweak KEY_UNIT SNAP seek handling

Previously, seeking to position y where y is (strictly) within a keyframe
would seek to that keyframe both with SNAP_BEFORE and SNAP_AFTER,
where the latter is now adjusted to really snap to the next keyframe.

avidemux: correctly perform pull mode KEY_UNIT seeking

Rather amazingly (and equally unnoticed), keyunit seeking resulted in segments
where start != time (which is bogus for simple avi timeline).  So, properly
adjust the segment (start) rather than fiddling with segment time (only).

avidemux: restore considering of pull mode KEY_UNIT seeking

... by using the original seek event's flags rather than the corresponding
segment flags, which do not have such counterpart flags (and
do no longer have them covertly sneaking in nowadays).

matroskamux: only drop actual streamheader buffers with xiph codecs

With Xiph codecs the stream header buffers are both in the caps and are
usually also at the beginning of each input stream, but it's perfectly
possible that the input stream does not have the stream header buffers
inline in the data. Matroskamux would drop the first N buffers assuming
they're stream headers, but this meant it would drop actual payload data
when the stream didn't contain the stream headers inline. Fix this by
only dropping leading buffers if they're flagged as stream headers. This
fixes issues with streams that are being tapped into after streaming
has started.

https://bugzilla.gnome.org/show_bug.cgi?id=749098

matroskamux: adjust unit test to modified behaviour

Now matroskamux mark all packets of audio-only streams as keyframes so
in test_block_group after pushing the test audio data 4 buffers are produced
and not more 2. The last buffer is the original data and must match with what
pushed. The remaining ones are matroskamux headers

https://bugzilla.gnome.org/show_bug.cgi?id=754696

matroskamux: mark all packets of audio-only streams as keyframes

This helps with streaming audio-only streams via multifdsink,
tcpserversink and such.

https://bugzilla.gnome.org/show_bug.cgi?id=754696

matroskamux: add G722 audio support

https://bugzilla.gnome.org/show_bug.cgi?id=746574

updsrc: Add to join multiple multicast interfaces

https://bugzilla.gnome.org/show_bug.cgi?id=776030

rtpklvdepay: add the SPARSE flag to the outgoing stream-start event

rtpmanager: place content before Since-version API marker

Avoids confusing the parser

shout2: fix 404 in package origin

qtdemux: Check if we have enough data available when parsing edit lists

Also consume the data entry by entry to get complicated indexing out of
the code.

https://bugzilla.gnome.org/show_bug.cgi?id=776107

v4l2object: Don't check size in a non-list value

After commit 1ea9735a I see these error while using the webcam
integrated in my laptop:

GStreamer-CRITICAL **: gst_value_list_get_size: assertion 'GST_VALUE_HOLDS_LIST (value)' failed

The issue is gst_v4l2src_value_simplify() was doing its job of
generating a single value, rather than the original list. That why,
when getting the list size, a critical warning was raised.

This patch takes advantage of the compiler optimizations to verify
first if the list was simplified, thus use it directly, otherwise,
if it is a list, verify its size.

https://bugzilla.gnome.org/show_bug.cgi?id=776106

tests/jitterbuffer: Major refactoring and cleanups

* Changed PCMU->TEST for common macros
* Changed verify-functions (lost & rtx) into macros.
* Remove option to add marker-bit for test-buffers (not used anywhere)
* Add new push_test_buffer function that makes sure there are correlation
  between dts and the time on the clock. (classic test-mistake)
* Established a generic starting-point for tests with the
  construct_deterministic_initial_state function and use it where
  applicable, which removes lots of "boilerplate" everywhere.
* Add basic lost-event test
* Remove as much "magic constants" as possible.
* Remove 3 tests that no longer are testing anything that others don't,
  and was completely unmaintainable.
* Remove unnecessary use of the testclock
* Verify each test is testing what it actually says it does (and modify
  where it doesn't)

In general, make the tests much smaller, better, more maintainable and
readable.

https://bugzilla.gnome.org/show_bug.cgi?id=774409

Remove generated .spec file

Likely extremely bitrotten, and we should not ship this anyway.

qtdemux: Check that the XiTh size is big enough

https://bugzilla.gnome.org/show_bug.cgi?id=775794

qtdemux: Check node length of video sample description

Add check for node length of video sample description and its fields and
for the XiTh atom.

Also unify the code a bit.

https://bugzilla.gnome.org/show_bug.cgi?id=775794

qtdemux: Enable xvid/mp2 codec support

Add support for xvid video and mp2 audio, add m2v1 fourcc.

https://bugzilla.gnome.org/show_bug.cgi?id=775794

gst: Don't declare variables inside the for loop header

This is a C99 feature.

scaletempo: Ensure to reinit buffers whenever they were not allocated yet

That is, whenever we go through start/stop we have to ensure that on the
next opportunity the buffers are reallocated again. Otherwise the
buffers might be NULL because the element was reused with the same
configuration as before (i.e. set_caps() wouldn't have reinited the
buffers).

https://bugzilla.gnome.org/show_bug.cgi?id=775898

docs: design: remove, moved to gst-docs

meson: Support building without Gst debug

flxdec: Only send SEGMENT events after CAPS

I.e., don't just forward the event but delay it if we don't have caps on
the srcpad yet.

flxdec: Unref and unmap buffers in all code paths as needed

https://bugzilla.gnome.org/show_bug.cgi?id=775888

v4l2object: Don't set empty interlace-mode list

If for some reason we fail to probe formats (all try_fmt calls fail, for
example), this is not a critical error, but we end up with an empty list
of interlace modes. This causes all subsequent negotiation to fail.

This patch fixes interlace-mode setting to be skipped if we failed to
detect any.

https://bugzilla.gnome.org/show_bug.cgi?id=775702

monoscope: Unref allocation query after finished with it

https://bugzilla.gnome.org/show_bug.cgi?id=775752

flxdec: Allocate 0-initialized memory for the decoded frame

Otherwise we might leak arbitrary information from the uninitialized
memory if not every pixel is written.

https://scarybeastsecurity.blogspot.gr/2016/12/1days-0days-pocs-more-gstreamer-flic.html

rtspsrc: Fix session cleanup when handling redirect on PLAY

Redirect on PLAY wasn't doing the necessary session cleanup. Fixed by
removing code from gst_rtspsrc_send that changed the state varable upon
encountering a redirect. Better to let the redirect handlers in
gst_rtspsrc_retrieve_sdp and gst_rtspsrc_play do their own
state-dependent cleanup.

https://bugzilla.gnome.org/show_bug.cgi?id=775543

rtspsrc: always send teardown request

Allow CMD_CLOSE to cancel all commands not only CMD_PAUSE
and ignore CMD_WAIT while closing.

https://bugzilla.gnome.org/show_bug.cgi?id=748360

Automatic update of common submodule

From f980fd9 to 39ac2f5

jitterbuffer: Don't leak duplicate items

When providing items with a seqnum, there is a (very small) probability
that an element with the same seqnum already exists. Don't forget
to free that item if it wasn't inserted.

And avoid returning undefined values when dealing with duplicate items

qtdemux: Sanitize unknown codec caps

We might have non-printable characters in the unknown fourcc, replace
them with '_', in the same way we do it for unknown tags.

avidemux: Free vprp chunk also if it existed but we made no use of it

https://bugzilla.gnome.org/show_bug.cgi?id=775479

matroskademux: Fix memory leak when parsing attachments

gst_tag_image_data_to_image_sample() does not take ownership of the
passed memory, so don't set it to NULL to allow us to free it later.

https://bugzilla.gnome.org/show_bug.cgi?id=775472

matroskademux: Unify zlib/bzip2 decompress loops with the ones from qtdemux

Especially, simplify the code a bit.

qtdemux: Increase inflate buffer in bigger steps

1024 bytes is quite small, let's do 4096 bytes (or one page).
Also remove redundant if, we're always in that case when getting here.

qtdemux: Ensure that size of the pasp atom is as much as we need

https://bugzilla.gnome.org/show_bug.cgi?id=775455