tests: matroskamux, qtmux: don't add codec_data buffers to template caps

streamheader and codec_data buffers fields are only meant to be
in the negotiated caps, not the template caps.

Fixes false-positive leaks of those buffers detected by the leaks
tracer, as template caps are static, and we decided to not include
code in gstreamer core to handle this unusual case of template caps
having buffers in them.

https://bugzilla.gnome.org/show_bug.cgi?id=768762

rtpvorbispay: Update and send out headers when new headers are received

The payloader needs to reset and update the vorbis config data which is
pushed on the network if it receives new headers, or at least, it may
have to do so.

Without this, the stream configuration could change without the
payloader sending the new configuration to the other side.

splitmuxsink: Change files on incompatible caps

https://bugzilla.gnome.org/show_bug.cgi?id=761761

splitmuxsink: Reset ready_for_output on state change

https://bugzilla.gnome.org/show_bug.cgi?id=761761

splitmuxsink: Remove unused next_max_out_running_time

https://bugzilla.gnome.org/show_bug.cgi?id=761761

splitmuxsink: Remove unused muxed_out_time

https://bugzilla.gnome.org/show_bug.cgi?id=761761

Revert "qtdemux: Always snap to the start of the keyframe"

This reverts commit 107902ec514bd826aa29d2298107e2c091e1c779.

This commit intended to ensure that keyframe seeks land at the
start timestamp of a keyframe, rather than in the middle of one,
but they cause trouble on files with sparse streams, or with
JPEG 'cover art' tracks that have only one or a few JPEG samples
with very long durations.

That's still desirable for doing seamless cutting of videos,
but needs a rethink for implementation.

https://bugzilla.gnome.org/show_bug.cgi?id=778690

audiofx/echo: added surround-delay and surround-mask

Add a new boolean surround-delay property that makes
audioecho just apply a delay to certain channels to create
a surround effect, rather than an echo on all
channels. This is useful when upmixing from stereo - for example.

Add a surround-mask property to control which channels
are considered surround sound channels when adding a
delay with surround-delay = true

Original patch from Jochen Henneberg <jh@henneberg-systemdesign.com>

udpsrc: Use IP_MULTICAST_ALL for filtering IPv4 packets if available

This goes around the inefficient control message based filtering and
does all the filtering kernel-side. Unfortunately this is Linux-only and
there is no IPv6 variant of it (yet).

meson: dist meson build files

Ship meson build files in tarballs, so people who use tarballs
in their builds can start playing with meson already.

icydemux: reset tags on empty value

Some radio streams uses StreamTitle='' to reset the title after a
track stopped playing, e.g. while the host talks between tracks or
during news segments.
This change forces an empty tag object to be distributed if
StreamTitle or StreamUrl is received with empty value, thus allowing
downstream elements to get notified about this.

https://bugzilla.gnome.org/show_bug.cgi?id=778437

rtspsrc: Properly notify missing elements

If the srtp elements are not present, post a message on the bus
informing about the missing plugins.

v4l2object: mark singleton caps as "may be leaked" objects.

Set MAY_BE_LEAKED flag on static pads returned by gst_v4l2_object_get_*_caps()
functions. Made functions thread safe by using g_once_init[enter|leave]
funtions.

https://bugzilla.gnome.org/show_bug.cgi?id=778453

imagefreeze: Remove now unused done label

imagefreeze: do not cache caps

Upstream elements like videoflip can transform caps, such as changing width and height.
When an imagefreeze downstream receives an ACCEPT_CAPS query it will NOW return
all caps that it can accept.

https://bugzilla.gnome.org/show_bug.cgi?id=778389

qtmux: Add a comment about how atom_trak_set_elst_entry() works

qtdemux: demote some log messages to TRACE level

Don't spam debug log with uninteresting stuff.

qtmux: Clear edit lists every time we recalculate them

We recalculate them, so any old information has to be forgotten.
Otherwise we write invalid edit lists when writing headers multiple
times.

https://bugzilla.gnome.org/show_bug.cgi?id=778330

splitmuxsrc: Allow for buffers before the segment when measuring

Used signed calculations when measuring the max_ts of an input
fragment, so as to calculate the correct duration and offset
when buffers have timestamps preceding their segment

rtpsession: relate received FIRs and PLIs to source

This is needed in order to:
 - Avoid ignoring requests for different media sources.
 - Add SSRC field in the GstForceKeyUnit event.

https://bugzilla.gnome.org/show_bug.cgi?id=778013

qtdemux: sanity check number of segments in edit list

Fixes crash with fuzzed file.

https://bugzilla.gnome.org/show_bug.cgi?id=777940

qtdemux: Skip seeking query if upstream format is time

Don't need to querying byte-format seeking for time-format
upstream case

https://bugzilla.gnome.org/show_bug.cgi?id=776715

qtdemux: Use upstream's StreamFlags if there are

When multiple demuxer's are used, upstream might want to indicate
default streams using GST_STREAM_FLAG_{SELECT, UNSELECT}

https://bugzilla.gnome.org/show_bug.cgi?id=775440

qtmux: Timecode track fixes for STSD entry

The n_frames field (frames per second) should follow the nominal frame
rate for drop-frame timecodes.

Also, the trak's timescale (and duration, accordingly) should follow the
STSD entry's timescale and frame duration (fps_n and fps_d accordingly),
not the other way around.

https://bugzilla.gnome.org/show_bug.cgi?id=777832

souphttpsrc: retry request on early termination from the server

Fix a regression introduced by commit 183695c61a54f1 (refactor to use
Soup's sync API). The code previously attempted to reconnect when the
server closed the connection early, for example when the stream was put
in pause for some time.

Reintroduce this feature by checking if EOS is received before the
expected content size is downloaded. In this case, do the request
starting at the previous read position.

https://bugzilla.gnome.org/show_bug.cgi?id=776720

rtspsrc: find_stream_by_channel should ignore unconfigured streams

https://bugzilla.gnome.org/show_bug.cgi?id=777101

qtmux: Fix debug typo and remove misleading warning

https://bugzilla.gnome.org/show_bug.cgi?id=777362

rtp: Remove unused variable in example

client-PCMA.c:84:22: warning: unused variable 'isrc' [-Wunused-variable]
  GObject *session, *isrc, *osrc;
                     ^

wavparse: check for not NULL before clearing adapter

In case wavparse receives a manually injected FLUSH_STOP event
while operating in pull mode we get criticals because we'd try
to clear a NULL adapter.

https://bugzilla.gnome.org/show_bug.cgi?id=777123

meson: Properly use ':' for defining keywords

v4l2allocator: reference memory before the buffer is queued

In gst_v4l2_allocator_qbuf(), the memory is referenced after the
buffer is queued. Once queued (VIDIOC_QBUF), the buffer might be handled
by the V4L2 driver (e.g. decoded) and dequeued (gst_v4l2_allocator_dqbuf),
through a different thread, before the memory is referenced (gst_memory_ref).
In this case, in gst_v4l2_allocator_dqbuf(), the memory is unreferenced
(gst_memory_unref) before having been referenced: the memory refcount
reaches 0, and the memory is freed.
So, to avoid this crossing case, in gst_v4l2_allocator_qbuf(), the
memory shall be referenced before the buffer is queued.

https://bugzilla.gnome.org/show_bug.cgi?id=777399

qtmux: Only write 4 byte zero padding to the Video Sample Description in MOV

For MP4 this is not defined, and it actually breaks things for MSE in
Chrome if we do this. For MOV this is required by some broken software
but the official specification says it's optional:
https://developer.apple.com/library/content/documentation/QuickTime/QTFF/QTFFChap3/qtff3.html

https://bugzilla.gnome.org/show_bug.cgi?id=777540

rtpstats: Keep number of nacks sent/received per source

Currently, the nack packets sent or received are kept at session level,
which makes it impossible to distinguish how many of these packages were
sent/received per ssrc when several sources are in the same session. This
patch is aligned with the https://www.w3.org/TR/webrtc-stats/#dom-rtcrtpstreamstats

https://bugzilla.gnome.org/show_bug.cgi?id=776714

rtph265pay: Fix handling of config-interval

Insert VPS/SPS/PPS before the first NAL unit containing an I-frame in an
access unit only. If an access unit consists of several such NAL units
(tiles) VPS/SPS/PPS should only be inserted before the first of them so
that parameters are only updated between frames.

Do not insert VPS/SPS/PPS before P-frames when config-interval is -1.

https://bugzilla.gnome.org/show_bug.cgi?id=775817

souphttpsrc: report a useful error message when soup_session_send fails

This helps to understand cases where libsoup doesn't set the message
status code after running soup_session_send.

https://bugzilla.gnome.org/show_bug.cgi?id=777222

souphttpsrc: properly check that seek range was respected

This check must be done only when we are sure the request was
successfully sent. soup_session_send() might fail without setting the
status code. In this case status code is 0 so we would only catch the
error after the seek range check. In this case we would report an error
saying that the seek range was not respected, instead of reporting the
underlying error that triggered the soup_session_send() failure.

https://bugzilla.gnome.org/attachment.cgi?bugid=777222

gdkpixbufoverlay: add a positioning coefficient pair

... so as to allow one clearly defined (absolute) positioning mode
that can cater for a variety of absolute but also relative positioning
with respect to edge or center.

gdkpixbufoverlay: update composition in _before_transform

... since we need to determine passthrough mode for buffer preparation before
calling into _transform_ip.

gdkpixbufoverlay: handle setting NULL gdkpixbuf

... which is a clearer way to clear any current overlay, other than
fiddling with alpha or positioning properties to make it virtually go away.

avidemux: Stop reading a ncdt sub-tag if it goes behind the surrounding tag

https://bugzilla.gnome.org/show_bug.cgi?id=777532

avidemux: Fix various out of bounds reads when parsing ncdt tags

https://bugzilla.gnome.org/show_bug.cgi?id=777500

qtdemux: Increment current stts index whenever we finished one stts entry

Otherwise we could read more chunks than there are available, doing an
out of bounds read and potentially crash.

https://bugzilla.gnome.org/show_bug.cgi?id=777469

Revert "qtdemux: Increment current stts index in all code paths after reading one chunk"

This reverts commit 99d5d7570d0b53dad3bc8eb653b1320ee422aace. It broke
playback of various valid files.

qtdemux: Increment current stts index in all code paths after reading one chunk

Otherwise we could read more chunks than there are available, doing an
out of bounds read and potentially crash.

https://bugzilla.gnome.org/show_bug.cgi?id=777469

souphttpsrc: Initialize return variable

In the normal use-case we would end up with ret being unitialized
causing havoc.

https://bugzilla.gnome.org/show_bug.cgi?id=777222

qtdemux: avoid XMP tag parsing fatal error.

qtdemux_handle_xmp_taglist() requires a writable taglist,
but qtdemux->tag_list can become non-writable, specifically
after sending global tags (qtdemux.c:958), which adds a
second reference.  Ensure the list is made writable before
calling (make_writable will copy the list if necessary).

https://bugzilla.gnome.org/show_bug.cgi?id=766177

qtdemux: rework taglist handling

Keep taglist around during element existance to avoid having to
create it at different places before usage. Makes code simpler to handle.

https://bugzilla.gnome.org/show_bug.cgi?id=766177

souphttpsrc: make flow return values handling clearer

The flow return values was stored in the element before because the
result had to be set from callbacks. This is not the case anymore, we
can return the flow result directly from functions, making the code
easier to understand.

https://bugzilla.gnome.org/show_bug.cgi?id=777222

souphttpsrc: properly track redirections

The current code configures libsoup to handle redirections
transparently, without informing the caller, thus preventing the element
to record the redirect code and location uri.

Fix this by always setting the SOUP_MESSAGE_NO_REDIRECT, preventing
libsoup from handling the redirection. When we receive a redirection
request and libsoup can safely handle it, return a custom error which
triggers a retry with the new URI.

https://bugzilla.gnome.org/show_bug.cgi?id=777222

qtmux: add 4444 and 4444xq variants to video/x-prores pad template caps

They are handled since commit 7b565475bf551c53b8eed46f7086f3b372f1f6c4
(qt: Add support for ProRes 4444 XQ).

https://bugzilla.gnome.org/show_bug.cgi?id=777377

matroska: Quiet a WARN when parsing push mode

This warning was noisy when returning EOS, which is
just used to indicate more data is needed from upstream.

qtmux: Don't write Sync Sample Atom for ProRes

https://bugzilla.gnome.org/show_bug.cgi?id=777331

v4l2: Remove usage and definition of LOG_CAPS macro

Unlike former definitions of LOG_CAPS, the current implementation simply
expands to GST_DEBUG_OBJECT. The LOG_CAPS macro is rarely used and most
uses duplicate already existing GST_DEBUG_OBJECT lines. Therefore, the
caps are often printed twice which unnecessarily clutters the debug log.

Replace LOG_CAPS calls with GST_DEBUG_OBJECT, remove LOG_CAPS calls, and
delete the definition of LOG_CAPS.

https://bugzilla.gnome.org/show_bug.cgi?id=776899

v4l2bufferpool: remove duplicated line of code

https://bugzilla.gnome.org/show_bug.cgi?id=777330

v4l2allocator: fix memory type in allocator probe

The buffer memory type provided to the VIDIOC_CREATE_BUFS ioctl shall
be set with the value ("memory") given as input parameter of the
gst_v4l2_allocator_probe() function.

https://bugzilla.gnome.org/show_bug.cgi?id=777327

flacenc: fix other icon counter check

It's never going to be 0 if we first increment and then check.

qtdemux: boldly assume that first 'covr' image is the front cover

qtdemux: extract cover art images into GST_TAG_IMAGE not PREVIEW_IMAGE

These are usually much bigger than icon size and required by
iTunes to be certain fairly large sizes. In qtmux it is also
the IMAGE tags which we write out as 'covr' atoms.

flacenc: also set PICTURE tag width and height if available

flacenc: fix encoder init error with some GST_TAG_PREVIEW_IMAGEs

The encoder fails to initialise when we try to set GST_TAG_PREVIEW_IMAGEs
sent to use by qtdemux from iTunes-generated m4a files. We should
not just blindly translate the PREVIEW tag to file icon image types,
but check if the specific conditions required are met (i.e. image
type 1 must be a 32x32 PNG icon, and what we're getting is 500x500).

https://bugzilla.gnome.org/show_bug.cgi?id=776962

meson: bump version

splitmuxsink: Add option for timecode-based split

If this option is given, it will calculate the next split point based on
timecode difference.

https://bugzilla.gnome.org/show_bug.cgi?id=774209

qtmux: Don't reset request pad numbering across uses

When reset, don't restart request pad numberings, as
request pads can survive across state changes. Only
restart at 0 if all request pads are handed back first.

https://bugzilla.gnome.org/show_bug.cgi?id=777174

rtxqueue: Expose basic statistics as properties.

Statistics about the total number of retransmission requests
and the actual number of retransmitted packets can be helpful
at application-level.

https://bugzilla.gnome.org/show_bug.cgi?id=777182

qtmux: simplify video/x-h264 caps handling

'stream-format' and 'alignment' are defined in pad template caps so
there is no need to check them again here. Also remove bitrate parsing from
caps as bitrate in caps doesn't make sense but from tags, which is
actually the case.

https://bugzilla.gnome.org/show_bug.cgi?id=777181

qtmux: add basic HEVC/H.265 muxing support

https://bugzilla.gnome.org/show_bug.cgi?id=736752

qtmux: Calculate clean aperture size

Calculate clean aperture dimensions by first guessing
display aspect ratio based on pixel aspect ratio and
frame size.

https://bugzilla.gnome.org/show_bug.cgi?id=777100

qtmux: Write tapt atom for MOV files if PAR not 1/1

Needed for QuickTime 7 to properly play files.

Also write the clap atom for MOV files always, not only when ProRes is
used as a video codec. It's mandatory for MOV.

https://bugzilla.gnome.org/show_bug.cgi?id=777100

Back to development

Release 1.11.1

Update .po files

po: Update translations

qtdemux: free seqh after calling qtdemux_parse_svq3_stsd_data()

The seqh buffer allocated in qtdemux_parse_svq3_stsd_data() needs to
be freed by the caller after use.

https://bugzilla.gnome.org/show_bug.cgi?id=777157

Signed-off-by: Andre McCurdy <armccurdy@gmail.com>

isomp4: Don't spam debug log with knonw/padding atoms

Only output WARNING messages for atoms we don't know how to handle
instead of for padding/known atoms we don't need to do any processing
on

https://bugzilla.gnome.org/show_bug.cgi?id=777095

Fix indentation

tests: rtpjitterbuffer: fix compiler warning due to c99-ism

rtpjitterbuffer.c:592:3: error: ‘for’ loop initial declarations are only allowed in C99 mode

autodetect: bring the element state down after success

Otherwise some messages that are emitted by the element on NULL->READY
will not reach the application.

https://bugzilla.gnome.org/show_bug.cgi?id=764947

qtmux: Write tfdt atom into fragmented files.

The DASH spec requires that tfdt atoms be present, so
write one out. ISO/IEC 23009-1:2014 6.3.4.2

https://bugzilla.gnome.org/show_bug.cgi?id=708221

qtdemux: Don't reset output timestamps when no tfdt

If a fragmented stream doesn't have a tfdt, don't
reset the output timestamps at each fragment boundary
by erroneously using the default value of 0. Introduced
by commit 69fc48

https://bugzilla.gnome.org/show_bug.cgi?id=754230

meson: Install presets files

avidemux: fix some caps leaks

https://bugzilla.gnome.org//show_bug.cgi?id=776789

splitmuxsink: Return a bin with a "location" property as a sink

Splitmuxsink might be called with a custom bin as a sink. If it has a
"location" property, it can be used.

splitmux: Rewrite buffer collection and scheduling

Majorly change the way that splitmuxsink collects
incoming data and sends it to the output, so that it
makes all decisions about when / where to split files
on the input side.

Use separate queues for each stream, so they can be
grown individually and kept as small as possible.

This removes raciness I observed where sometimes
some data would end up put in a different output file
over multiple runs with the same input.

Also fixes hangs with input queues getting full
and causing muxing to stall out.

splitmuxsink: Add format-location-full signal

Add a new signal for formatting the filename, which receives
a GstSample containing the first buffer from the reference
stream that will be muxed into that file.

Useful for creating filenames that are based on the
running time or other attributes of the buffer.

To make it work, opening of files and setting filenames is
now deferred until there is some data to write to it,
which also requires some changes to how async state changes
and gap events are handled.

qtdemux: Always snap to the start of the keyframe

When performing a key-unit seek, always snap to the start ts
of the keyframe buffer we landed on so that the keyframe is
entirely within the resulting outgoing segment. That seems
the most sensible result, since the user requested snapping
to the keyframe position.

qtdemux: Omit cslg_shift when snapping seeks

Segments times and seek requests are stored and handled
in raw 'PTS' time, without the cslg_shift - which only applies
to outgoing samples. Omit the cslg_shift portion when
extracting PTS to compare for internal seek snaps.

If the cslg_shift is included, then keyframe+snap-before seeks
generate a segment start/stop time that already includes the
cslg_shift, and it's then added a 2nd time, causing the
first buffer(s) to have timestamps that are out of segment.

qtmux: Remove bogus check in atom_stsc_add_new_entry()

Remove an old check from atom_stsc_add_new_entry() that
extends the last entry in the STSC if the samples per chunk
matches, as the new interleave merging logic requires that
the final entry by updateable. There's already code
below which simply merges the final entry into the previous
one when needed, so rely on that instead.

Fixes asserts like:

ERROR:atoms.c:2940:atom_stsc_update_entry: assertion failed:
(atom_array_index (&stsc->entries, len - 1).first_chunk == first_chunk)

qtdemux: Fix key_time in gst_qtdemux_adjust_seek()

time in segment should be PTS based (not DTS).

https://bugzilla.gnome.org/show_bug.cgi?id=765498

splitmuxsrc: Pass seek flags when activating.

Pass all seek flags when activating a part
based on a seek, so that SNAP flags are preserved.

splitmux: Fix a small race in the splitmuxsrc

Make sure the state of the parser is set to
collecting streams before chaining up to the
parent change_state() method, to close a
small window that can cause playback to
never commence.

check: Remove dead code

multifilesink: refactor max_files handling a bit

Use GQueue instead of a GSList so we don't have to traverse
the whole list to append something every time. And it also
keeps track of the number of items in it for us.

Add a function to add filenames to the list of old files and
use it in more places, so that memory doesn't build up in
other modes either if no max_files limit is specified.

https://bugzilla.gnome.org/show_bug.cgi?id=766991

multifilesink: don't leak memory when no max-files limit is set

Technically we weren't leaking the memory, just storing it internally
and never using it until the element is freed. But we'd still use more
and more memory over time, so this is not good over longer periods
of time. Only keep track of files if there's actually a limit set,
so that we will prune the list from time to time.

https://bugzilla.gnome.org/show_bug.cgi?id=766991

matroskademux: adjust segment stop for KEY_UNIT negative rate seeking

qtdemux: implement pull mode SNAP flag seeking

avidemux: tweak KEY_UNIT SNAP seek handling

Previously, seeking to position y where y is (strictly) within a keyframe
would seek to that keyframe both with SNAP_BEFORE and SNAP_AFTER,
where the latter is now adjusted to really snap to the next keyframe.

avidemux: correctly perform pull mode KEY_UNIT seeking

Rather amazingly (and equally unnoticed), keyunit seeking resulted in segments
where start != time (which is bogus for simple avi timeline).  So, properly
adjust the segment (start) rather than fiddling with segment time (only).

avidemux: restore considering of pull mode KEY_UNIT seeking

... by using the original seek event's flags rather than the corresponding
segment flags, which do not have such counterpart flags (and
do no longer have them covertly sneaking in nowadays).

matroskamux: only drop actual streamheader buffers with xiph codecs

With Xiph codecs the stream header buffers are both in the caps and are
usually also at the beginning of each input stream, but it's perfectly
possible that the input stream does not have the stream header buffers
inline in the data. Matroskamux would drop the first N buffers assuming
they're stream headers, but this meant it would drop actual payload data
when the stream didn't contain the stream headers inline. Fix this by
only dropping leading buffers if they're flagged as stream headers. This
fixes issues with streams that are being tapped into after streaming
has started.

https://bugzilla.gnome.org/show_bug.cgi?id=749098

matroskamux: adjust unit test to modified behaviour

Now matroskamux mark all packets of audio-only streams as keyframes so
in test_block_group after pushing the test audio data 4 buffers are produced
and not more 2. The last buffer is the original data and must match with what
pushed. The remaining ones are matroskamux headers

https://bugzilla.gnome.org/show_bug.cgi?id=754696