rtpsession: Always keep at least one NACK on early RTCP

We recently added code to remove outdate NACK to avoid using bandwidth
for packet that have no chance of arriving on time. Though, this had a
side effect, which is that it was to get an early RTCP packet with no
feedback into it. This was pretty useless but also had a side effect,
which is that the RTX RTT value would never be updated. So we we stared
having late RTX request due to high RTT, we'd never manage to recover.

This fixes the regression by making sure we keep at least one NACK in
this situation. This is really light on the bandwidth and allow for
quick recover after the RTT have spiked higher then the jitterbuffer
capacity.

rtpsession: Call on-new-ssrc earlier

Right now, we may call on-new-ssrc after we have processed the first
RTP packet. This prevents properly configuring the source as some
property like "probation" are copied internally for use as a
decreasing counter. For this specific property, it prevents the
application from disabling probation on auxiliary sparse stream.

Probation is harmful on sparse streams since the probation algorithm
assume frequent and contiguous RTP packets.

rtpsource: Add more information to probation warning

rtspsrc: do not try to send EOS with invalid seqnum

The second udpsrc (rtcp) might not have seen the segment event if it was
not enabled or if rtcp is not available on the server. So if the
application tries to send an EOS event it will try to set an invalid
seqnum to the event.

rtprawdepay: Don't get rid of the buffer pool on FLUSH_STOP

We expect there to be a pool as long as the caps are known and
FLUSH_STOP is not resetting the caps. Getting rid of the pool would
cause assertions.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/584

rtpbin: Free storage when freeing session

scaletempo: Advertise interleaved layout in caps templates

Scaletempo doesn't support non-interleaved layout. Not explicitely stating this
would trigger critical warnings and a caps negotiation failure when scaletempo
is used as playbin audio-filter.

Patch suggested by George Kiagiadakis <george.kiagiadakis@collabora.com>.

Fixes #591

ci: use template from 1.16 branch

Release 1.16.0

Update docs

Update translations

qmlglsink: fix compilation with Qt >= 5.5 on Windows

As of Qt >= 5.5, qmake do not link to opengl32 by default anymore. This commit adds opengl32.lib to the .pro
file so that the plugin can be build using QtCreator on Windows.

meson: Build qt plugin in C++11 mode explicitly

This works implicitly most of the time, but we need to set it
explicitly for building with Android.

v4l2: fix use after free when handling events

The sink_event parent function may consume the event so we shouldn't use
it after having calling it.

Release 1.15.90

Update docs

rtpulpfecdec,enc: unbreak plugin gtk-doc build in autotools

Fix doc chunks to not use that syntax for links that have the
url as description, it will be put verbatim into the xml/*.xml
file and then the expat parser will throw a syntax error like:

  File "../../common/mangle-db.py", line 71, in <module>
    main()
  File "../../common/mangle-db.py", line 69, in main
    patch (details.replace("-details", ""), os.path.basename(details))
  File "../../common/mangle-db.py", line 20, in patch
    doc = xml.dom.minidom.parse(related)
  File "/usr/lib/python2.7/xml/dom/minidom.py", line 1918, in parse
    return expatbuilder.parse(file)
  File "/usr/lib/python2.7/xml/dom/expatbuilder.py", line 924, in parse
    result = builder.parseFile(fp)
  File "/usr/lib/python2.7/xml/dom/expatbuilder.py", line 207, in parseFile
    parser.Parse(buffer, 0)
xml.parsers.expat.ExpatError: not well-formed (invalid token): line 84, column 7

rtpvrawpay: preserve GST_BUFFER_FLAG_DISCONT on the first outputted buffer

If the incoming frame buffer has GST_BUFFER_FLAG_DISCONT set this should
be preserved and set for the first output buffer too, like other
payloaders do.

Spotted with gst-validate-1.0 when adding integration tests for
rtpsession, a minimal test to reproduce the issue is:

$ gst-validate-1.0 videotestsrc num-buffers=1 ! rtpvrawpay ! identity ! fakesink
Starting pipeline
Pipeline started
   warning : Buffer didn't have expected DISCONT flag333 speed: 1.000000 />
             Detected on <identity0:sink>
             Detected on <identity0:src>
             Detected on <fakesink0:sink>
             Description : Buffers after SEGMENT and FLUSH must have a DISCONT flag

Issues found: 1

=======> Test PASSED (Return value: 0)

rtpulpfec*: Replace github URIs with gitlab.fdo ones

rtpred*: Add example pipelines

rtpulpfec*: Improve documentation

rtpstorage + rtpulpfecdec: Get the storage using a query as fallback

This allows it to be used using gst-launch for easier testing.

osxvideo: fix mac os 10.14 build

lockFocusIfCanDraw is deprecated in mac os 10.14.  Apple suggests a
different way to do what that does, but for now, just suppress the deprecation.

There's no way to disable just that deprecation, so shut them all down.

OpenGL is also deprecated in mac os 10.14.  There is a gentle way to
turn off just those deprecations (GL_SILENCE_DEPRECATION), but since
this commit turns them all off, that's moot.

https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/577

test: rtpsession: Verify on-sending-nacks callback

rtpsession: Allow overriding NACK packet creation

This introduce a new signal on RTSession, on-sending-nacks is emited
right before the list of seqnums to be nacked are processed and
transformed into FB Nack. This allow implementing custom nacks
handling through another mechanism with APP feedback.

rtpsession: Add disable-sr-timestamp property

The Onvif Streaming Spec, in section 6.11, mandates that when
Rate-Control is disabled potential RTCP packets shall have
their timestamps set to 0.

<https://www.onvif.org/specs/stream/ONVIF-Streaming-Spec.pdf>

v4l2: remove __user define from types-compat.h

Remove the now unused __user define.

v4l2object: use opRGB colorspace and xfer func defines

AdobeRGB defines have been renamed to opRGB in the kernel headers,
use the new names.

v4l2videodec: support orphaning

Recent kernels allow REQBUFS(0) on a queue that still has buffers in
use (mmapped or exported via dmabuf), orphaning all buffers on the queue.
If this is supported, the v4l2videodec element does not have to send a
drain request downstream.

v4l2bufferpool: support orphaning

Now that the v4l2allocator allows orphaning the V4L2 buffer queue, add
support for orphaning in the v4l2bufferpool. gst_v4l2_buffer_pool_orphan
can be used as a replacement for gst_v4l2_buffer_pool_stop, without
having to wait for buffers to be returned to the pool.

v4l2allocator: support orphaning

Recent kernels allow REQBUFS(0) on a queue that still has buffers in
use (mmapped or exported via dmabuf), orphaning all buffers on the queue.

Orphaning the allocator causes it to release all buffers with
REQBUFS(0), even if they are still in use. An orphaned allocator can
only be stopped. It can not be restarted or create new buffers.

v4l2: update kernel headers to latest from media tree

Update to the latest installed headers (output of make headers_install)
from the media tree, keeping the slight modifications to the includes.

This includes new HEVC controls, the AdobeRGB -> opRGB rename, a new
capabilities field for v4l2_requestbuffers and v4l2_create_buffers, new
32-bit YUV formats, and request_fd changes.

shout2: Fix leak on error in start

test: rtpsession: Test FB Nack packing

We used to split the NACK if a smaller seqnum of a range of seqnum was
submited. This test also make sure that the three operations (append,
prepend, update) works properly.

test: rtpsession: Test handling of NACK surplus

This test verify that NACKs that didn't fit in one packet are properly
filtered and inserted into the following pipeline.

rtpsession: Send as many nack seqnum as possible

In order to do that, we now split the nacks registration from the actual
FB nack packet construction. We then try and add as many FB Nacks as
possible into the active packets and leave the remaining seqnums in the
RTPSource. In order to avoid sending outdated NACK later on, we save the
seqnum calculated deadline and cleanup the outdated seqnums before the
next RTCP send.

Fixes #583

rtpsession: Fix race when sending PLI, FIR and NACK packets

Calling rtp_session_send_rtcp before marking the source as requiring a
pli/fir/nack meant the rtcp_thread could be scheduled and start running
before the source was updated. This meant the request would not be sent
early but instead was transmitted with the next regular RTCP packet.

Add test for nack generation.

rtpsession: Fix early rtcp time comparision

If the current time is equal to the early rtcp time deadline, there is
no need to schedule a timer. This ensure that immediate feedback is
really immediate and simplify implementing unit tests with the test
clock, which stops perfectly on the timeout time.

This fix has been extracted from Pexip feature patch called
  "rtpsession: Allow instant transmission of RTCP packets"

v4l2src: preserve features when fixating caps

The caps features were lost when sorting caps structures in
gst_v4l2src_fixate(). This was breaking alternate as
GST_CAPS_FEATURE_FORMAT_INTERLACED was removed from the caps.

rtpgstpay: Set DELTA_UNIT flag when appropriate

When used in combination with a rtponviftimestamp element
downstream, forwarding this flag ensures it gets correctly
serialized in the ONVIF header extension.

docs: fix typo s/abonormally/abnormally/

docs: fix typo s/incomming/incoming/

rtp: fix indentation after G_DEFINE_TYPE

A missing colon after G_DEFINE_TYPE declaration was confusing gst-indent
and causing problem in the pre-commit hook.

Add the missing colon and fix the following function declaration to
follow the normal GStreamer style.

rtpsession: fix comment to refer to buffers instead of groups

One comments in gst_rtp_session_chain_send_rtp_common() is referring to
groups in a buffer list, however this concept of "group" comes from
GStreamer 0.10 and does not exist anymore in GStreamer 1.0, so update the
comment to refer to buffers instead.

rtpsource: add comment to explain why probation queue is not always cleared

test: rtpbin_buffer_list: add test to verify that stats are correct

Add a test to verify that stats about sent and received packets are
correct even when using buffer lists.

NOTE: the newly introduced get_session_source_stats() selects the
desired source (sender or receiver) by filtering them by type (using the
get_sender parameter) rather than by ssrc because this simplifies the
code and it's good enough for testing purposes as there is usually one
source per type in the test setup.

Filtering by ssrc would have required handling asynchronous signals like
"on-new-sender-ssrc", with the relative locking, just to retrieve the
actual ssrc of the sender.

rtpsource: fix stats about received packets

The update_receiver_stats() function is called also when sending packets
in rtp_source_send_rtp(), and sending packets may happen using a buffer
list rather than individual buffers.

So update the stats using the actual number of packets sent.

NOTE: this is fine for the receive path too (rtp_process_send_rtp)
because the receive path does not support buffer lists and
pinfo->packets would always be equal to 1 in this case.

test: rtpbin_buffer_list: move buffer list creation next to its validation

The tests create a buffer list and then use the chain_list callback to
verify that the correct packets have been pushed.

Move the creation and validation code next to each other so that the
reader can more easily understand what is going on.

While at it add some comments to introduce the two related functions.

test: rtpbin_buffer_list: set the chain_list function directly in the test

The helper function set_chain_function does not really do anything useful, remove it.

test: rtpbin_buffer_list: make check_packet more flexible

Make it possible to differentiate between the position in the list and
the packet index in the global structures in check_packet, in some
future case the list may change, in case some element removes a buffer
from the list, and the two indices may not coincide.

test: rtpbin_buffer_list: factor out a function to create packets buffers

test: rtpbin_buffer_list: check if the chain_list function has been called

Make the test more useful to verify that the chain list function has
actually been called.

test: rtpbin_buffer_list: port to GStreamer 1.0

Port the rtpbin_buffer_list test to GStreamer 1.0 and re-enable it.

Some other changes include:
  - the check on the caps has been moved from the buffer level to the
    pad level;
  - remove underscore prefix from static functions names, this is not
    idiomatic in C and rarely used in the other tests;
  - the unused header_buffer variable has been removed;
  - check_group() has been renamed to check_packet() because in
    GStreamer 1.0 there is no concept of "group" anymore, the comments
    have also been updated to reflect this.

tests: jpegdec: bump discoverer timeout for valgrind

Tests might take a bit longer, esp. when run under valgrind
and/or they're running on the CI with other things going on,
so let's just bump the timeout to something higher and let
the test runner time us out if needed.

meson: Only ensure that moc is available on Linux

On other OSes, it's not possible to have qmake or the qt5 pkg-config
files and not have moc, and `moc` will not be in `PATH`, so this only
causes problems.

rtpstorage: Limit the queue size

Limit to the queue size in case there is no arrival time or in case there is
a huge flood of packets.

rtpbin: Request the FEC decoder even if ignore-pt is set

rtpbin: Factor out the code that exposes the src pad

rtpreddec: Add some more debug prints

rtpstorage: Issue warning if request by size if 0

If the size is 0, then nothing will ever be in the storage, if a request is
received, it generally implies a misconfigured pipeline.

rtpstorage: Add more debug messages

rtpstorage: Make debug category available to sub objects

rtpstorage: Add debug funcptr to chain function

flac: report latency in flacenc and flacdec

The FLAC specification states that the data is processed in blocks, regardless of the number of channels. Thus, The latency can be calculated using the blocksize and rate. For example a 1 second block sampled at 44.1KHz has a blocksize of 44100

examples: rtsp: fix compiler warning

"control reaches end of non-void function"

gstrtpsession: Remove set but not use running-time

rtpmanager: Register chain functions to debug

rtpbin: Allow reusing the sender AUX bin

This is needed for the case you don't know in advance all the sessions
you will be using, but would like to place all the related AUX element
in the same GstBin. As per current implementation, each time an sender
AUX bin is requested and returned, RTPBin will walk the src pads and
create sessions for these pads.

In the current implementation, if a src pad already have a sessions, it
returns an error and stops. As a side effect, if an AUX bin is reused in
a following AUX bin request, it can only work if the pads are created on
the last request.

This change simply relax the restriction in order to keep walking, and
just ensure that all newly created pads have a sessions.

v4l2videoenc: set GstVideoCodecFrame sync point flag

The V4L2 elements already set the delta unit buffer flag when dequeueing
the buffer, but gst_video_encoder_finish_frame overwrites it from the
passed codec frame's sync point flag. Set the flag correctly.

gstrtpsession: improve stats about rtx requests

rtprtxsend: Improve looging of not found RTX packet

When an RTX packet is not found, display a message that say if the
packet have not arrived yet or if it was already removed from the RTX
packet queue.

rtpsession: Remove unused rtp_session_create_source

meson: add -Wno-unused also to C++ args when gst debug system is disabled

And check if argument is supported instead of just passing it blindly,
and make meson code slightly cleaner, centralising the argument setting
in one place.

Update LINGUAS

qtdemux: Don't pass zero to denominator for framerate

Need to respect return of gst_video_guess_framerate() to ensure
non-zero denominator.

This patch is to fix below error with an abnormal (but has valid frame) file.
(gst-play-1.0:17940): GStreamer-CRITICAL **: passed '0' as denominator for `GstFraction'

v4l2: Set Hardware classifier on encoders

v4l2: Set Hardware classifier on video decoders

v4l2transform: don't segfault if flushed without pools

The v4l2output and v4l2capture v4l2objects can have pool == NULL if they
have been stopped before.

qtdemux: Find mp4a esds atoms in protected streams sample description tables.

This problem was found in Test. 2 of the YouTube 2018 EME
tests[1]. The code was accidentally not finding an mp4a's esds atom in
the sample description table when the stream was encrypted. It assumed
that if the stream is protected, then only an enca atom will be found
here. What happens with YouTube is they often provide protected
content with a few seconds of clear content, and then switch to the
encrypted stream.

The failure case here was an incorrect codec_data field being sent
into aacparse. The advertisement of stereo audio @ 44.1kHz for the
mp4a (unprotected) stream was incorrect. As usual, the esds contained
the real values here which were mono at 22050 Hz.

Here's what the MP4 tree looks like for these types of files,
demonstrating why the code was making a wrong assumption (or maybe
YouTube is being unusual),

[ftyp] size=8+16
...
[moov] size=8+1571
...
  [trak] size=8+559
...
          [stsd] size=12+234
            entry-count = 2
            [enca] size=8+147
              channel_count = 2
              sample_size = 16
              sample_rate = 44100
              [esds] size=12+27
                ...
            ...
            [mp4a] size=8+67
              channel_count = 2
              sample_size = 16
              sample_rate = 44100
              [esds] size=12+27
                ...

In addition to fixing this, the checks for esds atoms in mp4a and mp4v
have been made symmetrical. While I haven't seen a test case for video
with the same problem, it seemed better to make the same checks. This
also fixes a crash reported from another user[2], they also noted the
asymmetry with mp4v and mp4a.

[1] https://yt-dash-mse-test.commondatastorage.googleapis.com/unit-tests/2018.html?test_type=encryptedmedia-test
[2] https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/issues/398

flvmux: Fix scale of time values in warning message

rtspsrc: Don't remove udpsrc/sink from rtspsrc if they were not added to it

This can happen in various error cases that could happen between the
creation of the element in question and the adding to the rtspsrc.

It causes an ugly critical warning right now but is otherwise harmless.

test: imagefreeze: add test for the num-buffers property

imagefreeze: add a num-buffers property

The imagefreeze element can be handy for benchmarking downstream
elements because it re-uses the same buffer memory and introduces less
overhead compared to always creating new frames with videotestsrc.

However it's not possible to make imagefreeze send EOS when using
gst-launch-1.0.

Add a num-buffers property to make it look more like a source in the
above scenario.

matroskamux: add support for new color primaries

v4l2sink: fix pool-less allocation query handling

This fixes a critical warning if the last-sample property is enabled:

  (gst-launch-1.0:391): GStreamer-CRITICAL **: 01:12:57.428: gst_object_unref: assertion 'object != NULL' failed

If the allocation query does not contain any allocation pools,
gst_query_parse_nth_allocation_pool will leave the local pool,
min, and max variables undefined, so check the array length first.
If pool is NULL, do not call gst_object_unref.

meson: Build v4l2 example only if v4l2 plugin was built

Otherwise v4l2 example will be built with MSVC

docs: fix typos s/recieve/receive/

rtpsource: fix documentation of rtp_source_send_rtp parameters

In commit 28e5f9098 (rtpbin: use PacketInfo for the sender, 2013-09-13)
the rtp_source_send_rtp signature changed but the documentation was not
adjusted to match the new one.

Update the documentation to match the function signature.

rtpsession: fix typo in a comment, s/SESSION_LOCK/RTP_SESSION_LOCK/

Fix a typo in a comment, mainly to avoid confusing autocompletion in
text editors.

rtpsession: fix typos and update parameters names in comments

Some functions now accept a generic 'gpointer data' parameter because
they can work either on a single buffer or a buffer list.

However the comments were still referring to the old 'GstBuffer *buffer'
parameter, so update the comments to match the actual functions
signature.

rtpstats: fix some fields names in the RTPSourceStats documentation

Fix documentation of RTPSourceStats to use the actual fields names.

rtpulpfdecdec: only put recovered packet back into storage if not recovered from there

rtpulpfecdec: fix buffer leak when packet is recovered from storage

Exposed by rtpulpfecdec_recovered_from_storage test.

tests: rtpulpfec: fix buffer leak in unit test

This freed wrapped memory instead of the GstMemory or buffer.

rtph264depay: fix caps leak

Exposed by rtp_h264depay_bytestream() unit test.

tests: rtpjitterbuffer: fix leaks in new test_push_eos() test

tests: states: blacklist gtk sinks for state change test

gtk_init() throws GLib-GIO-WARNING **: unknown schema extension 'd'
unrelated to our test environment.

tests: .gitignore more test and example binaries

gtkgl: Also try retrieving an EGL context from Gdk with X11

Some embedded platforms will use EGL instead of GLX within the X11
ecosystem.

Back to development