Back to development

build: Don't forget to dist applemedia/avfdeviceprovider.h

Closes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/908

mskd: Don't use MFX_FOURCC_RGB565 if it's undefined

../subprojects/gst-plugins-bad/sys/msdk/msdk.c(61): error C2065: 'MFX_FOURCC_RGB565'

The minimum required version for the format seems to MFX_VERSION >= 1028

cccombiner: implement update_src_caps

It is necessary to implement this vmethod, as when the src pad
is marked as reconfigure, the base class will reset to src caps,
and the default update_src_caps simply queries the caps allowed
downstream without taking into account the caps set by
gst_aggregator_set_src_caps.

msdkdec: fix for small resolution

msdkdec: fix for resolution change

Returning MFX_ERR_INCOMPATIBLE_VIDEO_PARAM from
MFXVideoDECODE_DecodeFrameAsync means the allocated mfx surface is not
suitable for the current frame, we need a new mfx surface and try
MFXVideoDECODE_DecodeFrameAsync again.

meson: don't build icles when tests are disabled

They are manual tests, so let them be controlled
via the tests option not the examples option, for
consistency with -good.

hlssink2: Add property for disabling sending of force-keyunit events

mpegtsmux: restore stream creation order

In 7c767f3fcd5a7b40d205bb4d588dad6c6275c729 , stream creation was
refactored to occur before potential program creation. This created
issues with pipelines such as:

gst-launch-1.0 videotestsrc ! video/x-raw, format=I420, width=640, height=640, framerate=25/1 ! \
x264enc ! hlssink2 target-duration=1

eg.: gst_buffer_copy_into: assertion 'bufsize >= offset + size' failed

As this reordering was actually not needed for the purpose of allowing
to specify a PCR stream, this reverts the reordering part of the
initial commit.

msdkdec: force the alignment of width/height to 16 for vp8/vp9

MSDK library requires 16 alignment for vp8/vp9, otherwise a pipeline
for vp8/vp9 decoding might fail.

example pipeline:
gst-launch-1.0 filesrc location=vp8_1280x720.webm ! matroskademux ! \
msdkvp8dec ! fakesink

0:00:00.150565444 10657 0x55c8484036d0 ERROR                msdkdec
gstmsdkdec.c:1056:gst_msdkdec_handle_frame:<msdkvp8dec0>
DecodeFrameAsync failed (invalid video parameters)

msdkvpp: add RGB16 format in the sink pad

Note: MSDK doesn't support RGB16 output, hence don't add RGB16 format in
the src pad

msdk: set some parameters in mfxFrameData for a RGB16 frame

msdk: map MFX_FOURCC_RGB565 to VA_FOURCC_RGB565

msdk: map GST_VIDEO_FORMAT_RGB16 to VA_FOURCC_RGB565

msdk: map GST_VIDEO_FORMAT_RGB16 to MFX_FOURCC_RGB565

Release 1.15.2

Update docs

Update translations

msdkdec: release the occupied surface for MFX_WRN_DEVICE_BUSY

When MFXVideoDECODE_DecodeFrameAsync () returns MFX_WRN_DEVICE_BUSY with
an output surface, a new input surface is required when retrying
MFXVideoDECODE_DecodeFrameAsync ().

This fixes the out-of-surface issue mentioned in
https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/890

msdk: don't destroy an image twice

This gets rid of annoying message in the log, e.g. run the pipeline
below:

gst-launch-1.0 videotestsrc num-buffers=100 ! \
video/x-raw,format=NV12,width=352,height=288 ! msdkh264enc ! filesink \
location=test.h264

[LIBVA]:CRITICAL - DdiMedia_DestroyImage:4357: Invalid image

msdk: move the comment to the correct place

srtobject: check for null local address to avoid SIGSEV

ccconverter: fix typo in framerate

audiobuffersplit: Added max-silence-time property

mpegtsmux: allow specifying the PID of the PCR stream

The structure passed through the prog-map can now contain a
PCR_<prog_id>=sink_<PID> key-value pair.

decklink: add Hardware tag to element metadata

wasapi: add Hardware tag to element metadata

winks: add Hardware tag to element metadata

androidmedia: add Hardware tag to element metadata

applemedia: add Hardware tag to element metadata

msdk: add Hardware tag to element metadata

nvenc, nvdec: add Hardware tag to element metadata

curlhttpsrc: set BUFFER_OFFSET when creating GstBuffer

To make curlhttpsrc behave more like souphttpsrc, set the
BUFFER_OFFSET in its output buffers to match the segment
start. This means that in a HTTP RANGE request, the BUFFER_OFFSET
will match the value in the RANGE request.

curlhttpsrc: export same HTTP error status as souphttpsrc

To make it closer to a drop-in replacement for souphttpsrc,
expose the same gst_error_message_with_details as souphttpsrc,
so that applications can received the HTTP status code and reason
when an error occurs.

curlhttpsrc: fix various leaks and thread safety issues

curlhttpsrc uses a single thread running the
gst_curl_http_src_curl_multi_loop() function to handle receiving
data and messages from libcurl. Each instance of curlhttpsrc adds
an entry into a queue in GstCurlHttpSrcMultiTaskContext and waits
for the multi_loop to perform the HTTP request.

Valgrind has shown up race conditions and memory leaks:
1. gst_curl_http_src_change_state() does not wait for the multi_loop
   to complete before going to the NULL state, which means that
   an instance of GstCurlHttpSrc can be released while
   gst_curl_http_src_curl_multi_loop() still has a reference to it.
2. if multiple elements try to be removed from the queue at once,
   only the last one is deleted.
3. source->caps is leaked
4. curl multi_handle is leaked
5. leak of curl_handle if URI not set
6. leak of http_headers when reusing element
7. null pointer dereference in negotiate caps
8. double-free of the default user-agent string
9. leak of multi_task_context.task

This commit changes the logic so that each element has a connection
status, which is used by the multi_loop to decide when to remove an
element from its queue. An instance of curlhttpsrc will not enter
the NULL state until its reference has been removed from the queue.

When shutting down the curl multi loop, the memory allocated from the
call to curl_multi_init() is now released.

When gstadaptivedemux uses a URI source element, it will re-use
it for multiple requests, moving it between READY and PLAYING
between each request. curlhttpsrc was leaking the http_headers
structure in this use case.

The gst_curl_http_src_negotiate_caps() function extracts the
"response-headers" field from the http_headers, but did not check
that this field might be NULL.

If the user-agent property is set, the global user-agent string
was freed. This caused a double-free error if the user-agent is
ever set a second time during the execution of the process.

There are situations within curlhttpsrc where the code needs
both the global multi_task_context mutex and the per-element
buffer_mutex. To avoid deadlocks, it is vital that the order in
which these are requested is always the same. This commit modifies
the locking order to always be in the order:
 1. multi_task_context.task_rec_mutex
 2. buffer_mutex

Fixes #876

tests: curlhttpsrc: add unit tests

Based upon the souphttpsrc tests, add unit tests for the curlhttpsrc
element. The souphttpsrc tests are able to use an HTTP server that
is provided as part of the soup library. This does not exist in the
curl library, therefore these tests provide a very simple HTTP server
using the GIO library.

These curlhttpsrc tests contain one new test that does not come from
the souphttpsrc tests. The test_multiple_http_requests test tries to
reproduce the way in which GstAdaptiveDemux makes use of URI source
elements. GstAdaptiveDemux creates a bin with the httpsrc element
and a queue element and sets the locked state of that bin to TRUE,
so that it does not follow the state transitions of its parent. It
then moves this bin to the PLAYING state to start each download and
back to READY when the download completes.

msdkvpp: allow UYVY in DMABuf mode in the sink pad

Tested with the pipeline below:

gst-launch-1.0 videotestsrc num-buffers=1 ! msdkvpp ! \
video/x-raw\(memory:DMABuf\),format=UYVY ! msdkvpp ! video/x-raw, \
format=YUY2 ! filesink location=a.yuv

msdkvpp: allow UYVY in the src pad

This make the pipeline below works:

gst-launch-1.0 videotestsrc num-buffers=1 ! msdkvpp ! \
video/x-raw,format=UYVY ! filesink location=a.yuv

Once https://github.com/intel/media-driver/pull/526 in the media-driver
is merged, the pipeline below also works:

gst-launch-1.0 videotestsrc num-buffers=1 ! msdkvpp ! \
video/x-raw\(memory:DMABuf\),format=UYVY ! filesink location=a.yuv

msdk: map GST_VIDEO_FORMAT_UYVY to VA_FOURCC_UYVY

msdkvpp: allow BGRx in DMABuf mode in the src pad

Tested with the pipeline below:

gst-launch-1.0 videotestsrc ! msdkvpp ! \
video/x-raw\(memory:DMABuf\),format=BGRx ! glimagesink

vcdsrc: Remove unusable VCD source

The VCD source was ported in 2014 (commit 89eb1e9), but the necessary
"cdxaparse" plugin, which is used to "Parse a .dat file (VCD) into
raw mpeg1" was never ported.

This means that the probable main user for the feature, totem, hasn't
actually been able to play back VCDs, since 2012, when it switched to
using GStreamer 1.0.

Note that even if cdxaparse was finally ported, a lot of work would
still be necessary before it is considered usable. Notably, it is
missing disc image support [1] and some VCDs just cannot be opened for
reading [2].

[1]: https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/898
[2]: https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/899

closedcaption: Use portable variadic macro syntax

args... is not understood by MSVC:

error C2010: '.': unexpected in macro parameter list

closedcaption: Port plugin to MSVC

pthread is not portable, so we can't use a pthread mutex use GMutex
instead.

waylandsink: Don't create throwaway empty regions

Instead of creating a region, adding nothing to it, setting that as the
input region and destroying the region, you can instead just pass NULL
to wl_surface_set_input_region for the same effect.

Fixes #702

webrtc: fix rtx + bundle

If bundle was used in combination with rtx, only the bundled transport
stream would have correctly configured rtx parameters.

Iterate over the payloads upfront in the bundled case to ensure the
correct payload mapping is set for the RTX elements.

dtls: Don't abort on non-fatal issues

OpenSSL will take care of returning valid context if there are
only non-fatal issues. Don't abort in those cases and instead just
print out the issues

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/811

fdkaacenc: Fix draining with libfdk-aac v2.0.0

This release requires all buffer descriptor pointers to be valid, even
when we provide zero input buffers.

tsdemux: Skew correction should use the upstream DTS

The MPEG-TS packetiser should use the upstream DTS for
skew correction when running in that mode, as the DTS
carries the upstream arrival time. The PTS (if it's
set at all) is less useful, and can be invalid.

ccconverter: Don't output empty buffers

decklinkvideosink: Use S334_EIA_608 instead of S334_EIA_708 for CEA608 output

decklinkvideosink: S334 1A CEA608 closed captions have the first bit set for the first field

And not for the second field. The logic was inverted here.

msdkdec: set decode_only for output only

MSDK may return MFX_ERR_MORE_DATA but without output surface

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/887

msdk: verify the driver name

We need to make sure the Intel graphics card is used in a dual GPU
system.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/895

srt: re-enable passphrase

With refactoring, supporting passphrase was removed accidently.
This commit re-enables srt encryption and validates 'passphrase'
by checking the return value of 'srt_setsockopt'.

fix: #694

openh264dec: Fix build with msvc

Fix following build error
../subprojects/gst-plugins-bad/ext/openh264/gstopenh264dec.cpp(76): error C2121:

Note that msvc usually complains #if inside macro

Add device provider for AVFoundation capture devices.

misc: Fix warnings on Cerbero MinGW

gstladspa.c:360:5: error: zero-length ms_printf format string [-Werror=format-zero-length]

vad_private.c:108:3: error: this decimal constant is unsigned only in ISO C90 [-Werror]

gstdecklinkvideosink.cpp:478:32: error: comparison between 'BMDTimecodeFormat {aka enum _BMDTimecodeFormat}' and 'enum GstDecklinkTimecodeFormat' [-Werror=enum-compare]

win/DeckLinkAPI_i.c:72:8: error: extra tokens at end of #endif directive [-Werror]

win/DeckLinkAPIDispatch.cpp:35:10: error: unused variable 'res' [-Werror=unused-variable]

gstwasapiutil.c:733:3: error: format '%x' expects argument of type 'unsigned int', but argument 8 has type 'DWORD' [-Werror=format]
gstwasapiutil.c:733:3: error: format '%x' expects argument of type 'unsigned int', but argument 9 has type 'guint64' [-Werror=format]

kshelpers.c:446:3: error: missing braces around initializer [-Werror=missing-braces]
kshelpers.c:446:3: error: (near initialization for 'known_property_sets[0].guid.Data4') [-Werror=missing-braces]

msdkdec: Release occupied surface for MFX_ERR_MORE_DATA

An output surface is returned but without sync point when when
MFXVideoDECODE_DecodeFrameAsync () returns MFX_ERR_MORE_DATA, this
surface should be released too, otherwise the surface is occupied
and it is easy to exhaust all pre-allocated mfx surfaces.

Example pipeline (input_vp8.webm contains lots of frame with show_frame
set to 0):

gst-launch-1.0 filesrc location=input_vp8.webm ! matroskademux !
msdkvp8dec ! msdkvpp ! fakesink

0:00:05.995959693 19866 0x563f30f14590 ERROR                default
gstmsdkvideomemory.c:77:gst_msdk_video_allocator_get_surface: failed to
get surface available
ERROR: from element
/GstPipeline:pipeline0/GstMatroskaDemux:matroskademux0: Internal data
stream error.

opencv cameraundistort: use G_GNUC_UNUSED for better portability

opencv: remove deprecated headers

are not needed anymore

opencv: port to c++

msdkdec: explain the the extra ref of input buffer

msdkdec: avoid releasing the input buffer when it is still in use

The input buffer is released in gst_msdkdec_finish_task () when decoding
some special clips however this buffer is still in use, so ref the input
buffer before gst_msdkdec_finish_task () and unref it at the end of
gst_msdkdec_handle_frame ().

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/862

meson: orc-test is not required

This is especially never available on iOS.

msdkvp9dec: output P010_10LE buffer if possible

msdkvp9dec: use separate src caps

We will add more formats in the src caps of msdkvp9dec, so let
msdkvp9dec uses separate src caps. Note it doesn't change any
capability

testbin: Do not take FlowCombiner into account when flushing

The way FlowCombiner combines the FLUSH doesn't work in the case
we have several "sinkpads" since any flush return FLUSH. But in the
case we have a seek where on one branch flush is done, we should
just say OK otherwise we might return FLUSHING to a src that has already
been seeked and is ready to process new buffers

testbin: Forward seek to all sources

d3dhelpers.c: fix typo in debug output

meson: Add support orc fallback

Allow fallback to orc subproject if any, and add missing orc version check.
Additionally 'dependencies' keyword is removed from find_library,
because it's invalid keyword for find_library.

openh264: Conditionally support the main and high profiles

openh264 added main/high profile support upstream after the 1.8.0
release, so detect a version higher than that and support main/high
stream input

openh264: Use DecodeFrameNoDelay() API instead of DecodeFrame2

Replace legacy usage of DecodeFrame2 API in favour of the
recommended DecodeFrameNoDelay()

This fixes problems with DecodeFrame2() not (currently) returning
all frames in main/high streams with B-frames, and reduces latency -
previously openh264 would not return a decoded frame until the next
call to DecodeFrame2(). DecodeFrameNoDelay() returns them immediately.

openh264dec: Hook up openh264 messages to GStreamer logging

Use the OpenH264 callback to pass Openh264 internal warning/error
messages through the GStreamer logging framework

openh264dec: Handle B frame decoding

Support out-of-order decoding in OpenH264 by tracking
our internal frame reference in the OpenH264 timestamp
field.

Drain any pending frames at EOS.

Add OpenH264 version check macro

openh264dec: Fix up EOS handling

If the last frame(s) produce errors, then we need to drop them
or else we spin forever failing to decode a frame and thinking
it'll get better if we wait for more data that's never coming.

meson: Fix building of the nvdec plugin on Windows

Have to use the Nvidia Video Codec SDK when building with a newer CUDA
toolkit.

avfvideosrc: add device-name property

This property is readonly and should show the name of selected capture device.

fdkaacdec: Fix build for fdkaac < 0.1.4

The fdkaac decoder supports 6.1 / 7.1 channels with downmixer
since v0.1.4. Old versions can use AAC_PCM_OUTPUT_CHANNELS
instead of AAC_PCM_MAX_OUTPUT_CHANNELS.

Fixes #873

msdkdec: set the mfx picture structure to MFX_PICSTRUCT_PROGRESSIVE if it is unknown

The picture structure in the output parameters from
MFXVideoDECODE_Query is set to MFX_PICSTRUCT_UNKNOWN for some codecs, so
the structure of the corresponding mfx surfaces created for decoding are
unknown. The pipeline will be broken when these surfaces are used as the
input for msdkvpp.

Example pipeline:

gst-launch-1.0 filesrc location=input_vp8.webm ! matroskademux !
msdkvp8dec ! msdkvpp ! fakesink

Error message:

0:00:00.031568911 14259 0x55b79dc684a0 ERROR                msdkvpp
gstmsdkvpp.c:728:gst_msdkvpp_transform:<msdkvpp0> MSDK Failed to do VPP
ERROR: from element
/GstPipeline:pipeline0/GstMatroskaDemux:matroskademux0: Internal data
stream error.

This is a workaround for the above issue

mpegpsmux: add stream-format and alignment to H.264 caps

msdkh265enc: enable low power mode

Low power mode is disabled by default, set the value of low-power to
true to enable this mode.

mpegdemux: add support for H.265

mpegdemux: add stream format to H.264 caps

msdk: bufferpool: refactor memory type decision

The memory type was used as bitwise enum, but the enum was not
defined in that way.

Nonetheless, most of the usage of the memory type was as mutually
exclusive options, rather than option composition.

This patch refactor how the memory type is defined, so it is kept
the mutual exclusion among options.

msdk: fix some comments typos

msdk: decoder: fatal failure if negotiations fails

Otherwise it crashes when no parser is used placed upstream, v.gr.

gst-launch-1.0 filesrc location=file.264 ! msdkh264dec ! fakesink

msdk: decoder: comment to explain array reset

msdk: decoder: fix an usage-after-free pointer bug

webrtc: expose ice-transport-policy property

This is the equivalent of iceTransportPolicy in the RTCConfiguration
dictionary.

Only two values are implemented:

* all: default behaviour
* relay: only gather relay candidates

The third member of the iceTransportPolicy enum, "public", is
obsolete.

srt: Accepts URIs without host to go into listener mode

Just setting a URI without a hostname should directly go into listener mode.

srt: Fix GClosure usage

One needs to set a marshaller as well as use the object setter when
setting objects.

meson: detect opengl api from -base .pc files correctly

There was a mismatch between the .pc files generated by
autotools and by meson that would lead to meson not detecting
that opengl api is available even though it is. This could
lead to build failures when building -bad with meson against
a -base that was built with autotools. The mismatch has now
been rectified but we will still check the old one for backwards
compatibility.

meson: remove some cruft

wpesrc: Plug WPE's exportable leak

wpe: Add autotools build support

srt: Use default host and port if uri doesn't provide

srt: Enable logs for srtobject

srt: Fix property names

Property name and its enum should match.

srt: Fix a regression crash

Even in case that srt is working as a caller mode, uri can have no
hostname or ip address.

fix: #874