waylandsink: make gst_wl_window_is_toplevel aware of XDG shell

ccextractor: document importance of pipeline order for this element

msdkvpp: add BGR10A2_LE format in the src pad

example pipeline:
gst-launch-1.0 videotestsrc ! video/x-raw,format=P010_10LE ! msdkvpp ! \
video/x-raw,format=BGR10A2_LE ! fakesink

msdk: set some parameters in mfxFrameData for a MFX_FOURCC_A2RGB10 frame

msdk: map MFX_FOURCC_A2RGB10 to VA_FOURCC_A2R10G10B10

msdk: map GST_VIDEO_FORMAT_BGR10A2_LE to VA_FOURCC_A2R10G10B10

msdk: map GST_VIDEO_FORMAT_BGR10A2_LE to MFX_FOURCC_A2RGB10

decklinkvideosrc: add missing break in set_property-code

cea708decoder: use correct mask for font style

First three bits are used for font style, so mask
should be 0111 rather than 011 (in binary)

tests: h264parse: add minimal unit test for closed caption SEI parsing

h264parse: extract CEA-708 closed captions

Expose SEI data in the H.264 bitstream parser API and
extract closed captions and other things that are not
specified in the H.264 spec itself in the videoparser.

Based on patch by: Mathieu Duponchelle <mathieu@centricular.com>

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/940

vulkan: Add iOS window implementation

vulkan: Add Cocoa window implementation

vulkan: make the debug extension optional

i.e. don't fail if it's not available

assrender: fix seeking backwards

Use proper API to flush libass events when we do
a flushing seek, and also do it in FLUSH_STOP
rather than FLUSH_START, so we can be sure
streaming has stopped.

Fixes seeking back in time.

Something seems to have changed in libass that
renders the old manual way of flushing events
ineffective and libass then seems to ignore
timestamps that are older than the ones last
seen then if we do it the old way.

Fixes #916

assrender: improve debug logging in video chain

Print video timestamps only once and enumerate text
buffers to make output more concise and nicer to read.

assrender: use subtitle segment to calculate running time for text

Not the video segment. This just for correctness, shouldn't make
any difference in practice since we don't support external SSA yet.

rtponviftimestamp: prioritize PTS over DTS for NTP timestamp

NTP timestamps are supposed to match the expected presentation
time, prefering the DTS to compute them was incorrect.

<https://www.onvif.org/specs/stream/ONVIF-Streaming-Spec.pdf>

Section 6.3.1: NTP Timestamps

rtponviftimestamp: buffer without PTS or DTS is not an error.

For example, when plugged after rtpgstpay, serialized events will
have neither.

rtponviftimestamp: implement support for the T flag

https://www.onvif.org/specs/stream/ONVIF-Streaming-Spec.pdf

6.3 RTP header extension

Increase nvenc's encoding height to 4096

According to https://developer.nvidia.com/nvidia-video-codec-sdk

the minimum resolution nvenc supports should be 4096x4096

waylandsink: Wait for the surface to be configured

With latest XDG shell, we need to fait for the surface to have been
configured before we can attach a buffer to it. This is being enforce by
Weston with an error.

Fixes #933

h264parse, h265parse: take unit_field_based_flag into account ..

when computing timecode metas. Depending on the value of that flag,
n_frames is to be interpreted as a number of fields or a number of
frames. As GstVideoTimeCodeMeta always deals with frames, we want
to scale that number when needed.

h265parse: forward time codes

This transforms time code SEIs into GstVideoTimeCodeMeta

h264parse: forward time codes

This transforms time codes from the timing SEI into
GstVideoTimeCodeMeta

wpesrc: Switch to WPEBackend-fdo 1.2.0

srtp: bump libsrtp requirement to 1.6.0

See !234

msdkdec: add postinit_decoder

The workaround for https://github.com/Intel-Media-SDK/MediaSDK/issues/1139
is required for vp8 only, so move this workaround to the corresponding
postinit_decoder function

The pipeline below works with this change

gst-launch-1.0 filesrc location=SA10104.vc1 ! \
'video/x-wmv,profile=(string)advanced',width=720,height=480,framerate=14/1 ! \
msdkvc1dec ! fakesink

msdkdec: don't set unknown picture struct to progressive for vc1

MFXVideoDECODE_DecodeHeader only parses the sequence layer for VC1, so
the structure is unknown for a stream with interlace flag set in the
sequence layer. If forcing the struct to progressive in this plugin,
MediaSDK will fail to decode such streams.

msdkvc1dec: add the preinit_decoder function

wpe: Bump required version to WPEWebKit 2.24

Fixes #929

mpegvideoparse: add debug code for closed captions

This debug code will help determine why certain instances of closed
captions that are present in the Picture User Data are not actually
processed by the pipeline

srtp: Add support for GCM (RFC 7714)

The GCM support in libsrtp have been there for a while and
it can be useful for some applications.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/913

nvenc: Don't leak CUDA device memory

Allocated device memory should be freed with cuMemFree

nvenc: Ensure unmap resources before finalizing them

Mapped resource via NvEncMapInputResource() will result to unregister fail.
It can happen when paused to ready state change without EOS event.

h265parse: ignore VUI parse fail when parse SPS

VUI is an optional for SPS parse, some HEVC file has incorrect VUI
parameters but still can be decoded

closedcaption: fix build error in OSX

Fixes the following error.

gstccconverter.c:677:7: error: variable 'len' is used uninitialized whenever 'if' condition is false
      [-Werror,-Wsometimes-uninitialized]
  if (flags & 0x40) {
      ^~~~~~~~~~~~
gstccconverter.c:698:10: note: uninitialized use occurs here
  return len;
         ^~~
gstccconverter.c:677:3: note: remove the 'if' if its condition is always true
  if (flags & 0x40) {
  ^~~~~~~~~~~~~~~~~~
gstccconverter.c:572:12: note: initialize the variable 'len' to silence this warning
  guint len;
           ^
            = 0

closedcaption: fix build error in OSX

Fixes the following error by commenting an unused block.

./misc.h:503:11: error: 'strlcpy' macro redefined [-Werror,-Wmacro-redefined]

nvenc: Don't release stream lock on GstVideoEncoder::stop()

baseclass didn't take the stream lock during stop. It's valid only for
GstVideoEncoder::finish()

Closes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/912

msdkvpp: add VUYA format in the src and sink pads

msdk: return the right pointer for GST_VIDEO_FORMAT_VUYA frame

The first component for GST_VIDEO_FORMAT_VUYA in memory is V.

msdk: set some parameters in mfxFrameData for a MFX_FOURCC_AYUV frame

msdk: map MFX_FOURCC_AYUV to VA_FOURCC_AYUV

msdk: map GST_VIDEO_FORMAT_VUYA to VA_FOURCC_AYUV

msdk: map GST_VIDEO_FORMAT_VUYA to MFX_FOURCC_AYUV

msdkdec: avoid infinite loop

It is possible MFXVideoDECODE_DecodeFrameAsync returns MFX_ERR_INCOMPATIBLE_VIDEO_PARAM
and this error can't be recovered by retrying MFXVideoDECODE_DecodeFrameAsync
in some cases, so we need to limit the number of retries to avoid infinite loop.

This fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/909

g-i: pass --quiet to g-ir-scanner

This suppresses the annoying 'g-ir-scanner: link: cc ..' output
that we get even if everything works just fine.

We still get g-ir-scanner warnings and compiler warnings if
we pass this option.

g-i: silence 'nested extern' compiler warnings when building scanner binary

We need a nested extern in our init section for the scanner binary
so we can call gst_init to make sure GStreamer types are initialised
(they are not all lazy init via get_type functions, but some are in
exported variables). There doesn't seem to be any other mechanism to
achieve this, so just remove that warning, it's not important at all.

vulkan: fix some compiler warnings in gnu89 mode

for loop variable initialization and conflicting types for i.

Update LINGUAS

openh264: fix build with gstreamer debug system disabled

See https://gitlab.freedesktop.org/gstreamer/gst-ci/merge_requests/89

meson: add -Wno-unused also to C++ args when gst debug system is disabled

mxfdemux: Avoid possible NULL caps 'dereferencing'

rtmpsrc: fix buffer leak on read error or EOS

wpesrc: Register backend activity states

wpesrc: Always log loaded URI

wpesrc: Implement webview background configuration support

srtpdec: Lower severity of srtp_err_status_replay_fail

AFAIU this happens when encountering retransmissions. Don't print a
warning for these packets.

srtpdec: Simplify code flow handling status_key_expired

Ensures a balanced UNLOCK -> LOCK.

srtpdec: Simplify checking the unprotect error

Introduce an err label to jump to. Avoid logging two warnings per
failure.

srtpdec: Simplify locking in gst_srtp_dec_decode_buffer

Don't drop the lock on filter just to unmap the buffer (or log a
message).

netsim: don't use G_INLINE_FUNC

It's deprecated. Just use 'inline'.

mssdemux: fix protection data double free

For not being duplicated here it was being freed when the manifest was
being destroyed and a second time when the buffer was being destroyed.

msdk: relicense the plugin to LGPL

Some files licensed under LGPL were included, so relicense the plugin
from BSD to LPGL. In addition, this patch removes the README per the
discussion in https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/853

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/853

webrtcbin: fix pt selection for FEC and RTX when BUNDLE

When we offer bundled media, payload types must be unique
across all bundled media, as they will be multiplexed in the
same session.

srtp: Spell 'mechanisms' right

cccombiner: improve behaviour on timeout

Prior to this, cccombiner stopped consuming video buffers when
data wasn't arriving on its caption pad. In a live situation,
when aggregator is timing out we should still output whatever
video buffers are present, even if no caption buffers can be
aggregated with them.

webrtcbin: add get-transceiver signal

get-transceivers is not introspectable, and a method to get a
transceiver by index is convenient.

webrtcbin: Filter transport stream stats by ssrc

Since the addition of BUNDLE support, the pads and the transceivers
share a single transport stream. When getting stats from the stream,
filter by the ssrc of the current pad to avoid merging the stats for
different pads.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/889

webrtcbin: Syntax cleanup

closedcaption: Fix build with Visual Studio

../ext/closedcaption/io-sim.c(440): error C2065: 'M_PI': undeclared identifier
../ext/closedcaption/io-sim.c(442): error C2065: 'M_LN2': undeclared identifier

nvenc: Fix build when cuda is found but nvenc is disabled

tests\check\meson.build:21:5: ERROR:  Unknown variable "use_nvenc_gl".

Also do the same change in nvdec, just to be defensive about future
issues.

nvenc: More clean up on stop for encoder to be reusable

Encoder will not configure internal pool again if input_state exist

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/912

nvenc: Ensure drain all frames on finish

To drain all queued encoding items, encoder should gracefully
wait the encoding thread without stealing queued items.
Otherwise, some input frames can be dropped.

tests: Add nvenc unit test

nvenc: Fix GValue leaks

GValue should be freed with g_value_unset()

assrender: fix some leaks

g_slist_remove_*() removes the list node without freeing it.

vulkan: fix some leaks

Fix vk_instance leak when state change fails like in
generic/states unit test.

teletextdec: fix some string leaks

srt: fix uri and string leaks

And simplify property getter to avoid unnecessary copy.

closedcaption: cea708decoder: fix some memory leaks

closedcaption: fix leak in line21 decoder

Destroy old decoder instance when shutting down the
element, and also in case the input format changes.

Fix harness/pipeline leak in unit test.

tests: fix bus leak in hls_demux testSeek unit test

We add the signal watch in testSeekPreTestCallback so
remove it in testSeekPostTestCallback and not deep inside
some if clause in some other callback somewhere.

.gitignore more things

nvdec/nvenc: Add CUDA Toolkit 10.1 support

Update to support the latest CUDA Toolkit version 10.1

fluidsynth: Avoid Wincompatible-pointer-types with 2.0.4

In 2.0.4, the message parameter has "const char*" type. Add a cast to
avoid a warning with older fluidsynth.

line21: fix tests build with autotools

line21dec: general cleanup

This ports over the review comments made on line21enc in !217

closedcaption: add line21 encoder

This element acts as a counterpart of line21encoder.

Also adds a simple test validating each element using the
other.

Check in vbi encoder

waylandsink: Implement XDG-shell stable support

[wl_shell] is officially [deprecated], so provide support for the
XDG-shell protocol should be provided by all desktop-like compositors.
(In case they don't, we can of course fall back to wl_shell).

Note that the [XML spec] is provided by the `wayland-protocols`
git repository, which is provided by the Wayland project.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/897

[wl_shell]: https://people.freedesktop.org/~whot/wayland-doxygen/wayland/Client/group__iface__wl__shell.html
[deprecated]: https://github.com/wayland-project/wayland/commit/698dde195837f3d0844b2725ba4ea8ce9ee7518c
[XML spec]: https://github.com/wayland-project/wayland-protocols/blob/master/stable/xdg-shell/xdg-shell.xml

waylandsink: prefix wl_shell-specific variables with wl_

decklink: document duplex and keyer behaviour

decklink: implement duplex-mode property

Back to development

build: Don't forget to dist applemedia/avfdeviceprovider.h

Closes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/908

mskd: Don't use MFX_FOURCC_RGB565 if it's undefined

../subprojects/gst-plugins-bad/sys/msdk/msdk.c(61): error C2065: 'MFX_FOURCC_RGB565'

The minimum required version for the format seems to MFX_VERSION >= 1028

cccombiner: implement update_src_caps

It is necessary to implement this vmethod, as when the src pad
is marked as reconfigure, the base class will reset to src caps,
and the default update_src_caps simply queries the caps allowed
downstream without taking into account the caps set by
gst_aggregator_set_src_caps.

msdkdec: fix for small resolution

msdkdec: fix for resolution change

Returning MFX_ERR_INCOMPATIBLE_VIDEO_PARAM from
MFXVideoDECODE_DecodeFrameAsync means the allocated mfx surface is not
suitable for the current frame, we need a new mfx surface and try
MFXVideoDECODE_DecodeFrameAsync again.