gst-play: Add -i parameter for instant rate changes

Add a command line flag that enables use of the
instant rate changes flag when doing rate changes.

tests/examples/seek/instant-rate-change: Add example app

Add an example app to exercise instant rate changes in a few
scenarios. Currently it deadlocks a lot sending rate changes to
paused pipelines.

playback-test: Add support for start_type=stop_type=NONE seeks

playback-test: Add support for sending instant-rate-change seeks

videoencoder: subclass 'set_format' should be optional

Aligns documentation with the code to make the subclass
'set_format' call optional.

video-hdr: Rework for GstVideoMasteringDisplayInfo and GstVideoContentLightLevel struct

This commit modifies GstVideoMasteringDisplayInfo and GstVideoContentLightLevel
structs so that each value is to be more like hdr_metadata_infoframe struct
of linux drm header and DXGI_HDR_METADATA_HDR10 struct of Windows.
So each value is no more fraction but normalized one as per CTA 861.G spec.
Also the unit of each value will be consistent with H.264, H.265
specifications, hdr_metadata_infoframe struct for linux and
DXGI_HDR_METADATA_HDR10 struct for Windows.

videoaggregator: fix gir warning about invalid doc comment

[38/1301] Generating GstVideo-1.0.gir with a custom command.
../subprojects/gst-plugins-base/gst-libs/gst/video/gstvideoaggregator.c:231: Error: GstVideo: identifier not found on the first line:
   *
    ^

gl: add support for Y412_LE / Y412_BE format

Reuse Y410 code for Y412_LE / Y412_BE except gl format. The gl format is
RGBA16 for Y412_LE / Y412_BE.

Sample pipeline:
gst-launch-1.0 videotestsrc ! video/x-raw,format=Y412_LE ! glimagesink

gl: add support for Y212_LE / Y212_BE format

Because the color value is stored in MSB, so we can reuse the
Y210 code for P012_LE / P012_BE

Sample pipeline:
gst-launch-1.0 videotestsrc ! video/x-raw,format=Y212_LE ! glimagesink

gstvideoaggregator: expose max-last-buffer-repeat property on pads

This can be used to have compositor display either the background
or a stream on a lower zorder after a live input stream freezes
for a certain amount of time, for example because of network
issues.

subparse: convert from pango-markup to utf8 ..

when downstream requires it

video: add support for Y412 format

Y412 is a packed 12 bits 4:4:4:4 format in the order U, Y, V, A, 2 bytes
per component with the color value stored in the 12 most significant
bits

Refer to https://github.com/torvalds/linux/blob/master/include/uapi/drm/drm_fourcc.h#L182
for the LE variant

video: add support for Y212 format

Y212 is a packed 12 bits 4:2:2 format in the order Y, U, Y, V, 2 bytes
per component with the color value stored in the 12 most significant
bits

Refer to https://github.com/torvalds/linux/blob/master/include/uapi/drm/drm_fourcc.h#L174
for the LE variant

video-blend: Add support for blending on top of 16 bit per component formats

With this we can support every currently supported video format for
blending.

glcontext/cocoa: handle sending one message during shutdown

gst_gl_window_quit() will attempt to send a message but will be called
from GstGLContext's finalize handler and so the weak ref that backs
gst_gl_window_get_context will return NULL as it has already been
cleared.  We need that context in send_message_async to decide whether
to run the provided callback immediately or queue in GCD

glcontext: add context is valid precondition to get_thread()

glwindow: remove unused private alive variable

glupload: fix segfault

Without this fix, it is possible that outbuf is not initialized, which
will result in segfault when call gst_buffer_replace (&outbuf, NULL). In
addition, the patch fixes potential memory leak in restart path.

The segfault can be reproduced by the pipeline below:

GST_GL_PLATFORM=egl \
gst-launch-1.0 videotestsrc ! msdkh265enc ! msdkh265dec ! \
'video/x-raw(memory:DMABuf)' ! glimagesink

gl: add support for P012_LE / P012_BE format

Because the color value is stored in MSB, so we can reuse the
P016_LE / P016_BE code for P012_LE / P012_BE

glupload: Fix fallback from direct dmabuf to dmabuf upload method

In the situation that the direct dmabuf path is chosen, but with an
unsupported texture format, this causes accept to fail rather than
continue and fail at the upload stage. It is also possibly necessary to
reconfigure after falling back from direct to non-direct dmabuf upload
paths.

videorate: Signalling reconfigure to upstream whenever updating downstream caps

Previously configured bufferpool can be expired/inactivate by the
updated caps. Therefore new reconfigure event should be signalled in order to
do allocation query dancing between upstream and downstream again.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/730

pkgconfig: fix missing gst-tag Requires

Promote deps gstreamer-tag to Requires for pbutils and add missing
gstreamer-tag Requires for gst-audio. Uninstalled builds would fail
with:
stage/usr/local/lib/x86_64-linux-gnu/libgstpbutils-1.0.so: undefined reference to `gst_tag_list_to_vorbiscomment_buffer'
[...]
stage/usr/local/lib/x86_64-linux-gnu/libgstaudio-1.0.so: undefined reference to `gst_tag_register_musicbrainz_tags'

pkgconfig: add missing gst-rtp dep to gst-sdp

Uninstalled builds using rtp would fail with:
stage/usr/local/lib/x86_64-linux-gnu/libgstsdp-1.0.so: undefined reference to `gst_rtp_payload_info_for_pt'

videodecoder: fix documentation

Fix list indentation, othewise it is interpreted as verbatim.

navigation: Use G_DEFINE_INTERFACE

streamvolume: Use G_DECLARE_INTERFACE

gstphysmemory: Use G_DECLARE_INTERFACE

audiovisualizer: Add support for g_autoptr()

Ideally, we would use something like `G_DECLARE_DERIVABLE_TYPE`, but
that would break API.

rtpbuffer: add_extension_onebyte_header: fix the proper wordlen

The wordlen ("length") MUST represent the total "number of 32-bit words
in the extension, excluding the four-octet extension header" (rfc3550).
There are cases where already existent padding is reused for adding
the new extension. So the new wordlen should be updated if the new
added extension makes it to increase.

rtpbuffer: get_onebyte_header_end_offset: allow 0 offset

There are some cases where the full extension data could be padding.
In order to make the GstRtpBuffer robust enough, this change supports
this case.

gl/wayland: Mouse events handling

gl/navigation: Scroll events dispatch support

navigation: Mouse scroll events support

This patch introduces a new API to send and parse mouse scroll events. Mouse
event coordinates are sent relative to the display space of the related output
area. This is usually the size in pixels of the window associated with the
element implementing the GstNavigation interface.

audio: annotate @buf in finish_frame methods

video: add support for P012 format

P012 is a semi-planar 4:2:0 format, 2bytes per component with the value
stored in the 12 most significant bits

volume: Use G_DECLARE_FINAL_TYPE

videotestsrc: Use G_DECLARE_FINAL_TYPE

videoscale: Use G_DECLARE_FINAL_TYPE

videorate: Use G_DECLARE_FINAL_TYPE

videoconvert: Use G_DECLARE_FINAL_TYPE

subparse: Use G_DECLARE_FINAL_TYPE

rawparse: Use G_DECLARE_FINAL_TYPE

overlaycomposition: Use G_DECLARE_FINAL_TYPE

gio: Use G_DECLARE_FINAL_TYPE

encoding: Use G_DECLARE_FINAL_TYPE

Note that we didn't do it for encodebin, as it has a class struct. We
_could_ techincally use `G_DECLARE_DERIVABLE_TYPE()` for that one, but
that would mean also using a private struct, which is even more work for
no gain.

adder: Use G_DECLARE_FINAL_TYPE

audioconvert: Use G_DECLARE_FINAL_TYPE

audiomixer: Use G_DECLARE_FINAL_TYPE

audiorate: Use G_DECLARE_FINAL_TYPE

audioresample: Use G_DECLARE_FINAL_TYPE

audiotestsrc: Use G_DECLARE_FINAL_TYPE

compositor: Use G_DECLARE_FINAL_TYPE

*aggregator: Add g_autoptr support for *ConvertPad

gstrtpbasepayloader: Add property for scaling RTP timestamp

This patch introduces a property which, if set to FALSE, prevents RTP
basepayloader from scaling the RTP time when a segment's rate is not
equal to 1.0. The specification is ambiguous on this subject and some
clients expect the timestamps not to be scaled.

videometa: constify tc argument to add_video_time_meta()

We don't modify the argument.

meson: add window system egl

rtsp: remove documentation link on GTimeVal

Looks like it's been removed from glib.devhelp2 on Fedora 31.

Fix #508

gl/wayland: use wayland's roundtrip_queue()

There's no need to roll our own anymore

subparse: accept WebVTT timestamps without an hour component

https://www.w3.org/TR/webvtt1/#webvtt-timestamp

mm:ss,000 is a valid WebVTT timestamp

compositor: Create a square checkerboard for UYVY/YUY2/YVYU too

Previously the "squares" were twice as wide.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/732

compositor: Define a separate checker fill function for BGRx/RGBx than for xBGR/xRGB

Otherwise we'll create a cyan or yellow checkerboard.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/736

tcpclientsrc: Fix compilation on FreeBSD

The members of the tcp_info struct are prefixed with a double
underscore, as reported in
https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/584#note_423487

glupload: dmabuf: only accept uploads to external-oes if supported by the context

This keeps the DirectDmabufExternal uploader from accepting buffers if
texture-target=external-oes is not supported by the GL context.

gloverlay: Fix various issues in allocation handling

* A copy-paste error was getting the information from the wrong
  query
* The 'allocation_meta' GstStructure was being leaked
* No check was done on whether the query existed (to try to set the
  resulting allocation meta on)

CID: 1439872
CID: 1439873
CID: 1439874
CID: 1439875
CID: 1439876
CID: 1439877

meson: static linkig of tools needs gmodule_dep

Add gmodule_dep (analog to gstreamer/tools/meson.build).

Fixes:

.../bin/ld: .../usr/lib/libgstreamer-1.0.a(gstplugin.c.o): in function `gst_plugin_register_func':
gstplugin.c:(.text+0x3bc): undefined reference to `g_module_make_resident'
.../bin/ld: .../usr/lib/libgstreamer-1.0.a(gstplugin.c.o): in function `_priv_gst_plugin_load_file_for_registry':
gstplugin.c:(.text+0x1228): undefined reference to `g_module_supported'
.../bin/ld: gstplugin.c:(.text+0x126c): undefined reference to `g_module_open'
.../bin/ld: gstplugin.c:(.text+0x1368): undefined reference to `g_module_symbol'
.../bin/ld: gstplugin.c:(.text+0x1494): undefined reference to `g_module_supported'
.../bin/ld: gstplugin.c:(.text+0x17f4): undefined reference to `g_module_close'
.../bin/ld: gstplugin.c:(.text+0x1a2c): undefined reference to `g_module_error'

gl/wayland: use a proxy wrapper for the wl_display

This allows us to remove races when setting the wl_queue on wayland
objects with wl_proxy_set_queue() as each created object is created with
the queue already set.

We can also move all our initilization code into the window as we
can retrieve all wayland objects from each window instance.  This
removes a possible race when integrating with external API's as we would
always attempt to immediately retrieve a small set of wayland objects.
That is no longer the case with the objects from each window instance.

glfilter: use gst_object_unref/ref functions

Allows better visibility into ref/unref points with the leaks tracer

gl/wayland: fix xdg shell close notification

Don't segfault by not calling the appropriate callback that destroys
resources in the correct order.

glstereomix: support gl display changes

glbasefilter: add support for changing the display

Each element will remove its usage of the old display and context and
try to retrieve a new GL context.

glstereosplit: support gl display changes

glbasesrc: add support for changing display's

gldisplay: add support removing a context from the internal list

gl/mixer: support GstGLDisplay changes

glupload: dmabuf: add DirectDmabufExternal uploader

Automatic negotiation of texture-target=external-oes does not work
without separating the external-oes support out of the DirectDmabuf
uploader into a separate DirectDmabufExternal uploader.

glupload: fix transform_caps NULL pointer dereference

gst_gl_upload_transform_caps() is missing a NULL pointer check in case
the current upload method's transform_caps returns a NULL pointer. In
the following loop over all upload methods, NULL pointer return values
are already handled correctly.

glupload: dmabuf: support direct upload into external-oes textures

Some drivers support directly importing DMA buffers in some formats into
external-oes textures only, for example because the hardware contains
native YUV samplers.
Note that in these cases colorimetry can only be passed as hints and
there is no feedback whether the driver supports the required YUV
encoding matrix and quantization range.

gl/egl: support direct dmabuf import with external-oes only formats

Allow creating EGL images from DMA buffers in formats that the driver
only supports for the external-oes texture target.

Pass the intended texture target to gst_egl_image_from_dmabuf_direct so
that _gst_egl_image_check_dmabuf_direct can decide whether to create an
EGL image for a format that can only be targeted at external-oes
textures by the driver. Allow creating GstGLMemoryEGL objects from these
DMA buffers.

glquery: fix a possible unintialized value

A GL driver may not fill the resulting value so initialize it to 0
ourselves.

gl/context/glx: dump GLXFBConfig information to debug logs

tcpclientsrc: Expose connection stats as property

Unfortunately the OS takes care of bad connections for us, so we can't
get the stats in a platform-independent way. Count total bytes received
as well, platform-independently.

video-info: fix typo in doc

video: fix GST_VIDEO_FRAME_IS_BOTTOM_FIELD()

GST_VIDEO_FRAME_FLAG_BOTTOM_FIELD is a subset of
GST_VIDEO_FRAME_FLAG_TOP_FIELD so needs to be checked accordingly.

Fix #726

video: add macros checking for GST_VIDEO_BUFFER_FLAG_TOP/BOTTOM_FIELD flags

The GST_VIDEO_BUFFER_FLAG_TOP_FIELD flag is a superset of
GST_VIDEO_BUFFER_FLAG_BOTTOM_FIELD as they are defined using other
flags. As a result we can't use GST_BUFFER_FLAG_IS_SET() to check for
those flags.

videoencoder: protect the use of num_subframes

change stream lock location to protect the use of
frame->abidata.ABI.num_subframes

videoencoder: Release stream lock in finish_subframe before pad_push

Derived from 780d635dadc0723e39a8ba90cfe0903a2de346fd for
https://bugzilla.gnome.org/show_bug.cgi?id=715192
which was for finish_frame.

meson: gl: Update to support when egl and win32 window system are explicitly requested

glwindow/win32: Accept both win32 and egl display

EGL would be the case where we use ANGLE.

glcontext: egl: Fix build with win32 window system

gl: Decouple win32 window and wgl context

With ANGLE, win32 window can be used with gles and egl

glcontext/egl: Fix build with upstream ANGLE

ANGLE_surface_d3d_render_to_back_buffer extension is only available
with Microsoft fork of ANGLE. Note that Microsoft's ANGLE repository
has been deprecated.

gl/window/win32: Handle mouse and key events

This is at least useful for the gst-play-1.0 use case.

libs: dmabuf: init the GST_CAT_DEFAULT in type define.

To avoid `gst_debug_log_valist: assertion 'category != NULL' failed`
if we do not call gst_dmabuf_allocator_new

appsrc/appsink: Make setting/replacing callbacks thread-safe

Previously we would simply use them without any locking at all, while
using the object lock for setting them. Nothing prevented new callbacks
to be set in the meantime, potentially calling a callback with already
freed user_data.

To prevent this move the callbacks into a reference counted struct and
use the appsrc/appsink mutex to protect access to it, which is used in
all functions calling the callbacks already anyway.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/729

rtpbasepayload: add property for embedding twcc sequencenumbers

By setting the extension-ID for TWCC (Transport Wide Congestion Control),
the payloader will embed sequencenumbers as a RTP header-extension
according to https://tools.ietf.org/html/draft-holmer-rmcat-transport-wide-cc-extensions-01#section-2

The negotiation of this being enabled with downstream elements
is done with caps reflecting the way this is communicated using SDP.

gl/window/win32: implement get_window_handle()

Some other frameworks need the HWND to retrieve information from.

rtpbasepayload: fix test warnings

Compiling with MSVC and Clang.

rtpbasepayload: timestamp bug, if rate control=no

With commit "basepayload: Expose onvif-no-rate-control property" the rtp
timestamp changed behaviour when rate control is disabled.

When disabling rate control, we must take care of the stream time to
avoid the timestamps to begin from zero again.

discoverer: Start discovering next URI from right thread

When using the cache, we were not using the right GMainContext to setup
next URI to discovery, fix that.

glcolorconvert: error out if memory context is different than ours