msdk: make sure the found response meets the request

Otherwise the re-used msdk response doesn't have enough frames so it is
possible the pipeline will be broken

msdkenc: renegotiate when video info changes

Renegotiation was implemented for bitrate change. We can re-use
the same sequence when video info changes except that this can be
executed right away when receiving the new input format. I.e. no
need to wait for the next call to handle_frame.

decklink: Fix crash when probing without driver

If there is no decklink hardware/driver, the devices list is empty (NULL), so
this needs to be checked before iterating over the list.

dashsink: Add new sink to produce DASH content

Add static or dynamic mpd with:
- baseURL
- period
- adaptation_set
- representaton
- SegmentList
- SegmentURL
- SegmentTemplate

Support multiple audio and video streams.
Pass conformance test with DashIF.org

gstxmlhelper: fix xmlOutputBufferFlush ignored ret

fix CID #1456553

dash: add set/get property for nodes

Add a way to set/get properties for given nodes:

- root
- baseurl
- representation

dash: Generate an XML content from object.

Add mpd node base class to provide
xml generation facilities for child
objects.

msdkdec: trigger renegotiation if video info changes

Useful when framerate changes. Previously it was only checking
for resolution change but renego should happen if any video
info changes.

vulkansink: Fix null pointer exception

context query might happen before creating swapper.

msdkdec: make sure to use video memory on Linux

The block that sets use_video_memory flag is after the
the condition `if gst_msdk_context_prepare` but it
always returns false when there is no other msdk elements.
So the decoder ends up with use_video_memory as FALSE.
Note that msdkvpp always set use_video_memory as TRUE.

When use_video_memory is FALSE then the msdkdec allocates
the output frames with posix_memalign (see gstmsdksystemmemory.c).
The result is then copied back to the GstVideoPool's buffers
(or to the downstream pool's buffers if any).
When use_video_memory is TRUE then the msdkdec uses vaCreateSurfaces
to create vaapi surfaces for the hw decoder to decode into
(see gstmsdkvideomemory.c). The result is then copied to either
the internal GstVideoPool and to the downstream pool if any.
(vaDeriveImage/vaMapBuffer is used in order to read the surfaces)

msdkdec: Correct return value of GstVideoDecoder::flush()

Use boolean instead of GstFlowReturn as declared.
Note that since base class does not check return value of GstVideoDecoder::flush(),
this would not cause any change of behavior.

msdkdec: free unlocked msdk surface before output buffer allocation

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/merge_requests/924
is trying to use video memory for decoding on Linux, which reveals a
hidden bug in msdkdec.

For video memory, it is possible that a locked mfx surface is not used
indeed and it will be un-locked later in MSDK, so we have to check the
associated MSDK surface to find out and free un-used surfaces, otherwise
it is easy to exhaust all pre-allocated mfx surfaces and get errors below:

0:00:00.777324879 27290 0x564b65a510a0 ERROR                default
gstmsdkvideomemory.c:77:gst_msdk_video_allocator_get_surface: failed to
get surface available
0:00:00.777429079 27290 0x564b65a510a0 ERROR         msdkbufferpool
gstmsdkbufferpool.c:260:gst_msdk_buffer_pool_alloc_buffer:<msdkbufferpool0>
failed to create new MSDK memory

Note the sample code in MSDK does similar thing in
CBuffering::SyncFrameSurfaces()

hlssink2: Add signals for allowing custom playlist/fragment handling

Instead of always going through the file system API we allow the
application to modify the behaviour. For the playlist itself and
fragments, the application can provide a GOutputStream. In addition the
sink notifies the application whenever a fragment can be deleted.

webrtc: Actually make use of promise created one line before

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1042

mpegtsdemux: resurrect actual and efficient seeking of all kinds

... by seeking to target offset determined by new seek segment,
rather than that of the previous segment.  The latter would typically
seek back to start for a non-accurate seek, and lead to a lot
of skipping in case of an accurate seek.

d3d11: Add h265 decoder element

Some DPB management implementation is taken from gstreamer-vaapi

d3d11: Add vp9 decoder element

Based on gstreamer-vaapi and Chromium implemetation.

d3d11: Add h264 decoder element

New decoder implementation based on dxva2 on d3d11 APIs. The DPB
management implementation is taken from Chromium.

d3d11: Add support for Array typed texture memory

A ID3D11Texture2D memory can consist of multiple planes with array.
For array typed memory, GstD3D11Allocator will allocate new GstD3D11Memory
with increased reference count to the ID3D11Texture2D but different array index.

bad: use of g_value_dup_string

Use helper method to get string from GValue.

dtlsenc: Don't warn on GST_FLOW_FLUSHING or GST_FLOW_EOS

Only warn if pushing a buffer returns an actual error to not pollute
logs with confusing warnings.

timecodestamper: Refactor LTC audio waiting and properly handle live inputs

If one of the inputs is live, add a latency of 2 frames to the video
stream and wait on the clock for that much time to pass to allow for the
LTC audio to be ahead.

In case of live LTC, don't do any waiting but only ensure that we don't
overflow the LTC queue.

Also in non-live LTC audio mode, flush too old items from the LTC queue
if the video is actually ahead instead of potentially waiting forever.
This could've happened if there was a bigger gap in the video stream.

tests: Add simple d3d11colorconvert unit test

d3d11: Aggregate d3d11 memory usage query for dynamic-usage type decision

Even if one of downstream d3d11 elements can support dynamic-usage memory,
another one might not support it. Also, to support dynamic-usage,
both upstream and downstream d3d11device must be the same object.

d3d11colorconvert: Remove device type dependent behavior

If d3d11colorconvert element is configured, do color space conversion
regardless of the device type whether it's S/W emulation or real H/W.
Since d3d11colorconvert is no more a child of d3d11videosinkbin,
we don't need this behavior. Note that previous code was added to
avoid color space conversion from d3d11videosink if no hardware
device is available (S/W emulation of d3d11 is too slow).

d3d11colorconverter: Fix unmatched lock/unlock pair

d3d11upload: Don't hard overwrite caps features to support d3d11 memory passthrough

d3d11upload should be able to support upstream d3d11 memory, not only system memory.

Fix for following pipeline
d3d11upload ! "video/x-raw(memory:D3D11Memory)" ! d3d11videosink

opencv: allow compilation against 4.2.x

d3d11window: Make use of partial presentation with IDXGISwapChain1::Present1

Since we might draw on partial area of backbuffer in case of force-aspect-ratio,
presenting only updated area is more efficient way.

See also https://docs.microsoft.com/ko-kr/windows/win32/direct3ddxgi/dxgi-1-2-presentation-improvements

d3d11videosink: Add support for overlay composition

Add d3d11overlaycompositor object to draw overlay image
on render target using Blend method.

d3d11: Enable dxgi debug layer and always try to pop d3d11/dxgi debug message if possible

Note that dxgi and d3d11 sdk debug will be enabled on debug build

nvcodec: Refactor plugin initialization

Create CUDA context per device, instead of per codec and encoder/decoder.
Allocating CUDA context is heavy operation so we should reuse it
as much as possible.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1130

vulkan/window/win32: Don't post any WinProc message to parent window

Posting any message to parent seems to be pointless. That might break
parent window.
Regardless of the posting, parent window can catch mouse event
and also any keyboard events will be handled by parent window by default.

openjpegenc: add support for sub-frame encoding

Following the standard for low latency JPEG 2000 encoding
https://www.itu.int/rec/dologin_pub.asp?lang=e&id=T-REC-H.222.0-200701-S!Amd1!PDF-E&type=items
we divide the image into stripes of a specified height, and encode
each stripe as a self-contained JPEG 2000 image. This MR is based on
https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/merge_requests/429

svthevcenc: Add new SVT-HEVC encoder element

The SVT-HEVC (Scalable Video Technology[0] for HEVC) Encoder is an
open source video coding technology[1] that is highly optimized for
Intel Xeon Scalable processors and Intel Xeon D processors.

[0] https://01.org/svt
[1] https://github.com/OpenVisualCloud/SVT-HEVC

h265parser: Add simple GstH265Profile/string public utilites

It makes more simplifies the conversion between GstH265Profile and string.

d3d11videosink: Use dynamic texture for fallback buffer

Upload CPU memory to texture directly by using dynamic usage texture.
This will reduce at least one step of staging copy per frame.

d3d11colorconvert: Set TRANSFER_NEED_DOWNLOAD flag to output memory for later cpu access

Otherwise CPU cannot access texture via gst_memory_map()

d3d11colorconvert: Use shader resource and render target bind flags together

The output of d3d11colorconvert would be used for rendering (i.e., shader resource)

d3d11window: Change aspect-ratio mode from window thread

Call DXGI API from window thread as much as possible

examples: Add example for d3d11videosink

This is fork of win32-videooverlay in -base but more d3d11videosink specific one.

d3d11videosink: Add support for full screen mode

borderless top-most style full screen mode support.
Basically fullscreen toggle mode is disabled by default. To enable it
use "fullscreen-toggle-mode" property to allow fullscreen mode change
by user input and/or property.

d3d11: Use GRecMutex to protect immediate context and dxgi API call

In some cases, rendering and dxgi (e.g., swapchain) APIs should be
called from window message pump thread, but current design (dedicated d3d11 thread)
make it impossible. To solve it, change concurrency model to locking based one
from single-thread model.

d3d11window: Prefer to use flip-sequential over discard

flip-sequential is more efficient than discard

d3d11window: Don't hold backbuffer interface

We don't need to hold it

d3d11window: Use CreateSwapChainForHwnd if available

That's recommended way from MS and CreateSwapChainForHwnd supports
more options than CreateSwapChain

d3d11: Use configuration file for dxgi header version check

d3d11window: Use allow-tearing mode if device supports it

As the recommendation from MS.

d3d11window: Disable fullscreen mode change by alt + enter

Disable full screen mode change until proper handling is implemented

d3d11videosink: Remove resizing window hack and unify resizing flow

In earlier implementation of d3d11videosink where no shader was implemented,
the aspect ratio and render size were adjusted by manipulating the backbuffer size
with unintuitive formula. Since now we do color conversion and resize using
shader, we can remove the hack.

d3d11: Pass GstD3D11Memory object to ensure_{shader_resource,render_target}_view methods

The method name indicates it should be d3d11memory, so passing
GstD3D11Memory seems to make more sense than GstMemory.

d3d11videosink: Don't specify crop meta to allocation query

d3d11videosink could not handle it for now

autoconvert: Fix lock-less exchange or free condition

Before this change, we would free the list we just have saved.

Fixes #1158

gstsrtsink: Add `wait-for-connection` property to `srtsink`

Add `wait-for-connection` property to `srtsink` element.  This
property allows the element to process packets even when no clients
are connected.

d3dvideosink: hold class lock for entire duration of class destruction

This avoids a race condition currently when temporarily releasing the
lock and then re-acquiring.

d3dvideosink: improve concurrency on hidden window create/destroy

d3dvideosink: use thread pool to handle events from hidden window event queue

window event queue now does not lock on the class lock, so we can now shut
it down without releasing the class lock, thus avoiding a potential race when
stopping the sink.

d3dvideosink: improve concurrency on internal window create/destroy

Remove timeout and rely on condition variable instead to indicate thread
start.

d3dvideosink: only warn about HWND already set if new HWND is not NULL

d3dvideosink: add more null checks

d3dvideosink: check ref count and device before resetting display

d3dvideosink: use class lock when checking d3d formats, and cache format list

d3dvideosink: destroy device just before final d3d release call

and free overlays after swap chain is released

d3dvideosink: add two forward declarations

d3dvideosink: use class lock when setting pool config

d3dvideosink: use class lock when allocating pool buffer

d3dvideosink: use class lock when creating overlay textures

d3dvideosinnk: check d3d device exists before creating overlay vertex buffer

d3dvideosink: pass hidden window hwnd to GST_DEBUG, rather than NULL

d3dvideosink: fix typo

h264parse: Align GST_H264_PROFILE_HIGH_422 to H264 standards

According to H264 ITU standards from 06/19, GST_H264_PROFILE_HIGH_422
(profile_idc = 122) with constraint_set1_flag = 0 and
constraint_set3_flag = 0 can be mapped to high-4:2:2 or high-4:4:4.
GST_H264_PROFILE_HIGH_422 with constraint_set1_flag = 0 and
constraint_set3_flag = 1 can be mapped to high-4:2:2, high-4:4:4,
high-4:2:2-intra or high-4:4:4-intra.

Revert "videoparseutils: support two new EIA 608 closed caption formats"

This reverts commit f5c1c90122840396f3a34f787bd66a672be21c3b.

Revert "ccextractor: support new CEA 608 formats"

This reverts commit 80dd7b2d3d871f1cf456bda249bc90e4eeeb53b1.

ccextractor: support new CEA 608 formats

videoparseutils: support two new EIA 608 closed caption formats

wlvideoformat: clean up video formats

It cleans up videoFormat by combining the wl_shm_formats and
drm_formats into a single table that represents the same format.
In addition, it adds NV61 format to the waylandsink.

d3d11window: Always draw to internal window

... and use SetParent() WIN32 API when external window is used.
Depending on DXGI swap effect, the external window might not be
reusable by another backend. To preserve the external window's property
and setting, drawing to internal window seems to be safer way.

d3d11window: Always set error reason to GError object

msdkdec: call finalize on the parent class

Otherwise GstVideoDecoder is not finalized and
resources are leaked.

Somehow GST_TRACERS="leaks" GST_DEBUG="GST_TRACER:7" did not catch it.

Valgrind output:

==31645== 22,480 (1,400 direct, 21,080 indirect) bytes in 5 blocks are definitely lost in loss record 5,042 of 5,049
==31645==    at 0x4C2FB0F: malloc
==31645==    by 0x51D9E88: g_malloc
==31645==    by 0x51FA7B5: g_slice_alloc
==31645==    by 0x51FAC68: g_slice_alloc0
==31645==    by 0x58D9984: g_type_create_instance
==31645==    by 0x58BA344: g_object_new_with_properties
==31645==    by 0x58BADA0: g_object_new
==31645==    by 0x8ECA966: gst_video_decoder_init
==31645==    by 0x58D99E7: g_type_create_instance
==31645==    by 0x58BA344: g_object_new_with_properties

avfvideosrc: element requests camera permissions even with capture-screen property is true

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1137

macOS has different dialogs for camera capture and screen capture.
No need to request screen capture permissions, the system detect
screen capture automatically and create request dialog.

d3d11window: Initialize surface rect with given external window handle

Unlike internal window, resize event might not happen with external window.

d3d11device: Report alive d3d11 objects at the end

It would be useful for debugging d3d11 object leak.

d3d11: Fix ID3D11SamplerState leak

remove various useless linefeed in logs

msdk: ignore MFX_ERR_UNDEFINED_BEHAVIOR when loading a plugin

An issue can be seen when using msdkh265enc with bitrate change in
playing state. The root cause is the corresponding plugin is loaded
again.

Returning MFX_ERR_UNDEFINED_BEHAVIOR from MSDK just means the plugin has
been loaded, so we may ignore this error when doing configuation again
in the sub class, otherwise the pipeline will be interrupted

d3d11videosink: Fix broken fallback rendering

Make fallback rendering work

d3d11videosink: Add debug message for fallback reason

d3d11window: Do not check shader resource view if not doing conversion

If d3d11window does not convert format internally, shader resource view
is not required. Note that shader resource view is used for
color conversion using shader but when conversion is not required,
we just copy input input texture to backbuffer.

msdkvpp: check mfx surface nullity for the input buffer

In theory it should not happen but it happened to me
in some cases where it failed to allocate some video
buffers so this was a consequence of a corner case.
Better to be safe than sorry.

d3d11window: Clear old swapchain per prepare

_prepare() might be called multiple times for given window, so clear
old swapchain if any.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1138

srtp: Remove %z as it doesn't work on Windows

gsttestsrcbin: Avoid not-linked errors when switching tracks

The previous implementation had a very high reproducibility race where
if after a track switch, the ex-active track pad completed a buffer
chain (now returning not-linked) the flow combiner had all their pads in
non-linked state, propagating it as an error and stopping the pipeline.

By resetting the flow combiner in response to RECONFIGURE events that
race is made impossible.

msdkdec: fix assertion 'frame->ref_count > 0' failed

Can happen if the oldest frame is the current frame
and if gst_video_decoder_finish_frame failed in which
case the current is unref and then drop instead of
just drop.
This patch also removes some assumptions, it was strange
to call unref and finish_frame in gst_msdkdec_finish_task.
In principle when owning a frame, the code should either
unref, or drop or finish.

d3d11window: Always set dxgi colorspace if possible

Not only for the 10 bits RGB case with HDR metadata, set proper color space
to swapchain in order to make color representaion correct

vtdec: add support for outputing vulkan images

vulkan/image: expose initialization function for subclasses

vulkan/macos: link directly to MoltenVK

It's currently the only sane way we can use MoltenVK functions to
integrate with Metal API.

It also removes the need to specify the VK_ICD_FILENAMES environment
variable pointing to MoltenVK_icd.json.

applemedia: rename IOSurfaceMemory -> IOSurfaceGLMemory

videotexturecache: implement GL specifics as a subclass

applemedia/videocache: make a GObject subclass