openjpegenc: add support for sub-frame encoding

Following the standard for low latency JPEG 2000 encoding
https://www.itu.int/rec/dologin_pub.asp?lang=e&id=T-REC-H.222.0-200701-S!Amd1!PDF-E&type=items
we divide the image into stripes of a specified height, and encode
each stripe as a self-contained JPEG 2000 image. This MR is based on
https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/merge_requests/429

svthevcenc: Add new SVT-HEVC encoder element

The SVT-HEVC (Scalable Video Technology[0] for HEVC) Encoder is an
open source video coding technology[1] that is highly optimized for
Intel Xeon Scalable processors and Intel Xeon D processors.

[0] https://01.org/svt
[1] https://github.com/OpenVisualCloud/SVT-HEVC

h265parser: Add simple GstH265Profile/string public utilites

It makes more simplifies the conversion between GstH265Profile and string.

d3d11videosink: Use dynamic texture for fallback buffer

Upload CPU memory to texture directly by using dynamic usage texture.
This will reduce at least one step of staging copy per frame.

d3d11colorconvert: Set TRANSFER_NEED_DOWNLOAD flag to output memory for later cpu access

Otherwise CPU cannot access texture via gst_memory_map()

d3d11colorconvert: Use shader resource and render target bind flags together

The output of d3d11colorconvert would be used for rendering (i.e., shader resource)

d3d11window: Change aspect-ratio mode from window thread

Call DXGI API from window thread as much as possible

examples: Add example for d3d11videosink

This is fork of win32-videooverlay in -base but more d3d11videosink specific one.

d3d11videosink: Add support for full screen mode

borderless top-most style full screen mode support.
Basically fullscreen toggle mode is disabled by default. To enable it
use "fullscreen-toggle-mode" property to allow fullscreen mode change
by user input and/or property.

d3d11: Use GRecMutex to protect immediate context and dxgi API call

In some cases, rendering and dxgi (e.g., swapchain) APIs should be
called from window message pump thread, but current design (dedicated d3d11 thread)
make it impossible. To solve it, change concurrency model to locking based one
from single-thread model.

d3d11window: Prefer to use flip-sequential over discard

flip-sequential is more efficient than discard

d3d11window: Don't hold backbuffer interface

We don't need to hold it

d3d11window: Use CreateSwapChainForHwnd if available

That's recommended way from MS and CreateSwapChainForHwnd supports
more options than CreateSwapChain

d3d11: Use configuration file for dxgi header version check

d3d11window: Use allow-tearing mode if device supports it

As the recommendation from MS.

d3d11window: Disable fullscreen mode change by alt + enter

Disable full screen mode change until proper handling is implemented

d3d11videosink: Remove resizing window hack and unify resizing flow

In earlier implementation of d3d11videosink where no shader was implemented,
the aspect ratio and render size were adjusted by manipulating the backbuffer size
with unintuitive formula. Since now we do color conversion and resize using
shader, we can remove the hack.

d3d11: Pass GstD3D11Memory object to ensure_{shader_resource,render_target}_view methods

The method name indicates it should be d3d11memory, so passing
GstD3D11Memory seems to make more sense than GstMemory.

d3d11videosink: Don't specify crop meta to allocation query

d3d11videosink could not handle it for now

autoconvert: Fix lock-less exchange or free condition

Before this change, we would free the list we just have saved.

Fixes #1158

gstsrtsink: Add `wait-for-connection` property to `srtsink`

Add `wait-for-connection` property to `srtsink` element.  This
property allows the element to process packets even when no clients
are connected.

d3dvideosink: hold class lock for entire duration of class destruction

This avoids a race condition currently when temporarily releasing the
lock and then re-acquiring.

d3dvideosink: improve concurrency on hidden window create/destroy

d3dvideosink: use thread pool to handle events from hidden window event queue

window event queue now does not lock on the class lock, so we can now shut
it down without releasing the class lock, thus avoiding a potential race when
stopping the sink.

d3dvideosink: improve concurrency on internal window create/destroy

Remove timeout and rely on condition variable instead to indicate thread
start.

d3dvideosink: only warn about HWND already set if new HWND is not NULL

d3dvideosink: add more null checks

d3dvideosink: check ref count and device before resetting display

d3dvideosink: use class lock when checking d3d formats, and cache format list

d3dvideosink: destroy device just before final d3d release call

and free overlays after swap chain is released

d3dvideosink: add two forward declarations

d3dvideosink: use class lock when setting pool config

d3dvideosink: use class lock when allocating pool buffer

d3dvideosink: use class lock when creating overlay textures

d3dvideosinnk: check d3d device exists before creating overlay vertex buffer

d3dvideosink: pass hidden window hwnd to GST_DEBUG, rather than NULL

d3dvideosink: fix typo

h264parse: Align GST_H264_PROFILE_HIGH_422 to H264 standards

According to H264 ITU standards from 06/19, GST_H264_PROFILE_HIGH_422
(profile_idc = 122) with constraint_set1_flag = 0 and
constraint_set3_flag = 0 can be mapped to high-4:2:2 or high-4:4:4.
GST_H264_PROFILE_HIGH_422 with constraint_set1_flag = 0 and
constraint_set3_flag = 1 can be mapped to high-4:2:2, high-4:4:4,
high-4:2:2-intra or high-4:4:4-intra.

Revert "videoparseutils: support two new EIA 608 closed caption formats"

This reverts commit f5c1c90122840396f3a34f787bd66a672be21c3b.

Revert "ccextractor: support new CEA 608 formats"

This reverts commit 80dd7b2d3d871f1cf456bda249bc90e4eeeb53b1.

ccextractor: support new CEA 608 formats

videoparseutils: support two new EIA 608 closed caption formats

wlvideoformat: clean up video formats

It cleans up videoFormat by combining the wl_shm_formats and
drm_formats into a single table that represents the same format.
In addition, it adds NV61 format to the waylandsink.

d3d11window: Always draw to internal window

... and use SetParent() WIN32 API when external window is used.
Depending on DXGI swap effect, the external window might not be
reusable by another backend. To preserve the external window's property
and setting, drawing to internal window seems to be safer way.

d3d11window: Always set error reason to GError object

msdkdec: call finalize on the parent class

Otherwise GstVideoDecoder is not finalized and
resources are leaked.

Somehow GST_TRACERS="leaks" GST_DEBUG="GST_TRACER:7" did not catch it.

Valgrind output:

==31645== 22,480 (1,400 direct, 21,080 indirect) bytes in 5 blocks are definitely lost in loss record 5,042 of 5,049
==31645==    at 0x4C2FB0F: malloc
==31645==    by 0x51D9E88: g_malloc
==31645==    by 0x51FA7B5: g_slice_alloc
==31645==    by 0x51FAC68: g_slice_alloc0
==31645==    by 0x58D9984: g_type_create_instance
==31645==    by 0x58BA344: g_object_new_with_properties
==31645==    by 0x58BADA0: g_object_new
==31645==    by 0x8ECA966: gst_video_decoder_init
==31645==    by 0x58D99E7: g_type_create_instance
==31645==    by 0x58BA344: g_object_new_with_properties

avfvideosrc: element requests camera permissions even with capture-screen property is true

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1137

macOS has different dialogs for camera capture and screen capture.
No need to request screen capture permissions, the system detect
screen capture automatically and create request dialog.

d3d11window: Initialize surface rect with given external window handle

Unlike internal window, resize event might not happen with external window.

d3d11device: Report alive d3d11 objects at the end

It would be useful for debugging d3d11 object leak.

d3d11: Fix ID3D11SamplerState leak

remove various useless linefeed in logs

msdk: ignore MFX_ERR_UNDEFINED_BEHAVIOR when loading a plugin

An issue can be seen when using msdkh265enc with bitrate change in
playing state. The root cause is the corresponding plugin is loaded
again.

Returning MFX_ERR_UNDEFINED_BEHAVIOR from MSDK just means the plugin has
been loaded, so we may ignore this error when doing configuation again
in the sub class, otherwise the pipeline will be interrupted

d3d11videosink: Fix broken fallback rendering

Make fallback rendering work

d3d11videosink: Add debug message for fallback reason

d3d11window: Do not check shader resource view if not doing conversion

If d3d11window does not convert format internally, shader resource view
is not required. Note that shader resource view is used for
color conversion using shader but when conversion is not required,
we just copy input input texture to backbuffer.

msdkvpp: check mfx surface nullity for the input buffer

In theory it should not happen but it happened to me
in some cases where it failed to allocate some video
buffers so this was a consequence of a corner case.
Better to be safe than sorry.

d3d11window: Clear old swapchain per prepare

_prepare() might be called multiple times for given window, so clear
old swapchain if any.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1138

srtp: Remove %z as it doesn't work on Windows

gsttestsrcbin: Avoid not-linked errors when switching tracks

The previous implementation had a very high reproducibility race where
if after a track switch, the ex-active track pad completed a buffer
chain (now returning not-linked) the flow combiner had all their pads in
non-linked state, propagating it as an error and stopping the pipeline.

By resetting the flow combiner in response to RECONFIGURE events that
race is made impossible.

msdkdec: fix assertion 'frame->ref_count > 0' failed

Can happen if the oldest frame is the current frame
and if gst_video_decoder_finish_frame failed in which
case the current is unref and then drop instead of
just drop.
This patch also removes some assumptions, it was strange
to call unref and finish_frame in gst_msdkdec_finish_task.
In principle when owning a frame, the code should either
unref, or drop or finish.

d3d11window: Always set dxgi colorspace if possible

Not only for the 10 bits RGB case with HDR metadata, set proper color space
to swapchain in order to make color representaion correct

vtdec: add support for outputing vulkan images

vulkan/image: expose initialization function for subclasses

vulkan/macos: link directly to MoltenVK

It's currently the only sane way we can use MoltenVK functions to
integrate with Metal API.

It also removes the need to specify the VK_ICD_FILENAMES environment
variable pointing to MoltenVK_icd.json.

applemedia: rename IOSurfaceMemory -> IOSurfaceGLMemory

videotexturecache: implement GL specifics as a subclass

applemedia/videocache: make a GObject subclass

avfvideosrc: don't leak texture caches

If decide_allocation is called multiple times, then we would continually
overwrite the previous cache without freeing

d3d11: translate windows error codes to human readable strings

This will help with debugging.

mlaudiosink: Fix crash when stopping pipeline

This is a bug in LuminOS 0.97.0.

Add mlaudiosink element

openh264enc: keep the headers

be able to resend the headers on demand after a key-unit request

decklink: Return new references to the devices from get_devices()

Otherwise the caller will free the devices we store internally.

dash: move parser nodes/types to separated files

Rename GstMpdClient to GstMPDClient and use GObject model.

Move nodes to file from gstmpdparser.c:
- GstMPDRootNode
- GstMPDBaseURLNode
- GstMPDUTCTimingNode
- GstMPDMetricsNode
- GstMPDMetricsRangeNode
- GstMPDSNode
- GstMPDSegmentTimelineNode
- GstSegmentTemplateNode
- GstMPDSegmentURLNode
- GstMPDSegmentListNode
- GstMPDPeriodNode
- GstMPDRepresentationNode
- GstMPDsubRepresentationNode
- GstMPDAdaptationSetNode
- GstMPDContentComponentNode
- GstMPDSubsetNode
- GstMPDProgramInformationNode

Move types to gstmpdhelper from gstmpdparser.c:

- GstURLType
- GstDescriptorType
- GstSegmentBaseType
- GstMPDMultSegmentBaseType
- GstMPDRepresentationBaseType

Cleanup naming when possible.

dash: split mpdparser, mpdclient and xmlhelper

provide a separate namespace for mpd helper
for xml parsing and the real mpd parsing.

d3dvideosink: Fix warning for unhandled enum in switch

d3dhelpers.c:135:3: warning: enumeration value 'D3DFMT_D32_LOCKABLE' not handled in switch [-Wswitch]

vulkanviewconvert: clear the cached uniforms on caps change

Caps changes can change the output/input layout which needs to be
reflected in the input uniforms to the shader.

d3d11: Initialize debug categories of non-GstElement implementation in plugin init

That's the way to expose debug category to --gst-debug-help

d3d11window: Invoke resize task with high priority

On resize event, swapchain should be configured with higher priority
than the other tasks since it's directly related to visual artifacts.

d3d11device: Add gst_d3d11_device_thread_add_full method

I would be used to invoke GPU task with specified priority.

d3d11videosinkbin: Drop d3d11 color convert element

d3d11videosink can convert color space now, so the conversion element
seems to be redundant.

d3d11videosink: Add color conversion support

Draw to back buffer texture directly. It would reduce the number of
copy at least once when color conversion is required.

d3d11converter: Skip setup converter if input and output formats are equal

d3d11colorconvert: Split color space converter to reuse code

d3d11: Split shader to reuse code

d3d11videosink: Draw window with cached texture on resize

This would render nicer than presenting scene with broken aspect ratio,
especially in case of low framerate.

d3d11: Add support for D3D11_USAGE_DYNAMIC

D3D11 dynamic texture is a special memory type, which is mainly used for
frequent CPU write access to the texture. For now, this texture type
does not support gst_memory_{map,unmap}

d3d11device: Add debug message for CreateTexture2D failure

d3d11device: Fix misreading debug message

d3d11colorconvert: Disable color conversion with software rasterizer

It's much slower than our CPU based color-converter in most case.

d3d11videosink: Handle context query

Propagate d3d11device via context query.

d3d11colorconvert: Avoid copy in/out texture if possible

When input and/or output d3d11memory has its own view, use them for
rendering to avoid texture copy

d3d11memory: Allocate texture with required views

Store required resource views with d3d11 texture when it requested.

d3d11: Add d3d11videosinkbin element

New wrapper element to support d3d11 memory upload, color conversion, and
rendering at once.

d3d11: Add color space conversion element using shader

Add d3d11colorconvert element for color space conversion.
Currently {RGB, YUV} to RGB conversion is supported.

d3d11memory: Register mininal compare function for GstD3D11AllocationParams

The d3d11 allocation param is stored in GstStructure so it should
provide compare function for later use such as gst_structure_is_equal()

d3d11window: Set render target whenever drawing

Device context's render target might be updated for offscreen rendering

d3d11videosink: Specify d3d11 memory caps feature on sinkpad template

d3d11: Introduce d3d11 upload/download element

That's equivalent to glupload and gldownload elements but for d3d11

d3d11: Refactor d3d11 memory and dxgi format usage

* Create staging texture only when the CPU access is requested.
Note that we should avoid the CPU access to d3d11 memory as mush as possible.
Incoming d3d11upload and d3d11download will take this GPU memory upload/download.

* Upload/Download texture memory from/to staging only if it needed, similar to
GstGL PBO implementation.

* Define more dxgi formats for future usage (e.g., color conversion, dxva2 decoder).
Because I420_* formats are not supported formats by dxgi, each plane should
be handled likewise GstGL separately, but NV12/P10 formats might be supported ones.
So we decide the number of d3d11memory per GstBuffer for video memory depending on
OS version and dxgi format. For instance, if NV12 is supported by OS,
only one d3d11memory with DXGI_FORMAT_NV12 texture can be allocated by this commit.
One use case of such texture is DXVA. In case DXVA decoder, it might need to produce decoded data
to one DXGI_FORMAT_NV12 instead of seperate Y and UV planes.
Such behavior will be controlled via configuration of GstD3D11BufferPool and
default configuration is separate resources per plane.