d3d11device: Report alive d3d11 objects at the end

It would be useful for debugging d3d11 object leak.

d3d11: Fix ID3D11SamplerState leak

remove various useless linefeed in logs

msdk: ignore MFX_ERR_UNDEFINED_BEHAVIOR when loading a plugin

An issue can be seen when using msdkh265enc with bitrate change in
playing state. The root cause is the corresponding plugin is loaded
again.

Returning MFX_ERR_UNDEFINED_BEHAVIOR from MSDK just means the plugin has
been loaded, so we may ignore this error when doing configuation again
in the sub class, otherwise the pipeline will be interrupted

d3d11videosink: Fix broken fallback rendering

Make fallback rendering work

d3d11videosink: Add debug message for fallback reason

d3d11window: Do not check shader resource view if not doing conversion

If d3d11window does not convert format internally, shader resource view
is not required. Note that shader resource view is used for
color conversion using shader but when conversion is not required,
we just copy input input texture to backbuffer.

msdkvpp: check mfx surface nullity for the input buffer

In theory it should not happen but it happened to me
in some cases where it failed to allocate some video
buffers so this was a consequence of a corner case.
Better to be safe than sorry.

d3d11window: Clear old swapchain per prepare

_prepare() might be called multiple times for given window, so clear
old swapchain if any.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1138

srtp: Remove %z as it doesn't work on Windows

gsttestsrcbin: Avoid not-linked errors when switching tracks

The previous implementation had a very high reproducibility race where
if after a track switch, the ex-active track pad completed a buffer
chain (now returning not-linked) the flow combiner had all their pads in
non-linked state, propagating it as an error and stopping the pipeline.

By resetting the flow combiner in response to RECONFIGURE events that
race is made impossible.

msdkdec: fix assertion 'frame->ref_count > 0' failed

Can happen if the oldest frame is the current frame
and if gst_video_decoder_finish_frame failed in which
case the current is unref and then drop instead of
just drop.
This patch also removes some assumptions, it was strange
to call unref and finish_frame in gst_msdkdec_finish_task.
In principle when owning a frame, the code should either
unref, or drop or finish.

d3d11window: Always set dxgi colorspace if possible

Not only for the 10 bits RGB case with HDR metadata, set proper color space
to swapchain in order to make color representaion correct

vtdec: add support for outputing vulkan images

vulkan/image: expose initialization function for subclasses

vulkan/macos: link directly to MoltenVK

It's currently the only sane way we can use MoltenVK functions to
integrate with Metal API.

It also removes the need to specify the VK_ICD_FILENAMES environment
variable pointing to MoltenVK_icd.json.

applemedia: rename IOSurfaceMemory -> IOSurfaceGLMemory

videotexturecache: implement GL specifics as a subclass

applemedia/videocache: make a GObject subclass

avfvideosrc: don't leak texture caches

If decide_allocation is called multiple times, then we would continually
overwrite the previous cache without freeing

d3d11: translate windows error codes to human readable strings

This will help with debugging.

mlaudiosink: Fix crash when stopping pipeline

This is a bug in LuminOS 0.97.0.

Add mlaudiosink element

openh264enc: keep the headers

be able to resend the headers on demand after a key-unit request

decklink: Return new references to the devices from get_devices()

Otherwise the caller will free the devices we store internally.

dash: move parser nodes/types to separated files

Rename GstMpdClient to GstMPDClient and use GObject model.

Move nodes to file from gstmpdparser.c:
- GstMPDRootNode
- GstMPDBaseURLNode
- GstMPDUTCTimingNode
- GstMPDMetricsNode
- GstMPDMetricsRangeNode
- GstMPDSNode
- GstMPDSegmentTimelineNode
- GstSegmentTemplateNode
- GstMPDSegmentURLNode
- GstMPDSegmentListNode
- GstMPDPeriodNode
- GstMPDRepresentationNode
- GstMPDsubRepresentationNode
- GstMPDAdaptationSetNode
- GstMPDContentComponentNode
- GstMPDSubsetNode
- GstMPDProgramInformationNode

Move types to gstmpdhelper from gstmpdparser.c:

- GstURLType
- GstDescriptorType
- GstSegmentBaseType
- GstMPDMultSegmentBaseType
- GstMPDRepresentationBaseType

Cleanup naming when possible.

dash: split mpdparser, mpdclient and xmlhelper

provide a separate namespace for mpd helper
for xml parsing and the real mpd parsing.

d3dvideosink: Fix warning for unhandled enum in switch

d3dhelpers.c:135:3: warning: enumeration value 'D3DFMT_D32_LOCKABLE' not handled in switch [-Wswitch]

vulkanviewconvert: clear the cached uniforms on caps change

Caps changes can change the output/input layout which needs to be
reflected in the input uniforms to the shader.

d3d11: Initialize debug categories of non-GstElement implementation in plugin init

That's the way to expose debug category to --gst-debug-help

d3d11window: Invoke resize task with high priority

On resize event, swapchain should be configured with higher priority
than the other tasks since it's directly related to visual artifacts.

d3d11device: Add gst_d3d11_device_thread_add_full method

I would be used to invoke GPU task with specified priority.

d3d11videosinkbin: Drop d3d11 color convert element

d3d11videosink can convert color space now, so the conversion element
seems to be redundant.

d3d11videosink: Add color conversion support

Draw to back buffer texture directly. It would reduce the number of
copy at least once when color conversion is required.

d3d11converter: Skip setup converter if input and output formats are equal

d3d11colorconvert: Split color space converter to reuse code

d3d11: Split shader to reuse code

d3d11videosink: Draw window with cached texture on resize

This would render nicer than presenting scene with broken aspect ratio,
especially in case of low framerate.

d3d11: Add support for D3D11_USAGE_DYNAMIC

D3D11 dynamic texture is a special memory type, which is mainly used for
frequent CPU write access to the texture. For now, this texture type
does not support gst_memory_{map,unmap}

d3d11device: Add debug message for CreateTexture2D failure

d3d11device: Fix misreading debug message

d3d11colorconvert: Disable color conversion with software rasterizer

It's much slower than our CPU based color-converter in most case.

d3d11videosink: Handle context query

Propagate d3d11device via context query.

d3d11colorconvert: Avoid copy in/out texture if possible

When input and/or output d3d11memory has its own view, use them for
rendering to avoid texture copy

d3d11memory: Allocate texture with required views

Store required resource views with d3d11 texture when it requested.

d3d11: Add d3d11videosinkbin element

New wrapper element to support d3d11 memory upload, color conversion, and
rendering at once.

d3d11: Add color space conversion element using shader

Add d3d11colorconvert element for color space conversion.
Currently {RGB, YUV} to RGB conversion is supported.

d3d11memory: Register mininal compare function for GstD3D11AllocationParams

The d3d11 allocation param is stored in GstStructure so it should
provide compare function for later use such as gst_structure_is_equal()

d3d11window: Set render target whenever drawing

Device context's render target might be updated for offscreen rendering

d3d11videosink: Specify d3d11 memory caps feature on sinkpad template

d3d11: Introduce d3d11 upload/download element

That's equivalent to glupload and gldownload elements but for d3d11

d3d11: Refactor d3d11 memory and dxgi format usage

* Create staging texture only when the CPU access is requested.
Note that we should avoid the CPU access to d3d11 memory as mush as possible.
Incoming d3d11upload and d3d11download will take this GPU memory upload/download.

* Upload/Download texture memory from/to staging only if it needed, similar to
GstGL PBO implementation.

* Define more dxgi formats for future usage (e.g., color conversion, dxva2 decoder).
Because I420_* formats are not supported formats by dxgi, each plane should
be handled likewise GstGL separately, but NV12/P10 formats might be supported ones.
So we decide the number of d3d11memory per GstBuffer for video memory depending on
OS version and dxgi format. For instance, if NV12 is supported by OS,
only one d3d11memory with DXGI_FORMAT_NV12 texture can be allocated by this commit.
One use case of such texture is DXVA. In case DXVA decoder, it might need to produce decoded data
to one DXGI_FORMAT_NV12 instead of seperate Y and UV planes.
Such behavior will be controlled via configuration of GstD3D11BufferPool and
default configuration is separate resources per plane.

d3d11: Add method for querying d3d11 memory type

... and fix misreading "private" annotation.

d3d11device: Store selected d3d feature level

Depending on selected feature level, d3d11 API usage can be different.
Instead of querying the selected feature level by user whenever required,
store it once by d3d11device.

d3d11: Don't share d3d11 device context unconditionally without checking adapter

Do not accept any GstD3D11Device context which has different adapter
index from the required one. For example, if a d3d11 element is expecting
d3d11 device with adapter 1 (i.e., the second GPU), any d3d11 device
context having different adapter could not be shared with
the d3d11 element.

d3d11device: Don't allow auto adapter selection

Change to d3d11device to be created with explicit target adapter index,
and expose some readonly device properties

d3d11: Rename native handle getter and context utils functions

Make them consistent with cuda context utils functions.
Put in-only parameter before all in-out parameters, and add _handle()
suffix to native handle getter functions.

d3dvideosink: use parent buffer pool to release buffers

In certain cases, the sink's buffer pool will not call the parent's
release_buffer method, so the pool does not clean up properly
after the buffer is released.

vulkan: move fullscreenquad object to library

It's useful and extensible enough to be used by us and other elements

vulkan: fix up some gir annotations

interlace: Store unsigned integers in unsigned integer types

And add some assertions to guard against overflows and out of bounds
reads.

interlace: Increment phase_index before checking if we're at the end of the phase

Incrementing it afterwards will always have to phase_index >= 1 and we
will never be at the beginning (0) of the phase again, and thus never
reset timestamp tracking accordingly.

This was broken in bea13ef43b719aad96e28766cd4d23652a891a20 in 2010, and
causes interlace to run into integer overflows after 2^31 frames or
about 5 hours at 29.97fps. Due to usage of wrong types for the integers
this then causes negative numbers to be used in calculations and all
calculations spectacularly fail, leading to all following buffers to
have the timestamp of the first buffer minus one nanosecond.

rtmp2sink: Only apply @setDataFrame to onMetaData messages

Only the metadata needs to be made "sticky". Custom data messages should
be passed on unmodified.

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/merge_requests/878

rtmp2: Add gst_rtmp_message_is_metadata

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/merge_requests/878

rtmp2: Add gst_rtmp_connection_set_data_frame

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/merge_requests/878

rtmp2: Add single-value AMF0 parsing and serializing

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/merge_requests/878

rtmp2: Minor changes

- Remove an unneeded initialization to zero from AmfParser
- Add missing initialization to gst_amf_serialize_command_valist
- Add a g_return_if_fail to gst_rtmp_connection_request_window_size

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/merge_requests/878

build: use -fvisibility=hidden for objc code

vulkan: priviatise _invoke_on_main()

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1132

decklink: Add simple device provider for Decklink devices

openexr: Fix check for when to pass -std=c++98

commit 6adfb120ab0e1bb0b3439ad725a362cfe4fbe733 added this flag to fix
builds with `-Werror`, and afterwards it was changed to use a version
check when newer versions of openexr moved over to C++11.

However, some distros have backported patches to older openexr
versions which make it require C++11, which makes the version check
incorrect and causes an error because we passed `-Werror -std=c++98`.

Instead, directly check when usage of the header requires `-std=c++98`
with `-Werror` and override the `cpp_std` setting on the target.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1117

avfvideosrc: Explicitly request device video permissions for macOS 10.14+

Since macOS Mojave (10.14), video permissions have to be explicitly
granted by a user in order to open a video device such as a camera.
This commit adds a check for the current permission status, and tries
to request for permission if applicable.

vulkan: implement caching and reuse of a couple of vulkan resources

Includes a new GstVulkanHandlePool base class for pooling different
resources togther.  The descriptor cache object is ported to
GstVulkanHandlePool with the exact same functionality.

A new GstVulkanFenceCache is also implemented for caching fences
which is used internally by GstVulkanDevice for creating or reusing
fences.

The existing GstVulkanTrashFenceList object now caches trash objects.

vulkan/trash: remove free functions covered by GstVulkanHandle

vulkancolorconvert: disable YUY2 conversion

It doesn't work and never seemed to

vulkan: split vkfullscreenrender into two

Part 1 is a base class (vkvideofilter) that handles instance, device,
queue retrieval and holding that has been moved to the library
Part 2 is a fullscreenrenderquad that is still in the plugin that
performs all of the previous vulkan-specific functionality.

vulkan/upload: allocate from the correct pool

Only relevant when upstream does not use our provided pool.

vulkan/handle: add some handle types

vulkan/image: don't rely on weak-ref notifies for views

Weak refs don't quite work here correctly as there is always a race with
taking the lock between find_view() and remove_view().  If find_view()
returns a view that is going to removed by remove_view() then we have an
interesting situation.

In theory, the number and type of views for an image are relatively
constant and should not change one they've been set up which means that
it is actually practical to perform pool-like reference counting here
where the image holds a pool of different views that it can give out
as necessary.

vulkan: add a couple of missing fence unrefs

vulkan/colorconvert: zero out sampler create struct

wasapisrc: Correctly handle BUFFERFLAGS_SILENT

We need to ignore the data we get from WASAPI in this case and write
out silence (zeroes).

Initially reported at https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/808

wasapisrc: Try harder to avoid debug output in the hot loop

The whole `src_read()` function is a hot loop since the ringbuffer
thread is waiting on us, and printing to the console from inside it
can easily cause us to miss our deadline.

F.ex., if you had GST_DEBUG=3 and we accidentally missed a device
period, we'd trigger the "reported glitch" warning, which would cause
us to miss another device period, and so on. Let's reduce the log
level so that GST_DEBUG=3 is more usable, and only print buffer flag
info when it's actually relevant.

wasapisrc: Fix capturing from some buggy audio drivers

Some audio drivers return varying amounts of data per ::GetBuffer
call, instead of following the device period that they've told us
about in `src_prepare()`.

Previously, we would just drop those extra buffers hoping that the
extra buffers were temporary (f.ex., a startup 'burst' of audio data).
However, it seems that some audio drivers, particularly on older
Windows versions (such as Windows 10 1703 and older) consistently
return varying amounts of data.

Use GstAdapter to smooth that out, and hope that the audio driver is
locally varying but globally periodic.

Initially reported in https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/808

wasapisrc: Clarify that nBlockAlign is actually bpf

bpf = bytes per frame.

wasapisrc: Fix glitching and clock skew issues

We were miscalculating the device period, i.e. the number of frames
we'll get from WASAPI in each IAudioClient::GetBuffer call, due to
a calculation mistake (truncate instead of round).

For example, on my machine when the aux input is set to 44.1KHz, the
reported device period is 101587, which comes out to 447.998 frames
per ::GetBuffer call. In reality we will, of course, get 448 frames
per call, but we were truncating, so we expected 447 and were
discarding one frame every time. This led to glitching, and skew over
time.

Interestingly, I can only see this with 44.1Khz. 48Khz/96Khz are fine,
because the device period is a more 'even' number.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/806

atscmux: Add missing break in switch

CID: 1455515

msdk: Fix mixed declarations warning

msdk.c:194:3: warning: ISO C90 forbids mixed declarations and code [-Wdeclaration-after-statement]

h264parse: buffer mismatch in map/unmap

msdkdec: log an error if leaking surfaces in finalize

The for loop in gst_msdkdec_handle_frame is error prone
about how it manages surfaces. Because sometimes it sets
the surface variable to NULL and sometimes it needs to free
it right away. So better to print an error if surfaces are
leaked to help with any change around the loop.

waylandsink: Commit the parent after creating subsurface

We should commit the parent to activate new subsurface, this is
documented in the protocol.

Signed-off-by: Jeffy Chen <jeffy.chen@rock-chips.com>

ttmlparse: Collect buffers until detecting complete xml document

Given buffer could be fragmented and we might need to
collect buffers until end tag is detected. And/or, a buffer
can consist of multiple ttml documents.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/494

msdk: query hardware when checking MFX availability

msdk plugin is not used for sofware encode/decode as there are better
solutions available. Also, with MFX_IMPL_AUTO_ANY, if software decode
is not supported, the plugin will still load, but will then fail when trying to
run the (autoplugged) pipeline. With MFX_IMPL_HARDWARE_ANY,
the plugin fails and a better software decoder is auto-plugged.

msdk: query platform when opening session

nvenc: Fix crash when nvenc was reused then freed without encoding

GstNvBaseEnc::n_bufs was set from the previous encoding session
but it wasn't cleared after stop. That might result to invalid memory
access at the next start (no encoded data) and then stop sequence.
Instead of defining a variable for array length, use GArray::len
directly to avoid such confusion.

nvenc: Remove unused code path

refilling queue would not happen

webrtcdatachannels: Don't leak strings

They would leak in error cases

CID: 1455480

webrtcbin: Fix memory leak

The structure is not used after this block

CID: 1455481

adaptivedemux: fix 'utc now' gdatetime creation

It broke after removal of usage of GTimeVal that was deprecated,
it requires seconds in this unix-based creation instead of microseconds.

The downside here is that it will create an extra object just to be
discarded in order to add the microsecond part to it.

It would end up segfaulting as it would return a NULL value

srtobject: allow passing SRT Stream ID in stream URI

Based on Stream ID, the application can accept or reject the connection,
select the desired data stream, or set an appropriate passphrase for the
connection. Example usage:

  srt://127.0.0.1:1234?streamid=mystream