vulkan: add handle type for arbitrary vulkan handles

Serve two purposes:
1. refcounting of vulkan handles with associated destruction.  When
   combined with the trash list, the user can ensure destruction at
   the correct time according to the vulkan rules.
2. avoids polluting our API with 32-bit vs 64-bit integer/pointers
   differences as exposed through the vulkan API.  on 32-bit, vulkan
   non-dispatchable handles are 64-bit integers and on 64-bit, they
   are pointers.

vulkanviewconvert: fix typo of output image view name

vulkan: fix non-dispatchable handles on 32-bit platforms

non-dispatchable handles are 64-bit integers on 32-bit platforms

vulkan: use VK_NULL_HANDLE in more places

Fixes compiler warnings on 32-bit platforms assigning a void * to a
64-bit integer value.

vulkan: use the provided VKAPI_ATTR for the debug callback

Ensures that we get the calling convention correct for the platform we
are using.

vulkan: dump surface information

vulkan: print criticals/warnings for vulkan errors/warnings

Simplifies finding the erronous cases in using the Vulkan API
incorrectly.

vulkan/image: use the full video info for returning vulkan formats

We may need some colorspace information for returning sRGB vs no sRGB.

tsdemux: Handle continuity mismatch in more cases

Packets of a given PID are meant to have sequential continuity counters
(modulo 16). If there are not sequential, this is the sign of a broken
stream, which we then consider as a discontinuity.

But if that new packet is a frame start (PUSI is true), then we can resume
from that packet without any damage.

vulkan: Fix build error when gstvulkan is not installed

The following build error occurs:

vkdeviceprovider.h:30:10: fatal error: gst/vulkan/vulkan.h: No such file or directory
  #include <gst/vulkan/vulkan.h>
           ^~~~~~~~~~~~~~~~~~~~~

debugutils: clockselect, a pipeline that enables clock selection

Sometimes, one wants to force a clock on some pipelines - for instance,
when testing TSN related pipelines, one usually uses GstPtpClock or
CLOCK_REALTIME (assuming system realtime clock is in sync with network
one). Until now, one needs to write an application for that - not
difficult, but quite boring if one just wants to test something. This
patch presents a new element to help that: clockselect.

clockselect is a pipeline with two properties to select a clock. One
property, "clock-id", enables one to choose between "monotonic",
"realtime", "ptp" or "default" clock - where default keeps pipeline
behaviour of choosing a clock based on its elements. The other property,
"ptp-domain" gives one the choice of which PTP domain should be used.

Some very simple tests also added for this new element.

Don't pass default GLib marshallers for signals

By passing NULL to `g_signal_new` instead of a marshaller, GLib will
actually internally optimize the signal (if the marshaller is available
in GLib itself) by also setting the valist marshaller. This makes the
signal emission a bit more performant than the regular marshalling,
which still needs to box into `GValue` and call libffi in case of a
generic marshaller.

Note that for custom marshallers, one would use
`g_signal_set_va_marshaller()` with the valist marshaller instead.

srt: split incoming buffer up into srt chunk

wasapi: minor cleanup

sdp: don't leak the ghost pad

The peer is already gone when pad_removed_cb() called, so the ghost cannot
be removed. Use g_object_set_data() instead to remember the ghost pad.

Copied from similar code in GstRTPBin.

d3dvideosink: support OverlayComposition for GPU overlay compositing

basetsmux: allow null J2K profile

Since we are not requiring that profile equals GST_JPEG2000_PARSE_PROFILE_BC_SINGLE,
(as the standard requires) we can allow profile to be null. We relax this condition because
OpenJPEG can't create broadcast profiles.

jpeg2000parse: fail caps negotiation if caps are NOT fixed

jpeg2000parse: use pre_push_frame to reset parser

jpeg2000parse: parse_event: call base class at end

derived class should do it's work first before calling base

jpeg2000parse: do hard reset if gst_base_parse_finish_frame fails

jpeg2000parse: initialize some variables to make valgrind happy

jpeg2000parse: add unit test

jpeg2000parse: use GST_INT in caps for profile

Negotiation failed with GST_UINT

jpeg2000parse: make explicit that codec_format is for src caps

jpeg2000parse: refactor

1. only recalculate src codec format if sink caps change
2. use correct value for "jp2c" magic in J2C box ID
3. only parse J2K magic once, and store result
4. more sanity checks comparing caps to parsed codec

jpeg2000parse: set parsed to TRUE in src caps

jpeg2000parse: only cache caps parameters when caps have in fact changed

jpeg2000parse: fix typos in media format

jpeg2000parse: add reset method

Also add three new struct members, currently unused.

documentation: fixed a heap o' typos

Add files from gst-rtmp

For master, without autotools.

av1enc: Add tile-{columns,rows} properties

It provides to set tile-columns and tile-rows configurations. The av1
codec allows an input image frame be partitioned into separate vertical
or horizontal tile which can be encoded or decoded independently. It
helps to encode/decode parallel.

av1enc: Enable row-mt by default

Enabling row-mt property can help to increase cpu utilization and reduce
encoding speed, so set it to on by default.

curlhttpsrc: Hook up libcurl logging message to gstreamer

CURLOPT_DEBUGFUNCTION option replaces the standard debug function
used when CURLOPT_VERBOSE is in effect. This callback receives various debug information.

ristsrc: Apply BINDTODEVICE to socket created by udpsrc too

ccconverter: Instead of erroring out on too big input drop additional data

vtdec: fix leak of CMFormatDescription

There was consideration for replacing the CMFormatDescription used
on format changes in `set_format()` however on shutdown, we were
leaking the CMFormatDescription at the end of processing.

'https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1106'

h265parse: Fix wrong NALU minimum length check

Fixes a problem where an EOS/EOB NALU placed at the end of
an AU is detected as an other AU and create a buffer that
does not have valid pts.

h264parse: Fix wrong NALU minimum length check

Fixes a problem where an EOS/EOB NALU placed at the end of
an AU is detected as an other AU and create a buffer that
does not have valid pts.

openexr: Fix compilation with OpenEXR 2.4

It uses modern C++; adding -std=c++98 breaks the build.

vtdec: memory leaks bugfix

release 'videoDecoderSpecification' variable in 'gst_vtdec_create_session' function.
release 'extensions' variable in 'create_format_description_from_codec_data' function.

msdkmjpegenc: convert UYVY to YUY2 instead of NV12

Before this fix, the chroma subsampling of the output is 4:2:0. It is
4:2:2 with this fix, which is better for UYVY input

msdkmjpegenc: don't need conversion for BGRA and YUY2

jpeg encoder in MSDK can accept BGRA and YUY2 input.

msdkenc: add need_conversion method

In future, a sub class of GstMsdkEncClass may decide a native format by
using this method, e.g. JPEG encoder may accept YUY2 input, however the
current implemation needs a conversion from YUY2 to NV12 before encoding.

In addtion, a sub class may choose a format for encoding if the input
format is not supported by MSDK, e.g. the current implemation does
UYVY->NV12 if the input format is UYVY. We may do UYVY->YUY2 for JPEG
encoder in future

msdk: support for MFX_FOURCC_BGR4 frame allocation

MFX_FOURCC_BGR4 is mapped to VA_FOURCC_ABGR and JPEG encoder needs a
MFX_FOURCC_BGR4 frame for internal usage when the input format is
MFX_FOURCC_RGB4

This is a preparation for supporting native formats of JPEG encoder

mpegtsmux: Add SCTE-35 support

This adds two properties:
* scte-35-pid: If not 0, enables the SCTE-35 support for the current
  program. This will write the proper PMT and send SCTE-35 NULL
  commands (i.e. heartbeats) at a regular interval
* scte-35-null-interval: This specifies the interval at which the
  NULL commands should be sent

Sending SCTE-35 commands is done by creating the appropriate SCTE-35
GstMpegtsSection and then sending them on the muxer. See the
associated example

mpegts: Add support for SCTE-35 sections

Not all commands are supported, but the most common ones are.
Both parsing and packetizing is supported

tsmux: Disable bluray-isms from PMT

We were unconditionally adding top-level descriptors in the PMT which
were only related to bluray support for PS3 (from 10 years ago).

These should be re-added conditionally

mpegtspacketizer: Fix off-by-one error

This went un-noticed for 6 years :( The issue is that for short
sections (without subtables and CRC), we would always fail when
checking whether we had enough data or not and then default to the
long section checking.

Use the long section checking would then cause interesting side-effects
for short sections (such as believing they were already seen and therefore
would be dropped/ignored).

msdkdec: use decoder base class packetized flag

Instead of using a proxy of `is_packetized` flag this patch
replaces it with the accessor to that flag in decoder base class,
avoiding probable mismatches.

msdkdec: add parse callback for non-packetized input

commit 55c0d720 added the capability to handle non-packetized bitstream,
and there is a loop to handle multiple frames in a non-packetized buffer
in gst_msdkdec_handle_frame. However it is possible that a
non-packetized buffer still contains valid data but there is no long any
pending unfinished frame. Currently gst_video_decoder_decode_frame is
invoked to send a new frame with new input data, the situaltion is
repeated till an EOS is received. An application has to exit when
receiving an EOS, however there is still valid data in a
non-packetezied input buffer, hence some frames are dropped.

This fix adds a parse callback for non-packeteized input, a new frame
will be sent to the subclass as soon as the input buffer has valid data

This fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/665

ccextractor: Remove unused set/get_property() functions

ccextractor: Always forward all sticky events to the caption pad

And only update the caps and stream-start event accordingly. This
ensures that we'll always forward sticky events that arrive after the
caption pad was created, and especially updates to existing sticky
events like the segment event.

Also create a proper stream id based on the upstream stream id for the
stream-start event, and make sure that all the sticky events we know are
already on the caption pad at the time it is added to the element.

vulkanimage: move fence creation earlier

Fixes a critical:

GStreamer-CRITICAL **: 02:26:34.698: gst_mini_object_ref: assertion 'mini_object != NULL' failed

vulkan: change to clamp to edge rather than clamp to border

clamp-to-border will return the border color which is typically black,
white or transparent.  When linear filtering the edge pixels will
typeically be combined with the border color which is not typically what
we want.  Especially when color converting, this removes a green box
around the edge when converting YUV->RGB.

msdkh265enc: Add support for tiled encoding

Add num-tile-rows and num-tile-cols properties to set the number of rows
and columns

srtpenc: also insert ssrc(s) from rtp buffers

This fixes a regression from commit "srtp: Support libsrtp2"
e9aa11720071f8a1d22b336395e66dd8cbca0c00 where an internal
set of ssrc(s) was added because the libsrtp v2 keeps its
internal streams as private. But the change prevented that
ssrc(s) that not in the caps from being added to the stats.
This patch ensures that all ssrc(s) are inserted to this set
instead of only inserting those from the caps.

msdk: support P010_10LE in DMABuf mode for VP9/HEVC encoding

androidmedia: Make sure that the first member of GstAmcSurfaceTextureJNI is correct

It's a subclass of GstAmcSurfaceTexture so should have that as first
struct member or otherwise it won't work.

Fixes #1105

androidmedia: Call JNI method with the actual Java object instead of our wrapper struct

Fixes #1105

opencv: Don't error when unable to detect OpenCV data dir

Instead, mark OpenCV as not found. We error out later if OpenCV was
explicitly enabled.

msdkvpp: add support Y410 and Y210 formats

And clean up some macros

msdkvpp: allow cropping via properties

Add crop-left, crop-right, crop-top and crop-bottom
properties to msdkvpp and apply to input surface at
vpp transform run-time.

Implements #1097

wpe: Get rid of un-necessary frameComplete dispatchs

frameComplete() should be called only if there's a new commited frame.

wpe: Run frameComplete outside of images mutex scope

If the mutex is locked while running frameComplete there is a potential deadlock
bound to happen when we get a new exported images from the backend.

Fixes #1101

timecodestamper: Add properties to time out cached upstream/LTC timecodes after a while

By default we never time them out and simply continue couting up with
each frame forever.

timecodestamper: Add new auto-resync boolean property

This allows selecting whether we continue updating our last known
upstream timecode whenever a new one arrives or instead only keep the
last known one and from there on count up.

timecodestamper: Add last-known-or-zero mode

This uses the last known upstream timecode (counted up per frame), or
otherwise zero if none was known.

The normal last-known timestamp uses the internal timecode as fallback
if no upstream timecode was ever known.

timecodestamper: Don't initialize upstream timecode with zero if none was seen

Instead keep it unset and use the internal timecode wherever needed as
fallback.

timecodestamper: Update set-tc property documentation with latest version of reality

pnmdec: Return early on ::finish() if we have no actual data to parse

Otherwise we'd be working with a NULL buffer and cause various critical
warnings along the way.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1104

lv2: fix build without the debug system

```
FAILED: subprojects/gst-plugins-bad/ext/lv2/b8a2ebe@@gstlv2@sha/gstlv2utils.c.o
../subprojects/gst-plugins-bad/ext/lv2/gstlv2utils.c: In function 'lv2_log_printf':
../subprojects/gst-plugins-bad/ext/lv2/gstlv2utils.c:50:3: error: attempt to use poisoned "gst_debug_log_valist"
   50 |   gst_debug_log_valist (lv2_debug, GST_LEVEL_INFO, "", "", 0, NULL, fmt, ap);
      |   ^
../subprojects/gst-plugins-bad/ext/lv2/gstlv2utils.c:50:25: error: 'lv2_debug' undeclared (first use in this function); did you mean 'g_debug'?
   50 |   gst_debug_log_valist (lv2_debug, GST_LEVEL_INFO, "", "", 0, NULL, fmt, ap);
      |                         ^~~~~~~~~
      |                         g_debug
```

camerabin2: preview: remove redundant property setting on appsink

Commit 8a56a7de6d5f2cf70dbe6efbd7c8ed74600c8565 (camerabin2: preview:
Appsink doesn't need to sync) add a line that set the "sync" property on
the appsink. However, the author seems to forget that there's another
property setting on appsink a few lines below.

It's very likely that the added line is required because the original
line doesn't take effect (maybe because it's too late). But for whatever
reason, the original line is now redundant. So, I remove it in this
commit.

meson: use gir_init_section in GstTranscoder

GstTranscoder adds extra_args for gir which call gst_init() during
introspection. These extra arguments are the same as the standard
ones defined in the top level meson.build as "git_init_section",
However, the top level definition also ensures an empty plugin
repository is used.

Because GstTranscoder does not use the standard args, plugins get
loaded when it is introspected. Since some of the plugins fail
without specific hardware, this causes #1100.

This patch makes it use gir_init_section.

Fixes #1100.

meson: build gir even when cross-compiling if introspection was enabled explicitly

This can be made to work in certain circumstances when
cross-compiling, so default to not building g-i stuff
when cross-compiling, but allow it if introspection was
enabled explicitly via -Dintrospection=enabled.

See gstreamer/gstreamer#454 and gstreamer/gstreamer#381.

wpesrc: Implement load-bytes action signal

wpe: Rewrite wpesrc as a glbasesrc subclass

And since it no longer allocates memories itself, this fixes issues with
fakevideosink. A lot of code previously copied from gltestsrc is no longer
needed thanks to the glbasesrc super-class.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1046

Fix get_supported_types function name

Fix releasing local refs

Fix names of MediaCodecInfo inner classes

Fix getting MediaCodecList static methods

msdkenc: close encoder upon bitrate change

Upon bitrate change, make sure to close the encoder otherwise
the encoder is not re-initialized and the target bitrate is
never reached, and the encoder was flushed at each frame
from this moment.

Regression introduced in f2b35abcab which replaced the call
that was closing the encoder by an early return to avoid
re-initialization.

wasapi: Fix build warnings

gstwasapiutil.c(173) : warning C4715: 'gst_wasapi_device_role_to_erole': not all control paths return a value
gstwasapiutil.c(188) : warning C4715: 'gst_wasapi_erole_to_device_role': not all control paths return a value

wasapi: Don't cast GstDeviceProvider to GstElement

The GstDeviceProvider isn't subclass of GstElement.

(gst-device-monitor-1.0:49356): GLib-GObject-WARNING **: 20:21:18.651:
invalid cast from 'GstWasapiDeviceProvider' to 'GstElement'

Remove autotools build system

decklink: fix timestamp tracking when pausing

play->pause->sleep()->play would result in late frames being scheduled

codecparsers: h264: record pic_order_cnt elements size

Some hardware decoders, for example Hantro G1, have to be told the
size of the pic_order_cnt related syntax elements pic_order_cnt_lsb,
delta_pic_order_cnt_bottom, delta_pic_order_cnt[0], and
delta_pic_order_cnt[1] in bits.

codecparsers: h264: record dec_ref_pic_marking() size

Some hardware decoders, for example Hantro G1, have to be told the size
of the dec_ref_pic_marking() syntax element in bits. Record the size so
it can be passed on to the hardware.

h265parser: Calculate short term RPS size in slice header

The calculated size of short_term_ref_pic_set is not a part of
HEVC syntax but the value is used by some stateless decoders
(e.g., vaapi, dxva, vdpau and nvdec) for the purpose of skipping
parsing the syntax by the accelerator.

h265parser: Add H265 slice segment header documentation

Adding brief description for each value.

h264parser: Expose parsed GstH264PPS::pic_scaling_matrix_present_flag

h264parser: Expose all parsed flags of slice header

Add num_ref_idx_active_override_flag and sp_for_switch_flag to
member of GstH264SliceHdr. No reason to hiding them and
some decoder implementations (e.g., DXVA) rely on externally parsed header
data which can be provided by h264parser.

msdk: return the right pointer

The first channel in memory for MFX_FOURCC_RGB4 (VA_FOURCC_ARGB or
GST_VIDEO_FORMAT_BGRA) is B, not A. In MSDK, channle B is used to access
data for RGB4 surface. In addition, the returned pointers for
MFX_FOURCC_AYUV and MFX_FOURCC_Y410 in gst_msdk_video_memory_map_full
were wrong too before this fix.

msdkenc: handle bitrate changes in playing state

When the bitrate is changed in playing state the encoder issues a reconfig
that drains and recreates the underlaying hw encoder instance.
With this set of changes we ensure that all this work is only made when
the bitrate did actually change. It also tries to reuse the vpp buffer
pool and fixes the pool leak spotted when testing this feature.

ext: add libmicrodns-based mdns device provider

The provider for now only detects and handles rtsp devices, but
more protocols should be easy to add.

msdkh265enc: add the missing profile string

hlssink2: Respect requested max-files property for decision on removing old fragments from disk

hlssink2 defined "max-files" property to decide the maximum number
of fragments which should be stored in disk. But we've not used
the property. Instead, the size has been maintained by "playlist-length".
Since "max-files" and "playlist-length" have different meaning,
the decision should be done by "max-files" property.

For example, an user might want expose only 3 fragments via playlist
but might want to keep more files than 3 in disk.

ass: avoid infinite unref loop with bad data

A classic case of not updating the next item to iterate after deleting
it from the singly linked list.

Only ever hit with a text buffer with GST_CLOCK_TIME_NONE for either the
timestamp or duration.

d3d11window: Protect registration/creation of WIN32 window

Querying existing window class info and creation of window object
should be protected since they are not thread safe.