h264parser: Add APIs to allow update SPS/PPS

gst_h264_parser_parse_{sps,pps} APIs were used to parse SPS/PPS and
also in order to update parser's internal state at once. Meanwhile
gst_h264_parse_{sps,pps} APIs are to parse SPS/PPS without state update.
This commit introduces new APIs so that only accepted SPS/PPS by user
can be updated to be used by parser.

meson: kmssink: Allow fallback only on linux

Otherwise fallback will waste meson configure time on non-linux

srtp: Added support for BYE packet

SRTCP can't get SSRC from BYE packet, this will make srtpdec element
to drop the package. Adding support to get the SSRC from BYE packets.

nvdec: Don't hardcode DPB size

Too many decode surface would waste GPU memory. Also it seems to be
introducing additional latency depending on stream. Since nvcodec
sdk version 9.0, CUVID parser API has been providing the minimum
required number of surface. By using it, we can save GPU memory
and reduce possible latency.

v4l2codecs: Fix FD leak during device enumeration

This was revealed by Coverity.

CID 1461248

dash: fix VARARGS coverity error

va_end was not called in every code path due to
g_return_val_if_fail.

API usage errors  (VARARGS)
va_end was not called for "myargs".

CID: 1461294

Meson: Change extra-checks to feature option and make it yielding

h264parse: Fix content light level value changes

Same as for H265, was found by Coverity.

h265parse: Fix content light level value changes

The comparision was not testing anything meaninful. This fixes the comparision
so we now update the caps whenever the value differ. This was detected by
coverity.

CID 1461291

rtmp2: Avoid a deadlock when getting stats

We need to do this without holding the lock as the `g_async_queue_pop`
waits on the loop thread to deliver the stats. The loop thread might
attempt to take the lock as well, leading to a deadlock.

Taking a reference to the connection should be enough to keep this
safe.

h264parse: Add support for inband timecode update

Add new property "update-timecode" to allow updating timecode
in picture timing SEI depending on timecode meta. Since the picture
timing SEI message requires proper VUI setting but we don't support
re-writing SPS, this might not work for some streams

h264parse: Don't unconditionally append timecode meta

If upstream buffer has its own timecode metatdata, don't append
new timecode meta into the buffer.

h264parser: Parse all SEI payload type even if it's not handled by parser

... so that user can handle it from outside of parser API

h264parser: Add support for creating picture timing SEI

This new method can make it possible to inject timecode meta into
h264 bitstream

tests: h264parser: Fix picture timing SEI

The payloadSize don't need to include rbsp_trailing_bits()

h264parser: Make GstH264PicTiming self-containing all the syntax information

... and store all parsed values.

We are storing pic_struct_present_flag although it's not part of
this SEI message but GstH264PicTiming includes it to clarify
following syntax values.
In addition to that, by adding CpbDpbDelaysPresentFlag, we don't need to
refer to VUI anymore.

h264parser: Fix some misleading debug messages

h264parser: Fix mismatched argument of declaration and definition

sdpdemux: don't send EOS for unknown SSRC

The rtpbin sends signals for all SSRCs. Don't send an EOS when the SSRC
does not match the stream SSRC.

This avoids problems when an SSRC from another receiver times out.

codecs: Add basic documentation stubs

v4l2decoder: Fix file descriptor leak

A copy paste error was leading to file descriptor leak. This was detected by
Coverity.

CID 1461285

fakevideosink: Allow allocation meta flags fine-tuning

In some scenarios the fakevideosink shouldn't advertize the overlay-composition
meta for instance, so that overlay elements perform subtitles blending
themselves.

mpegtspacketizer: be more tolerant when parsing the adaptation field

According to the specification, the adaptation field length must be 183 if
there is no payload data and < 183 if the packet contains an adaptation
field and payload data.

Unfortunately some payloaders always set the flag for payload data, even if
the adaptation field length is 183.

Don't return with an error in this case. Clear the payload data flag
instead and parse the adaptation field as usual. This avoids visual
artefacts for such streams.

codecs: h264: Fix DPB size calculation

As per specification in A.3.1 h) and A.3.2 f), the maximum size of the DPB is
16. Fix the maximum in the fine and fix the formula to use MIN instead of MAX
so that we no longer always use the maximum for the profile/level.

msdkvp9dec: add support for VP9 12bit

The output formats are P012_LE for 12bit 420 and Y412_LE for 12bit 444.

meson: build with neon 0.31

No API/ABI changes https://github.com/notroj/neon/blob/0.31.0/NEWS#L3

meson: Don't use get_option('buildtype')

We should directly check the values of the `debug` and `optimization`
options instead.

`get_option('buildtype')` will return `'custom'` for most combinations
of `-Doptimization` and `-Ddebug`, but those two will always be set
correctly if only `-Dbuildtype` is set. So we should look at those
options directly.

For the two-way mapping between `buildtype` and `optimization`
+ `debug`, see this table:
https://mesonbuild.com/Builtin-options.html#build-type-options

kms: add fallback on libdrm project if available.

msdkh265dec: add support for main-444-12, main-444-12-intra profiles

The video format is Y412_LE

msdk: map Y412_LE to VA_FOURCC_Y416

In media driver, VA_FOURCC_Y416 is used for packed 12 bits 4:4:4:4 YUV
format, the corresponding RT format is VA_RT_FORMAT_YUV442_12

msdk: map MFX_FOURCC_Y416 to VA_FOURCC_Y416

Y416 is used for packed 12 bits 4:4:4:4 YUV format in media driver, the
RT format is VA_RT_FORMAT_YUV444_12

msdk: map Y412_LE to MFX_FOURCC_Y416

MFX_FOURCC_Y416 is used for packed 12 bits 4:4:4:4 YUV format in
MediaSDK

msdkh265dec: add support for main-422-12, main-422-12-intra profiles

The video format is Y212_LE

msdk: map Y212_LE to VA_FOURCC_Y216

In media driver, VA_FOURCC_Y216 is used for packed 12 bits 4:2:2 YUV
format, the corresponding RT format is VA_RT_FORMAT_YUV422_12

msdk: map MFX_FOURCC_Y216 to VA_FOURCC_Y216

In media driver, Y216 is used for packed 12 bits 4:2:2 format YUV
format, so the RT format is VA_RT_FORMAT_YUV422_12.

msdk: map Y212_LE to MFX_FOURCC_Y216

MFX_FOURCC_Y216 is used for packed 12 bits 422 YUV format in MediaSDK

msdkh265enc: Fix for wrong parser free function

adaptivedemux: Handle instant rate change requests directly

Downstream demuxers will first send seek events upstream to us.
Do the right thing with instant rate change requests by handling them
immediately.

adaptivedemux: Don't ignore gst_segment_do_seek() return result

gst_segment_do_seek() can fail, so don't ignore the return result

tsdemux: Send instant-rate-change event if requested in the SEEK event

Convert instant-rate-change seek events into a downstream
instant-rate-change event and skip any further local seek handling.

msdkh264enc: Configure parser and SEI array only if it's required

msdkh265enc: Add support for CEA708 closed caption insertion

Functionally identical to that of msdkh264enc

h265parser: Add a helper method to create SEI nal unit

Add an API to create raw SEI nal unit. This would be useful in case
an user want to create SEI nal data and inject the SEI nal data
into bitstream.

srtpdec: reduce log level for replay cases

These are normal cases, so DEBUG level is enough.

srtpdec: do not warning old replay errors

Reordered packets producing decrypting errors are very normal,
so we should filter which errors are warning and which not.

srtpdec: fix reseting RTP sequence number on ROC changes

Each srtp_stream_t is tied to an specific SSRC, so a
roc_changed flag should be kept per each SSRC in order to
properly reset RTP sequence number on ROC changes.

d3d11: Update for video-hdr struct change

See the change of -base https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/594

nvh265enc: Update for video-hdr struct change

See the change of -base https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/594

x265enc: Update for video-hdr struct change

See the change of -base https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/594

h264parse,h265parse: Update for video-hdr struct change

See the change of -base https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/594

h265parse: Set duration on buffers base on framerate

h265parse: Derive src fps from vui_time_scale & vui_num_units_in_tick

h265parse: Handle interlaced video

For interlaced video:
* set the interlace mode in the src caps
* double the height from SPS in the caps.
* set field latency, instead of frame latency.

Fix #778

codecs: h264dpb: Don't leak pic_list GArray

The contents was cleared, but the array was never released.

v4l2codecs: Only build this plugin on Linux

This is not useful on any other OSs, it will also avoid potential build
failure as this code uses Linux specific calls.

v4l2codecs: Add plugin dependency

This ensure that the registry cache get updated when a meaningful change is
made in /dev for files named media*.

v4l2codecs: Wait for buffers to come back

This code add required mechanism to try and allocate (not implemented yet)
otherwise wait for more buffers. This also comes with mechanism to terminate
the wait on flush or PAUSED_TO_READY transitions.

v4l2codecs: Implement flushing sequence

This simply consit of cycling through STREAMOFF/STREAMON with stateless
decoders.

v4l2codecs: allocator: Add method to wait for more buffers

This add function to wait for buffers to get back into the pool along with a
set_flushing() method to allow unblocking this wait.

v4l2codecs: pool: Create new buffer when pool is empty

This simply create an empty GstBuffer when the pool is empty. This way it's up
to the allocator to grow or wait if we ran out of memory.

v4l2slh264dec: Improve end_picture() robustness

Use a goto to ensure that for all cases we cleanup the current picture state.
And move the src buffer allocation higher, so we don't queue a bitstream
buffer if we don't have a picture buffer to decode into.

codecs: h264: Do not ignore end_picture() return value

If decoding failed because end_picture() failed, set the picture to
nonexisting, this way output_picture() will be skipped. This avoids confusing
special cases in output_picture() implementation.

v4l2slh264dec: Add output format negotiation

This allow negotiating the output format through caps. Some drivers can
pipeline the decoder buffer through an image processor. This only support
colorspace conversion for now.

v4l2format: Convert between V4L2 and GST video format

This will be needed in the output format negotiation.

v4l2codecs: Read driver provided stride

This implements driver stride support but only for single allocation buffers.
This code is imported from the original v4l2 plugin and adapted to the new
helper context.

v4l2h264dec: Copy frames when GstVideoMeta is not supported

In some case, when downstream does not support GstVideoMeta, we need to
normalize the stride and offset of the buffer so that downstream can render
properly with a GstVideoMeta. This code is not called when GstVideoMeta is
supported downstream.

v4l2codec: Add initial GstVideoMeta support

In this patch we strictly set the GstVideoMeta width/height to the coded width
and height. Further patches will add stride support and frame copying when
downstream does not support GstVideoMeta.

v4l2slh264dec: Prevent spurious renegotiation

Don't let downstream cause a renegotiation at random point in time. This would
lead to spurious renegotiation and the decoder state may not be recoverable.

v4l2slh264dec: Hold on picture buffers

These buffers should not be reused for decoding until they are no longer
referenced.

v4l2codecs: Fix bytesused value

Pass the actual amount of bytes we have copied into the bitstream buffer. Also
unmap the memory before queuing.

v4l2codech264dec: Implement finish frame

This enables the request to be processed by the HW (STREAMON) and to be pushed
downstream for further processing.

v4l2codecdecoder: Add support for dequeuing buffers

This includings polling of the request and streamon/streamoff.

v4l2codech264dec: Implement queuing

We now pass the controls, associated to a request, queue the bitstream, qeueue
a picture buffer to decode into and finally queue the request. This now runs
until the buffer pool is exhausted. The next step will be to dequeue.

v4l2decoder: Add helpers to queue buffer and requests

v4l2codec: Add getter for buffer index in allocator and pool

v4l2h264codecdec: Copy bitstream parameter and data

In this patch we fill the control structure with the bitstream paramter and
copy the bitstream data into V4L2 memory. Slice paramters are only the subset
of what Hantro needs, without any support for interlaced content.

v4l2slh264dec: Use the newly introduced allocator / pool

We now allocate and free the memory needed for streaming.

v4l2codec: Add allocator and pool implementation

This is a pooling allocator and the buffer pool does nothing other then
reusing the GstBuffer structure. Note that the pool is an internal pool, so
the start/stop/set_config virtual functions are not implemented.

v4l2codec: decoder: Add allocation helper

v4l2codecs: Implement H264 format negotiation

v4l2codecs: Add initial formats helpers

v4l2codecs: Add skeleton of H264 decoder

This introduces the skeleton of the H264 decoder. The plugin will list the
devices and register a subclass of the GstV4L2CodecH264Dec base class. The
subclass will pick the required specific information from the GstV4L2Device
stored in the subclass structure.

v4l2codec: Add GstV4L2Deocder helper object

This is a GstObject which will be used to hold on media and video device file
descriptor and provide abstracted ioctl calls with these descriptor. At the
moment this helper contains just enough to enumerate the supported format.
This part will be used by the plugin to register the CODEC specific elements..

v4l2codecs: Copy all needed Linux kernel headers

Most of the features we need are very early or not expose yet in the uAPI.
Using an internal copy ensure that we everything we need is defined avoiding
to add load of checks and conditionnal code.

v4l2codecs: Add device enumeration

This introduces a GstV4L2CodecDevice structure and helper to retrieve a
list of CODEC device drivers. In order to find the device driver we
enumerate all media devices with UDEV. We then get the media controller
topology and locate a entity with function encoder or decoder and make
sure it is linked to two V4L2 IO entity pointing to the same device
node.

v4l2codecs: Introdude a V4L2 CODECs Accelerator plugin

This plugin will support new CODECs uAPI in the Linux kernel. These
consist of an accelerator interface similar to DXVA, NVDEC, VDPAU and
VAAPI.

msdkh264enc: Port to h264parser API for frame packing SEI injection

Create frame packing SEI memory only once per set_format() and
reuse it if possible.

h264parse: Print all the syntax elements of frame packing for debugging

Other values might be useful for debugging

msdkh265enc: support 8-bit 422 encoding

The media driver can support HEVC 8-bit 422 encoding for non-lowpower
mode since ICL[1], so VPP is not needed for this case.

Sample pipeline:
gst-launch-1.0 videotestsrc ! video/x-raw,format=YUY2 ! msdkh265enc ! \
filesink location=output.h265

[1] https://github.com/intel/media-driver#decodingencoding-features

msdkh265enc: add support for Y210 in sink pad

Sample pipeline:
gst-launch-1.0 videotestsrc ! video/x-raw,format=Y210 !
msdkh265enc ! filesink location=output.h265

msdk: add a helper function to get codename of the platform

The features supported in MSDK vary from platform to platform. We may
support some features based on the codename of the platform in future.

msdkenc: Try to find corresponding codec frame for encoded output buffer

The input and output buffers should be matched as much as possible
so that various metadata and its ordering to be preserved.

msdkh264enc: Add support for CEA708 closed caption insertion

Currently supported caption format is CEA708_RAW

h264parser: Add a helper method to create and inject raw SEI data

Add an API to create raw SEI nal unit. This would be useful in case
an user want to create SEI nal data and inject the SEI nal data
into bitstream.

nalutils: Introduce NAL writer helper methods

Add helper methods for writing h264 and h265 NAL

h264parser: Expose SEI clear function to public

gsth265parser does it already. Although corresponding API of h265parser is
gst_h265_sei_free, _clear suffix is more consistent naming for h264parser
since there are gst_h264_{sps,pps}_clear().

d3d11decoder: Add support for array of texture DPB

DXVA supports two kinds of texture structure for DPB, one is
"1) texture array" and the other is "2) array of texture".
1) is a type of texture which is single ID3D11Texture2D object having
ArraySize greater than one. So the ID3D11Texture2D itself is a set of texture.
Each sub texture of this type mush have identical resolution, format and so on,
and the number of sub texture in a texture array is fixed.

2) is an array of usual ID3D11Texture2D object. That means each
ID3D11Texture2D is independent each other and might have different resolution as well.
Moreover, we can modify the number of frames of the array dynamically.
This type is more flexible than "1) texture array" in terms of dynamic
behavior and also this type of texture can be used for shader resource view
but "1) texture array" couldn't be.

If "2) array of texture" is supported by driver, DXVA spec is saying that
it's preferred format over "1) texture array" in terms of performance.

msdkh265enc: slice size control

Add max-slice-size property to set the maximum slice size

Revert "d3d11decoder: Check decoder status report"

This reverts commit 418e6991c19ab5ae6bcf1890f9b947c748ca834d.

Not all drivers seem to be friendly to this API.
Revert to avoid incomprehensible crash with Nvidia.

d3d11window: Always reuse swapchain

DXGI format can be updated via ResizeBuffers()