codecs: Reorganize the order of vfunc

... to the order in which it is actually called

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1079>

kmssink: Add support for P010 and P016 formats

Support high bit-depth YUV formats

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1188>

d3d11window: Fix videoprocessor leak

Clear all objects in dispose function

d3d11device: Drop floating reference count

... and use gst_object_unref instead of g_object_unref for tracer
to be happy.

h264decoder: Don't handle gap frame num for the first picture

If the first picture is not IDR, it would have non-zero frame_num
but it's not gap. We should skip gap frame handling in that case

h264decoder: Add some debug messages

v4l2codecs: allocator: use gst_clear_object

So tracer can do its job.

tsmux: Don't assert sinkpad reference counts in test

We can't be sure about the reference count if the muxer is currently
running, which can happen in the test_reappearing_pad test. An
additional reference might temporarily be owned by the srcpad task of
tsmux while iterating over the pads.

codecs: h264picture: typo in GstH264PictureField enum

transcodebin: fix caps NULL unref

gst_pad_get_current_caps() can return a NULL pointer which was raisin a CRITICAL.

kmssink: fix memory leak on failing allowed caps

When drm does not find any format, the allowed_caps is
empty one and need to be unref by the caller.

Fix #1268

kmssink: Save last metadata at the same time as the last buffer

The render width/height and the vinfo was only saved upon renegotiation. This
fixes the problem by saving this metadata at the same time the buffer is
saved. The saved copy of this is needed for expose() and drain() virtual functions.
This fixes various assertion that happens on drain query.

tests: h265parse: Add unit test for conversion and sliced data

testing only byte-stream for now

tests: h264parse: unit tests for sliced data processing

h264parse: Remove unused arguments

h264parse: Don't push NALs before we have HEADERS

Otherwise we may endup pushing incomplete caps, which cause a renegotiation.
Note that this has the effect that caps are no longer pushed twice in presence
of valid framerate in the headers.

h265parse: Don't push NALs before we have HEADERS

Otherwise we may endup pushing incomplete caps. Note that this has the side
effect that caps are no longer pushed twice in presence of VUI with valid
framerate.

h265parse: Differentiate PREFIX SEI from SUFFIX

There is some code to fixup broken stream that uses the SEI location,
this code is meant to locate SUFFIX SEI only. This should prevent
unwanted side effect if SUFFIX SEI is used.

h265parse: Don't add latency when not needed

We no longer add latency when doing AU->AU, AU->NAL and NAL->NAL
parsing.

h265parse: Propagate MARKER flag

h265parse: Don't wait for next NAL if input is aligned

Waiting for the next NAL increases the latency. If alignment=nal/au
has been negotiated, assumes the the buffer contains a complete
NAL and don't expect a second start-code. This way, nal -> nal,
au -> au and au -> nal no longer introduce latency.

As a side effect, the collect_pad() function was not able to poke at the
following NAL. This call is now moved before processing the NAL, so
it's looking at the current NAL before it's ingested into the parser
state in order to dermin if the end of an AU has been reached. The AUD
injection state as been adapted to support this.

This change will break pipelines if alignment=nal is used without respecting the
alignment. Effectively, the parser will no longer fix the broken aligment
which will result in parser error and the termination of the pipeline. Such
issue existed in tsdemux element and might exist in any forks of that code.

Related to https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1193

h265parse: Set PTS/DTS and DISCONT on crafted NAL

When we inject a NAL in the bitstream before another one, make
sure to pass both DTS and PTS. Also make sure to transfer the
DISCONT flag properly.

h264parse: Don't add latency when not needed

We no longer add latency when doing AU->AU, AU->NAL and NAL->NAL
parsing.

h264parse: Propagate MARKER flag

h264parse: Don't wait for next NAL if input is aligned

Waiting for the next NAL increases the latency. If alignment=nal/au
has been negotiated, assumes that the buffer contains a complete
NAL and don't expect a second start-code. This way, nal -> nal,
au -> au and au -> nal no longer introduce latency.

As a side effect, the collect_pad() function was not able to poke at the
following NAL. This call is now moved before processing the NAL, so
it's looking at the current NAL before it's ingested into the parser
state in order to dermin if the end of an AU has been reached. The AUD
injection state as been adapted to support this.

This change will break pipelines if alignment=nal is used without respecting the
alignment. Effectively, the parser will no longer fix the broken aligment
which will result in parser error and the termination of the pipeline. Such
issue existed in tsdemux element and might exist in any forks of that code.

Related to https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1193

h264parse: Set PTS/DTS and DISCONT on crafted NAL

When we inject a NAL in the bitstream before another one, make
sure to pass both DTS and PTS. Also make sure to transfer the
DISCONT flag properly.

h264parse: Remove no-op assignment

upstream was set to *out_ts, setting *out_ts to upstream here will
have no effect.

mpegtsmux: Chain up pad dispose function to the one of the parent class

Otherwise we will leak various memory.

mpegtsmux: Properly release requests pads by chaining up to aggregators function

tsmux: Ability for streams to disappear and reappear

Until now, any streams in tsmux had to be present when the element
started its first buffer. Now they can appear at any point during the
stream, or even disappear and reappear later using the same PID.

srt: Accumulate total bytes sent/received over all connections/callers

So we don't lose them. Split gst_srt_object_open_internal for internal
reconnections that don't reset the accumulated bytes.

srt: Fix type of bytes-received-lost

The field is a uint64_t.

srt: Remove use of closures for signal emission

It seems overly complicated.

srt: Clean up locking

Use GST_OBJECT_LOCK (srtobject->element) to protect only the fields
involved in property access.

Introduce a new mutex srtobject->sock_lock to go with
srtobject->sock_cond and protect the list of callers from concurrent
access.

srt: Remove trailing whitespace

mpegtsdemux: Don't pretend doing NAL alignment

Per specification in 2.14.2 "For PES packetization, no specific data
alignment constraints apply". So we should not advertise NAL
alignment.

This bug was introduced at the same moment the alignment field was introduced
10 years ago. The plan was that alignment=none (or no alignment field) was to
be used for mpegtsdemux, but no one noticed the error. The reason is that at
the same moment, everything dealing with H264 started defaulting to AU
alignment.

https://bugzilla.gnome.org/show_bug.cgi?id=606662#c22

This patch will have a side effect that a parser is now needed after the
tsdemux element. The following pipeline will not negotiate anymore as the
mpegtsmux element requires alignment={nal,au}.

  ... ! tsdemux ! mpegtsmux ! ...

As a side effect, anyone that forked from tsdemux should updated their code to
fix this bug.

h264parse: Remove useless comparison

sei_pic_struct is unsigned and GST_H264_SEI_PIC_STRUCT_FRAME is zero.

CID: 1461467

h265parser: Fix some coverity issues

- Remove useless comparison
- Fix invalid memory access

CID: 1461477, 1461476, 1461475, 1461474, 1461279

wpe: Add support for SHM without requiring EGLDisplay

The previous version of the SHM export support still required a valid
EGLDisplay. The upcoming WPEBackend-FDO 1.8.x aims to remove this requirement,
hence allowing wpesrc to be used without GPU.

srtobject: fix mutex lock target

GstSRTObject is a structure that has an actual GstElement
which is extended to srt{src,sink}.

v4l2codecs: fix v4l2codecdevice get type

Currently the GType of v4l2codecdevice is hardcoded to zero, but it
rather should be delivered by the GType system.

gstmsdkdec: fix logical operation that misses parenthesis

in C, & is weaker than the ! operator and clang is giving the following
error about it.

```
../subprojects/gst-plugins-bad/sys/msdk/gstmsdkdec.c:731:7: error: logical not is only applied to the left hand side of this bitwise operator [-Werror,-Wlogical-not-parentheses]
  if (!gst_msdk_context_get_job_type (thiz->context) & GST_MSDK_JOB_DECODER) {
      ^                                              ~
../subprojects/gst-plugins-bad/sys/msdk/gstmsdkdec.c:731:7: note: add parentheses after the '!' to evaluate the bitwise operator first
  if (!gst_msdk_context_get_job_type (thiz->context) & GST_MSDK_JOB_DECODER) {
      ^
       (                                                                   )
../subprojects/gst-plugins-bad/sys/msdk/gstmsdkdec.c:731:7: note: add parentheses around left hand side expression to silence this warning
  if (!gst_msdk_context_get_job_type (thiz->context) & GST_MSDK_JOB_DECODER) {
      ^
      (                                             )
1 error generated.
```

codecs: Add minimal state validation

... to prevent requesting decoding before the preparation.
For instance, baseclass should not request decoding a picture if there
is no parsed valid headers, since subclass is most likely
not ready to decoding it.

h265parser: Add APIs to allow update VPS/SPS/PPS

gst_h265_parser_parse_{vps,sps,pps} APIs were used to parse VPS/SPS/PPS and
also in order to update parser's internal state at once. Meanwhile
gst_h265_parse_{vps,sps,pps} APIs are to parse VPS/SPS/PPS without state update.
This commit introduces new APIs so that only accepted VPS/SPS/PPS by user
can be updated to be used by parser.

h264parser: Add APIs to allow update SPS/PPS

gst_h264_parser_parse_{sps,pps} APIs were used to parse SPS/PPS and
also in order to update parser's internal state at once. Meanwhile
gst_h264_parse_{sps,pps} APIs are to parse SPS/PPS without state update.
This commit introduces new APIs so that only accepted SPS/PPS by user
can be updated to be used by parser.

meson: kmssink: Allow fallback only on linux

Otherwise fallback will waste meson configure time on non-linux

srtp: Added support for BYE packet

SRTCP can't get SSRC from BYE packet, this will make srtpdec element
to drop the package. Adding support to get the SSRC from BYE packets.

nvdec: Don't hardcode DPB size

Too many decode surface would waste GPU memory. Also it seems to be
introducing additional latency depending on stream. Since nvcodec
sdk version 9.0, CUVID parser API has been providing the minimum
required number of surface. By using it, we can save GPU memory
and reduce possible latency.

v4l2codecs: Fix FD leak during device enumeration

This was revealed by Coverity.

CID 1461248

dash: fix VARARGS coverity error

va_end was not called in every code path due to
g_return_val_if_fail.

API usage errors  (VARARGS)
va_end was not called for "myargs".

CID: 1461294

Meson: Change extra-checks to feature option and make it yielding

h264parse: Fix content light level value changes

Same as for H265, was found by Coverity.

h265parse: Fix content light level value changes

The comparision was not testing anything meaninful. This fixes the comparision
so we now update the caps whenever the value differ. This was detected by
coverity.

CID 1461291

rtmp2: Avoid a deadlock when getting stats

We need to do this without holding the lock as the `g_async_queue_pop`
waits on the loop thread to deliver the stats. The loop thread might
attempt to take the lock as well, leading to a deadlock.

Taking a reference to the connection should be enough to keep this
safe.

h264parse: Add support for inband timecode update

Add new property "update-timecode" to allow updating timecode
in picture timing SEI depending on timecode meta. Since the picture
timing SEI message requires proper VUI setting but we don't support
re-writing SPS, this might not work for some streams

h264parse: Don't unconditionally append timecode meta

If upstream buffer has its own timecode metatdata, don't append
new timecode meta into the buffer.

h264parser: Parse all SEI payload type even if it's not handled by parser

... so that user can handle it from outside of parser API

h264parser: Add support for creating picture timing SEI

This new method can make it possible to inject timecode meta into
h264 bitstream

tests: h264parser: Fix picture timing SEI

The payloadSize don't need to include rbsp_trailing_bits()

h264parser: Make GstH264PicTiming self-containing all the syntax information

... and store all parsed values.

We are storing pic_struct_present_flag although it's not part of
this SEI message but GstH264PicTiming includes it to clarify
following syntax values.
In addition to that, by adding CpbDpbDelaysPresentFlag, we don't need to
refer to VUI anymore.

h264parser: Fix some misleading debug messages

h264parser: Fix mismatched argument of declaration and definition

sdpdemux: don't send EOS for unknown SSRC

The rtpbin sends signals for all SSRCs. Don't send an EOS when the SSRC
does not match the stream SSRC.

This avoids problems when an SSRC from another receiver times out.

codecs: Add basic documentation stubs

v4l2decoder: Fix file descriptor leak

A copy paste error was leading to file descriptor leak. This was detected by
Coverity.

CID 1461285

fakevideosink: Allow allocation meta flags fine-tuning

In some scenarios the fakevideosink shouldn't advertize the overlay-composition
meta for instance, so that overlay elements perform subtitles blending
themselves.

mpegtspacketizer: be more tolerant when parsing the adaptation field

According to the specification, the adaptation field length must be 183 if
there is no payload data and < 183 if the packet contains an adaptation
field and payload data.

Unfortunately some payloaders always set the flag for payload data, even if
the adaptation field length is 183.

Don't return with an error in this case. Clear the payload data flag
instead and parse the adaptation field as usual. This avoids visual
artefacts for such streams.

codecs: h264: Fix DPB size calculation

As per specification in A.3.1 h) and A.3.2 f), the maximum size of the DPB is
16. Fix the maximum in the fine and fix the formula to use MIN instead of MAX
so that we no longer always use the maximum for the profile/level.

msdkvp9dec: add support for VP9 12bit

The output formats are P012_LE for 12bit 420 and Y412_LE for 12bit 444.

meson: build with neon 0.31

No API/ABI changes https://github.com/notroj/neon/blob/0.31.0/NEWS#L3

meson: Don't use get_option('buildtype')

We should directly check the values of the `debug` and `optimization`
options instead.

`get_option('buildtype')` will return `'custom'` for most combinations
of `-Doptimization` and `-Ddebug`, but those two will always be set
correctly if only `-Dbuildtype` is set. So we should look at those
options directly.

For the two-way mapping between `buildtype` and `optimization`
+ `debug`, see this table:
https://mesonbuild.com/Builtin-options.html#build-type-options

kms: add fallback on libdrm project if available.

msdkh265dec: add support for main-444-12, main-444-12-intra profiles

The video format is Y412_LE

msdk: map Y412_LE to VA_FOURCC_Y416

In media driver, VA_FOURCC_Y416 is used for packed 12 bits 4:4:4:4 YUV
format, the corresponding RT format is VA_RT_FORMAT_YUV442_12

msdk: map MFX_FOURCC_Y416 to VA_FOURCC_Y416

Y416 is used for packed 12 bits 4:4:4:4 YUV format in media driver, the
RT format is VA_RT_FORMAT_YUV444_12

msdk: map Y412_LE to MFX_FOURCC_Y416

MFX_FOURCC_Y416 is used for packed 12 bits 4:4:4:4 YUV format in
MediaSDK

msdkh265dec: add support for main-422-12, main-422-12-intra profiles

The video format is Y212_LE

msdk: map Y212_LE to VA_FOURCC_Y216

In media driver, VA_FOURCC_Y216 is used for packed 12 bits 4:2:2 YUV
format, the corresponding RT format is VA_RT_FORMAT_YUV422_12

msdk: map MFX_FOURCC_Y216 to VA_FOURCC_Y216

In media driver, Y216 is used for packed 12 bits 4:2:2 format YUV
format, so the RT format is VA_RT_FORMAT_YUV422_12.

msdk: map Y212_LE to MFX_FOURCC_Y216

MFX_FOURCC_Y216 is used for packed 12 bits 422 YUV format in MediaSDK

msdkh265enc: Fix for wrong parser free function

adaptivedemux: Handle instant rate change requests directly

Downstream demuxers will first send seek events upstream to us.
Do the right thing with instant rate change requests by handling them
immediately.

adaptivedemux: Don't ignore gst_segment_do_seek() return result

gst_segment_do_seek() can fail, so don't ignore the return result

tsdemux: Send instant-rate-change event if requested in the SEEK event

Convert instant-rate-change seek events into a downstream
instant-rate-change event and skip any further local seek handling.

msdkh264enc: Configure parser and SEI array only if it's required

msdkh265enc: Add support for CEA708 closed caption insertion

Functionally identical to that of msdkh264enc

h265parser: Add a helper method to create SEI nal unit

Add an API to create raw SEI nal unit. This would be useful in case
an user want to create SEI nal data and inject the SEI nal data
into bitstream.

srtpdec: reduce log level for replay cases

These are normal cases, so DEBUG level is enough.

srtpdec: do not warning old replay errors

Reordered packets producing decrypting errors are very normal,
so we should filter which errors are warning and which not.

srtpdec: fix reseting RTP sequence number on ROC changes

Each srtp_stream_t is tied to an specific SSRC, so a
roc_changed flag should be kept per each SSRC in order to
properly reset RTP sequence number on ROC changes.

d3d11: Update for video-hdr struct change

See the change of -base https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/594

nvh265enc: Update for video-hdr struct change

See the change of -base https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/594

x265enc: Update for video-hdr struct change

See the change of -base https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/594

h264parse,h265parse: Update for video-hdr struct change

See the change of -base https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/594

h265parse: Set duration on buffers base on framerate

h265parse: Derive src fps from vui_time_scale & vui_num_units_in_tick

h265parse: Handle interlaced video

For interlaced video:
* set the interlace mode in the src caps
* double the height from SPS in the caps.
* set field latency, instead of frame latency.

Fix #778

codecs: h264dpb: Don't leak pic_list GArray

The contents was cleared, but the array was never released.

v4l2codecs: Only build this plugin on Linux

This is not useful on any other OSs, it will also avoid potential build
failure as this code uses Linux specific calls.

v4l2codecs: Add plugin dependency

This ensure that the registry cache get updated when a meaningful change is
made in /dev for files named media*.