libs: surface: return fail immediately if can not create subpicture

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/331>

libs: subpicture: Make subpicture a standard GstMiniObject.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/331>

libs: decoder: h264: Add ref flags for splited field.

When split one frame into fields, the second field should also
copy the reference flags.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/333>

libs: decoder: h264: disallow multiple slice group

As far as we know there are no VAAPI drivers supporting FMO, which
migth be used in baseline streams.

This commit is a continuation of
https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/328

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/332>

vaapidecoder: h264: remove baseline as constrained property

From now on always the baseline is going to be treated as constrained without
need of setting a property.

Since the property was added along the development cycle (1.17 / commit
866a9f06) and never released, we assume that it is safe to remove it.

Fixes: #252
Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/328>

README: update VP9 decoder and encoder

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/330>

vaapiencoder_h264: set direct_spatial_mv_pred_flag to true by default

This flag is set to true by default in both MediaSDK and FFmpeg-vaapi,
so let's align this plugin with other libraries / softwares.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/329>

vaapivideobufferpool: fix meta overwrite

commit 7ac2a207 added a regression by erroneously assumed that
GstVaapiVideoMeta is actually a GstMeta, which is not.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/327>

vaapivideopool: Set pooled flag to added metas.

So this could hint filters how to use these metas.

Had to change the return value for texutre upload meta in order
to flag it.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/326>

libs: use array_unref() rather than array_free()

It is more convinience and thread-safe.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/325>

plugin: use register_type to replace get_type for encode init.

xxx_register_type will detect the template sink caps and is needed
to be called at init time.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

plugins: encode: Modify sink template of vp9 encode.

Use gst_vaapi_detect_codec_caps to get more precise template caps.
Also implement gst_vaapiencode_vp9_register_type, which should be
called at plugin register time.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

plugins: encode: Modify sink template of vp8 encode.

Use gst_vaapi_detect_codec_caps to get more precise template caps.
Also implement gst_vaapiencode_vp8_register_type, which should be
called at plugin register time.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

plugins: encode: Modify sink template of mpeg2 encode.

Use gst_vaapi_detect_codec_caps to get more precise template caps.
Also implement gst_vaapiencode_mpeg2_register_type, which should be
called at plugin register time.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

plugins: encode: Modify sink template of h265 encode.

Use gst_vaapi_detect_codec_caps to get more precise template caps.
Also implement gst_vaapiencode_h265_register_type, which should be
called at plugin register time.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

plugins: encode: Modify sink template of h264 encode.

Use gst_vaapi_detect_codec_caps to get more precise template caps.
Also implement gst_vaapiencode_h264_register_type, which should be
called at plugin register time.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

plugins: encode: Modify sink template of jpeg encode.

Use gst_vaapi_detect_codec_caps to get more precise template caps.
Also implement gst_vaapiencode_jpeg_register_type, which should be
called at plugin register time.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

plugin: encode: add a helper macro to register encode type.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

plugins: util: Add a helper function to detect supported caps.

This helper function iterate all profiles and entrypoints belong
to the specified codec, query the VAConfigAttribRTFormat and list
all possible video formats.
This function is used by each codec to get the template sink caps
(for encode) or src caps(for decode) at register time, when just
all possible formats are listed and no need to be very accurate.
So there is no context created for the performance reason. Most
codecs just use YUV kinds of formats as the input/output, so we do
not include RGB kinds of formats. User can specified more formats
in extra_fmts(For example, jpeg may need BGRA) if needed.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

plugin: encode: extract the allowed caps maker as a helper function.

Extract all logic about making caps for encode's sink as a standalone
helper function. It can be reused.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

libs: video-format: add a helper function of get_formats_by_chroma.

The function iterates all supported video formats and returns the
formats belong to the specified chroma type.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/315>

libs: texture: remove unused headers include

This is continuation of
https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/317

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/324>

libs: removed duplicated function declarations

Some headers had duplicated inlined function declaration. This was
for gtkdoc, but now GStreamer uses hotdoc and the internal library
documentation is not generated. So let's remove these extra lines.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/323>

libs: texture: Make texture a standard GstMiniObject.

We store GstVaapiTextureGLX and GstVaapiTextureEGL's private data in
the qdata of miniobject and avoid extending the base texture class.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/317>

Update README

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/320>

libs: display: drm: use g_strcmp0 to be null safe

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/321>

vaapipluginutil: Use GST_VAAPI_DISPLAY_TYPE_DRM for Mesa3D GBM

We may build this plugin with window system support but run it without
window system. Without this patch, the following pipeline will trigger a
segfault when running it without window system.

gst-launch-1.0 filesrc location=input.264 ! h264parse ! vaapih264dec ! fakesink

Part-of: <https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/-/merge_requests/319>

build: use join_paths() for driverdir

README: Update supported hardware

Added the AMD hardware list to the "Hardware Requirements" section.

libs: bufferproxy: remove GstMemory reference

Since bufferproxy and surface are not referenced circularly, there's
no need to keep, in the buffer proxy, a reference to the GstMemory
where it is held. This patch removes that handling.

libs,plugin: break surface-bufferproxy circular reference

The bufferproxy may reference the surface and the surface may also
reference the bufferproxy, producing a circular reference, which might
lead to serious resource leak problems.

Now make the relationship clearer, the bufferproxy's references is
transfered to surface, while bufferproxy just keeps the surface's
address without increasing its reference count.

The surface can be created through a bufferproxy like in
gst_vaapi_surface_new_with_dma_buf_handle(), and the surface might
get its bufferproxy via gst_vaapi_surface_get_dma_buf_handle(). In
both cases the surface holds a bufferproxy's reference.

libs: bufferproxy: rename parent memeber as surface

plugin: bufferpool: use hashmap to cache dmabuf mem-surface

The old way of refer memory by bufferproxy is not a good one, since it
make the logic error prone.

Now it is established a map between surface-bufferproxy and its GstMemory,
caching the memory bound by a surface looked for the specified surface.

plugin: bufferpool: Delete ACQUIRE_FLAG_NO_ALLOC flag.

Delete the GST_VAAPI_VIDEO_BUFFER_POOL_ACQUIRE_FLAG_NO_ALLOC flag.
In fact, no one is using that flag, and all vaapi buffers should
have GstVaapiVideoMeta.

vaapipostproc: enable HDR10 tone mapping

libs: filter: HDR10 tone mapping support

Add support for HDR10 tone mapping (since VA-API 1.4.0).

libs: encoder: h265: Support MAIN 4:4:4 10 profile.

Using Y410 as the input of the encoder can generate main_444_10 bit
streams.

libs: encoder: fix an inexact trace info in chroma type check.

libs: encoder: make sure format array is not NULL when returning TRUE

This fixed segfault when running the pipeline below with iHD driver
(commit efe5e9a) on ICL

gst-launch-1.0 videotestsrc ! vaapivp9enc tune=low-power ! vaapivp9dec ! \
fakesink

libs: extend g_autoptr support

vaapivideometa: remove compiler warning

build: Add meson's option package-origin.

This options is added to synchronize with other gstreamer packages
build configuration.

Though, to avoid breaking distro configuration it is set, as default,
the issues gitlab's url, instead of the used string
"Unkown package origin".

Also, set_quoted is used for string based cdata.

vaapipostproc: deprecate format, width and size parameters

Since they should only be controlled by caps negotiation.

libs,plugins: decoder: Add -intra profile support for hevc.

In hevc, we can consider the -intra profile a subset of the none
-intra profile. The -intra profiles just contain I frames and we
definitely can use the none -intra profiles's context to decode
them.

Signed-off-by: Víctor Manuel Jáquez Leal <vjaquez@igalia.com>

libs: encoder: h265: support ICQ/QVBR BRC

Enable support for ICQ and QVBR bitrate control.

The code is essentially the same for h264 ICQ/QVBR support
which was added in commit 9e0c133a2403.

libs: encoder: set VA HRD param before RC param

This is a workaround for intel-media-driver bug
https://github.com/intel/media-driver/issues/865

The driver will force the RC method to CBR for HEVCe
when it parses the HRD param.  Thus, any RC method
param submitted "prior" to the HRD param will be lost.
Therefore, VBR, ICQ and QVBR for HEVCe can't be
effectively enabled if the RC method param "precedes"
the HRD param.

To work around this issue, set the HRD param before
the RC method param so the driver will parse the RC
method param "after" the HRD param.

Afaict, other codecs in the driver (and other drivers)
do not appear to be dependent on the order of HRD and
RC param submission.

vaapijpegenc: Add a quantization quirk for iHD driver

iHD driver shifts the value by 50 when calculating quantization for JPEG
encoding, so we should add 50 in this plugin for iHD driver too.

libs: remove GstVaapiPixmap

GstVaapiPixmap is an abstract base class which only implementation
were GstVaapiPixmapX11. This class were used for a special type of
rendering in the tests apps, utterly unrelated in GStreamer.

Since gstreamer-vaapi is no longer a general-user wrapper for VA-API
we should remove this unused API.

This removal drops libxrender dependency.

libs: utils: Add HEVC Main444 sting in string_of_VAProfile

HEVCMain444_10 is already a supported profile and misses the strings.

plugin: don't error if cannot create display

This might generated errors on automatic tools such as CI. Let's
rather just raise a warning and let continue.

test: fix a ninja test failure for vaapioverlay.

That test case only works with drm display, so the build such as

meson -Dwith_x11=yes -Dwith_wayland=no -Dwith_drm=no -Dwith_egl=no
-Dwith_glx=no

gets a failure when run ninja test. Just enable this test when drm
is enabled.

libs: videopool: fix a condition race for pool allocate.

vaapivideobufferpool: force video meta if sizes are different

The strides and offsets could be the same, but the allocation
size might be different (e.g. alignment).  Thus, ensure we also
set the flag to copy from VA memory to system memory when alloc
size differs.

Fixes #243

vaapidecode: don't set base sink caps twice

Base class's sink pad caps are already set when calling set_format().
There's no need to call it again in gst_vaapidecode_negotiate().

vaapidecode: unlock stream if caps update fails

If caps update fail a dead lock occurs since the stream mutex is not
unlocked.

libs: decoder: h265: parser state after update dependent slice

If the dependent_slice_segment_flag is true, most slice info derived from last slice.
So we need check the slice type after we call populate_dependent_slice_hdr

libs: display: force RGBA image format for i965 driver

Since commit 32bf6f1e GLTextureUpload is broken because i965
doesn't report properly RGBA support. It could be possible to use RGBx
but GLTextureUpload only regotiates RGBA.

The simplest fix to this regression is adding synthetically the RGBA
format in the internal format map.

libs: display: iterate all quirks table

Instead of break at the fist foud quirk in the table, iterate all over
so it would be feasible to add several quirks for one driver per
element in array.

libs: filter: handle RGB to/from YUV color primary driver quirk

The intel-media-driver (iHD) can't convert output color
primaries when doing YUV to/from RGB CSC.  Thus, we must
keep the output color primaries the same as the input
color primaries for this case.

fixes #238

libs: display: add YUV to/from RGB color primary quirk

The intel-media-driver (iHD) can't convert output color
primaries when doing YUV to/from RGB CSC.

Revert "vaapivideomemory: Store surface allocation flags."

This reverts commit dd428cc4a12c2d5c694fcd3303811cf486002c9d because
it rewrites the buffer size whilst surface allocation flags are
stored when allocator_params_init() is called since fab890ce.

Fix: #239

vaapivideomemory: Try surface with allocation flags.

When a vaapi allocator is instantiated, it first try to generate a
surface with the specified configuration.

This patch adds, in this tried buffer, the requested allocation flags.

vaapivideomemory: Store surface allocation flags.

Store surface allocation flags passed to the vaapi allocator in
GObject's qdata, because it might be used by the vaapivideobufferpool
when recreating the allocator given any resolution change.

libs: surface: Add hints to allocation flags.

When creating surfaces it is possible to pass to VA hints of its usage,
so the driver may do some optimizations.

This commit adds the handling of encoding/decoding hints.

libs: surface: surfacepool: Add allocation flags in constructors.

build: let the build fail if none if X11, wayland or drm.

In fact, gst_vaapi_create_test_display only test x11, wayland and
drm, no glx and egl entries. So if none of them is enabled, no
vaapi element can be detected.

test: avoid unused warning for test-display

meson -Dwith_x11=yes -Dwith_wayland=no -Dwith_drm=no -Dwith_egl=no
-Dwith_glx=no buildir

generate unused warnings.

build: fix meson build error when without x11.

meson -Dwith_x11=no build_dir
can not success build the project because the glx is still enabled.
We need to disable GLX when X11 is disabled.

libs: h265enc: Set max_transform_hierarchy_depth_{inter, intra} to 2

Intel HW has limitation on max_transform_hierarchy_depth_inter and
max_transform_hierarchy_depth_intra (see [1]). We can provide a quirk for
other HWs if other HWs may support other values

[1] https://01.org/sites/default/files/documentation/intel-gfx-prm-osrc-kbl-vol10-hevc.pdf

vaapipostproc: do not compensate for crop/direction if no VPP

If we do not have functional VPP, then cropping and video
direction is non-functional and we should avoid calling
any of the gst_vaapi_filter* APIs.

vaapipostproc: only set VPP colorimetry when VPP is available

If we don't have functional vpp then we should not call
gst_vaapi_filter_set_colorimetry.

videobufferpool: don't reset surface when created internally

The bug fixing, in commit 89f202ea, just considers the case when
surface's DMABuf is set through gst_buffer_pool_acquire_buffer(),
which is typically a decoder's behavior. But vaapipostproc doesn't
provide any surface when calling gst_buffer_pool_acquire_buffer(),
thus a surface is created when GstMemory is allocated.

If the surface proxy in buffer's meta is reset at
buffer_pool_reset_buffer(), that surface will be destroyed and it
won't be available anymore. But GstBuffers are cached in the buffer
pool and they are reused again, hence only those images are rendered
repeatedly.

Fixes: #232

libs: blend: filter: handle finalize() if display isn't assigned

I've just discovered iHD driver in Skylake doesn't have VideoProc
entry point, hence, in this platform, when vaapioverlay is tried to be
registered, critical warnings are raised because blend doesn't have a
display assigned.

As it is possible to have drivers without EntryPointVideoProc it is
required to handle it gracefully. This patch does that: only tries to
register vaapioverlay if the testing display has VPP and finalize()
vmethods, in filter and blend, bail out if display is NULL.

libs: filter: guard all color properties to VA-API 1.2.0

Older VA-API (0.39.0) doesn't have VAProcColorProperties.

Thus, guard all colorimetry -> VA-API support to version
1.2.0.

Fixes #234

libs: decoder: h265: set parser info state at decoding codec data

Commit 1168d6d5 showed up a regression: decode_sps() stores the unit's
parser info in sps array. If that parser info comes from decoding
codec data, that parser info will have an undefined state which might
break ensure_sps().

This patch sets the parser info state, at decoding codec data, with
the internal parser state. This is similar with h264 decoder apprach.

Original-patch-by: Xu Guangxin <guangxin.xu@intel.com>

vaapipostproc: demote log message to trace level

libs: video-format: set general vaapi log category

Instead of logging in an unspecified category, set the default vaapi.

libs: utils: guard EncSliceLP for VA-API < 0.39.1

Relates to #234

libs: h265enc: Set VA_PICTURE_HEVC_INVALID flag for invalid picture

libs: remove crumbs of libva < 0.39

All these guarded code seem like leftovers of commit 920b1ec7a. This
patch completes that missing clean up.

libs: VA explicit color standard not supported until 1.2.0

VAProcColorStandardExplicit and associated VAProcColorProperties
(primaries, transfer and matrix) are not supported until
VA-API 1.2.0.

Use VAProcColorStandardNone instead of VAProcColorStandardExplicit
if VA-API < 1.2.0.

Fixes #231

libs: utils: WA: use explicit for sRGB colorimetry

Addresses #228 on iHD side.  It seems iHD can't handle
VAProcColorStandardSRGB in all situations for vpp.  But
it has no problem when we specify the sRGB parameters
via VAProcColorStandardExplicit parameters.

libs: filter: set vpp input/output color range

We've always sent VA_SOURCE_RANGE_UNKNOWN to the driver.
And, the [iHD] driver essentially computes the same color
range as gstreamer when we send VA_SOURCE_RANGE_UNKNOWN for
cases were gstreamer computes it automatically.  But,
if the user wants to make it explicit, we should try
to honor it.

libs: utils: map GstVideoColorRange to VAAPI VPP

vaapidecode: don't remove chroma-site nor colorimetry

Since now they can be handled by vaapipostproc.

vaapipostproc: use sink resolution to calculate src colorimetry

The default output colorimetry is persuaded by the output
resolution, which is too naive when doing VPP cropping
and/or scaling.  For example, scaling 4K(sink)->1080P(src)
resolution (i.e. both YUV) results in bt2020(sink)->bt709(src)
colorimetry selection and some drivers don't support that
mode in vpp.

Thus, if output (i.e. downstream) does not specify a
colorimetry then we use the input resolution instead of the
output resolution to create the default colorimetry.  Also,
note that we still use the output format since it may be a
different color space than the input.  As in the example
above, this will result in bt2020(sink)->bt2020(src)
colorimetry selection and all drivers (afaik) should support
that in vpp.

vaapipostproc: set srcpad colorimetry unconditionally

We always need a srcpad colorimetry for VAAPI VPP
operations.

Also, check the return value of _set_colorimetry.

vaapipostproc: do not override explicit srcpad colorimetry

If colorimetry has been set by a capsfilter (e.g.
vaapipostproc ! video/x-raw,colorimetry=bt709) then
don't try to override it.  Previously, the aforementioned
capsfilter will fail to negotiate if default colorimetry
is not the same as the capsfilter (e.g. 4K resolutions).

vaapipostproc: set vpp filter colorimetry

Set the input and output colorimetry for vpp filter.

libs: filter: support vpp input/output color standard

Add API function to allow setting the input and output vpp
color standard from GstVideoColorimetry.

libs: utils: map GstVideoColorimetry to VAAPI VPP

Fallback to VAProcColorStandardExplicit if there is no
1:1 mapping.

libs: display: add vpp color standard quirk for i965 driver

The i965 does not properly report supported vpp color
standards.

vaapivideobufferpool: dmabuf implies allocator

Some code can be optimized since only if the dmabuf allocator is set,
the internal flag of dmabuf is TRUE, thus there's no need to evaluate
the allocator address.

vaapivideobufferpool: reject configuration if allocator isn't vaapi

If the requested allocator in set_config() is not a VAAPI valid one,
reject the configuration, instead of lying and using a private one.

This patch superseeds !254 and !24

vaapivideobufferpool: add explanation for allocator reconfig

vaapivideobufferpool: check for vaapi meta first

If the configured meta doesn't request vaapi meta then it is not a
vaapi buffer pool. Bail out as soon as possible.

vaapivideobufferpool: turn errors into warnings

set_config() vmethod should fail gracefully, thus upstream could
negotiate another pool if possible.

Instead of sending error messages to the bus, let demote the level
to warning.

libs: display: log out vendor string when available

This is useful while asking for logs to know the used driver.

libs: surface: initialize VASurfaceAttribExternalBuffers

Initialize VASurfaceAttribExternalBuffers using compiler's syntax
rather than using memset().

libs: surface: merge two loops into one

Merge two loops into one for setting offsets and strides in the
external buffer descriptor.