vaapipostproc: check for filter before appending caps

While ensuring the allowed sink pad caps, the filter attributes set
the frame size restriction, but it is not ensured, at that moment,
that the filter is already instantiaded.

In order to silence the glib logs, this patch add only calls
gst_vaapi_filter_append_caps() if the filter is instantiated.

Classify vaapidecodebin as a hardware decoder

libs: postproc: fix a memory leak point.

filter_ops and filter_formats should already have valid value when
the function gst_vaapipostproc_ensure_filter_caps re-enter

libs: util: Fix a memory leak in config_surface_attributes_get

vaapidecode: support transform ROI meta

This will benefit the use case like:

src --->   encode    ---> decode ---> circle ROI ---> sink
     |                |
     --> analyse to -->
         get ROI

docstrings: port ulinks to markdown links

libs: remove context's overlay

The context overlay was an optimization to apply a video composition
to all the surfaces bound to a context.

But since commit 18031dc6 this optimization was disabled, so it is
better just get rid of it.

libs: remove surface's parent context

In commit 18031dc6 surface's parent context is not assigned because of
circular references. Since then (2013), there's has no issue with
subpictures attached to a context, the current only users of this API.

This patch cleans up all of related code with the unused surface's
parent context.

vaapidecode: guard if no structure is available in caps

vaapipostproc: append frame size restrictions in caps

libs: profilecaps: refactor common code

vaapiencode: set frame size restrictions in caps

Fixes: #12

vaapiencode: enhance how the profile is defined

This code doesn't define the profile used by the internal encoder, but
it used to "predict" which is going to be used and to get the caps
restrictions.

Before the profile was predicted by checking the donwstream caps, but
sometimes they are not defined, setting an unknown profile. In order
to enhances this situation, the encoder asks to internal encoder if it
has one. If so, it is used.

To ask the internal encoder's profile a new accessor function was
added: gst_vaapi_encoder_get_profile()

libs: profilecaps: defines gst_vaapi_profile_caps_append_encoder()

Previously it was just a boilerplate. Now it is real implementation.

libs: utils: treat va_rt_format as bitwise flag

The return value of vaGetConfigAttributes() of VAConfigAttribRTFormat
is a bitwise flag with *all* the supported chroma types.

Previously it was assumed that the return value was a single value,
thus when returning the GST_VAAPI_CHROMA_TYPE_XXX the code was a
simple case. But it is wrong.

This patch changes the case block with a sequence of ifs testing the
bitwise. For now we assume a "priority" list in the testing sequence.

libs: profile: add gst_vaapi_profile_get_va_name()

gst_vaapi_profile_get_name() returns a proper name for
GstCaps. Nonetheless, there are many profiles which don't have a name
representation for that realm.

gst_vaapi_profile_get_va_name() returns the name of the profile
according to its VAProfile name.

This new funtion is used in the encoder error message.

libs: profilecaps: move caps config into a new file

Implement all the appending of frame size restrictions in caps, for
encoders and decoders, in a new source file.

libs: decoder: ref the caps as property

libs: context: add gst_vaapi_context_get_surface_attributes()

This function copies the surface attributes from the context's object
to the caller.

libs: move memory types conversions to gstvaapiutils

And add more supported memory types by current VA.

libs: utils: remove unused function gst_vaapi_get_surface_formats()

libs: context, filter: use new surface attributes API

libs: utils: add gst_vaapi_config_surface_attributes_get()

To extract the surface restrictions per config using a new structure:
GstVaapiConfigSurfaceAttributes

Split the surface attribute retrieval

vaapipostproc: handle navigation downstream event

When navigation events contains coordiantes those have to be mapped
to the new size and/or orientation.

test-vaapisink: also use vaapipostproc to change orientation

vaapipostproc: handle image-orientation upstream event

Now that vaapipostproc can possible handle video-direction, it
should also handle the image-orientation event from upstream if
video-direction property is set to auto.

vaapipostproc: add missing locks when adding flags

vaapipostproc: update filter before fixate caps

It is requiered to know if postproc is capable to change the video
direction before fixating the source caps.

In order to do it, it'ss required to know if there's a functional VPP,
but that's checked at create() vmethod, which occurs after caps
fixating.

This patch checks for a functional VPP at fixate caps and, if so,
checks for the enabled filtes and later do the caps fixations.

vaapipostproc: element warning if video direction is unsupported

If the video direction is unsupported by the driver, an element
warning is posted in the bus to notify the application.

gst_vaapi_enum_type_get_nick() was added in the library thus it can
be used elsewhere. It retrives the nick from an enum gtype.

libs: filter: check mirror and rotation caps only once

This patch locks the display before querying the pipeline caps and
stores the mirror and rotation capabilities, thus they are not queried
every time the video direction is set.

libs: encoder: vp9: set VP9_0 profile as default

Commit 0afc8131 introduced a regression and only NV12 format were
admitted, failing in any other valid color format.

This patch sets the profile to GST_VAAPI_PROFILE_VP9_0 by default.

libs: filter: fail if first color balance value is invalid

libs: filter: set all color balance values

When set multiple settings of color balance like hue, saturation,
brightness and contrast for vaapipostproc, they should be set as
parameters of color balance filter, at the same color balance
filter calling.

Otherwise, multiple color balance filter calling will cause
previous setting get reset by the last calling with default value.

Fixes #182.

Signed-off-by: Yan Wang <yan.wang@linux.intel.com>

libs: h265dec: remove limitation of get iq matrix

According hevc spec, scaling_list_data is not related
to chroma_format_idc.

libs: videopool: fix undocumented behavior and counting

gst_vaapi_video_pool_reserve_unlocked() hit an undocumented behavoir
because it locks twice the same mutex.

Also, n had different meanings in the current code: as an increase
value and as a new total of allocated surfaces.

This patche removes the undocumented behavoir (usually a deadlock) and
fixes the meaning of n as the new total of allocated surfaces.

Signed-off-by: Víctor Manuel Jáquez Leal <vjaquez@igalia.com>

libs: utils: Add missing entries for string_of_VAEntrypoint.

libs: encoder: Consider vp9 profiles based on input format.

Only support GST_VAAPI_PROFILE_VP9_0 and GST_VAAPI_PROFILE_VP9_2 now.

Fix: #184

vaapivideomemory: demote error message to info

The main reason to demote the message's level is because it is not an
error, it's a possible output of the trial and there's a code path
that handles it.

Secondly, it's very annoying when using gallium driver for radeon.

libs: encoder: h264: support ICQ/QVBR bitrate control mode

ICQ is Intelligent Constant Quality. It will use the initial QP
vaule of icq-quality-factor to adjust QP at MB level intelligently
to improve subjective quality.

QVBR is Quality defined VBR. It will use qvbr-quality-factor to
adjust QP for each MB to get enough quality picture without waste
of bits.

libs: Let GST_VAAPI_RATECONTROL_MASK return unsigned int

The value return from GST_VAAPI_RATECONTROL_MASK will be used by
GST_VAAPI_POPCOUNT32 as its inpput. GST_VAAPI_POPCOUNT32 can only
deal with unsigned int. Otherwise there may be an error of out of
range of integer if we define few more rate-control mode.

vaapidecodebin: set queue's max size buffers to 1

Otherwise the queue will swallow all the available decoder's surfaces
reaching a dead-lock.

This setting might impact the bin's peformance, but it's a trade-off.

vaapidecodebin: set properties default values

vaapidecode: don't error if can't push buffers downtream

When the code path goes to push buffers downstream when no surface
available in decoder context, and it fails the code bails out with a
fatal error.

That behavior is wrong, since it shouldn't be fatal. The use case is
when the video stream is disabled.

This patch just ignores the errors in this situation and demotes the
level of a log message.

libs: encoder: h264,h265: add new property "max-qp"

Add new property "max-qp" to allow set the maximum quantisation
parameter values.

libs: encoder: vp9: add low power mode encode

By now, this feature only support by media-driver on Ice Lake
platform, more information you can reference:
https://github.com/intel/media-driver

vaapipostproc: update PAR when rotating

When rotating, swap pixel-aspect-ratio during
negotiation.

Fixes #181

vaapipostproc: add rotation support

Adds vpp rotation support to vaapipostproc.  Uses
property video-direction. Default is identity (no
rotation).

Closes #104

libs: encoder: h265: pass diff_cu_qp_delta_depth flag to driver

Intel media-driver requires enablement of diff_cu_qp_delta_depth when
cu_qp_delta_enabled_flag enabled.

Fixes: #177

libs: encoder: Add MB ratecontrol mode to get its string

libs: encoder: refine guard of bitrate control mode

Remove useless guard of all bitrate control mode's guard except MB
which is define in VA-API version 0.39.1.

h264: Update for parse_vui_params parameter removal.

Update calls to the h264 parser lib for removal of the
parse_vui_params parameter.

libs: dec: vp9: do not use display size as decoded size

If display size is smaller than current frame size, then the crop size
will be set as display size, which either crashes the pipeline or the
output MD5 does not match. Rather it should use the actual decoded size.

This patch removes the cropping set. For rendering we can use aspect
ratio to set display size.

Fixes #175

Signed-off-by: Wang Zhanjun <zhanjunx.wang@intel.com>
Signed-off-by: Xu Guangxin <guangxin.xu@intel.com>

Update README

libs: dec: h265: Consider chroma_bit_depth to choose chrome type

For some main-10 stream, sometime the luma is 8 bits while chrome is more
than 8 bits, which cause using the wrong NV12 surface as the render target
and decoding error.

Fix #176

vaapidecode: set initial decode format according surface chroma type

For surfaces with different chroma type, it is prefer to initialize
a format which chroma type should be same with surface chroma type
instead of using fixed NV12.

libs: decoder: jpeg: add support 400/411/422/444 chroma type

When create vaapi surface, it is better to use the chroma type get
from jpeg file instead of using fixed 420 format. And the correct
chroma type can be determined by horizontal_factor/vertical_factor
flags that get from jpegparse.

libs: dec: h265: Fix profile_idc mapping.

The old mapping values return by gst_vaapi_utils_h265_get_profile_idc is
wrong, though GST_H265_PROFILE_IDC_MAIN and GST_H265_PROFILE_IDC_MAIN_10
happened to be the correct value.

We only support Annex A profile_idc (1-4).

plugins: remove last negotiated video info if caps are same

If the allocation caps and negotiated caps are the same,
then ensure any previously negotiated video info is also
removed.  This can occur when multi-resolution video
decoding returns to it's original resolution.

Fixes #170

vaapivideomemory: allow negotiated info to be removed

Allow NULL negotiated_vinfo to be passed into
gst_allocator_set_vaapi_negotiated_video_info to allow
any previously set info to be removed.

libs: encoder: vp8,vp9: reset frame_counter when input frame's format changes

When input frame's formate changes, vp{8,9} encoders don't reset their frame
counter, hence the newly created frame could become a P-frame, leading to some
major troubles (sigabrt in libdrm in case of vp9). This patch adds some frame
prediction-related reset logic to the `flush' methods of GstVaapiEncoderVP8 and
GstVaapiEncoderVP9 implementations.

libs: encoder: increase bitrate prop max value

There are many profile levels that can support
more than 102400 kbps.  Thus, increase the max
allowed bitrate property value from 102400 kbps
to 2048000 kbps (same as msdk encoder plugins).

libs: mpeg2 encoder: No packed header for SPS and PPS

Dislable passing down packed PPS and PPS to driver if driver does
not want it.

Fix: #168

meson: Bump minimal GLib version to 2.44

This means we can use some newer features and get rid of some
boilerplate code using the G_DECLARE_* macros.

As discussed on IRC, 2.44 is old enough by now to start depending on it.

libs: dec: vp9: clear parser pointer after release

Fix an use-after-release of the parser pointer in VP9 decoder.

vaapiencode: Fixes deadlock in gst_vaapiencode_change_state function

This fixes a deadlock in gst_vaapiencode_change_state, which was due to
srcpad's chain function was locked waiting for available buffers. Since the
coded buffers in codedbuf_queue become available after sinkpad consume the
encoded frames, Paused -> Ready state change leads to deadlock. Coded buffers
are never consumed and marked free, hence gst_vaapiencode_handle_frame waits for
available buffers and holds the stream_lock of the srcpad.

doc: remove xml from comments

vaapipostproc: add mirror support

Adds vpp mirroring support to vaapipostproc.  Use
property video-direction.  Valid values are identity,
horiz or vert.  Default is identity (no mirror).

Closes #89

v2: Use GstVideoOrientationMethod enum
v3: Don't warn for VA_MIRROR_NONE.
    Use GST_TYPE_VIDEO_ORIENTATION_METHOD type.
v4: Query VAAPI caps when setting mirror value
    instead of during per-frame processing.
v5: Return TRUE in warning cases when setting mirror value.

doc: fix some incorrect gtk-doc links

docs: Update plugin cache

Fixes https://gitlab.freedesktop.org/gstreamer/gst-docs/issues/36

libs: surface: fix documentation format

libs: enc: h265: reset num_ref_idx_l1_active_minus1 when low delay B.

When enable low delay B, the reference list 1 will be same with
reference list 0, so need reset the num_ref_idx_l1_active_minus1
to num_ref_idx_l0_active_minus1.

Fixes: #160

meson: Fix call to wrong function

docs: Port to hotdoc

libs: encoder: not call ensure_num_slices inside g_assert

g_assert will take no effect when glib's G_DISABLE_ASSERT macro is
defined. The function inside the g_assert will take no effect and
we will fail to set the correct slice number.

libs: h265: dec: Add extension flags setting.

Use VAPictureParameterBufferHEVCExtension&
VASliceParameterBufferHEVCExtension to pass extension setting from
some extension profile clips which may include these information.
The hevc extension setting only supported after libva release 2.2.0
(API 1.2.0).

libs: encoder: add target-percentage property

Allow users to set the target-percentage for
variable rate controls.  The default value is
70 (as hard-coded prior).

v2: minimum allowed value changed from 0 to 1
v3: target-percentage unchanged if CBR used

Resolves #129

libs: encoder: Add a missing comment for DEFAULT_ROI_VALUE property.

libs: encoder: Enable trellis quantization method.

The advanced trellis algorithm is supported in VA driver. We add
its support as a property named "trellis" of encoder.
It only works for H264 now, should be more in future.

libs: decoder: vp9: support 422/444 8bit/10bit chroma type.

According to the vp9 sepc, profile 1/3 support 422/440/444 chroma
type, so we need to add subsampling_x&subsampling_y to fix it.

Here is the relationship between chroma type and profile and
subsampling_x&subsampling_y according to vp9 spec:
------------------------------------------
Profile | Bit depth | Chroma subsampling |
------------------------------------------
 0      | 8         | 420                |
------------------------------------------
 1      | 8         | 422,440,444        |
------------------------------------------
 2      | 10, 12    | 420                |
------------------------------------------
 3      | 10, 12    | 422,440,444        |
------------------------------------------

-----------------------------------------------
Subsampling_x | Subsampling_y | Chroma format |
-----------------------------------------------
 0            | 0             | 444           |
-----------------------------------------------
 0            | 1             | 440           |
-----------------------------------------------
 1            | 0             | 422           |
-----------------------------------------------
 1            | 1             | 420           |
-----------------------------------------------

libs: Add packed 24 RGB format support.

Can not find a suitable chrome_type for this GST_VIDEO_FORMAT_RGB
packed 24 format. Just use GST_VAAPI_CHROMA_TYPE_RGB32 as its chrome
type. This kind of surface will just be created by new API with fourcc
and no old style chrome based creation is available.

fixes: #151

vaapiencode: handle DMABuf caps feature in sink pad

Add DMABuff caps features in all encoders' sink pad.

libs: encoder: continue if roi meta is NULL

Coverity scan bug:

If the function actually returns a null value, a null pointer
dereference will occur.

In gst_vaapi_encoder_ensure_param_roi_regions(): Return value of
function which returns null is dereferenced without checking

lib: decoder: vp9: Set chroma_type by VP9 bit_depth

The decoder's surface chroma type should depend on the bit depth
of VP9's parser. For 10bits VP9 stream, we need to use P10LE kind
10 bits surface as the decoder result.

Fixes #155

vaapipostproc: don't do any color conversion when GL_TEXTURE_UPLOAD

https://bugzilla.gnome.org/show_bug.cgi?id=748184 has resurrected
with commit 3e992d8a

Since gst_vaapi_find_preferred_caps_feature() returns a color format
from caps negotiation, different from the default one (NV12), the
postproc enables the color transformation. But when GL_TEXTURE_UPLOAD
feature is negotiated, no color transformation shall be done.

Nonetheless, with commit 3e992d8a the requested format changes
firstly, because there's no video sink yet, so ANY caps are
negotiated; but later, when there's a video sink and a caps
renegotiation, the GL_TEXTURE_UPLOAD is negotiated though the color
format conversion still ongoing. It is required to reset that
conversion.

This patch force default color format when GL_TEXTURE_UPLOAD is
selected as preferred, thus avoiding the color conversion.

Fixes: #157

libs: surface: fix double free when dmabuf export fails

Happens if vaAcquireBufferHandle fails.

libs: h264encoder: fix a typo of GstVaapiEncoderH264PredictionType

Back to development

Release 1.16.0

Update docs

libs: encoder: h264,h265: guard VA version for max_qp property

This patch fixes a regression from commit 5b1fe9c6.

max_qp, in rate control configuration, appeared in libva release
2.1 (API 1.1), thus it is required to guard the VA API version.

Fixes: #150

libs: Add RGB565 image format support.

build: configure: delay USE_GTK conditional until check libva-x11

libva-x11 is used for X11 applications, so it is required to build
any GTK application.

Later, when Wayland test is added, we should change this.

build: configure: disable GLX if libva-x11 is not found

libs: utils: avoid macro evaluation when stringify

string_of_va_chroma_format() gets a wrong string format description.
For example, the YUV420_10BPP get a string of 0x00000100 as output.

It's because VA_RT_FORMAT_xxx values are macro definitions. And
STRINGIFY(VA_RT_FORMAT_xxx) will expand to its real value
0x00000XXX.

To avoid the macro evaluation, it is changed to show only the color
format without VA_RT_FORMAT_ prefix.

libs: utils: use glib's macros

Don't reinvent the wheel.

plugins: find the preferred format from right caps.

When the downstream has any caps, then raw video feature will
be used. At this situation, the preferred format should be chose
from caps which contains "vide/x-raw" feature instead of from
the fist allowed caps.

Fixes #142

libs: encoder: h265: fill tier in va seq param buf

Now that tier is calculated in commit 58e74f9440fe (!68),
ensure we fill in the general_tier_flag in the
VAEncSequenceParameterBufferHEVC.

Release 1.15.90

Update docs