vaapipostproc: handle size and direction together in src events

Mapping a pointer event needs to consider both size and
video-direction operations together, not just one or the other.

This fixes an issue where x,y were not being mapped correctly
for 90r, 90l, ur-ll and ul-lr video-direction. In these directions,
the WxH are swapped and GST_VAAPI_POSTPROC_FLAG_SIZE is set.  Thus,
the first condition in the pointer event handling was entered and
x,y scale factor were incorrectly computed due to srcpad WxH
swap.

This also fixes all cases where both video-direction and scaling
are enabled at the same time.

Test that all pointer events map appropriately:

for i in `seq 0 7`
do
 GST_DEBUG=vaapipostproc:5 gst-launch-1.0 -vf videotestsrc \
  ! vaapipostproc video-direction=${i} width=300 \
  ! vaapisink
 GST_DEBUG=vaapipostproc:5 gst-launch-1.0 -vf videotestsrc \
  ! vaapipostproc video-direction=${i} width=300 height=200 \
  ! vaapisink
 GST_DEBUG=vaapipostproc:5 gst-launch-1.0 -vf videotestsrc \
  ! vaapipostproc video-direction=${i} height=200 \
  ! vaapisink
 GST_DEBUG=vaapipostproc:5 gst-launch-1.0 -vf videotestsrc \
  ! vaapipostproc video-direction=${i} \
  ! vaapisink
done

vaapipostproc: advertise crop meta is handled

Advertise to upstream that vaapipostproc can handle
crop meta.

When used in conjunction with videocrop plugin, the
videocrop plugin will only do in-place transform on the
crop meta when vaapipostproc advertises the ability to
handle it.  This allows vaapipostproc to apply the crop
meta on the output buffer using vaapi acceleration.
Without this advertisement, the videocrop plugin will
crop the output buffer directly via software methods,
which is not what we desire.

vaapipostproc will not apply the crop meta if downstream
advertises crop meta handling; vaapipostproc will just
forward the crop meta to downstream.  If crop meta is
not advertised by downstream, then vaapipostproc will
apply the crop meta.

Examples:

1. vaapipostproc will forward crop meta to vaapisink
 gst-launch-1.0 videotestsrc \
  ! videocrop left=10 \
  ! vaapipostproc \
  ! vaapisink

2. vaapipostproc will do the cropping
 gst-launch-1.0 videotestsrc \
  ! videocrop left=10 \
  ! vaapipostproc \
  ! identity drop-allocation=1 \
  ! vaapisink

libs: encoder: clean two virtual func in encoder class

set_property and get_default_properties functions are no longer
needed for encoder class.

libs: encoder: delete old set_property and property enum feienc264

libs: encoder: delete old set_property and property enum in h264 fei

libs: encoder: delete old set_property and property enum in vp9

libs: encoder: delete old set_property and property enum in vp8

libs: encoder: delete old set_property and property enum in mpeg2

libs: encoder: delete old set_property and property enum in jpeg

libs: encoder: delete old set_property and property enum in h265

libs: encoder: delete old set_property and property enum in h264

libs: encoder: delete EncoderPropInfo related functions

libs: encoder: delete encoder_set_property

We no longer need this obsolete set_property function now after
switch to standard gobject's property manner.
Also delete the old encoder's property enum in the header file.

libs: encoder: delete properties_get_default for base class

plugin: encode: delete useless init_properties.

Also delete the get_properties function in encode class. We now
use g_object_class_list_properties to get all properties for
internal encoder class.

plugin: encode: delete set/get_property func in encode class

Use standard gobject's property functions to replace the old way.

plugin: encode: delete gst_vaapiencode_init_properties

No need to init the properties got by get_default_properties func
now. The properties are inited correctly in internal encoder class.

libs: encoder: delete 3 useless init macro

libs: encoder: delete get_default_properties of feienc

libs: encoder: delete get_default_properties of H264 Fei

libs: encoder: delete get_default_properties of VP9

libs: encoder: delete get_default_properties of VP8

libs: encoder: delete get_default_properties of MPEG2

libs: encoder: delete get_default_properties of JPEG

 libs: encoder: delete get_default_properties of H265

libs: encoder: delete get_default_properties of H264

libs: encoder: delete the useless constructed func for encoder.

libs: encoder: implement get_view_ids for h264 encoder.

gst: encode: enable new type of property mechanism.

gst: encode: add property help functions for encoder properties.

The encoder is a true gstobject now and all the properties are using
gobject's properties mechanism. Add help functions to handle the properties
between encode and encoder class.
The basic idea is mapping the same property between encoder and encode. All
the encoder's properties will have the same name, the same type in encode.
The set/get property function just forward the property setting/getting to
the encoder using the same property name and value. Because the encoder is
created on needed, we need to cache the property setting in encode.

libs: encoder: add flags to all encoder properties.

G_PARAM_CONSTRUCT make all properties init correctly, we do not
need to init the properties manually.
G_PARAM_FLAG_VAAPI_ENCODER_EXPOSURE is a vaapi encoder specific
flag, means need to expose the property to according encode class.

libs: encoder: Add properties for h264 encoder fei.

Install properties for h264 encoder fei class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for h264 fei encoder.

Install properties for h264 fei encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for vp9 encoder.

Install properties for vp9 encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for vp8 encoder.

Install properties for vp8 encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for mpeg2 encoder.

Install properties for mpeg2 encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for jpeg encoder.

Install properties for jpeg encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for h265 encoder.

Install properties for h265 encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for h264 encoder.

Install properties for h264 encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: add properties and prop help functions

Add all common properties to encoder base class. rate-control and
tune are moved to sub class.

libs: encoder: delete useless gst_vaapi_encoder_new func.

GstVaapiEncoder is a abstract gobject and never be created directly.

lib: encoder: gstobjectfy all vaapi encoders.

Replace all gstvaapiobject in vaapi encoders with standard gstobject.
Let the gstobject common logic to handle all the init and finalize
works. But the property install/set/get still use the old way, need
to be improved later.

vaapipostproc: check for filter before appending caps

While ensuring the allowed sink pad caps, the filter attributes set
the frame size restriction, but it is not ensured, at that moment,
that the filter is already instantiaded.

In order to silence the glib logs, this patch add only calls
gst_vaapi_filter_append_caps() if the filter is instantiated.

Classify vaapidecodebin as a hardware decoder

libs: postproc: fix a memory leak point.

filter_ops and filter_formats should already have valid value when
the function gst_vaapipostproc_ensure_filter_caps re-enter

libs: util: Fix a memory leak in config_surface_attributes_get

vaapidecode: support transform ROI meta

This will benefit the use case like:

src --->   encode    ---> decode ---> circle ROI ---> sink
     |                |
     --> analyse to -->
         get ROI

docstrings: port ulinks to markdown links

libs: remove context's overlay

The context overlay was an optimization to apply a video composition
to all the surfaces bound to a context.

But since commit 18031dc6 this optimization was disabled, so it is
better just get rid of it.

libs: remove surface's parent context

In commit 18031dc6 surface's parent context is not assigned because of
circular references. Since then (2013), there's has no issue with
subpictures attached to a context, the current only users of this API.

This patch cleans up all of related code with the unused surface's
parent context.

vaapidecode: guard if no structure is available in caps

vaapipostproc: append frame size restrictions in caps

libs: profilecaps: refactor common code

vaapiencode: set frame size restrictions in caps

Fixes: #12

vaapiencode: enhance how the profile is defined

This code doesn't define the profile used by the internal encoder, but
it used to "predict" which is going to be used and to get the caps
restrictions.

Before the profile was predicted by checking the donwstream caps, but
sometimes they are not defined, setting an unknown profile. In order
to enhances this situation, the encoder asks to internal encoder if it
has one. If so, it is used.

To ask the internal encoder's profile a new accessor function was
added: gst_vaapi_encoder_get_profile()

libs: profilecaps: defines gst_vaapi_profile_caps_append_encoder()

Previously it was just a boilerplate. Now it is real implementation.

libs: utils: treat va_rt_format as bitwise flag

The return value of vaGetConfigAttributes() of VAConfigAttribRTFormat
is a bitwise flag with *all* the supported chroma types.

Previously it was assumed that the return value was a single value,
thus when returning the GST_VAAPI_CHROMA_TYPE_XXX the code was a
simple case. But it is wrong.

This patch changes the case block with a sequence of ifs testing the
bitwise. For now we assume a "priority" list in the testing sequence.

libs: profile: add gst_vaapi_profile_get_va_name()

gst_vaapi_profile_get_name() returns a proper name for
GstCaps. Nonetheless, there are many profiles which don't have a name
representation for that realm.

gst_vaapi_profile_get_va_name() returns the name of the profile
according to its VAProfile name.

This new funtion is used in the encoder error message.

libs: profilecaps: move caps config into a new file

Implement all the appending of frame size restrictions in caps, for
encoders and decoders, in a new source file.

libs: decoder: ref the caps as property

libs: context: add gst_vaapi_context_get_surface_attributes()

This function copies the surface attributes from the context's object
to the caller.

libs: move memory types conversions to gstvaapiutils

And add more supported memory types by current VA.

libs: utils: remove unused function gst_vaapi_get_surface_formats()

libs: context, filter: use new surface attributes API

libs: utils: add gst_vaapi_config_surface_attributes_get()

To extract the surface restrictions per config using a new structure:
GstVaapiConfigSurfaceAttributes

Split the surface attribute retrieval

vaapipostproc: handle navigation downstream event

When navigation events contains coordiantes those have to be mapped
to the new size and/or orientation.

test-vaapisink: also use vaapipostproc to change orientation

vaapipostproc: handle image-orientation upstream event

Now that vaapipostproc can possible handle video-direction, it
should also handle the image-orientation event from upstream if
video-direction property is set to auto.

vaapipostproc: add missing locks when adding flags

vaapipostproc: update filter before fixate caps

It is requiered to know if postproc is capable to change the video
direction before fixating the source caps.

In order to do it, it'ss required to know if there's a functional VPP,
but that's checked at create() vmethod, which occurs after caps
fixating.

This patch checks for a functional VPP at fixate caps and, if so,
checks for the enabled filtes and later do the caps fixations.

vaapipostproc: element warning if video direction is unsupported

If the video direction is unsupported by the driver, an element
warning is posted in the bus to notify the application.

gst_vaapi_enum_type_get_nick() was added in the library thus it can
be used elsewhere. It retrives the nick from an enum gtype.

libs: filter: check mirror and rotation caps only once

This patch locks the display before querying the pipeline caps and
stores the mirror and rotation capabilities, thus they are not queried
every time the video direction is set.

libs: encoder: vp9: set VP9_0 profile as default

Commit 0afc8131 introduced a regression and only NV12 format were
admitted, failing in any other valid color format.

This patch sets the profile to GST_VAAPI_PROFILE_VP9_0 by default.

libs: filter: fail if first color balance value is invalid

libs: filter: set all color balance values

When set multiple settings of color balance like hue, saturation,
brightness and contrast for vaapipostproc, they should be set as
parameters of color balance filter, at the same color balance
filter calling.

Otherwise, multiple color balance filter calling will cause
previous setting get reset by the last calling with default value.

Fixes #182.

Signed-off-by: Yan Wang <yan.wang@linux.intel.com>

libs: h265dec: remove limitation of get iq matrix

According hevc spec, scaling_list_data is not related
to chroma_format_idc.

libs: videopool: fix undocumented behavior and counting

gst_vaapi_video_pool_reserve_unlocked() hit an undocumented behavoir
because it locks twice the same mutex.

Also, n had different meanings in the current code: as an increase
value and as a new total of allocated surfaces.

This patche removes the undocumented behavoir (usually a deadlock) and
fixes the meaning of n as the new total of allocated surfaces.

Signed-off-by: Víctor Manuel Jáquez Leal <vjaquez@igalia.com>

libs: utils: Add missing entries for string_of_VAEntrypoint.

libs: encoder: Consider vp9 profiles based on input format.

Only support GST_VAAPI_PROFILE_VP9_0 and GST_VAAPI_PROFILE_VP9_2 now.

Fix: #184

vaapivideomemory: demote error message to info

The main reason to demote the message's level is because it is not an
error, it's a possible output of the trial and there's a code path
that handles it.

Secondly, it's very annoying when using gallium driver for radeon.

libs: encoder: h264: support ICQ/QVBR bitrate control mode

ICQ is Intelligent Constant Quality. It will use the initial QP
vaule of icq-quality-factor to adjust QP at MB level intelligently
to improve subjective quality.

QVBR is Quality defined VBR. It will use qvbr-quality-factor to
adjust QP for each MB to get enough quality picture without waste
of bits.

libs: Let GST_VAAPI_RATECONTROL_MASK return unsigned int

The value return from GST_VAAPI_RATECONTROL_MASK will be used by
GST_VAAPI_POPCOUNT32 as its inpput. GST_VAAPI_POPCOUNT32 can only
deal with unsigned int. Otherwise there may be an error of out of
range of integer if we define few more rate-control mode.

vaapidecodebin: set queue's max size buffers to 1

Otherwise the queue will swallow all the available decoder's surfaces
reaching a dead-lock.

This setting might impact the bin's peformance, but it's a trade-off.

vaapidecodebin: set properties default values

vaapidecode: don't error if can't push buffers downtream

When the code path goes to push buffers downstream when no surface
available in decoder context, and it fails the code bails out with a
fatal error.

That behavior is wrong, since it shouldn't be fatal. The use case is
when the video stream is disabled.

This patch just ignores the errors in this situation and demotes the
level of a log message.

libs: encoder: h264,h265: add new property "max-qp"

Add new property "max-qp" to allow set the maximum quantisation
parameter values.

libs: encoder: vp9: add low power mode encode

By now, this feature only support by media-driver on Ice Lake
platform, more information you can reference:
https://github.com/intel/media-driver

vaapipostproc: update PAR when rotating

When rotating, swap pixel-aspect-ratio during
negotiation.

Fixes #181

vaapipostproc: add rotation support

Adds vpp rotation support to vaapipostproc.  Uses
property video-direction. Default is identity (no
rotation).

Closes #104

libs: encoder: h265: pass diff_cu_qp_delta_depth flag to driver

Intel media-driver requires enablement of diff_cu_qp_delta_depth when
cu_qp_delta_enabled_flag enabled.

Fixes: #177

libs: encoder: Add MB ratecontrol mode to get its string

libs: encoder: refine guard of bitrate control mode

Remove useless guard of all bitrate control mode's guard except MB
which is define in VA-API version 0.39.1.

h264: Update for parse_vui_params parameter removal.

Update calls to the h264 parser lib for removal of the
parse_vui_params parameter.

libs: dec: vp9: do not use display size as decoded size

If display size is smaller than current frame size, then the crop size
will be set as display size, which either crashes the pipeline or the
output MD5 does not match. Rather it should use the actual decoded size.

This patch removes the cropping set. For rendering we can use aspect
ratio to set display size.

Fixes #175

Signed-off-by: Wang Zhanjun <zhanjunx.wang@intel.com>
Signed-off-by: Xu Guangxin <guangxin.xu@intel.com>

Update README

libs: dec: h265: Consider chroma_bit_depth to choose chrome type

For some main-10 stream, sometime the luma is 8 bits while chrome is more
than 8 bits, which cause using the wrong NV12 surface as the render target
and decoding error.

Fix #176

vaapidecode: set initial decode format according surface chroma type

For surfaces with different chroma type, it is prefer to initialize
a format which chroma type should be same with surface chroma type
instead of using fixed NV12.

libs: decoder: jpeg: add support 400/411/422/444 chroma type

When create vaapi surface, it is better to use the chroma type get
from jpeg file instead of using fixed 420 format. And the correct
chroma type can be determined by horizontal_factor/vertical_factor
flags that get from jpegparse.

libs: dec: h265: Fix profile_idc mapping.

The old mapping values return by gst_vaapi_utils_h265_get_profile_idc is
wrong, though GST_H265_PROFILE_IDC_MAIN and GST_H265_PROFILE_IDC_MAIN_10
happened to be the correct value.

We only support Annex A profile_idc (1-4).