tests: check: initial unit test support

Add minimal unit test toolchain files and a simple
vaapipostproc unit test.

tests: move examples and tests to subfolders

This makes way for adding unit (check) tests.

Remove autotools build

vaapipostproc: fix off-by-one coord translations

When translating navigation x,y coordinates for
video-direction, it is necessary to subtract 1
when using the video dimensions to compute the
new x,y coordinates.  That is, a 100x200 image
should map coordinates in x=[0-99],y=[0-199].

This issue was found with unit tests provided
in !182.

libs: window: x11: Avoid usage of deprecated API

build: halt meson configuration if no renderer API

We should halt meson configuration if there is no render API
installed (either DRM, Wayland or X11).

That behavior was already in autotools but missed in meson. This patch
brings it back.

Fixes: #196

libs: filter: fix default orientation regression

Fix regression introduced in f232f87f7082

libs: filter: use OP_DATA_DEFAULT_VALUE macro

libs: filter: use macro for returning op default value

The code is essentially the same for getting all op default
values.  Thus, use a macro to help minimize code duplication
and [hopefully] encourage using the same mechanism for all
default getters.

libs: filter: query param spec for default scale method

Related: #159

libs: filter: query param spec for default skin-tone values

Related: #159

libs: filter: query param spec for default video-direction

Related: #159

add .gitignore

vaapipostproc: Use level value for skin-tone-enhancement filter.

Currently the parameter of skin-tone-enhancement filter is forced
to zero. In fact it could be set different value by the user.
So create a new property named as "skin-tone-enhancement-level"
for accepting the used defined parameter value.
At the same time, skin-tone-enhancement is marked as deprecated.
When skin-tone-enhancement-level is set, skin-tone-enhancement
will be ignored.

libs: decoder: h264, h266: fix g_return_val_if_fail() missuse

g_return_val_fail() documentations says:

  If expr evaluates to FALSE, the current function should be
  considered to have undefined behaviour (a programmer error).
  The only correct solution to such an error is to change the
  module that is calling the current function, so that it avoids
  this incorrect call.

So it was missused in a couple parts of the H264 and H265 internal
decoders. This patch changes that to plain conditionals.

Also, it was included a couple code-style fixes.

libs: encoder: remove gst_vaapi_encoder_{ref,unref}()

Since GstVaapiEncoder is a descendant of of GstObject, there is no
need to keep a custom ref()/unref() methods. This patch deletes them.

libs: encoder: correct encoder's ref/unref function.

GstVaapiEncoder now is a standard gstobject and need to use
gst_object_ref/unref functions.

gst: encode: h264_fei: remove useless comparison

The expression "len >= 0" is always true since "len"
is an unsigned type.  And it is clear that the writers
intention was not to write "len > 0" since we handle
len == 0 in the ensuing "if (len < 3)" conditional
block.

libs: encoder: h264_fei: fix potential overflow before widen

Found by static analysis. encoder->mb_width * encoder->mb_height
is evaluated using 32-bit arithmetic before widen.  Thus, cast
at least one of these to guint64 to avoid overflow.

libs: encoder: h264_fei: remove dead error condition

Found by static analysis.  The feipak is always null
when we reach the error target.

libs: utils: add missing break in switch

libs: video-format: Make all YUV format available

The YUV formats have no ambiguity for drivers, so we can add them all.
Some old driver(i965) does not implement full get/put image functions
but can use derive image funtions for the YUV format. It does not
report that kind of formats correctly in image query, but will derive
that YUV format image from surface. The dynamic mapping of YUV format
will block that manner.
Adding more YUV format mapping has no side effect. So considering the
legacy driver conformance, we add all YUV formats mapping statically
and dynamic mapping RBG formats

Fix: #189
Fix: #190

egl: Fix racyness in display thread creation

Multiple different scenarios could break the display thread creation and
end up blocking waiting for thread o be created.  Fix them all by
correctly waiting for a new boolean to become valid.

egl: don't advertise a wrapped EGLContext as actually wrapped

It's not actually wrapped as we create a new EGLContext from the passed
in EGLContext.  As a result, the created EGLContext was never destroyed.

libs: h264decoder: do not return error for unhandled NAL unit.

Some streams have error data introducing unknown NAL type. There are
also kinds of NAL types we do not want to handle. The old manner will
set a decoder error when encounter this, which cause a latent crash bug.
The decoder may successfully decode the picture and insert it into DPB.
But there are error NAL units after the AU which cause the post unit error
and make that frame dropped. The later output of the picture still want
to ref that frame and crash.
No need to set decoder error when can not recognize or handle the NAL
unit, just skip it and continue.

Fix: #191

libs: encoders: use GST_PARAM_USER_SHIFT to define internal params

This patch makes use of GST_PARAM_USER_SHIFT to define the internal
param in encoders to decide which parameters to expose. Thus
gstreamer-vaapi will not interfere with any change in GStreamer in the
future.

Also, the internal symbol was change to
GST_VAAPI_PARAM_ENCODER_EXPOSURE to keep the namespacing.

libs: Add BGR10A2_LE support for color space conversion.

Fix: #179

libs: surface: add pointer check for surface_new_from_formats.

The command line:
  gst-launch-1.0 filesrc location=some_name.mjpeg ! jpegparse !
  vaapijpegdec !  videoconvert ! video/x-raw,format=I420 ! vaapisink
will crash on i965 driver because of no pointer check.

We now generate the video format map between GST format and VA format
dynamically based on the image format returned by vaQueryImageFormats.
i965 driver does to report image format of 444P and Y800 forcc, while
the jpeg decoder context VASurfaceAttribPixelFormat use them. We can
not recognize these format and pass a NULL pointer to
gst_vaapi_surface_new_from_formats.
We need to add a pointer check here and let the fallback logic handle
this case correctly.
Other drivers work well.

libs: utils: guard the VAEntrypointFEI symbol

VAEntrypointFEI appeared in libva 2.0.0 (API version 1.0.0)

libs: video-format: Refine the video format mapping.

Improve the mapping between va format and gst format. The new map
will be generated dynamically, based on the query result of image
format in VA driver. Also consider the ambiguity of RGB color
format in LSB mode.

pluginutil: Remove Mesa from drivers white list

The Mesa Gallium driver is poorly tested currently, leading to bad user
experience for AMD users. The driver can be added back to the white list at
runtime using the GST_VAAPI_ALL_DRIVERS environment variable.

vaapipostproc: allow cropping via properties

Add crop-left, crop-right, crop-top and crop-bottom
properties to vaapipostproc.

vaapipostproc: rotate outbuf and crop meta if forwarding

When forwarding crop meta to downstream, the output
buffer and crop meta need to be rotated, too.

Test:
 for i in 90r 180 90l vert horiz ul-lr ur-ll
 do
  gst-launch-1.0 -vf videotestsrc num-buffers=500 \
   ! videocrop top=100 bottom=30 left=40 right=20 \
   ! vaapipostproc video-direction=$i \
   ! vaapisink & \
  gst-launch-1.0 -vf videotestsrc num-buffers=500 \
   ! videocrop top=100 bottom=30 left=40 right=20 \
   ! vaapipostproc video-direction=$i \
   ! identity drop-allocation=true \
   ! vaapisink
 done

vaapipostproc: fix output buffer WxH for crop meta forwarding

Adding crop meta x,y to w,h only compensates for left,top
cropping.  But we also need to compensate for right,bottom
cropping.

The video meta contains the appropriate w,h (uncropped)
values, so use it instead.

Test:

 gst-launch-1.0 -vf videotestsrc num-buffers=500 \
  ! videocrop top=50 bottom=30 left=40 right=20 \
  ! vaapipostproc ! vaapisink & \
 gst-launch-1.0 -vf videotestsrc num-buffers=500 \
  ! videocrop top=50 bottom=30 left=40 right=20 \
  ! vaapipostproc ! identity drop-allocation=1 \
  ! vaapisink

vaapipostproc: handle size and direction together in src events

Mapping a pointer event needs to consider both size and
video-direction operations together, not just one or the other.

This fixes an issue where x,y were not being mapped correctly
for 90r, 90l, ur-ll and ul-lr video-direction. In these directions,
the WxH are swapped and GST_VAAPI_POSTPROC_FLAG_SIZE is set.  Thus,
the first condition in the pointer event handling was entered and
x,y scale factor were incorrectly computed due to srcpad WxH
swap.

This also fixes all cases where both video-direction and scaling
are enabled at the same time.

Test that all pointer events map appropriately:

for i in `seq 0 7`
do
 GST_DEBUG=vaapipostproc:5 gst-launch-1.0 -vf videotestsrc \
  ! vaapipostproc video-direction=${i} width=300 \
  ! vaapisink
 GST_DEBUG=vaapipostproc:5 gst-launch-1.0 -vf videotestsrc \
  ! vaapipostproc video-direction=${i} width=300 height=200 \
  ! vaapisink
 GST_DEBUG=vaapipostproc:5 gst-launch-1.0 -vf videotestsrc \
  ! vaapipostproc video-direction=${i} height=200 \
  ! vaapisink
 GST_DEBUG=vaapipostproc:5 gst-launch-1.0 -vf videotestsrc \
  ! vaapipostproc video-direction=${i} \
  ! vaapisink
done

vaapipostproc: advertise crop meta is handled

Advertise to upstream that vaapipostproc can handle
crop meta.

When used in conjunction with videocrop plugin, the
videocrop plugin will only do in-place transform on the
crop meta when vaapipostproc advertises the ability to
handle it.  This allows vaapipostproc to apply the crop
meta on the output buffer using vaapi acceleration.
Without this advertisement, the videocrop plugin will
crop the output buffer directly via software methods,
which is not what we desire.

vaapipostproc will not apply the crop meta if downstream
advertises crop meta handling; vaapipostproc will just
forward the crop meta to downstream.  If crop meta is
not advertised by downstream, then vaapipostproc will
apply the crop meta.

Examples:

1. vaapipostproc will forward crop meta to vaapisink
 gst-launch-1.0 videotestsrc \
  ! videocrop left=10 \
  ! vaapipostproc \
  ! vaapisink

2. vaapipostproc will do the cropping
 gst-launch-1.0 videotestsrc \
  ! videocrop left=10 \
  ! vaapipostproc \
  ! identity drop-allocation=1 \
  ! vaapisink

libs: encoder: clean two virtual func in encoder class

set_property and get_default_properties functions are no longer
needed for encoder class.

libs: encoder: delete old set_property and property enum feienc264

libs: encoder: delete old set_property and property enum in h264 fei

libs: encoder: delete old set_property and property enum in vp9

libs: encoder: delete old set_property and property enum in vp8

libs: encoder: delete old set_property and property enum in mpeg2

libs: encoder: delete old set_property and property enum in jpeg

libs: encoder: delete old set_property and property enum in h265

libs: encoder: delete old set_property and property enum in h264

libs: encoder: delete EncoderPropInfo related functions

libs: encoder: delete encoder_set_property

We no longer need this obsolete set_property function now after
switch to standard gobject's property manner.
Also delete the old encoder's property enum in the header file.

libs: encoder: delete properties_get_default for base class

plugin: encode: delete useless init_properties.

Also delete the get_properties function in encode class. We now
use g_object_class_list_properties to get all properties for
internal encoder class.

plugin: encode: delete set/get_property func in encode class

Use standard gobject's property functions to replace the old way.

plugin: encode: delete gst_vaapiencode_init_properties

No need to init the properties got by get_default_properties func
now. The properties are inited correctly in internal encoder class.

libs: encoder: delete 3 useless init macro

libs: encoder: delete get_default_properties of feienc

libs: encoder: delete get_default_properties of H264 Fei

libs: encoder: delete get_default_properties of VP9

libs: encoder: delete get_default_properties of VP8

libs: encoder: delete get_default_properties of MPEG2

libs: encoder: delete get_default_properties of JPEG

 libs: encoder: delete get_default_properties of H265

libs: encoder: delete get_default_properties of H264

libs: encoder: delete the useless constructed func for encoder.

libs: encoder: implement get_view_ids for h264 encoder.

gst: encode: enable new type of property mechanism.

gst: encode: add property help functions for encoder properties.

The encoder is a true gstobject now and all the properties are using
gobject's properties mechanism. Add help functions to handle the properties
between encode and encoder class.
The basic idea is mapping the same property between encoder and encode. All
the encoder's properties will have the same name, the same type in encode.
The set/get property function just forward the property setting/getting to
the encoder using the same property name and value. Because the encoder is
created on needed, we need to cache the property setting in encode.

libs: encoder: add flags to all encoder properties.

G_PARAM_CONSTRUCT make all properties init correctly, we do not
need to init the properties manually.
G_PARAM_FLAG_VAAPI_ENCODER_EXPOSURE is a vaapi encoder specific
flag, means need to expose the property to according encode class.

libs: encoder: Add properties for h264 encoder fei.

Install properties for h264 encoder fei class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for h264 fei encoder.

Install properties for h264 fei encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for vp9 encoder.

Install properties for vp9 encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for vp8 encoder.

Install properties for vp8 encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for mpeg2 encoder.

Install properties for mpeg2 encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for jpeg encoder.

Install properties for jpeg encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for h265 encoder.

Install properties for h265 encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: Add properties for h264 encoder.

Install properties for h264 encoder class. Also set the new get/set
property functions for gobject class. Still use the old properties
way now and this new feature will be enabled later.

libs: encoder: add properties and prop help functions

Add all common properties to encoder base class. rate-control and
tune are moved to sub class.

libs: encoder: delete useless gst_vaapi_encoder_new func.

GstVaapiEncoder is a abstract gobject and never be created directly.

lib: encoder: gstobjectfy all vaapi encoders.

Replace all gstvaapiobject in vaapi encoders with standard gstobject.
Let the gstobject common logic to handle all the init and finalize
works. But the property install/set/get still use the old way, need
to be improved later.

vaapipostproc: check for filter before appending caps

While ensuring the allowed sink pad caps, the filter attributes set
the frame size restriction, but it is not ensured, at that moment,
that the filter is already instantiaded.

In order to silence the glib logs, this patch add only calls
gst_vaapi_filter_append_caps() if the filter is instantiated.

Classify vaapidecodebin as a hardware decoder

libs: postproc: fix a memory leak point.

filter_ops and filter_formats should already have valid value when
the function gst_vaapipostproc_ensure_filter_caps re-enter

libs: util: Fix a memory leak in config_surface_attributes_get

vaapidecode: support transform ROI meta

This will benefit the use case like:

src --->   encode    ---> decode ---> circle ROI ---> sink
     |                |
     --> analyse to -->
         get ROI

docstrings: port ulinks to markdown links

libs: remove context's overlay

The context overlay was an optimization to apply a video composition
to all the surfaces bound to a context.

But since commit 18031dc6 this optimization was disabled, so it is
better just get rid of it.

libs: remove surface's parent context

In commit 18031dc6 surface's parent context is not assigned because of
circular references. Since then (2013), there's has no issue with
subpictures attached to a context, the current only users of this API.

This patch cleans up all of related code with the unused surface's
parent context.

vaapidecode: guard if no structure is available in caps

vaapipostproc: append frame size restrictions in caps

libs: profilecaps: refactor common code

vaapiencode: set frame size restrictions in caps

Fixes: #12

vaapiencode: enhance how the profile is defined

This code doesn't define the profile used by the internal encoder, but
it used to "predict" which is going to be used and to get the caps
restrictions.

Before the profile was predicted by checking the donwstream caps, but
sometimes they are not defined, setting an unknown profile. In order
to enhances this situation, the encoder asks to internal encoder if it
has one. If so, it is used.

To ask the internal encoder's profile a new accessor function was
added: gst_vaapi_encoder_get_profile()

libs: profilecaps: defines gst_vaapi_profile_caps_append_encoder()

Previously it was just a boilerplate. Now it is real implementation.

libs: utils: treat va_rt_format as bitwise flag

The return value of vaGetConfigAttributes() of VAConfigAttribRTFormat
is a bitwise flag with *all* the supported chroma types.

Previously it was assumed that the return value was a single value,
thus when returning the GST_VAAPI_CHROMA_TYPE_XXX the code was a
simple case. But it is wrong.

This patch changes the case block with a sequence of ifs testing the
bitwise. For now we assume a "priority" list in the testing sequence.

libs: profile: add gst_vaapi_profile_get_va_name()

gst_vaapi_profile_get_name() returns a proper name for
GstCaps. Nonetheless, there are many profiles which don't have a name
representation for that realm.

gst_vaapi_profile_get_va_name() returns the name of the profile
according to its VAProfile name.

This new funtion is used in the encoder error message.

libs: profilecaps: move caps config into a new file

Implement all the appending of frame size restrictions in caps, for
encoders and decoders, in a new source file.

libs: decoder: ref the caps as property

libs: context: add gst_vaapi_context_get_surface_attributes()

This function copies the surface attributes from the context's object
to the caller.

libs: move memory types conversions to gstvaapiutils

And add more supported memory types by current VA.

libs: utils: remove unused function gst_vaapi_get_surface_formats()

libs: context, filter: use new surface attributes API

libs: utils: add gst_vaapi_config_surface_attributes_get()

To extract the surface restrictions per config using a new structure:
GstVaapiConfigSurfaceAttributes

Split the surface attribute retrieval