vaapipostproc: add some missing locking

gst_vaapi_plugin_base_close() removed the raw caps that are used indirectly
in gst_vaapipostproc_transform_caps(). The usage is already protected by
the mutex.
This is needed when the pipeline is stopped during startup.

Close dmabuf_fd

Otherwise it will result in resource leak when failed to create
dmabuf memory

vaapiencode: don't start src pad task in set_format

Otherwise the task may be restarted during shutdown. Start the task in
gst_vaapiencode_handle_frame() instead.

libs: dec: h265: support decode for main-444 8bit streams.

Add 444 8bit yuv format AYUV, which can be used to decode
main-444 8bit streams. Currently, this feature is only
supported by media-driver in Icelake.

https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/issues/119

Add Gitlab CI configuration

This commit adds a .gitlab-ci.yml file, which uses a feature
to fetch the config from a centralized repository. The intent is
to have all the gstreamer modules use the same configuration.

The configuration is currently hosted at the gst-ci repository
under the gitlab/ci_template.yml path.

Part of https://gitlab.freedesktop.org/gstreamer/gstreamer-project/issues/29

libs: Sync the GstVaapiChromaType to VA header file.

Add more kinds of chrometype which will be used to describe
new video formats. Sync it with 1.4.0 version header file.
Alse delete useless GST_VAAPI_CHROMA_TYPE_YUV410 chrome type.

Signed-off-by: He Junyan <junyan.he@hotmail.com>

meson: link with -lm

Fixes #117 hopefully.

meson: bump meson required to 0.47 for feature options

libs: Modify the video format of endianness.

We lack some video format because endianness declare.
The video format should not directly relate to endianness. For example,
ARGB on big endian should not be simplely seen as BGRA on little endian
machine. We should provide endianess convert or format convert help
functions if endianness does not match.

https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/issues/112

Signed-off-by: Junyan He <junyan.he@intel.com>

plugins: Fix build error when GL is enabled while EGL is disabled.

gl_platform_type in gst_vaapi_get_display_type_from_gl_env generate
unused-variable warning and may block build when Werror enabled.
Several functions like gst_vaapi_display_egl_new_with_native_display
have no prototype warning and link error when GL is enabled but EGL
is disabled. Fix all these warning and link error.

https://bugzilla.gnome.org/show_bug.cgi?id=797358

Signed-off-by: Junyan He <junyan.he@intel.com>

libs: encoder: h264/h264fei: remove unuseless code.

The variable are set twice, remove previous one.

https://bugzilla.gnome.org/show_bug.cgi?id=797365

tests: check return value when using gst_buffer_map.

https://bugzilla.gnome.org/show_bug.cgi?id=797366

build: meson: build examples

build: meson: declare headers for libgstvaapi

Thus handling its recompilation if needed.

Update common submodule location

Remove the git directory

Clone the code from gitlab

This fixes https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/issues/116

libs: dec: h265: support decode for main-10-422 10bit streams.

Add 422 10bit yuv format Y210, which can be used to decode
main-10-422 10bit streams. Currently, this feature is only
supported by media-driver in Icelake.

https://bugzilla.gnome.org/show_bug.cgi?id=797264

libs: context: roi_rc_qp_delta_support should not be checked when CQP.

VA_ROI_RC_QP_DELTA_SUPPORT return value will be ignored when the
rate control mode is set as CQP. In CQP mode, it shouldn't check
roi_rc_qp_delta_support return value from driver backend.

https://bugzilla.gnome.org/show_bug.cgi?id=797087

vaapipostproc: fix classification string

The classification string is splitted by '/' and then looks for the
components.

This patch removes the ';' by unifying all the components.

vaapipostproc: Add Hardware classifier to metadata

libs: context: create context first before using it to create surface.

In gst_vaapi_context_reset(), if the context has to be destroyed, make
sure to create it first before allocating its associated surfaces.

This patch fixes a regression introduced in commit 82872f4 because
the formats available in the current context now are ensured before
creating the context's surfaces.

https://bugzilla.gnome.org/show_bug.cgi?id=797277

gst: Advertise elements interacting with hardware devices

libs: context: query surface format before context to create surface.

Before using context to create surface, the supported surface format
should be checked first.

https://bugzilla.gnome.org/show_bug.cgi?id=797222

libs: replace g_error with GST_ERROR

And handle those errors rather than halting.

libs: replace g_warning with GST_WARNING

libs: Move from g_debug to GST_DEBUG.

https://bugzilla.gnome.org/show_bug.cgi?id=797202

vaapipostproc: change the way of handling deinterlace

The current vaapipostproc calls driver's video processing
pipeline for deinterlacing only if it is Advance deinterlacing.
Modify in the way that it always tries with driver's video
processing pipeline for deinterlacing, and falls back to software
method of appending picture structure meta data only if it fails
with driver's method.

https://bugzilla.gnome.org/show_bug.cgi?id=797095

libs: h264: Update level table to "Recommendation H.264 (04/17)".

Added level 6, 6.1 and 6.2. Reference Table A-1 – Level limits
from T-REC-H.264-201704.

https://bugzilla.gnome.org/show_bug.cgi?id=797202

libs: dec: h265: add 422 chroma format support.

Add main-422-10 profile which support 422 chroma format stream.
Currently, this feature is only supported by media-driver in Icelake.

https://bugzilla.gnome.org/show_bug.cgi?id=797143

tests: include sysdeps.h in compilation unit

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=797204

Signed-off-by: U. Artie Eoff <ullysses.a.eoff@intel.com>

tests: fix compilation

https://bugzilla.gnome.org/show_bug.cgi?id=797204

tests: don's use sysdeps.h in header

libs: utils: no need of include config.h

tests: remove already include string.h

Since sysdeps.h includes string.h there's no need to include it again.

libs: remove already include string.h

Since sysdeps.h includes string.h there's no need to include it again.

libs: object: separation of internal API and plugins

Removed exposed macros GST_VAAPI_OBJECT_DISPLAY() and
GST_VAAPI_OBJECT_ID() to plugins, keeping them only for internal
library usage.

The purpose is readability.

https://bugzilla.gnome.org/show_bug.cgi?id=797139

libs: parser_frame: change macros for inlined functions

https://bugzilla.gnome.org/show_bug.cgi?id=797139

libs: videopool: remove unneeded code

The removed code comes frome the bad practice of copy&paste. Better
move it as internal function.

https://bugzilla.gnome.org/show_bug.cgi?id=797139

libs: remove dependency on IN_LIBGSTVAAPI_CORE

This conditional code was when libgstvaapi was intended to be library
used outside GStreamer. This not the case anymore, thus removing it.

https://bugzilla.gnome.org/show_bug.cgi?id=797139

libs: dec: h265: fix the macros used for IDC profile

profile_idc flag in SPS only indicate the IDC profile, which may
need some other flags together to get the real profile.

https://bugzilla.gnome.org/show_bug.cgi?id=797160

libs: use g_clear_pointer() when possible

https://bugzilla.gnome.org/show_bug.cgi?id=797131

libs: filter: add gobject's cleanup function

libs: filter: remove custom ref() and unref()

Replacing them by gst_object_ref() and gst_object_unref()

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: filter: refactor filter as gobject

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: remove destoy() and create() callbacks

They were all replaced by reset()

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: vp9: implement reset() callback

remove destroy() and create() callback

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: vp8: implement reset() callback

remove create() and destroy() callbacks

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: vc1: implement reset() callback

remove destroy() and create() callbacks

use g_clear_pointer for rbdu_buffer

no cast for enum

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: mpeg4: implement reset() callback

remove destroy() and create() callback

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: mpeg2: implement reset() callback

remove create() and destroy() callbacks

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: jpeg: implement reset() callback

and remove create() and destroy() callbacks.

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: h265: implement reset() callback

and remove create() and destroy()
and use g_clear_pointer for dpb structure

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: h264: remove create() and destroy() callbacks

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: remove gst_vaapi_decoder_unref()

Replaced by gst_object_unref() in tests

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: remove gst_vaapi_decoder_ref()

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: remove gst_vaapi_decoder_new()

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: refactor decoders as gobject

https://bugzilla.gnome.org/show_bug.cgi?id=796308

vaapidecode: Requests upstream a key unit at parse or decode error.

This is done to resume decoding after a parse error or decode error.

Bugzilla: https://bugzilla.gnome.org/show_bug.cgi?id=797006

vaapidecode: sets return value in failure case.

In gst_vaapidecode_handle_frame, when there is a decode error
there is a code path the returns an uninitialized value.

Bugzilla: https://bugzilla.gnome.org/show_bug.cgi?id=797006

libs: display: lock at extracting available image formates

When running several vaapi elements at the concurrently, at
initialization, there is a race condition when extractin the avaible
formats for images and subpictures.

This patch add a lock when the those arrays are filled.

https://bugzilla.gnome.org/show_bug.cgi?id=797039

meson: Sync libversion and osxversion code from other repos

gstreamer-vaapi does not build any libraries, only plugins, so this is
not used, but sync it just in case someone does add it in the future.

libs: encoder: h265: trivial documentation fix

libs: encoder: h265: add low delay B frame support.

Low delay B frame provide the function of transforming
P frame into low delay B frame which frame type is B, but
only reference predictive frames. This can be used when P
frame unsupported. Especially for P and B both unsupported,
in this case, I and low delay B frame can be encoded in a
stream.

https://bugzilla.gnome.org/show_bug.cgi?id=796984

libs: decoder: h264: Avoid using picture after it has been free

In some cases, the found_picture ended up being evicted and freed, which
would lead to a use after free when accessing picture->base.poc. In this
fix, we take a ref on the picture before calling dpb_evict.

https://bugzilla.gnome.org/show_bug.cgi?id=787124

h264decoder: Fail decoding slice with missing inter-view reference

Similarly to previous patch, we have no error concealment. As a side
effect, it's better to skip slices with missing references then passing
NULL pointers to the accelerator. Passing NULL pointer would lead to
major visual artifact, a behaviour that is likely undefined.

https://bugzilla.gnome.org/show_bug.cgi?id=787124

libs: decoder: h264: reset context when the number of view is increased

Usually in case of MVC decoding, dpb size is increasedi if subset sps.
That's why it resets context without this patch.
But for some media it doesn't increase dpb size. Even in this case we
should reset context to deal with MVC decoding.
Otherwise, it leads to assert.

https://bugzilla.gnome.org/show_bug.cgi?id=787124

vaapidecode: Skip unparsable units from adapter

If the unit could not be parsed, just skip this nal and keep parsing
what is left in the adapter. We need to flush the broken unit in the
decoder specific parser because the generic code does not know about
units boundary. This increases error resilliance.

Before this, the broken unit would stay in the adapter and EOS would be
returned. Which stopped the streaming. Just removing the EOS would have
lead to the adapter size growing indefinitely.

https://bugzilla.gnome.org/show_bug.cgi?id=796863

vaapidecoder: Don't error out on decode errors

This is problematic on live pipeline where loosing network can
cause an important amount of errors.

https://bugzilla.gnome.org/show_bug.cgi?id=796832

h265decoder: Don't scan empty buffer

Same as what we did for H264 decoder, this is to avoid an assertion
in the adapter.

https://bugzilla.gnome.org/show_bug.cgi?id=796832

libs: h264: renable the vaapi category for logging

h264 log messages were logged in default category because a regression
in code. This patch renable the usage of vaapi logging category.

This regression was introduced in commit 7c365bdd.

h264decoder: Fail decoding slice if modification process failed

This patch chains up failure to executing the modification process. The
end result is that we now fail decoding the slice if this process fails.
This avoid sending a corrupted state to the accelerator. In some special
cases, this could lead to unrecoverable errors.

https://bugzilla.gnome.org/show_bug.cgi?id=796832

h264decoder: Don't scan empty buffer

gst_adapter_masked_scan_uint32_peek() asserts if size is 0. Don't
try and scan in that case. This fixes assertion that would some times
happen when the stream is corrupted.

https://bugzilla.gnome.org/show_bug.cgi?id=796832

libs: encoder: jpeg: set component id and Tqi

This change is due a problem encoding JPEGs with Intel's
media-driver: green/black image when playback jpeg

This patch sets component identifier and quantization table
destination selector in frame header to support packing headers
by Intel's media-driver that does not accept packed header
in AP level.

https://bugzilla.gnome.org/show_bug.cgi?id=796705

pluginutil: downgrade unsupported driver logging

On systems with an Nvidia card, this error is output each time
the registry is rebuilt, which happens pretty often when
using gst-build as a development environment.

https://bugzilla.gnome.org/show_bug.cgi?id=796663

Update for g_type_class_add_private() deprecation in recent GLib

h264dec: Remove false assumption about parity order

The decoder was trying to detect earlier that a field was lost base
on guessing the parity order. This breaks in streams were the parity
order changes.

This patch reverts the field order prediction code added by commit
8dd93e9c8.

https://bugzilla.gnome.org/show_bug.cgi?id=796169

h264dec: Properly set sentinel in ref frame list

This ensure that we always have sentinels set in the reference
pictures arrays. The code wasn't unsafe, this simply improve the
tracing, so instead of printing 32 lines of zeros, va tracer
prints proper empty lists.

https://bugzilla.gnome.org/show_bug.cgi?id=796169

libs: display: remove gst_vaapi_display_ref()

Replace it with gst_object_ref()

https://bugzilla.gnome.org/show_bug.cgi?id=796470

libs: display: remove gst_vaapi_display_unref()

Use gst_object_unref() instead.

https://bugzilla.gnome.org/show_bug.cgi?id=796470

vaapibufferpool: declare parameter display as object

We have neglected to update this code since GstVaapiDisplay turned
into a GstObject descendant.

https://bugzilla.gnome.org/show_bug.cgi?id=796470

libs: display: replace gst_vaapi_display_new() with gst_vaapi_display_config()

Gobjectification for GstVaapiDisplay was almost done by the commit 185da3d1.
But still something breaking GObject code convention remains, which is
calling gst_vaapi_display_new() in each decendants.

This patch replaces it with gst_vaapi_display_config(), defined in private
header.

https://bugzilla.gnome.org/show_bug.cgi?id=796470

libs: display: redefine gst_vaapi_display_create()

The function name was gst_vaapi_display_create_unlocked(), nonetheless
it wasn't called unlocked. In order to keep the semantics this patch
renames the gst_vaapi_display_create_unlocked() as
gst_vaapi_display_create(), removing the previous function
gst_vaapi_display_create().

https://bugzilla.gnome.org/show_bug.cgi?id=796470

Revert "build: meson: libva gst-uninstall friendly"

This reverts commit fc3eef9c432c1628cb92ab56e74924cf1182da30.

plugins: fix compilation

gstvaapipluginutil.c:171:1: error: old-style function definition [-Werror=old-style-definition]

build: meson: libva gst-uninstall friendly

Make gstreamer-vaapi to use libva uninstalled.

plugins: refactor gst_vaapi_create_display_from_gl_context()

gst_vaapi_create_display_from_gl_context() was a spaghetti mess.

This path refactors it, in order to make the code readable and
easy to follow.

https://bugzilla.gnome.org/show_bug.cgi?id=796564

libs: display: resurrect parent private member

This is, practically, a revert of commit dcf135e2.

The parent logic is useful for the EGL display, which is a decorator
of the real windowing subsystem (X11 or Wayland). Thus it is avoided
calling vaInitialize() and vaTerminate() twice.

https://bugzilla.gnome.org/show_bug.cgi?id=795391

libs: display: egl: initialize params structure

Statically initialise the internal params structure.

https://bugzilla.gnome.org/show_bug.cgi?id=795391

plugins: handle EGL when creating VAAPI display from gl

If GstGL reports a EGL platform force to create a EGL display using
the native EGL display.

https://bugzilla.gnome.org/show_bug.cgi?id=795391

display: egl: create VaapiDisplayEGL with native EGL display

gst_vaapi_display_egl_new_with_native_display() has been broken since
it wasn't used.

Currently it's needed to call this API to create a display providing
the EGL display, so it could avoid duplicated calls to the native
display (eg. eglTerminate).

Signed-off-by: Victor Jaquez <vjaquez@igalia.com>
https://bugzilla.gnome.org/show_bug.cgi?id=795391

libs: decoder: release VA buffers after vaEndPicture

This change is due a problem decoding JPEGs with Intel's media-driver:
no image was generated.

This patch relases the VA buffers after vaEndPicture() is called,
and not before (after vaRenderPicture()).

https://bugzilla.gnome.org/show_bug.cgi?id=796505

meson: fix build when xrender or xrandr are not available

HAVE_XRENDER are defined to 1 or 0, not defined or undefined.

vaapipostproc: don't copy the GstParentBufferMeta if use_vpp

Otherwise a reference to a DMABuf input buffer is kept until the output
buffer is deleted.

https://bugzilla.gnome.org/show_bug.cgi?id=796399

libs: display: remove unnecessary legacy code since gobjectification

https://bugzilla.gnome.org/show_bug.cgi?id=796470

libs: display: remove unused code

https://bugzilla.gnome.org/show_bug.cgi?id=796470

vaapiencode: h264: log output caps

vaapiencode: h264: find profile in available and allowed caps

The commit 67e33d3de225d0e006d7bf606e7abb20d4544eab ("vaapiencode: h264:
find best profile in those available") changed the code to pick a profile
that is actually supported by the hardware. Unfortunately it dropped the
downstream constraints. This can cause negotiation failures under certain
circumstances.

The fix is split in two cases:

1\ the available VA-API caps doesn't intersect with pipeline's allowed
caps:
 * The best allowed profile (pipeline's caps) is set as the encoding
   target profile (it will be adjusted later by the available profiles
   and properties)

2\ the available VA-API caps does intersect with pipeline's allowed
caps:
 * The intersected caps are fixed, and its profile is set as the
   encoding target profile. In this case the is not the best profile,
   but the minimal one (if VA-API reports the profiles in order).
   Setting the minimal profile of the intersected caps is better for
   compatibility.

This patch fixes other tests related with caps negotiation, for
example, it handles baseline profile, even when VA only supports
constrained-baseline.

Original-patch-by: Michael Olbrich <m.olbrich@pengutronix.de>
https://bugzilla.gnome.org/show_bug.cgi?id=794306

libs: encoder: h265: increase log2_max_pic_order_cnt range according to spec

The specification says,
"log2_max_pic_order_cnt_lsb_minus4 shall be in the range of 0 to 12, inclusive."

This patch changes the upper limit from 6 to 12.

https://bugzilla.gnome.org/show_bug.cgi?id=796179

plugins: guard GstGL code

libs: decoder: h264: use g_clear_pointer()