Release 1.15.1

Update docs

libs: encoder: refactor to avoid code duplication

gst_vaapi_encoder_put_frame() and gst_vaapi_encoder_flush() duplicates
the same code segment where the coded buffer is created, the picture
encoded on it and pushed to the async queue.

The function gst_vaapi_encoder_encode_and_queue() refactor this.

libs: encoder: h264/h265: flush pending ordered pictures

In order to flush the pending pictures, a new internal encoder vmethod
is used: get_pending_reordered()

This method follows an iterator pattern which will return the next
picture to encode and push.

The base encoder will call this function in a loop when flush() is called.

For now, only H.264 and H.265 encoders implement this flushing mechanism.

libs: encoder: h264/h265: fix encode lose frame issue.

Instead of dropping all remain frames in reorder_frame_list during
flush, keep encoding.

https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/issues/97

vaapipostproc: before set surface proxy, check if it already been created and exist.

Fix the deinterlace black frame when playing with glimagesink:
gst-launch-1.0 filesrc location=test.264 ! h264parse ! vaapih264dec \
! vaapipostproc deinterlace-mode=1 deinterlace-method=1 ! glimagesink

vaapipostproc: clean up USE_VA_VPP macro since it already removed from
configure file.

meson: build h264 fei encoder if possible

configure: bump the minimum wayland version requirement to 1.11.0

vaapi: bump the minimum vaapi version requirement to 0.39.0

And reduce unnecessary API version and structures check as well.

https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/issues/108

libs: window: remove custom ref() and unref()

Use gst_object_ref() and gst_object_unref() instead.

libs: window: use its own debug category

libs: window: refactor as gobject

This is another step in the gobjectification of the internal library
of gstreamer-vaapi. Now it is the turn of GstVaapiWindow and its
derivates.

The idea is to minimize the changeset keeping the same design as
much as possible.

GstVaapiWindow is defined as an abstract class with two properties:
the GstVaapiDisplay and the native ID. Thus, many of the
GstVaapiObject macros were copied as GstVaapiWindow macros.

The function gst_vaapi_window_new_internal() is kept as a decorator
of for calling gst_vaapi_window_create() and the possibility of
failure.

The descendant classes, such as glx, still use the private
structures, but through the gobject mechanism.

libs: filter: use its own debug category

plugins: Add more check for allowed raw caps.

The gst_vaapi_plugin_base_get_allowed_raw_caps is used for both sink
pad and src pad, which cause some bugs. For sink pad, we need to verify
vaPutImage() while for the src pad we need to verify vaGetImage().
For vaapidecoderXXX kind of plugins, the case is more complex. We need
to verify whether the decoded result(in some surface, NV12 format most
of the time) can be vaGetImage to some raw image format. Add more check
to fix all these problems.

https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/issues/123

Signed-off-by: He Junyan <junyan.he@hotmail.com>

vaapipostproc: fix csc fail when only change width or height.

meson: Add gtk guard

libs: enc: h264: set max profile idc with correct profile.

Use the highest rank of available profile as the max profile to
set max idc value.

https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/issues/124

Use G_DEFINE_TYPE_WITH_PRIVATE if applicable

This gets rid of the strange `do_init` macro and makes the intent a bit
more clear.

Automatic update of common submodule

From ed78bee to 59cb678

libs: dec: h265: support decode for main-444 10bit streams.

Add 444 10bit yuv format Y410, which can be used to decode
main-444 10bit streams. Currently, this feature is only
supported by media-driver in Icelake.

Run gst-indent through the files

This is required before we enabled an indent test in the CI.

https://gitlab.freedesktop.org/gstreamer/gstreamer-project/issues/33

plugins: modify image check of extract_allowed_surface_formats.

The extract_allowed_surface_formats function just check whether
we can support some kind of surface/image format pair. We just
need to create a surface, create an image with the same video-format
and putImage from image to surface. All these operations success,
that kind of video-format is supported.
The old manner do not work for some kind of video-format. For example,
the RGBA kind of format will create a NV12 surface and RGBA image,
and the putImage will fail because the format is not same. And so
the RGBA format is not supported but actually it is supported.

vaapipostproc: add some missing locking

gst_vaapi_plugin_base_close() removed the raw caps that are used indirectly
in gst_vaapipostproc_transform_caps(). The usage is already protected by
the mutex.
This is needed when the pipeline is stopped during startup.

Close dmabuf_fd

Otherwise it will result in resource leak when failed to create
dmabuf memory

vaapiencode: don't start src pad task in set_format

Otherwise the task may be restarted during shutdown. Start the task in
gst_vaapiencode_handle_frame() instead.

libs: dec: h265: support decode for main-444 8bit streams.

Add 444 8bit yuv format AYUV, which can be used to decode
main-444 8bit streams. Currently, this feature is only
supported by media-driver in Icelake.

https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/issues/119

Add Gitlab CI configuration

This commit adds a .gitlab-ci.yml file, which uses a feature
to fetch the config from a centralized repository. The intent is
to have all the gstreamer modules use the same configuration.

The configuration is currently hosted at the gst-ci repository
under the gitlab/ci_template.yml path.

Part of https://gitlab.freedesktop.org/gstreamer/gstreamer-project/issues/29

libs: Sync the GstVaapiChromaType to VA header file.

Add more kinds of chrometype which will be used to describe
new video formats. Sync it with 1.4.0 version header file.
Alse delete useless GST_VAAPI_CHROMA_TYPE_YUV410 chrome type.

Signed-off-by: He Junyan <junyan.he@hotmail.com>

meson: link with -lm

Fixes #117 hopefully.

meson: bump meson required to 0.47 for feature options

libs: Modify the video format of endianness.

We lack some video format because endianness declare.
The video format should not directly relate to endianness. For example,
ARGB on big endian should not be simplely seen as BGRA on little endian
machine. We should provide endianess convert or format convert help
functions if endianness does not match.

https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/issues/112

Signed-off-by: Junyan He <junyan.he@intel.com>

plugins: Fix build error when GL is enabled while EGL is disabled.

gl_platform_type in gst_vaapi_get_display_type_from_gl_env generate
unused-variable warning and may block build when Werror enabled.
Several functions like gst_vaapi_display_egl_new_with_native_display
have no prototype warning and link error when GL is enabled but EGL
is disabled. Fix all these warning and link error.

https://bugzilla.gnome.org/show_bug.cgi?id=797358

Signed-off-by: Junyan He <junyan.he@intel.com>

libs: encoder: h264/h264fei: remove unuseless code.

The variable are set twice, remove previous one.

https://bugzilla.gnome.org/show_bug.cgi?id=797365

tests: check return value when using gst_buffer_map.

https://bugzilla.gnome.org/show_bug.cgi?id=797366

build: meson: build examples

build: meson: declare headers for libgstvaapi

Thus handling its recompilation if needed.

Update common submodule location

Remove the git directory

Clone the code from gitlab

This fixes https://gitlab.freedesktop.org/gstreamer/gstreamer-vaapi/issues/116

libs: dec: h265: support decode for main-10-422 10bit streams.

Add 422 10bit yuv format Y210, which can be used to decode
main-10-422 10bit streams. Currently, this feature is only
supported by media-driver in Icelake.

https://bugzilla.gnome.org/show_bug.cgi?id=797264

libs: context: roi_rc_qp_delta_support should not be checked when CQP.

VA_ROI_RC_QP_DELTA_SUPPORT return value will be ignored when the
rate control mode is set as CQP. In CQP mode, it shouldn't check
roi_rc_qp_delta_support return value from driver backend.

https://bugzilla.gnome.org/show_bug.cgi?id=797087

vaapipostproc: fix classification string

The classification string is splitted by '/' and then looks for the
components.

This patch removes the ';' by unifying all the components.

vaapipostproc: Add Hardware classifier to metadata

libs: context: create context first before using it to create surface.

In gst_vaapi_context_reset(), if the context has to be destroyed, make
sure to create it first before allocating its associated surfaces.

This patch fixes a regression introduced in commit 82872f4 because
the formats available in the current context now are ensured before
creating the context's surfaces.

https://bugzilla.gnome.org/show_bug.cgi?id=797277

gst: Advertise elements interacting with hardware devices

libs: context: query surface format before context to create surface.

Before using context to create surface, the supported surface format
should be checked first.

https://bugzilla.gnome.org/show_bug.cgi?id=797222

libs: replace g_error with GST_ERROR

And handle those errors rather than halting.

libs: replace g_warning with GST_WARNING

libs: Move from g_debug to GST_DEBUG.

https://bugzilla.gnome.org/show_bug.cgi?id=797202

vaapipostproc: change the way of handling deinterlace

The current vaapipostproc calls driver's video processing
pipeline for deinterlacing only if it is Advance deinterlacing.
Modify in the way that it always tries with driver's video
processing pipeline for deinterlacing, and falls back to software
method of appending picture structure meta data only if it fails
with driver's method.

https://bugzilla.gnome.org/show_bug.cgi?id=797095

libs: h264: Update level table to "Recommendation H.264 (04/17)".

Added level 6, 6.1 and 6.2. Reference Table A-1 – Level limits
from T-REC-H.264-201704.

https://bugzilla.gnome.org/show_bug.cgi?id=797202

libs: dec: h265: add 422 chroma format support.

Add main-422-10 profile which support 422 chroma format stream.
Currently, this feature is only supported by media-driver in Icelake.

https://bugzilla.gnome.org/show_bug.cgi?id=797143

tests: include sysdeps.h in compilation unit

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=797204

Signed-off-by: U. Artie Eoff <ullysses.a.eoff@intel.com>

tests: fix compilation

https://bugzilla.gnome.org/show_bug.cgi?id=797204

tests: don's use sysdeps.h in header

libs: utils: no need of include config.h

tests: remove already include string.h

Since sysdeps.h includes string.h there's no need to include it again.

libs: remove already include string.h

Since sysdeps.h includes string.h there's no need to include it again.

libs: object: separation of internal API and plugins

Removed exposed macros GST_VAAPI_OBJECT_DISPLAY() and
GST_VAAPI_OBJECT_ID() to plugins, keeping them only for internal
library usage.

The purpose is readability.

https://bugzilla.gnome.org/show_bug.cgi?id=797139

libs: parser_frame: change macros for inlined functions

https://bugzilla.gnome.org/show_bug.cgi?id=797139

libs: videopool: remove unneeded code

The removed code comes frome the bad practice of copy&paste. Better
move it as internal function.

https://bugzilla.gnome.org/show_bug.cgi?id=797139

libs: remove dependency on IN_LIBGSTVAAPI_CORE

This conditional code was when libgstvaapi was intended to be library
used outside GStreamer. This not the case anymore, thus removing it.

https://bugzilla.gnome.org/show_bug.cgi?id=797139

libs: dec: h265: fix the macros used for IDC profile

profile_idc flag in SPS only indicate the IDC profile, which may
need some other flags together to get the real profile.

https://bugzilla.gnome.org/show_bug.cgi?id=797160

libs: use g_clear_pointer() when possible

https://bugzilla.gnome.org/show_bug.cgi?id=797131

libs: filter: add gobject's cleanup function

libs: filter: remove custom ref() and unref()

Replacing them by gst_object_ref() and gst_object_unref()

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: filter: refactor filter as gobject

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: remove destoy() and create() callbacks

They were all replaced by reset()

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: vp9: implement reset() callback

remove destroy() and create() callback

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: vp8: implement reset() callback

remove create() and destroy() callbacks

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: vc1: implement reset() callback

remove destroy() and create() callbacks

use g_clear_pointer for rbdu_buffer

no cast for enum

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: mpeg4: implement reset() callback

remove destroy() and create() callback

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: mpeg2: implement reset() callback

remove create() and destroy() callbacks

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: jpeg: implement reset() callback

and remove create() and destroy() callbacks.

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: h265: implement reset() callback

and remove create() and destroy()
and use g_clear_pointer for dpb structure

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: h264: remove create() and destroy() callbacks

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: remove gst_vaapi_decoder_unref()

Replaced by gst_object_unref() in tests

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: remove gst_vaapi_decoder_ref()

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: remove gst_vaapi_decoder_new()

https://bugzilla.gnome.org/show_bug.cgi?id=796308

libs: decoder: refactor decoders as gobject

https://bugzilla.gnome.org/show_bug.cgi?id=796308

vaapidecode: Requests upstream a key unit at parse or decode error.

This is done to resume decoding after a parse error or decode error.

Bugzilla: https://bugzilla.gnome.org/show_bug.cgi?id=797006

vaapidecode: sets return value in failure case.

In gst_vaapidecode_handle_frame, when there is a decode error
there is a code path the returns an uninitialized value.

Bugzilla: https://bugzilla.gnome.org/show_bug.cgi?id=797006

libs: display: lock at extracting available image formates

When running several vaapi elements at the concurrently, at
initialization, there is a race condition when extractin the avaible
formats for images and subpictures.

This patch add a lock when the those arrays are filled.

https://bugzilla.gnome.org/show_bug.cgi?id=797039

meson: Sync libversion and osxversion code from other repos

gstreamer-vaapi does not build any libraries, only plugins, so this is
not used, but sync it just in case someone does add it in the future.

libs: encoder: h265: trivial documentation fix

libs: encoder: h265: add low delay B frame support.

Low delay B frame provide the function of transforming
P frame into low delay B frame which frame type is B, but
only reference predictive frames. This can be used when P
frame unsupported. Especially for P and B both unsupported,
in this case, I and low delay B frame can be encoded in a
stream.

https://bugzilla.gnome.org/show_bug.cgi?id=796984

libs: decoder: h264: Avoid using picture after it has been free

In some cases, the found_picture ended up being evicted and freed, which
would lead to a use after free when accessing picture->base.poc. In this
fix, we take a ref on the picture before calling dpb_evict.

https://bugzilla.gnome.org/show_bug.cgi?id=787124

h264decoder: Fail decoding slice with missing inter-view reference

Similarly to previous patch, we have no error concealment. As a side
effect, it's better to skip slices with missing references then passing
NULL pointers to the accelerator. Passing NULL pointer would lead to
major visual artifact, a behaviour that is likely undefined.

https://bugzilla.gnome.org/show_bug.cgi?id=787124

libs: decoder: h264: reset context when the number of view is increased

Usually in case of MVC decoding, dpb size is increasedi if subset sps.
That's why it resets context without this patch.
But for some media it doesn't increase dpb size. Even in this case we
should reset context to deal with MVC decoding.
Otherwise, it leads to assert.

https://bugzilla.gnome.org/show_bug.cgi?id=787124

vaapidecode: Skip unparsable units from adapter

If the unit could not be parsed, just skip this nal and keep parsing
what is left in the adapter. We need to flush the broken unit in the
decoder specific parser because the generic code does not know about
units boundary. This increases error resilliance.

Before this, the broken unit would stay in the adapter and EOS would be
returned. Which stopped the streaming. Just removing the EOS would have
lead to the adapter size growing indefinitely.

https://bugzilla.gnome.org/show_bug.cgi?id=796863

vaapidecoder: Don't error out on decode errors

This is problematic on live pipeline where loosing network can
cause an important amount of errors.

https://bugzilla.gnome.org/show_bug.cgi?id=796832

h265decoder: Don't scan empty buffer

Same as what we did for H264 decoder, this is to avoid an assertion
in the adapter.

https://bugzilla.gnome.org/show_bug.cgi?id=796832

libs: h264: renable the vaapi category for logging

h264 log messages were logged in default category because a regression
in code. This patch renable the usage of vaapi logging category.

This regression was introduced in commit 7c365bdd.

h264decoder: Fail decoding slice if modification process failed

This patch chains up failure to executing the modification process. The
end result is that we now fail decoding the slice if this process fails.
This avoid sending a corrupted state to the accelerator. In some special
cases, this could lead to unrecoverable errors.

https://bugzilla.gnome.org/show_bug.cgi?id=796832

h264decoder: Don't scan empty buffer

gst_adapter_masked_scan_uint32_peek() asserts if size is 0. Don't
try and scan in that case. This fixes assertion that would some times
happen when the stream is corrupted.

https://bugzilla.gnome.org/show_bug.cgi?id=796832

libs: encoder: jpeg: set component id and Tqi

This change is due a problem encoding JPEGs with Intel's
media-driver: green/black image when playback jpeg

This patch sets component identifier and quantization table
destination selector in frame header to support packing headers
by Intel's media-driver that does not accept packed header
in AP level.

https://bugzilla.gnome.org/show_bug.cgi?id=796705

pluginutil: downgrade unsupported driver logging

On systems with an Nvidia card, this error is output each time
the registry is rebuilt, which happens pretty often when
using gst-build as a development environment.

https://bugzilla.gnome.org/show_bug.cgi?id=796663

Update for g_type_class_add_private() deprecation in recent GLib

h264dec: Remove false assumption about parity order

The decoder was trying to detect earlier that a field was lost base
on guessing the parity order. This breaks in streams were the parity
order changes.

This patch reverts the field order prediction code added by commit
8dd93e9c8.

https://bugzilla.gnome.org/show_bug.cgi?id=796169

h264dec: Properly set sentinel in ref frame list

This ensure that we always have sentinels set in the reference
pictures arrays. The code wasn't unsafe, this simply improve the
tracing, so instead of printing 32 lines of zeros, va tracer
prints proper empty lists.

https://bugzilla.gnome.org/show_bug.cgi?id=796169