vaapisink: add "use-glx" property for OpenGL rendering.

Now that VA/GLX capable buffers are generated by default on X11, thus
depending on a VA/GLX display, we stil want to use vaPutSurface() for
rendering since it is faster.

Anyway, OpenGL rendering in vaapisink was only meant for testing and
enabling "fancy" effects to play with. This has no real value. So,
disable OpenGL rendering by default.

plugins: try to allocate a GLX display first over an X11 one.

If the gstreamer-vaapi plug-in elements are built with GLX support, then
try to allocate a GstVaapiDisplayGLX first before resorting to a VA/X11
display next.

https://bugzilla.gnome.org/show_bug.cgi?id=701742

configure: use GST_PLUGIN_PATH_1_0 instead of GST_PLUGIN_PATH for Gst 1.0.

jhbuild sets $GST_PLUGIN_PATH_1_0 which overrides $GST_PLUGIN_PATH.

https://bugzilla.gnome.org/show_bug.cgi?id=698858

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

image: fix wrong check for rect bounds in copy_image().

Bump version for development.

0.5.4.

NEWS: updates.

configure: always build the MPEG-4 parser.

Always build the MPEG-4 parser for now as there are also core fixes
included in the parser that cannot be tested for with API checks.

configure: add --enable-builtin-codecparsers [default="yes"] option.

Add flag to have all codecparsers built-in, thus ensuring that the
resulting binaries have all the necessary bug fixes and this is what
the QA has been testing anyway.

Of course, for a completely up-to-date Linux distribution, you could
also opt for --disable-builtin-codecparsers and use the system ones.
Though, some core fixes could be missing, and those cannot be tested
for with API checks.

codecparsers: update to gst-vaapi-branch commit 843ce3e.

843ce3e jpeg: fix default Huffman tables generation.
8655187 mpeg2: fix the pixel-aspect-ratio calculation
21099dc mpeg2: actually store video bitrate values
dd02087 mpeg2: fix picture packet extension size check
25948e9 mpeg2: increase min size for picture coding ext
f1f5a40 ensure the debug category is properly initialized

debian: fix list of generated files for .deb packaging.

debian: fix libgstvaapi -dev package name.

Fix libgstvaapi -dev package name so that to allow installation of both
GStreamer 0.10 and 1.0.x based packages.

NEWS: updates.

wayland: fix memory leak of display resources.

vaapisink: fix build without VA/GLX support.

plugins: allow buffer mappings to GstVaapiSurfaceProxy.

Allow plain gst_buffer_map() interface to work with gstreamer-vaapi
video buffers, i.e. expose the underlying GstVaapiSurfaceProxy to the
caller. This is the only sensible enough thing to do in this mode as
the underlying surface pixels need to be extracted through an explicit
call to the gst_video_frame_map() function instead.

A possible use-case of this is to implement a "handoff" signal handler
to fakesink or identity element for further processing.

plugins: silence check for direct-rendering mode in video memory.

Fix gst_vaapi_video_allocator_new() to silently check for direct-rendering
mode support, and not trigger fatal-criticals if either test surface or
image could not be created. Typical case: pixel format mismatch, e.g. NV12
supported by most hardware vs. I420 supported by most software decoders.

plugins: improve video memory flags safety checks.

On map, ensure we have GST_MAP_WRITE flags since this is only what we
support for now. Likewise, on unmap, make sure that the VA image is
unmapped for either read or write, while still committing it to the
VA surface if write was requested.

surface: fix memory leak through unreleased parent context.

Break the circular references between GstVaapiContext and its children
GstVaapiSurfaces. Since the VA surfaces held an extra reference to the
context, which holds a reference to its VA surfaces, then none of those
were released.

How does this impact support for subpictures?

The only situation when the parent context needs to disappear is when
it is replaced with another one because of a resolution change in the
video stream for instance, or a normal destroy. In this case, it does
not really matter to apply subpictures to the peer surfaces since they
are either gone, or those that are left in the pipe can probably bear
a reinstantiation of the subpictures for it.

So, parent_context is set to NULL when the parent context is destroyed,
other VA surfaces can still get subpictures attached to them, individually
not as a whole. i.e. subpictures for surface S1 will be created from
active composition buffers and associated to S1, subpictures for S2 will
be created from the next active composition buffers, etc. We don't try
to cache the subpictures in those cases (pending surfaces until EOS
is reached, or pending surfaces until new surfaces matching new VA context
get to be used instead).

vaapisink: fix one-time initialization when display property is set.

Fix gst_vaapisink_ensure_display() to perform one-time initialization
tasks even if the `display' property was explicitly set.

window: fix GLX window initialization.

Make sure to create the GLX context once the window object has completed
its creation. Since gl_resize() relies on the newly created window size,
then we cannot simply overload the GstVaapiWindowClass::create() hook.
So, we just call into gst_vaapi_window_glx_ensure_context() once the
window object is created in the gst_vaapi_window_glx_new*() functions.

display: validate display types.

display: drop internal NAME_PREFIX, store the real display name.

Always store a valid display name/device path, instead of adding a
particular prefix. i.e. make it simply a strdup(), or "" if it was
initially NULL.

display: make it possible to lookup the display cache by type.

Make it possible to add extra an extra filter to most of display cache
lookup functions so that the GstVaapiDisplay instance can really match
a compatible and existing display by type, instead of relying on extra
string tags (e.g. "X11:" prefix, etc.).

display: cope with new display cache API.

display: rework display cache API.

Simplify display cache API, while making it more flexible. We can now create
custom lookup functions with gst_vaapi_display_cache_lookup_custom().

tests: improve check for display cache.

Improve check for display cache infrastructure. In particular, for X11 and
GLX backends, we need to make sure that we can create a GstVaapiDisplayX11
from another GstVaapiDisplayGLX, i.e. underlying X11 and VA displays can be
shared. Besides, allocating a GstVaapiDisplayGLX while a GstVaapiDisplayX11
already exists will have to generate different VA displays.

uploader: fix memory leak in GStreamer 0.10 builds.

In GStreamer 0.10 builds, gst_vaapi_uploader_get_buffer() was used
but it exhibited a memory leak because the surface generated for the
GstVaapiVideoMeta totally lost its parent video pool. So, it was not
possible to release that surface back to the parent pool when the meta
gets released, and the memory consumption kept growing.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

plugins: fix gst_vaapi_video_meta_new_from_pool().

Since GST_VAAPI_IS_xxx_VIDEO_POOL() was only testing for NULL and not
the underlying object type, the gst_vaapi_video_meta_new_from_pool()
was hereby totally broken. Fixed this regression by using the newly
provided gst_vaapi_video_pool_get_object_type() function.

plugins: cope with GST_VAAPI_IS_xxx() macros removal.

tests: cope with GST_VAAPI_IS_xxx() macros removal.

libs: add query for GstVaapiVideoPool object types.

Add API to identify the underlying GstVaapiVideoPool object type.

libs: drop GST_VAAPI_IS_xxx() helper macros.

Drop obsolete GST_VAAPI_IS_xxx() helper macros since we are no longer
deriving from GObject and so those were only checking for whether the
argument was NULL or not. This is now irrelevant, and even confusing
to some extent, because we no longer have type checking.

Note: this incurs more type checking (review) but the libgstvaapi is
rather small, so this is manageable.

Bump library major version.

The whole libgstvaapi libraries got a major refresh to get rid of GObject.
This is a fundamental change that requires a new SONAME. More changes are
underway to streamline the core libraries.

So far, the net result is a reduction of .text size (code) by 32KB, i.e. -10%.
On one particular test (sintel HD trailer), the total number of executed
instruction was reduced by 8%.

docs: cope with removed APIs.

Some APIs are dead because they are no longer based on GObject.

plugins: cope with new GstVaapiMiniObject objects.

tests: cope with new GstVaapiMiniObject objects.

display: fix set_synchronous() to lock display.

videopool: simplify creation of video objects pool.

libs: simplify GstVaapiID definitions.

Make GstVaapiID a gsize instead of guessing an underlying integer large
enough to hold all bits of a pointer. Also drop GST_VAAPI_ID_NONE since
this is plain zero and that it is no longer passed as varargs.

libs: drop obsolete function helpers and objects.

Drop obsolete GstVaapiID related function helpers for passing them as
GValues.

libs: use GstVaapiMiniObject for display objects.

libs: use GstVaapiMiniObject for video decoders.

Port GstVaapiDecoder and GstVaapiDecoder{MPEG2,MPEG4,JPEG,H264,VC1} to
GstVaapiMiniObject. Add gst_vaapi_decoder_set_codec_state_changed_func()
helper function to let the user add a callback to a function triggered
whenever the codec state (e.g. caps) changes.

libs: use GstVaapiMiniObject for video object pools.

Port GstVaapiVideoPool, GstVaapiSurfacePool and GstVaapiImagePool to
GstVaapiMiniObject. Drop gst_vaapi_video_pool_get_caps() since it was
no longer used for a long time. Make object allocators static, i.e.
local to the shared library.

libs: use GstVaapiObject for texture objects.

libs: use GstVaapiObject for window objects.

libs: use GstVaapiObject for VA objects.

Port GstVaapiObject to GstVaapiMiniObject.

libs: refine GstVaapiMiniObject.

Drop support for user-defined data since this capability was not used
so far and GstVaapiMiniObject represents the smallest reference counted
object type. Add missing GST_VAAPI_MINI_OBJECT_CLASS() helper macro.

Besides, since GstVaapiMiniObject is a libgstvaapi internal object, it
is also possible to further simplify the layout of the object. i.e. merge
GstVaapiMiniObjectBase into GstVaapiMiniObject.

decoder: update picture size from the bitstream.

Propagate the picture size from the bitstream to the GstVaapiDecoder,
and subsequent user who installed a signal on notify::caps. This fixes
decoding of TS streams when the demuxer failed to extract the required
information.

decoder: fix raw decoding mode.

Fix gst_vaapi_decoder_get_surface() to actually transfer ownership of the
surface proxy to the caller.

decoder: add gst_vaapi_decoder_get_frame_with_timeout().

Add gst_vaapi_decoder_get_frame_with_timeout() helper function that will
wait for a frame to be decoded, until the specified timeout in microseconds,
prior to returning to the caller.

This is a fix to performance regression from 851cc0, whereby the vaapidecode
loop executed on the srcpad task was called to often, thus starving all CPU
resources.

Bump version for development.

0.5.3.

NEWS: updates.

vaapidecode: rework heuristics to detect decode timeout.

Rework heuristics to detect when downstream element ran into errors,
and thus failing to release any VA surface in due time for the current
frame to get decoded. In particular, recalibrate the render time base
when the first frame gets submitted downstream, or when there is no
timestamp that could be inferred.

vaapidecode: rework GstVideoDecoder::handle_frame() with a task.

Rework GstVideoDecoder::handle_frame() to decode the current frame,
while possibly waiting for a free surface, and separately submit all
decoded frames from a task. This makes it possible to pop and render
decoded frames as soon as possible.

plugins: use gst_object_unref() wherever applicable.

Use gst_object_unref() wherever applicable, e.g. objects derived from
GstElement, GstVideoPool, etc.

docs: drop obsolete plug-ins.

Drop documentation for obsolete plug-ins, even for GStreamer 0.10.
i.e. vaapiupload and vaapidownload are no longer the recommended
plug-ins to use.

debian: fix build of GStreamer 0.10 packages.

Fix build of Debian packages to scan the actual GStreamer API version
from the generated changelog file.

vaapipostproc: minor clean-ups.

Use g_clear_object() wherever appropriate and remove dead-code.

vaapipostproc: fix reference counting buf for passthrough mode.

Fix reference counting bug for passthrough mode, whereby the input buffer
was propagated as is downstream through gst_pad_push() without increasing
its reference count before. The was a problem when gst_pad_push() returns
an error and we further decrease the reference count of the input buffer.

vaapipostproc: port to GStreamer 1.0.

Add support for interlaced streams with GStreamer 1.0 too. Basically,
this enables vaapipostproc, though it is not auto-plugged yet. We also
make sure to reply to CAPS queries, and happily handle CAPS events.

decoder: fix GstVideoCodecFrame flags for interlaced contents.

Fix support for interlaced contents with GStreamer 0.10. In particular,
propagate GstVaapiSurfaceProxy frame flags to GstVideoCodecFrame flags
correctly.

This is a regression from commit 87e5717.

decoder: rename GstVaapiDecoderFrame to GstVaapiParserFrame.

Rename GstVaapiDecoderFrame to GstVaapiParserFrame because this data
structure was only useful to parsing and a proper GstvaapiDecoderFrame
instance will be created instead.

decoder: export presentation timestamp for raw decoding mode.

Fix regression from 0.4-branch whereby GstVaapiSurfaceProxy no longer
held any information about the expected presentation timestamp, frame
duration or additional flags like interlaced or top-field-first.

decoder: use new GstVaapiSurfaceProxy utility functions.

Use new GstVaapiSurfaceProxy internal helper functions to propagate the
necessary GstVideoCodecFrame flags to vaapidecode (GStreamer 0.10).

Also make GstVaapiDecoder push_frame() operate similarly to drop_frame().
i.e. increase the GstVideoCodecFrame reference count in push_frame rather
than gst_vaapi_picture_output().

surfaceproxy: add more attributes for raw decoding modes.

Add more attributes for raw decoding modes, i.e. directly through the
libgstvaapi helper library. In particular, add presentation timestamp,
duration and a couple of flags (interlaced, TFF, RFF, one-field).

surfaceproxy: drop user-data support from GstVaapiSurfaceProxy.

Drop user-data support from GstVaapiSurfaceProxy. Rather make it explicit
to call some user-provided function when the surface proxy is released.

build: link libgstvaapi-glx-1.0.so against libdl.

Ensure libgstvaapi-glx*.so builds against libdl since dlsym() is used
to resolve glXGetProcAddress() from GLX libraries. This fix builds on
Fedora 17.

https://bugzilla.gnome.org/show_bug.cgi?id=698046

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

decoder: fix gst_vaapi_decoder_get_codec_state().

Fix previous commit whereby gst_vaapi_decoder_get_codec_state() was
supposed to make GstVaapiDecoder own the return GstVideoCodecState
object. Only comment was updated, not the actual code.

decoder: make gst_vaapi_decoder_get_codec_state() return the original state.

Make gst_vaapi_decoder_get_codec_state() return the original codec state,
i.e. make the GstVaapiDecoder object own the return state so that callers
that want an extra reference to it would just gst_video_codec_state_ref()
it before usage. This aligns the behaviour with what we had before with
gst_vaapi_decoder_get_caps().

This is an ABI incompatible change, library major version was bumped from
previous release (0.5.2).

plugins: mark a few more functions as internal.

Mark the following functions are internal, i.e. private to the vaapi plug-in:
- gst_vaapi_video_buffer_pool_get_type()
- gst_vaapi_video_converter_glx_get_type()
- gst_vaapi_video_converter_glx_new()

plugins: implement GstSurfaceMeta API.

Implement GstSurfaceMeta API for GStreamer 1.0.x. Even though this is
an unstable/deprecated API, this makes it possible to support Clutter
sink with minimal changes. Tested against clutter-gst 1.9.92.

vaapisink: optimize GstVideoOverlayInterface::expose().

When render-mode is "overlay", then it is not really useful to peek into
the GstBaseSink::last_buffer, since we have our own video_buffer already
recorded and maintained into GstVaapiSink.

vaapisink: fix memory leak of GstSample objects.

Fix memory leak of GstSample objects in GstVideoOverlayInterface::expose().
This also fixes extra unreferencing of the underlying GstBuffer in the common
path afterwards (for both 0.10 or 1.0).

plugins: fix description for gst-inspect.

Fix the name of the plug-in element reported to gst-inspect-1.0. i.e. we
need an explicit definition for GStreamer >= 1.0 because the GST_PLUGIN_DEFINE
incorrectly uses #name for creating the plug-in name, instead of using macro
expansion (and let further expansion of macros) through e.g. G_STRINGIFY().

README: updates.

Update build requirements for GStreamer 1.0.x support. Add section for
ways to report bugs.

NEWS: updates.

Fix make dist to include all source files, in any case.

Fix make dist to allow build for either GStreamer 0.10 or 1.0. i.e. make
sure to include all source files in either case while generating source
tarballs.

Bump library major version.

Bump library major version, while preserving a major version of 0 for
GStreamer 1.0 based libraries, and a major version of 2 for GStreamer
0.10 based librarieS.

plugins: implement direct-rendering mode for raw YUV buffer uploads.

Allow direct-rendering (writes) into target VA surfaces.

plugins: implement uploads from raw YUV buffers for GStreamer 1.0.

Implement GstVideoMeta::{,un}map() to support raw YUV buffer upload when
the last component is unmapped. Downloads are not supported yet. The aim
was to first support SW decoding + HW accelerated rendering (vaapisink).
e.g. for Wayland.

vaapidecode: submit all decoded frames before decoding a new one.

Make sure to purge all pending frames that were already decoded prior
to decoding a new one. This helps release VA surfaces as early as
possible.

vaapidecode: reply to CAPS queries.

Handle GST_QUERY_CAPS, which is the GStreamer 1.0 mechanism to retrieve
the set of allowed caps, i.e. it works similar to GstPad::get_caps().

This fixes fallback to SW decoding if no HW decoder is available.

decoder: fix unpaired GstBuffer map/unmaps.

This possibly fixes a few memory leaks along the way.

Allow build against either GStreamer API (0.10 or 1.0).

Introduce a new configure option --with-gstreamer-api that determines
the desired GStreamer API to use. By default, GStreamer 1.0 is selected.
Also integrate more compatibility glue into gstcompat.h and plugins.

plugins: use new video buffer pools.

Use new GstVaapiVideoBufferPool to maintain video buffers. Implement
GstBaseSink::propose_allocation() to expose that pool to upstream
elements; and also implement GstVideoDecoder::decide_allocation() to
actually use that pool (from downstream), if any, or create one.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

plugins: add GstVaapiVideoMemory and GstVaapiVideoBufferPool objects.

Add initial support for GstVaapiVideoMemory backed buffer pool. The memory
object currently holds a reference to GstVaapiVideoMeta.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

plugins: allow copies of GstVaapiVideoMeta objects.

Make it possible to copy GstVaapiVideoMeta objects, unless they contain VA
objects created from GstVaapiVideoPool. This is mostly useful to clone a
GstVaapiVideoMeta object containing a VA surface proxy so that to alter its
rendering flags.

plugins: make it possible to clear VA objects from GstVaapiVideoMeta.

Fix GstVaapiVideoMeta to allow VA objects to be destroyed when they are
reset to NULL. i.e. make gst_vaapi_video_meta_set_{image,surface}() and
gst_vaapi_video_meta_set_surface_proxy() actually clear VA objects when
argument is NULL.

plugins: initial port to GStreamer 1.0.

Port vaapidecode and vaapisink plugins to GStreamer API >= 1.0. This
is rather minimalistic so that to test the basic functionality.

Disable vaapiupload, vaapidownload and vaapipostproc plugins. The latter
needs polishing wrt. to GStreamer 1.x functionality and the former are
totally phased out in favor of GstVaapiVideoMemory map/unmap facilities,
which are yet to be implemented.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

tests: add support for GStreamer 1.0.

Add initial support for GStreamer 1.0.

This integrates support for GStreamer API >= 1.0 only in the libgstvaapi
core decoding library. The changes are kept rather minimal here so that
the library retains as little dependency as possible on core GStreamer
functionality.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

vaapisink: improve check for raw YUV format mode.

Improve check for raw YUV format modes by avoiding checks against strings
("video/x-raw-yuv") for each new GstBuffer allocation. In the usual case,
GstBaseSink::set_caps() is called first and if VA surface format mode is
used, then GstBaseSink::buffer_alloc() is not called. If the latter is
called before set_caps(), then we just make a full check. This one is
pretty rare though, e.g. it usually happens once for custom pipelines.

plugins: don't fail if there is no overlay composition to apply.

Fix gst_vaapi_apply_composition() to not fail if no overlay composition
was found. i.e. return success (TRUE). This was harmless though extra
debug messages are not nice.

This is a regression introduced by commit 95b8659.

vaapidecode: expose the exact set of supported HW decoders.

Don't return static caps that don't mean anything for the underlying codecs
that are actually supported for decoding. i.e. always allocate a VA display
and retrieve the exact set of HW decoders available. That VA display may be
re-used later on during negotiation through GstVideoContext "prepare-context".

This fixes fallback to SW decoding if no HW decoder is available.

decoder: drop obsolete functions.

Drop the following functions that are now obsolete:
- gst_vaapi_context_get_surface()
- gst_vaapi_context_put_surface()
- gst_vaapi_context_find_surface_by_id()
- gst_vaapi_surface_proxy_new()
- gst_vaapi_surface_proxy_get_context()
- gst_vaapi_surface_proxy_set_context()
- gst_vaapi_surface_proxy_set_surface()

This is an API change.

decoder: delegate surface size check to VA context reset.

Now that the surface pool is reference counted in the surface proxy wrapper,
we can safely ignore surface size checks in gst_vaapi_decoder_ensure_context().
Besides, this check is already performed in gst_vaapi_context_reset_full().

decoder: simplify acquisition/release of spare surface.

Introduce gst_vaapi_surface_proxy_new_from_pool() to allocate a new surface
proxy from the context surface pool. This change also makes sure to retain
the parent surface pool in the proxy.

Besides, it was also totally useless to attach/detach parent context to
VA surface each time we acquire/release it. Since the whole context owns
all associated VA surfaces, we can mark this as such only once and for all.