h264: split remove_reference_at() into finer units.

Split remove_reference_at() into a function that actually removes the
specified entry from the short-term or long-term reference picture array,
and a function that sets reference flags to the desired value, possibly
zero. The latters marks the picture as "unused for reference".

decoder: fix gst_vaapi_picture_new_field() object type.

Fix gst_vaapi_picture_new_field() to preserve the original picture type.
e.g. gst_vaapi_picture_new_field() with a GstVaapiPictureH264 argument
shall generate a GstVaapiPictureH264 object.

h264: add picture structure for reference picture marking process.

Introduce new `structure' field to the H.264 specific picture structure
so that to simplify the reference picture marking process. That local
picture structure is derived from the original picture structure, as
defined by the syntax elements field_pic_flag and bottom_field_flag.

h264: introduce new frame store structure.

The frame store represents a Decoded Picture Buffer entry, which can
hold up to two fields. So far, the frame store is only used to hold
full frames.

codecparsers: update to gst-vaapi-rebased commit 73d6aab.

73d6aab h264: fix rbsp_more_data() implementation
25d04cf h264: fix error code for invalid size parsed in SPS
84798e5 fix FSF address

h264: minor clean-ups.

Move DPB flush up if the current picture to decode is an IDR. Besides,
don't bother to check for IDR pictures in dpb_add() function since an
explicit DPB flush was already performed in this case.

h264: simplify reference picture marking process.

... to build the short_ref[] and long_ref[] lists from the DPB, instead
of maintaining them separately. This avoids refs/unrefs while making it
possible to generate the list based on the actual picture structure.

This also ensures that the list of generated ReferenceFrames[] actually
matches what reference frames are available in the DPB. i.e. short_ref[]
and long_ref[] entries are implied from the DPB, so there is no risk of
having "dangling" references.

h264: introduce per-field POC in GstVaapiPictureH264.

Use the POC member available in the GstVaapiPicture base class and
get rid of the dependency on the local VAPictureH264 TopFieldOrderCnt
and BottomFieldOrderCnt. Rather, use a simple field_poc[] array
initialized to INT_MAX, so that to simplify picture POC calculation
for non frame pictures.

h264: introduce GST_VAAPI_PICTURE_{SHORT,LONG}_TERM_REFERENCE flags.

Further get rid of GstVaapiPictureH264-local VAPictureH264.flags for
reference bits, thus simplifying the reference picture marking process
to only track a single set of reference flags. Also introduce a new
long_term_frame_idx member.

h264: introduce GST_VAAPI_PICTURE_FLAG_IDR flag.

h264: fill in GstVaapiPicture structure.

... and get rid of local VAPictureH264.flags fields in GstVaapiPictureH264.

h264: add vaapi_fill_picture() helper.

Add vaapi_fill_picture() helper function to convert GstVaapiPictureH264
to VAPictureH264 structure. This is preparatory work to get rid of the
local VAPictureH264 member in GstVaapiPictureH264.

h264: fix activation order of picture and sequence parameters.

Delay ensure_context() until we actually need a VA context for allocating
new VA surfaces, and then GstVaapiPictures, but also when a real activation
of a new picture parameter set occurs, thus also implying an activation
of the related sequence parameter set.

The most important thing was to drop the global pps and sps pointers since
they may not have matched the currently activated picture parameter or
sequence parameter sets at the specified decode point.

Anoter positive side-effect is that this cleans up all occurrences of
decode_current_picture() to only keep those useful in decode_picture(),
before a new picture is allocated, or in decode_sequence_end() when
an end-of-stream or end-of-sequence condition occurred.

h264: fix scaling list generation.

... aka fix regression from efaab79. In particular, ScalingList8x8[]
array was partially copied to the VAIQMatrixBufferH264. While we are
at it, also improve bounds checking and avoid copying 8x8 scaling
lists if transform_8x8_mode_flag is set to 0.

h264: fix detection of picture boundaries.

Strictly follow the standard (7.4.1.2.4) to detect the first VCL NAL
unit of a primary coded picture.

h264: optimize handling of scaling lists.

Don't copy scaling lists twice to an intermediate state. Rather, directly
use the scaling lists from GstH264PPS since they would match those provided
by SPS header, if necessary. i.e. if PPS-specific scaling lists are not
available in the bitstream.

h264: simplify code when MMCO is 5.

Remove exit_picture() and exit_picture_poc() since PicOrderCnt(CurrPic)
is now updated accordingly to the standard. Besides, MMCO = 5 specific
operations are moved up to exec_ref_pic_marking_adaptive_mmco_5().

h264: fix MMCO-based reference picture marking process.

Fix adaptive memory control decoded reference picture marking process
implementation for operations 2 to 6, thus also fixing support for
long-term reference pictures.

h264: move MMCO handlers out of the loop (cosmetics).

This change only splits each individual MMCO handler into several functions
dedicated for each operation. This is needed to perform further work later
on.

debian: fix make dist for packaging.

bzip2 tarballs are now used, so update the deb.upstream dependencies
to include dist-bzip2 instead of plain old dist, and use the correct
tar extract options to handle that format.

configure: generate bzip2 tarballs in ustar format by default.

configure: bump glib required version to 2.31.2.

Use new Thread API. In particular, g_mutex_init() and g_cond_init()
rather than g_mutex_new() and g_cond_new() respectively.

vaapidecode: adopt non-deprecrated glib locking primitive pattern.

The use of heap allocated GMutex/GCond is deprecated. Instead place them
inside the structure they are locking.

These changes switch to use g_mutex_init/g_cond_init rather than the heap
allocation functions.

Because we cannot test for a NULL pointer for the GMutex/GCond we must
initialise inside the GObject _init function and clear inside the _finalize
which is guaranteed to only be called once and after the object is no longer
in use.

vaapidecode: fix compiler warnings.

Don't care of the return value for gst_vaapi_decoder_put_buffer()
during destruction of the element. Don't print out (uninitialised)
error code when allocation of video buffer failed.

h264: add flag to compile with strict DPB ordering mode.

Allow build with strict DPB ordering mode whereby evicted entries
are replaced by the next entries, in order instead of optimizing
it away with the last entry in the DPB.

This is only useful for debugging purpose, against a reference SW
decoder for example.

h264: drop extra code covered by built-in codecparsers.

GstH264SliceHdr.n_emulation_prevention_bytes is bound to exist now that
a newer version of codecparsers/ are used if the system provided one is
now recent enough to have those required extensions.

codecparsers: fix generation of symlinks.

Try to improve dependencies while generating symlinks to externally
maintained copy of codecparsers (derived from upstream git master
tree).

vc1: use framerate information from bitstream parser.

vc1: use pixel-aspect-ratio from bitstream parser.

Signed-off-by: Simon Farnsworth <simon.farnsworth@onelan.co.uk>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

mpeg2: use pixel-aspec-ratio information from bitstream parser.

Signed-off-by: Simon Farnsworth <simon.farnsworth@onelan.co.uk>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

codecparsers: h264: use submodule sources.

Use newer sources from the codecparsers/ submodule for
- GstH264SliceHdr.n_emulation_prevention_bytes: EPBs;
- GstH264VUIParams.{par_n,par_d}: pixel-aspect-ratio.

codecparsers: jpeg: use submodule sources.

Add codecparsers submodule.

.gitignore: updates.

autogen: fix check for gtkdocize and autoreconf.

If gtkdocize or autoreconf programs were not found, then the autogen.sh
script would fail to report that correctly because test -z was not passed
any argument (empty string "" in this case).

h264: use pixel-aspect-ratio from SPS header.

Propagate pixel-aspect-ratio determined by the GStreamer codecparser
from the sequence headers.

Signed-off-by: Simon Farnsworth <simon.farnsworth@onelan.co.uk>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

h264: add decode_nalu() helper function.

Split decode_buffer() into the core infrastructure that determines
the NAL units contained in the adapter and the actual function that
decodes the NAL unit.

h264: fix end-of-stream conditions (flush).

Decode pending data in the adapter prior to processing the actual
code for end-of-stream.

mpeg2: add decode_packet() helper function.

Split decode_buffer() into the core infrastructure that determines
the packets contained in the adapter and the actual function that
decodes the packet data.

mpeg2: fix end-of-stream conditions (flush).

Decode pending data in the adapter prior to processing the actual
code for end-of-stream. Initial code from Feng Yuan.

mpeg2: fix memory leak of empty packets.

Fix memory leakage of empty packets, i.e. packets that only contain
the start code prefix. In particular, free empty user-data packets.

Besides, the codec parser will already fail gracefully if the packet
to parse does not have the minimum required size. So, we can also
completely drop the block of code that used to handle packets of size 4
(including the start code).

mpeg2: fix return value for "no-data" conditions.

Fix return value when the second scan for start code fails. This means
there is not enough data to determine the full extents of the current
packet and the function shall return GST_VAAPI_DECODER_STATUS_ERROR_NO_DATA
in this case, instead of GST_VAAPI_DECODER_STATUS_SUCCESS.

decoder: refine semantics of gst_vaapi_decoder_put_buffer().

Improve the semantics for gst_vaapi_decoder_put_buffer() when an empty
buffer is passed on. An empty buffer is a buffer with a NULL data pointer
or with a size equals to zero. In this case, that buffer is simply
skipped and the function returns TRUE. A NULL buffer argument still
marks the end-of-stream.

decoder: drop unused functions.

vaapidecode: flush buffers when receiving EOS.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

debian: fix make dist for packaging.

wayland: cosmetics (remove tabs).

wayland: add support for windowed mode.

Rather than always making the surface fullscreen instead implement the
set_fullscreen vfunc on GstVaapiWindow and then set the shell surface
fullscreen on not depending on that.

Reviewed-by: Joe Konno <joe.konno@intel.com>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

Bump version for development.

Fix and document build dependencies better.

debian: fix GStreamer build dependencies.

debian: fix Wayland build dependencies.

debian: fix conditional build of packages.

Make it still possible to build package even if one of the build dependencies
for a specific video backend is not available.

utils: drop unused GLX helpers.

Remove helpers for GL_ARB_fragment_program and GL_ARB_multitexture
extensions since they are not used throughout gstreamer-vaapi.

utils: fix build with <GL/glext.h> version >= 85.

Mesa recently updated the <GL/glext.h> header version to Khronos version 85.
This caused the PFNGLMULTITEXCOORD2FPROC definition to be moved out of the
GL_VERSION_1_3_DEPRECATED block. However, since <GL/gl.h> also defines
GL_VERSION_1_3 to 1, the definitions in <GL/glext.h> are then not enabled,
thus leaving PFNGLMULTITEXCOORD2FPROC undefined as well.

Provide a PFNGLMULTITEXCOORD2FPROC replacement as an interim solution for
newer versions of the <GL/glext.h> header.

configure: update VA-API version requirements.

VA/DRM and VA/Wayland API are now promoted to VA-API 0.33.0 (libva 1.1.0).

h264: review and report errors accordingly.

Use GST_ERROR() to report real errors instead of hiding them into
GST_DEBUG().

h264: exclusively use GstAdapter, drop sub-buffer hack.

Maintaining the sub-buffer is rather suboptimal especially since we
were also maintaining a GstAdapter. Now, we only use the GstAdapter
thus requiring minor extra parsing when receiving avcC buffers.

README: updates.

NEWS: updates.

debian: fix packaging on recent Ubuntu platforms.

Use explicit GStreamer plugins path.

docs: fix build for make dist.

wayland: set opaque region for YUV surface.

This allows the compositor to optimize redraws and cull away changes
obscured by the video surface.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

configure: fix check for libva-glx and libva-drm.

glibcompat: add replacement for g_cond_wait_until().

plugins: include "sysdeps.h" instead of "config.h".

codecparsers: jpeg: add missing includes.

vaapidecode: don't reset decoder if codec type is the same.

Reset, i.e. destroy then create, the decoder in _setcaps() handler only
if the underlying codec type actually changed. This makes it possible
to be more tolerant with certain MPEG-2 streams that get parsed to
form caps that are compatible with the previous state but minor changes
to "codec-data".

vaapidecode: simplify codec lookup from caps.

Add new gst_vaapi_codec_from_caps() helper to determine codec type from
the specified caps. Don't globally expose this function since this is
really trivial and only used in the vaapidecode element.

vaapidecode: improve "no free surface" conditions.

Previously, vaapidecode would wait up to one second until a free surface
is available, or it aborts decoding. Now, vaapidecode waits until the
last decoded surface was to be presented, plus one second. Besides, end
times are now expressed relative to the monotonic clock.

decoder: propagate buffer duration downstream.

surfaceproxy: add "duration" property.

decoder: cope with new GstVaapiContextInfo based API.

Update decoders to report the maximum number of reference frames to use.

context: JPEG codec does not need any reference frame.

context: allow number of reference frames to be set.

Make it possible to specify the maximum number of references to use within
a single VA context. This helps reducing GPU memory allocations to the useful
number of references to be used.

vaapipostproc: fix deinterlace-{mode,method} types definition.

mpeg4: fix debug info for unsupported profile.

libs: fix build in strict ISO C mode.

plugins: fix build in strict ISO C mode.

pkgconfig: fix dependencies and slightly improve description.

Drop @LIBVA_EXTRA_{CFLAGS,LIBS}@ substitutions and slightly improve
descriptions with clearer renderer names.

vaapidecode: acquire lock only if the mutex exists.

When playback stops the GstVaapiDecode object is reset into a clean
state. However, surfaces may still be referenced by library users and
unreferencing them after the reset triggers an access to an unset mutex.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

decoder: drop extraneous return for void function.

image: don't use (void *) pointer arithmetic.

Do not forward declare enums.

Forward declaring enums is not allowed by the C standard and aborts
compilation if the header file is included in a C++ project.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

configure: fix check for VA/DRM API.

vaapisink: fix calculation of window size.

If either dimension is out-of-bounds, then scale window to fit the
display size, even if the output is to be rotated. Use the standard
gst_video_sink_center_rect() function to center and scale the window
wrt. the outer (display) bounds.

vaapisink: add video rotation support.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

pluginutils: add G_PRIMITIVE_SWAP() helper macro.

This macro helps swapping variables while maintaining the correct underlying
and primitive type.

display: fix display aspect ratio when display is rotated.

display: fix physical display size when display is rotated.

display: fix GstVaapiRotation enumeration of values.

vaapisink: drop obsolete GstVaapiVideoSink interface.

This interface was deprecated since 0.3.x series when the GstVideoContext
interface was added to the main GStreamer APIs.

vaapisink: automatically detect overlay rendering mode.

Retain the VA surface until another surface is to be displayed only
if VA display rendering mode is determined to be "overlay" mode.

vaapisink: retain VA surface until another one is displayed.

Keep VA surface proxy associated with the surface that is currently
being displayed. This makes sure that surface is not released back
to the pool of surfaces free to use for decoding. This is necessary
with VA driver implementations that support rendering to an overlay
pipe. Otherwise, there could be cases where we are decoding into a
surface that is being displayed, hence some flickering.

vaapisink: fix build with older toolchains.

Don't re-declare GstVaapiTexture if USE_GLX mode is set.

display: partially revert 8ebe4d6.

Don't try to fix up the initial values, this could make things worse.
Simply assume the driver does not support the capability in this case.

tests: dump VA display properties.

display: fix validation process of properties during discovery.

Some VA drivers (e.g. EMGD) can have completely random values for initial
display attributes. So, try to improve the discovery process to check the
initial display attribute values actually fall within valid bounds. If not,
try to reset those to some sensible values like the default value reported
through vaQueryDisplayAttributes().

display: add color balance properties.

Add support for hue, saturation, brightness and contrast attributes.

display: initialize default attribute values.

Ensure the display attribute is actually supported by trying to retrieve
its current value during GstVaapiDisplay creation.