vaapiconvert: change direct-rendering=0 to vaPutImage and support YUY2 colorspace to vaImage

add Intel Copyright

compiling passed in 3.0 for vaapiencode

vaapiconvert support multiple YUV colorspace

Add FPS log print in vaapiencode

Use config.h to vaapiencode

add fps caculation macro

support YUY2 convert to surface

vaapiconvert: try directly copy buffer to derived surface first

change encoder log output format, support GST log

support multiple threads for vaapivideopool

support raw-buffer directly converted to surface in vaapiconvert

Add context API <gst_vaapi_context_get_surface_pool>

add h264encoder

caps: vaapi doesn't need framerate

fix typo do not create color-balance filter when not needed

remove _get_caps for postproc srcpad caps will retrieve from pad template, suppress a gst warning

add color balance support in vpp

  hue/brightness/contrast/saturation
  auto-brightness/auto-contrast/auto-saturation

share property operation code between GstVaapiPostproc and GstVaapiPostprocess

add vpp process in gstvaapipostproc

add vpp process in gstvaapipostprocess

  denoise, deinterlace, surface fromat conversion, scaling

check vpp support in configure.ac

Add new object GstVaapiPostProcess for post-processing

separate some enum from gstvaapipostproc to gstvaapipostprocess

add fourcc for GstVaapiSurface

surface creation with dedicate fourcc is supported after VA API 0.34
legacy interface still works on lower version VA API

h264: reset got_{sps,pps} when corrupted SPS/PPS headers are parsed.

Reset got_{sps,pps} when corrupted SPS/PPS headers are parsed. This means
that no frame will be decoded until valid SPS/PPS headers are parsed again.
This also prevents from parsing slice headers with invalid data, and avoids
potential crashes.

https://bugs.freedesktop.org/show_bug.cgi?id=57902

vc1: handle CLOSED_ENTRY.

When CLOSED_ENTRY == 0, and if the B pictures that follow an entry-point
lack a reference anchor picture, these B pictures shall be discarded.

https://bugs.freedesktop.org/show_bug.cgi?id=59505

vc1: fix decoding of WMV3 videos in AVI format.

The AVI demuxer (avidemux) does not set a proper "format" attribute
to the generated caps. So, try to recover the video codec format from
the "wmvversion" property instead.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

vc1: review and report errors accordingly.

Use GST_ERROR() to report real errors instead of hiding them into
GST_DEBUG().

vc1: cope with latest codecparser changes.

Fix build with newer VC-1 codecparser where dqsbedge was renamed to
dqbedge, and now represents either DQSBEDGE or DQDBEDGE depending on
the actual value of DQPROFILE.

codecparsers: update to gst-vaapi-branch commit 35053b8.

aeb898b vc1: fix bitplanes decoding (DIFF6 or NORM6 residual bytes)
63e3344 vc1: fix bitplanes decoding (DIFF6 or NORM6)
b0a9372 vc1: add API to parse slice headers
773f3d1 vc1: fix bitplanes decoding
870e083 vc1: simplify GstVC1VopDquant structure
bc0d65e vc1: fix VOPDQUANT parser for DQUANT == 2
dcd3abd vc1: fix calculation of ALTPQUANT
73ca0b7 vc1: fix parser for DQPROFILE in VOPDQUANT
8840c2d h264: zero-initialize SPS VUI parameters

codecparsers: update to gst-vaapi-rebased commit b47983a.

b47983a h264: add inferred value for slice_beta_offset_div2

Bump version for development.

0.4.2.

NEWS: updates.

image: fix GstVaapiImage map and unmap.

Fix gst_vaapi_image_map() to return TRUE and the GstVaapiImageRaw
structure correctly filled in if the image was already mapped.
Likewise, make gst_vaapi_image_unmap() return TRUE if the image
was already unmapped.

mpeg4: fix decoding at end-of-stream.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

mpeg4: fix size argument to gst_adapter_flush().

Flush only consumed_size bytes from the GstAdapter.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

tests: add test for MPEG-4:2 decoding.

h264: initialize VA context before allocating the first slice.

Fix decode_slice() to ensure a VA context exists prior to creating a
new GstVaapiSliceH264, which invokes vaCreateBuffer() with some VA
context ID. i.e. the latter was not initialized, thus causing failures
on Cedar Trail for example.

configure: install plugin elements in GST_PLUGIN_PATH, if set.

If GST_PLUGIN_PATH environment variable exists and points to a valid
directory, then use it as the system installation path for gst-vaapi
plugin elements.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

libs: only export gst_vaapi_*() symbols.

This fixes symbol clashes between the gst-vaapi built-in codecparsers/
library and the system-provided one, mainly used by videoparses/. Now,
only symbols with the gst_vaapi_* prefix will be exported, if they are
not marked as "hidden" to libgstvaapi.

libs: fix compatibility with glib 2.28.

Always prefer non deprecated APIs by default and provide compatibility
glue for older glib versions when necessary.

libs: use glib >= 2.32 semantics for mutexes.

Use glib >= 2.32 semantics for GMutex and GRecMutex wrt. initialization
and termination. Basically, the new mutex objects can be used as static
mutex objects from the deprecated APIs, e.g. GStaticMutex and GStaticRecMutex.

vaapidecode: adopt non-deprecrated glib locking primitive pattern.

The use of heap allocated GMutex/GCond is deprecated. Instead place them
inside the structure they are locking.

These changes switch to use g_mutex_init/g_cond_init rather than the heap
allocation functions.

Because we cannot test for a NULL pointer for the GMutex/GCond we must
initialise inside the GObject _init function and clear inside the _finalize
which is guaranteed to only be called once and after the object is no longer
in use.

videobuffer: fix memory leak for surface and image.

Fix reference leak of surface and image in GstVaapiVideoBuffer wrapper,
thus resulting on actual memory leak of GstVaapiImage when using them
for downloads/uploads from VA surfaces and more specifically surfaces
when the pipeline is shutdown. i.e. vaTerminate() was never called
because the resources were not unreferenced, and thus not deallocated
in the end.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

Bump version for development.

Mark release.

0.4.1.

NEWS: updates.

wayland: port to 1.0 version of the protocol.

This patch updates to relect the 1.0 version of the protocol. The main
changes are the switch to wl_registry for global object notifications
and the way that the event queue and file descriptor is processed.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

h264: fix picture size in macroblocks.

The picture size signalled by sps->{width,height} is the actual size with
cropping applied, not the original size derived from pic_width_in_mbs_minus1
and pic_height_in_map_units_minus1. VA driver expects that original size,
uncropped.

There is another issue pending: frame cropping information needs to be
taken care of.

h264: start decoding slices after first SPS/PPS activation.

Only start decoding slices when at least one SPS and PPS got activated.
This fixes cases when a source represents a substream of another stream
and no SPS and PPS was inserted before the first slice of the generated
substream.

h264: fix VAPictureParameterBufferH264.ReferenceFrames[] construction.

... for interlaced streams. The short_ref[] and long_ref[] arrays may
contain up to 32 fields but VA ReferenceFrames[] array expects up to
16 reference frames, thus including both fields.

h264: fix interlaced stream decoding with MMCO.

Fix decoding of interlaced streams when adaptive_ref_pic_marking_mode_flag
is equal to 1, i.e. when memory management control operations are used. In
particular, when field_pic_flag is set to 0, the new reference flags shall
be applied to both fields.

h264: add initial support for interlaced streams.

Decoded frames are only output when they are complete, i.e. when both
fields are decoded. This also means that the "interlaced" caps is not
propagated to vaapipostproc or vaapisink elements. Another limitation
is that interlaced bitstreams with MMCO are unlikely to work.

h264: split remove_reference_at() into finer units.

Split remove_reference_at() into a function that actually removes the
specified entry from the short-term or long-term reference picture array,
and a function that sets reference flags to the desired value, possibly
zero. The latters marks the picture as "unused for reference".

decoder: fix gst_vaapi_picture_new_field() object type.

Fix gst_vaapi_picture_new_field() to preserve the original picture type.
e.g. gst_vaapi_picture_new_field() with a GstVaapiPictureH264 argument
shall generate a GstVaapiPictureH264 object.

h264: add picture structure for reference picture marking process.

Introduce new `structure' field to the H.264 specific picture structure
so that to simplify the reference picture marking process. That local
picture structure is derived from the original picture structure, as
defined by the syntax elements field_pic_flag and bottom_field_flag.

h264: introduce new frame store structure.

The frame store represents a Decoded Picture Buffer entry, which can
hold up to two fields. So far, the frame store is only used to hold
full frames.

h264: minor clean-ups.

Move DPB flush up if the current picture to decode is an IDR. Besides,
don't bother to check for IDR pictures in dpb_add() function since an
explicit DPB flush was already performed in this case.

h264: simplify reference picture marking process.

... to build the short_ref[] and long_ref[] lists from the DPB, instead
of maintaining them separately. This avoids refs/unrefs while making it
possible to generate the list based on the actual picture structure.

This also ensures that the list of generated ReferenceFrames[] actually
matches what reference frames are available in the DPB. i.e. short_ref[]
and long_ref[] entries are implied from the DPB, so there is no risk of
having "dangling" references.

h264: introduce per-field POC in GstVaapiPictureH264.

Use the POC member available in the GstVaapiPicture base class and
get rid of the dependency on the local VAPictureH264 TopFieldOrderCnt
and BottomFieldOrderCnt. Rather, use a simple field_poc[] array
initialized to INT_MAX, so that to simplify picture POC calculation
for non frame pictures.

h264: introduce GST_VAAPI_PICTURE_{SHORT,LONG}_TERM_REFERENCE flags.

Further get rid of GstVaapiPictureH264-local VAPictureH264.flags for
reference bits, thus simplifying the reference picture marking process
to only track a single set of reference flags. Also introduce a new
long_term_frame_idx member.

h264: introduce GST_VAAPI_PICTURE_FLAG_IDR flag.

h264: fill in GstVaapiPicture structure.

... and get rid of local VAPictureH264.flags fields in GstVaapiPictureH264.

h264: add vaapi_fill_picture() helper.

Add vaapi_fill_picture() helper function to convert GstVaapiPictureH264
to VAPictureH264 structure. This is preparatory work to get rid of the
local VAPictureH264 member in GstVaapiPictureH264.

h264: fix activation order of picture and sequence parameters.

Delay ensure_context() until we actually need a VA context for allocating
new VA surfaces, and then GstVaapiPictures, but also when a real activation
of a new picture parameter set occurs, thus also implying an activation
of the related sequence parameter set.

The most important thing was to drop the global pps and sps pointers since
they may not have matched the currently activated picture parameter or
sequence parameter sets at the specified decode point.

Anoter positive side-effect is that this cleans up all occurrences of
decode_current_picture() to only keep those useful in decode_picture(),
before a new picture is allocated, or in decode_sequence_end() when
an end-of-stream or end-of-sequence condition occurred.

h264: fix detection of picture boundaries.

Strictly follow the standard (7.4.1.2.4) to detect the first VCL NAL
unit of a primary coded picture.

h264: optimize handling of scaling lists.

Don't copy scaling lists twice to an intermediate state. Rather, directly
use the scaling lists from GstH264PPS since they would match those provided
by SPS header, if necessary. i.e. if PPS-specific scaling lists are not
available in the bitstream.

h264: simplify code when MMCO is 5.

Remove exit_picture() and exit_picture_poc() since PicOrderCnt(CurrPic)
is now updated accordingly to the standard. Besides, MMCO = 5 specific
operations are moved up to exec_ref_pic_marking_adaptive_mmco_5().

h264: fix MMCO-based reference picture marking process.

Fix adaptive memory control decoded reference picture marking process
implementation for operations 2 to 6, thus also fixing support for
long-term reference pictures.

h264: move MMCO handlers out of the loop (cosmetics).

This change only splits each individual MMCO handler into several functions
dedicated for each operation. This is needed to perform further work later
on.

h264: add flag to compile with strict DPB ordering mode.

Allow build with strict DPB ordering mode whereby evicted entries
are replaced by the next entries, in order instead of optimizing
it away with the last entry in the DPB.

This is only useful for debugging purpose, against a reference SW
decoder for example.

h264: drop extra code covered by built-in codecparsers.

GstH264SliceHdr.n_emulation_prevention_bytes is bound to exist now that
a newer version of codecparsers/ are used if the system provided one is
now recent enough to have those required extensions.

h264: use pixel-aspect-ratio from SPS header.

Propagate pixel-aspect-ratio determined by the GStreamer codecparser
from the sequence headers.

Signed-off-by: Simon Farnsworth <simon.farnsworth@onelan.co.uk>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

h264: add decode_nalu() helper function.

Split decode_buffer() into the core infrastructure that determines
the NAL units contained in the adapter and the actual function that
decodes the NAL unit.

h264: fix end-of-stream conditions (flush).

Decode pending data in the adapter prior to processing the actual
code for end-of-stream.

vc1: use framerate information from bitstream parser.

vc1: use pixel-aspect-ratio from bitstream parser.

Signed-off-by: Simon Farnsworth <simon.farnsworth@onelan.co.uk>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

mpeg2: fix PAR calculation from commit 132922d.

Invoke gst_mpeg_video_finalise_mpeg2_sequence_header() to get the
correct PAR values. While doing so, require a newer version of the
bitstream parser library.

Note: it may be necessary to also parse the Sequence_Display_Extension()
header.

Signed-off-by: Sreerenj Balachandran <sreerenj.balachandran@intel.com>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

mpeg2: use pixel-aspec-ratio information from bitstream parser.

Signed-off-by: Simon Farnsworth <simon.farnsworth@onelan.co.uk>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

mpeg2: add decode_packet() helper function.

Split decode_buffer() into the core infrastructure that determines
the packets contained in the adapter and the actual function that
decodes the packet data.

mpeg2: fix end-of-stream conditions (flush).

Decode pending data in the adapter prior to processing the actual
code for end-of-stream. Initial code from Feng Yuan.

mpeg2: fix memory leak of empty packets.

Fix memory leakage of empty packets, i.e. packets that only contain
the start code prefix. In particular, free empty user-data packets.

Besides, the codec parser will already fail gracefully if the packet
to parse does not have the minimum required size. So, we can also
completely drop the block of code that used to handle packets of size 4
(including the start code).

mpeg2: fix return value for "no-data" conditions.

Fix return value when the second scan for start code fails. This means
there is not enough data to determine the full extents of the current
packet and the function shall return GST_VAAPI_DECODER_STATUS_ERROR_NO_DATA
in this case, instead of GST_VAAPI_DECODER_STATUS_SUCCESS.

decoder: refine semantics of gst_vaapi_decoder_put_buffer().

Improve the semantics for gst_vaapi_decoder_put_buffer() when an empty
buffer is passed on. An empty buffer is a buffer with a NULL data pointer
or with a size equals to zero. In this case, that buffer is simply
skipped and the function returns TRUE. A NULL buffer argument still
marks the end-of-stream.

decoder: drop unused functions.

vaapidecode: flush buffers when receiving EOS.

Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

vaapidecode: fix compiler warnings.

Don't care of the return value for gst_vaapi_decoder_put_buffer()
during destruction of the element. Don't print out (uninitialised)
error code when allocation of video buffer failed.

Add codecparsers submodule.

Backport from git master:
c3b343f Add codecparsers submodule
cee782a jpeg: use submodule sources
022e99e h264: use submodule sources
d42d838 fix generation of symlinks
d453297 update to gst-vaapi-rebased commit 73d6aab
18245b4 always build the VC-1 parser library
9ab3ce2 always build parserutils first

Fix build with the GNU gold linker.

In particular, fix libgstvaapi-glx DSO dependencies to include libgstbase
and libgstvideo libs, e.g. for gst_video_buffer_get_overlay_composition().

.gitignore: updates.

autogen: fix check for gtkdocize and autoreconf.

If gtkdocize or autoreconf programs were not found, then the autogen.sh
script would fail to report that correctly because test -z was not passed
any argument (empty string "" in this case).

configure: generate bzip2 tarballs in ustar format by default.

Bump version for development.

0.4.0.

debian: fix make dist for packaging.

wayland: cosmetics (remove tabs).

wayland: add support for windowed mode.

Rather than always making the surface fullscreen instead implement the
set_fullscreen vfunc on GstVaapiWindow and then set the shell surface
fullscreen on not depending on that.

Reviewed-by: Joe Konno <joe.konno@intel.com>
Signed-off-by: Gwenole Beauchesne <gwenole.beauchesne@intel.com>

Fix and document build dependencies better.