omxvideoenc/dec: declare latency on zynqultrascaleplus

The OMX specification doesn't provide any API to expose the latency
introduced by encoders and decoders. We implemented this as a custom
extension as declaring the latency is needed for live pipelines like
video conferencing.

https://bugzilla.gnome.org/show_bug.cgi?id=785125

omxvideoenc: adjust stride and slice height from input

Use the stride and slice height information from the first buffer meta
data to adjust the settings of the input port.
This will ensure that the OMX input buffers match the GStreamer ones
and so will save us from having to copy line-by-line each one.

This is also the first step to allow the OMX encoder to receive dmabuf.

Tested on rpi and zynqultrascaleplus.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideoenc: delay buffer configuration until component is enabled

No significant change for now. Just delay the input port configuration
of the buffer size related fields (stride, slice height, buffer size)
until the component is activated.
This will allow us to use the actual stride/height of the first input
and so avoid the buffer copying code path in most cases.

Tested on rpi and zynqultrascaleplus.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideodec/enc: delay allocation after the allocation query

Allocating OMX components buffers in set_format() is too early.
Doing it when receiving the first buffers will allow the element to use
the information from the allocation query and/or the first incoming
buffer to pick to best allocation mode.

Tested on raspberry pi with dynamic resolution changes on decoder and
encoder input.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideoenc: start src thread in handle_frame()

Makes the code simpler as we no longer need to restart the thread in
gst_omx_video_enc_flush() and It's more symetric which the omxvideodec
implementation.

I'm also going to move the enabling of the OMX component in
handle_frame() and the src pad thread needs to be started after it.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideodec: earlier return if downstream_flow_ret is not OK

There is no point to (re)start the src thread if, for example, we are
flushing.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideodec: factor out enable and disable code

No semantic change, just factor out the code enabling and disabling the
component to their own functions.

Makes the code easier to read as the set_format() method was already
pretty big. Will also allow us to easily change the enabling logic.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideoenc: factor out enable and disable code

No semantic change, just factor out the code enabling and disabling the
component to their own functions.

Makes the code easier to read as the set_format() method was already
pretty big. Will also allow us to easily change the enabling logic.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omx: also reset nFilledLen before calling OMX_FillThisBuffer()

The spec states that the buffer passed to OMX_FillThisBuffer() needs to be
empty. Some implementation may check it actually is by checking its
nFilledLen field, so best to reset it as well.

https://bugzilla.gnome.org/show_bug.cgi?id=785623

omxvideodec: make generic the OMX_UseEGLImage code path

Will be easier to maintain and to make enhancements.

Tested with Tizonia on Desktop.
Also tested with Bellagio to make sure it does not crash when
calling OMX_UseEGLImage and indeed it returns NotImplemented.
Then gst-omx fallback to OMX_UseBuffer if it can and so on.

Also tested on rpi to make sure there is no regression.

https://bugzilla.gnome.org/show_bug.cgi?id=784365

omxvideodec: Fix segment seek

On segment seek, unlike EOS, we drain, but we cannot expect a flush
later to reset the decoder state. As a side effect, the decoder would
remain in EOS state and ignore any new incoming buffers.

To fix this, we call _flush() inside the _drain() function, and
_finish() becomes what _drain() was before. This way, for _finish() (the
    eos case) we only drain, for _drain() triggered by segment seek or new
caps, we also reset the decoder state so it's ready to accept buffers.

https://bugzilla.gnome.org/show_bug.cgi?id=785237

omxvideoenc: ensure enough buffers are allocated in the pool

Handle allocation query and ensure enough buffers are allocated in
the negotiated pool. This help preventing buffer starvation in the pipeline.

https://bugzilla.gnome.org/show_bug.cgi?id=785122

omxvideodec: add dmabuf support for output

The zynqultrascaleplus OMX implementation has a custom extension
allowing decoders to output dmabuf and so avoid buffers copy between OMX
and GStreamer.

Make use of this extension when built on the zynqultrascaleplus. The
buffer pool code should be re-usable for other platforms as well.

https://bugzilla.gnome.org/show_bug.cgi?id=784847

config: add OMX.Aratelia.video_decoder.vp8 to Tizonia config

Useful mostly for testing/debugging purpose as this is a software
based encoder (libvpxdec) for which GStreamer provides a direct
wrapper.

https://bugzilla.gnome.org/show_bug.cgi?id=783976

omxvideodec: handle IL 1.2 behavior for OMX_SetParameter

It triggers SettingsChanged on the other port and it is up to
the client to decide if it should lead to a port reconfiguration.

Settings are propagated to the other port for fields they have
in common. But this event is only triggered on the other port
if it actually change a setting.

https://bugzilla.gnome.org/show_bug.cgi?id=783976

config: set rank to 0 for Tizonia's mp3 decoder

Should have been 0 from the initial commit
eed49b4231a063639f90279c8044404c2149902a

omxvideodec: fix file permissions

Introduced by ebc9b4903cbdac2793c24b05a1bb7acc3b67fae5

omxvideodec: fix buffer leak when eglimage setup fails

Can happen if gst_buffer_pool_acquire_buffer succeeds but
gst_buffer_n_memory (buffer) is not exactly 1.

In theory this should not happen because the decoder requests
EGLImage(RGBA) but better to fix any leak on corner cases.

https://bugzilla.gnome.org/show_bug.cgi?id=784365

omx: Possible Memory leak in gst_caps_from_string

https://bugzilla.gnome.org/show_bug.cgi?id=784978

omxvideoenc: Fix deadlock in error case when draining

https://bugzilla.gnome.org/show_bug.cgi?id=784972

omxaudioenc: Fix deadlock in error case when draining

https://bugzilla.gnome.org/show_bug.cgi?id=784967

build: include OMX_IndexExt and OMX_ComponentExt if present

These files may be used by OMX implementation to define custom extensions.
Include them if present as we are already doing with OMX_VideoExt.h

https://bugzilla.gnome.org/show_bug.cgi?id=784847

omxh264enc: Re-add periodicty-idr property for backward compat

Retain backwards compatibility by adding a duplicate
property for periodicty-idr

https://bugzilla.gnome.org/show_bug.cgi?id=784370

omxh264enc: fix typo in "periodicty-idr" property name

Also fix the 'nick' of the property.

https://bugzilla.gnome.org/show_bug.cgi?id=784370

omxvideodec: use OMX_UseBuffer

For example this allows the omx decoder to directly fill the
pixmaps coming from the video sink.

It only avoids a buffer copy when the decoder uses a pool provided
by a downstream element. So let's restrict this usage to situations
where the decoder decides to use a downstream buffer pool.

Tested with Tizonia/OMX.Aratelia.video_decoder.vp8
and with Bellagio/OMX.mesa.video_decoder.avc.

If it fails to setup buffers with OMX_UseBuffer the decoders
fallbacks to usual OMX_AllocateBuffer.

Also it allows to test on desktop the GstOMXBufferPool->other_pool
management which was previously only used in the OMX_UseEGLImage
case, i.e. on Rpi.

https://bugzilla.gnome.org/show_bug.cgi?id=784069

omx: do not always print an error if OMX_{UseBuffer,EGLImage} fails

Let the caller decide to print an error. Because it can be part of
a normal trial path.

https://bugzilla.gnome.org/show_bug.cgi?id=784069

meson: add gstomxmp3enc

Commit 02d493e85921596f7cac7ef4af02fde500e9a5d8 didn't add
gstomxmp3enc.c to meson.

https://bugzilla.gnome.org/show_bug.cgi?id=784848

config: add OMX.Aratelia.audio_encoder.mp3 to Tizonia config

Useful mostly for testing/debugging purpose as this is a software
based encoder (libmp3lame) for which GStreamer provides a direct
wrapper.

https://bugzilla.gnome.org/show_bug.cgi?id=782988

omx: add gstomxmp3enc

Initial support and only tested with the software based
encoder OMX.Aratelia.audio_encoder.mp3 from Tizonia which
internally uses libmp3lame.

https://bugzilla.gnome.org/show_bug.cgi?id=782988

h264dec: add hack to pass profile and level to OMX

This information can be useful to zynqultrascaleplus decoders. They may
use this information to reduce startup latency by configuring itself
before receiving the first frames.

We also have a custom OMX extension allowing the decoder to report the
latency. The profile/level information helps it reporting a more
accurate latency earlier.

https://bugzilla.gnome.org/show_bug.cgi?id=783114

omxh264enc: move profile and level parsing functions to their own files

Will allow to re-use them in the decoder element.

https://bugzilla.gnome.org/show_bug.cgi?id=783114

meson: Add tizonia option

https://bugzilla.gnome.org/show_bug.cgi?id=782800

config: add omxmp3dec config for tizonia

GST_OMX_CONFIG_DIR=$HOME/gst/master/gst-omx/config/tizonia/ \
    gst-launch-1.0 filesrc location=mpthreetest.mp3 ! id3demux ! \
    mpegaudioparse ! omxmp3dec ! audioconvert ! pulsesink

v2: [Nicolas] Use template to create gstomx.conf using pkg-config

v3: [Nicolas] Ignore only config/tizonia/gstomx.conf

v4: [Nicolas] Add "/" for single occurence

https://bugzilla.gnome.org/show_bug.cgi?id=782800

omx: always ignore OMX_ErrorPortUnpopulated

It is safe to ignore it always. Tizonia notifies this error to pass
some khronos conformance tests. Problem is that gst-omx saves this
error in comp->last_error and then gst_omx_port_set_enabled early
error out which fails the pipeline.

https://bugzilla.gnome.org/show_bug.cgi?id=782800

omx: guard some omx enums with IL version

Some enums that existed in 1.1.2 just do not exit in 1.2.0
See https://www.khronos.org/registry/OpenMAX-IL/specs/OpenMAX_IL_1_2_0_Specification_redline.pdf

https://bugzilla.gnome.org/show_bug.cgi?id=782800

configure.ac: add tizonia target for --with-omx-target flag.

This will check for tizilheaders.pc which adds path to omx-il
headers its cflags. Can be installed all together with the 1.2 headers
with package tizilheaders if not building from sources:
https://github.com/tizonia/tizonia-openmax-il

It is also adviced to remove libomxil-bellagio-dev package because
it installs headers /usr/include directly, ex: /usr/include/OMX_Video.h.

https://bugzilla.gnome.org/show_bug.cgi?id=782800

omxaudioenc: update local port_def after reopening the component

gst_omx_audio_enc_open will only update GstOMXAudioEnc->port->port_def.

Note that the component is reopen only if the flag
GST_OMX_HACK_NO_COMPONENT_RECONFIGURE is set.

https://bugzilla.gnome.org/show_bug.cgi?id=782418

omxvideoenc: update local port_def after reopening the component

gst_omx_video_enc_open will only update GstOMXVideoEnc->port->port_def.

Note that the component is reopen only if the flag
GST_OMX_HACK_NO_COMPONENT_RECONFIGURE is set.

https://bugzilla.gnome.org/show_bug.cgi?id=782418

omxvideodec: update local port_def after reopening the component

gst_omx_video_dec_open will only update GstOMXVideoDec->port->port_def.

Note that the component is reopen only if the flag
GST_OMX_HACK_NO_COMPONENT_RECONFIGURE is set.

https://bugzilla.gnome.org/show_bug.cgi?id=782418

omxvideodec: increase the minimum number of allocated buffers

Ensure that enough buffers are allocated by adding up component's own
minimal plus the number of buffers requested by downstream.
This should prevent buffers starvation problem if downstream elements
are holding some of the buffers they required.

Also simplify the check on the maximum on buffers. What we actually care
about is to make sure the pool can hold the minimum of required buffers.

https://bugzilla.gnome.org/show_bug.cgi?id=784479

omxh264enc: raise a warning if AVCIntraPeriod is not supported

Some platforms may not implement OMX_IndexConfigVideoAVCIntraPeriod and
use OMX_IndexParamVideoAvc instead to configure the GOP pattern.
So raise a warning instead of an error if this API is not implemented.

https://bugzilla.gnome.org/show_bug.cgi?id=784379

omxh264enc: add 'b-frames' property

Add a property to control the number of B-frames produced by the
encoder using the OMX_VIDEO_PARAM_AVCTYPE OMX API.

https://bugzilla.gnome.org/show_bug.cgi?id=784379

omxh264enc: fix typo in 'set_avc_intra_period'

https://bugzilla.gnome.org/show_bug.cgi?id=784379

add 'zynqultrascaleplus' as OMX target

Adding support for the 'Zynq UltraScale+' as a new OMX target.

See https://www.xilinx.com/products/silicon-devices/soc/zynq-ultrascale-mpsoc.html
for details about the platform.

https://bugzilla.gnome.org/show_bug.cgi?id=783097

config: add OMX.mesa.video_decoder.{avc,mpeg2} for Bellagio config

Install libomxil-bellagio0 and make sure mesa has been built with
--enable-omx. Check there is /usr/lib/libomxil-bellagio0/libomx_mesa.so
then run omxregister-bellagio to regenerate $XDG_DATA_HOME/.omxregister

Then omxh264dec and omxmpeg2dec should load.

https://bugzilla.gnome.org/show_bug.cgi?id=782926

configure.ac: move omx features check after target selection

Does not change anything, except this will be useful for future commits.
Indeed some targets provide a .pc file where to look for the omx headers.

https://bugzilla.gnome.org/show_bug.cgi?id=782800

omxh264dec: remove 'parsed=true' from sink pad

The decoder only requires to receive one frame per buffer which is
already enforced with 'alignment=au'. There is no need to require to
have a parser upstream.

Allow to run "encode ! decode" pipeline without having a parser.

https://bugzilla.gnome.org/show_bug.cgi?id=784344

omxh264enc: set profile/level using OMX_VIDEO_PARAM_AVCTYPE as well

The OMX specification defines two API to set the AVC profile and level:
using OMX_VIDEO_PARAM_PROFILELEVELTYPE and OMX_VIDEO_PARAM_AVCTYPE.

We were already supporting the former but not the latter. We are now
setting both so implementation don't have to rely on a specific one.

https://bugzilla.gnome.org/show_bug.cgi?id=783862

omxh264enc: factor out update_param_profile_level()

https://bugzilla.gnome.org/show_bug.cgi?id=783862

omxh264enc: factor out string to profile/level enum conversion

https://bugzilla.gnome.org/show_bug.cgi?id=783862

omxh264enc: use OMX_IndexConfigBrcmVideoIntraPeriod on pi

The OMX_VIDEO_CONFIG_AVCINTRAPERIOD.nPFrames setting isn't of any use on
the raspbery pi. Instead it uses a custom extension to define the I
frame period.

https://bugzilla.gnome.org/show_bug.cgi?id=783829

omxh264enc: factor out set_avc_intra_perdiod()

https://bugzilla.gnome.org/show_bug.cgi?id=783829

meson: define HAVE_VIDEO_EXT if OMX_VideoExt.h is present

Meson build wasn't defining the HAVE_VIDEO_EXT like configure.ac does.

https://bugzilla.gnome.org/show_bug.cgi?id=783346

omxvideoenc: Improve debug output when setting codec state due to new codec_data fails

https://bugzilla.gnome.org/show_bug.cgi?id=783657

omx: allow 0 feature

Previously the omx plugin was blacklisted if GST_OMX_CONFIG_DIR
points to an invalid path or if the gstomx.conf contains 0 valid
component.
Problem is that once the plugin is blacklisted, a rescan is not
triggered upon changes of the env var or the gstomx.conf file
despite being setup with gst_plugin_add_dependency.

This also makes it more consistent with other plugins that auto
generate features. For example gst-{ffmeg,libav}, gstreamer-vaapi,
v4l2 video dec.

To clarify the diff, the plugin_init func will return TRUE even if
g_key_file_get_groups returns 0 element and even if
g_key_file_load_from_dirs fails.

https://bugzilla.gnome.org/show_bug.cgi?id=782867

config: add OMX.st.audio_decoder.mp3.mad for Bellagio config

MP3 Software decoder (libmad based) but useful for testing
and to compare with other targets.

GST_OMX_CONFIG_DIR=$HOME/gst/master/gst-omx/config/bellagio/ \
    gst-launch-1.0 filesrc location=mpthreetest.mp3 ! id3demux ! \
    mpegaudioparse ! omxmp3dec ! audioconvert ! pulsesink

Didn't add 'local' in core-name path compared to other components
in that same gstomx.conf file because OMX.st.audio_decoder.mp3.mad
comes with the Ubuntu package 'libomxil-bellagio0-components-mad'.
All other components listed in this gstomx.conf for Bellagio, are
not provided by any Ubuntu packages. It could explain the 'local',
i.e. requiring to build them from source.

dpkg -L libomxil-bellagio0
    /usr/lib/libomxil-bellagio.so.0

https://bugzilla.gnome.org/show_bug.cgi?id=781786

Signed-off-by: Gurkirpal Singh <gurkirpal204@gmail.com>
Signed-off-by: Julien Isorce <jisorce@oblong.com>

Remove plugin specific static build option

Static and dynamic plugins now have the same interface. The standard
--enable-static/--enable-shared toggle are sufficient.

omxvideodec: Removed unreachable code

https://bugzilla.gnome.org/show_bug.cgi?id=782416

meson: add dep on GModule

libgstomx uses the GModule API and so needs it in its dependencies list.

https://bugzilla.gnome.org/show_bug.cgi?id=782387

meson: fix config.h generation

"No such input file config.h.meson", but it's not needed anyway.

https://bugzilla.gnome.org/show_bug.cgi?id=782382

Back to development

Release 1.12.0

Release 1.11.91

videoenc: use GST_ROUND_UP_N() macro

Makes the code much easier to read and understand.

https://bugzilla.gnome.org/show_bug.cgi?id=781409

Automatic update of common submodule

From 60aeef6 to 48a5d85

Automatic update of common submodule

From 39ac2f5 to 60aeef6

Release 1.11.90

omxvideoenc: Fix compiler warning

gstomxvideoenc.c: In function ‘gst_omx_video_enc_fill_buffer’:
  CC       libgstomx_la-gstomxaacdec.lo
gstomxvideoenc.c:1316:27: warning: format ‘%u’ expects argument of type ‘unsigned int’, but argument 8 has type ‘OMX_U32 {aka long unsigned int}’ [-Wformat=]
     GST_LOG_OBJECT (self, "Matched strides - direct copy %u bytes",
                           ^
         outbuf->omx_buf->nFilledLen);
         ~~~~~~~~~~~~~~~~~~

meson: fix logic to set HAVE_THEORA

https://bugzilla.gnome.org/show_bug.cgi?id=780392

omxvideoenc: Add an unimplemented mapping for RGBA formats

Add some pixel formats mappings for 2 RGBA formats. Not yet
implemented in the buffer input code though, so no effect for now.

omxvideoenc: Add GST_OMX_HACK_HEIGHT_MULTIPLE_16 for Rpi

The Raspberry Pi encoder produces corrupt output unless
the input height is a multiple of 16. Add a hack that adds
zero padding when needed.

omxvideoenc: Add a mapping for OMX_COLOR_FormatYUV420PackedSemiPlanar

The RaspberryPi

omxvideoenc: Filter out unimplemented formats

Don't announce pixel formats in the caps if they've not been
implemented.

omxvideodec: demote ERROR message

There's no need to warn about failing to negotiate EGL output
 - that can be perfectly normal.

meson: Update version

Back to development

Release 1.11.2

meson: dist meson build files

Ship meson build files in tarballs, so people who use tarballs
in their builds can start playing with meson already.

omxaacenc: let encoder know about incoming rate/channels

https://bugzilla.gnome.org/show_bug.cgi?id=777223

build: add meson build definition

Currently only been tested on the RPi within gst-build.

examples/testegl: update for libgstgl changes

Back to development

Release 1.11.1

omxaudioenc: set base class format instead of just source pad caps

omx*dec: Flush before we stop the srcpad loop

Flushing could otherwise hang if output port queue of pending buffers was empty

https://bugzilla.gnome.org/show_bug.cgi?id=774654

Fix broken build due to syntax error

Problem was introduced by 8716c23e2b0553db2982eb84c437f493c974385e

Prevent early EOS by resetting eos flag once GST_OMX_ACQUIRE_BUFFER_EOS is triggered

https://bugzilla.gnome.org/show_bug.cgi?id=774600

Add clear debug logging on all the paths out of gst_omx_port_acquire_buffer()

https://bugzilla.gnome.org/show_bug.cgi?id=774600

Add a signals-premature-eos hack for egl_render

egl_render seems to have a bug and signals EOS before it has finished
pushing out all data; this hack simply makes acquire_buffer() wait
a bit more before signalling EOS, in case egl_render decides to spit
out some more data.

https://bugzilla.gnome.org/show_bug.cgi?id=741856

Add support for OMX_COLOR_FormatYUV420PackedSemiPlanar and OMX_COLOR_Format24bitBGR888

https://bugzilla.gnome.org/show_bug.cgi?id=775959

Automatic update of common submodule

From ac2f647 to 39ac2f5

common: use https protocol for common submodule

https://bugzilla.gnome.org/show_bug.cgi?id=775110

omx: Fix compiler warning with latest clang

gstomx.c:1376:42: error: implicit conversion from enumeration type 'GstOMXAcquireBufferReturn' to different enumeration type 'OMX_ERRORTYPE'
      (aka 'enum OMX_ERRORTYPE') [-Werror,-Wenum-conversion]
  g_return_val_if_fail (!port->tunneled, GST_OMX_ACQUIRE_BUFFER_ERROR);
  ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~^~~~~~~~~~~~~~~~~~~~~~~~~~~~~

https://bugzilla.gnome.org/show_bug.cgi?id=775112

videodecoder: remove use of EGLImage orientation

New code should use GstVideoTransformationMeta

(The defaults do the right thing here though).

Back to development

Release 1.10.0

Release 1.9.90

configure: Depend on gstreamer 1.9.2.1

omx: Also search for gstomx.conf in the autoconf --sysconfdir

https://bugzilla.gnome.org/show_bug.cgi?id=770743

Automatic update of common submodule

From b18d820 to f980fd9