omxvideoenc: add 'roi' qp-mode on zynqultrascaleplus

New QP mode used to handle ROI metadata.

https://bugzilla.gnome.org/show_bug.cgi?id=793696

Back to development

Release 1.14.0

Release 1.13.91

meson: fix typo in package name define

omxh265: update 422 profile names

h265parse is gaining support for the format range extension profile
(bgo#793876).
Use the profile names defined in h265parse.

https://bugzilla.gnome.org/show_bug.cgi?id=793928

omxvideoenc: Don't drop the frame on empty payload

This otherwise may lead to "No reference frame found" warning.

omxvideodec: Don't drop the frame on empty payload

This otherwise may lead to "No reference frame found" warning.

omx: Free empty buffers list in use_dynamic_buffers

To indicate we are doing dynamic buffers importation, we pass
a list of NULL pointers, but we forgot to free that list.

omxvideodec: Fix CodecState leak

Release 1.13.90

config: dist tizonia config files

Revert "omx: wait for flush complete and buffers being released when flushing"

This reverts commit 4211e4c29a262f110cb92ddf9c06b403ced233ef.

videoenc: don't set stride padding to 0 when copying frames

Padding can be left undefined there is no point filling it with 0.

https://bugzilla.gnome.org/show_bug.cgi?id=793694

add support for NV12_10LE32 and NV16_10LE32 on zynqultrascaleplus

The encoder and decoder on zynqultrascaleplus support these new 10 bits
format.

https://bugzilla.gnome.org/show_bug.cgi?id=793694

omxvideoenc: factor out gst_omx_video_enc_nv12_manual_copy()

No semantic change, I'm going to re-use it to copy the NV12_10LE32
format.

https://bugzilla.gnome.org/show_bug.cgi?id=793694

omxvideoenc: display the computed buffer size when configuring input

https://bugzilla.gnome.org/show_bug.cgi?id=793694

videoenc: implement ROI on zynqultrascaleplus

Check input buffers for ROI meta and pass them to the encoder by using
zynqultrascaleplus's custom OMX extension. Also add a new
"default-roi-quality" in order to tell the encoder what quality level
should be applied to ROI by default.

https://bugzilla.gnome.org/show_bug.cgi?id=793696

omxvideoenc: remove GST_PARAM_MUTABLE_PLAYING from 'max-bitrate' property

This property isn't actually mutable in the PLAYING state.

https://bugzilla.gnome.org/show_bug.cgi?id=793458

omxvideoenc: protect target_bitrate with the object lock

The 'target-bitrate' property can be changed while PLAYING
(GST_PARAM_MUTABLE_PLAYING). Make it thread-safe to prevent concurrent
accesses between the application and streaming thread.

https://bugzilla.gnome.org/show_bug.cgi?id=793458

omxbufferpool: add PERFORMANCE DEBUG message when copying output frames

I spent quiet some time figuring out why performance of my pipeline were
terrible. Turned out it was because of output frames being copied
because of stride/offset mismatch.

Add a PERFORMANCE DEBUG message to make it easier to spot and debug from logs.

https://bugzilla.gnome.org/show_bug.cgi?id=793637

Back to development

Release 1.13.1

omxh265enc: fix typo in "periodicty-idr" property name

Also fix the 'nick' of the property.

omxh265enc is based on the code from omxh264enc and suffers the same
typo as we fixed in https://bugzilla.gnome.org/show_bug.cgi?id=784370

This element isn't part of a stable release yet so it's not an API
break.

https://bugzilla.gnome.org/show_bug.cgi?id=793390

meson: make version numbers ints and fix int/string comparison

WARNING: Trying to compare values of different types (str, int).
The result of this is undefined and will become a hard error
in a future Meson release.

Also remove unused libversion/soversion.

include all OMX extension headers if present

The OMX specs defines 8 headers that implementations can use to define
their custom extensions. We were checking and including 3 and ignoring
the other ones.

https://bugzilla.gnome.org/show_bug.cgi?id=792043

meson: simplify OMX extensions detection

We are now always checking which files are present or not, even when using our
internal copy of OMX, rather than hardcoding the ones present in it.

https://bugzilla.gnome.org/show_bug.cgi?id=792043

Revert "meson: use include_directories() with external OMX headers path"

This reverts commit 9d37a92a615e54e8ee12f8c65bcfe386ec9de2d0.

omxh265enc: add some encoding properties

constrained-intra-prediction and loop-filter-mode.
Those map standard OMX settings.

https://bugzilla.gnome.org/show_bug.cgi?id=792528

omxh264enc: add some encoding properties

entropy-mode, constrained-intra-prediction and loop-filter-mode.
Those map standard OMX settings.

https://bugzilla.gnome.org/show_bug.cgi?id=792528

omxvideoenc: add zynqultrascaleplus specific properties

https://bugzilla.gnome.org/show_bug.cgi?id=792528

omxvideoenc: document unit of target-bitrate property

nTargetBitrate and nEncodeBitrate are defined in bits per second in the
OMX spec.

https://bugzilla.gnome.org/show_bug.cgi?id=792528

omxvideodec: add internal-entropy-buffers property on zynqultrascaleplus

Custom property to control the number of internal buffers used in the
decoder to smooth out entropy decoding performance.

https://bugzilla.gnome.org/show_bug.cgi?id=792528

meson: use include_directories() with external OMX headers path

It seems cleaner to use the proper meson tools to include this path
rather than manually tweak the build flags.

This also allows us to simplify the OMX extensions detection code. We
are now always checking which files are present, even when using our
internal copy of OMX, rather than hardcoding the ones present in it.

https://bugzilla.gnome.org/show_bug.cgi?id=792043

omxvideoenc: expose chroma format and bit depth in output caps

As we added in the parser (bgo#792039) expose the chroma and bit
depth information in output caps.

https://bugzilla.gnome.org/show_bug.cgi?id=792040

omxvideoenc: factor out get_output_caps()

No semantic change so far.

https://bugzilla.gnome.org/show_bug.cgi?id=792040

omxvideodec: add hack to pass color format from caps to OMX decoder

This hack tries to pass as much information as possible from caps to the
decoder before it receives any buffer. These information can be used by
the OMX decoder to, for example, pre-allocate its internal buffers
before starting to decode and so reduce its initial latency.

This mechanism is currently supported by the zynqultrascaleplus decoder.

https://bugzilla.gnome.org/show_bug.cgi?id=792040

log failing OMX calls as errors

I find it confusing when debugging that OMX calls returning an error
where not logged as GST_LEVEL_ERROR making them harder to spot.
Fix this by introducing simple log macros checking the return value of
the OMX call and logging failures as errors.

https://bugzilla.gnome.org/show_bug.cgi?id=791069

add OMX_PERFORMANCE debug category

Can be used to log buffers exchange between OMX and gst-omx to profile
performances of the OMX component.
Ideally this should be done using tracer hooks but it's currently not
possible to define custom hooks outside of core.

Use GST_DEBUG="OMX_PERFORMANCE:8" to enable it.
See also
https://github.com/gdesmott/gst-log-parser/blob/master/src/bin/omx-perf.rs
as a simple program consuming those logs to generate gnuplot files and
stats.

https://bugzilla.gnome.org/show_bug.cgi?id=791093

omxvideoenc: implement dmabuf import on zynqultrascaleplus

The Zynq UltraScale+ encoder implements a custom OMX extension to
directly import dmabuf saving the need of mapping input buffers.

This can be use with either 'v4l2src io-mode=dmabuf' or an OMX video
decoder upstream.

https://bugzilla.gnome.org/show_bug.cgi?id=792361

omxvideoenc: drop late input frames if QoS is enabled

Make use of the new GstVideoEncoder QoS API to drop late input frames. This may
help a live pipeline to catch up if it's being late and all frames end up
being dropped at the sink.

https://bugzilla.gnome.org/show_bug.cgi?id=792783

TestEgl: Removed redundant/unused code

https://bugzilla.gnome.org/show_bug.cgi?id=788550

omxvideoenc: early return in fill_buffer() if something goes wrong

If something goes wrong while trying to manually copy the input buffer,
the 'break' was moving us out of the 'for' loop but not out of the switch block.
So we ended up calling gst_video_frame_unmap() a second time (raising
assertions) and returning TRUE rather than FALSE.

Reproduced with a WIP zynqultrascaleplus OMX branch reporting wrong
buffer sizes and so triggering this bug.

https://bugzilla.gnome.org/show_bug.cgi?id=792167

meson: gl: the winsys and platform list in the .pc file is space-separated

meson: fix subproject fallback for gstreamer-gl-1.0

It's now in -base.

omxvideodec: ignore very little variations of the framerate

If less than 1%.

The dynamic format change should not happen when the
resolution does not change and when only the framerate
changes but very slightly, i.e. from 50000/1677=29.81
to 89/3=29.66 so a "percentage change" of less than 1%
(i.e. 100*(29.81-29.66)/29.66 = 0.50 < 1 ). In that case
just ignore it to avoid unnecessary renegotiation.

https://bugzilla.gnome.org/show_bug.cgi?id=759043

omxvideodec: use dynamic buffer mode on input if possible

Prevent from copying the input buffers between GStreamer and OMX.

Tested on zynqultrascaleplus and rpi (without dynamic buffers).

https://bugzilla.gnome.org/show_bug.cgi?id=787093

omxvideoenc: use dynamic buffer mode on input if possible

If the OMX component supports dynamic buffer mode and the input buffers
are properly aligned avoid copying each input frame between OMX and
GStreamer.

Tested on zynqultrascaleplus and rpi (without dynamic buffers).

https://bugzilla.gnome.org/show_bug.cgi?id=787093

omxvideoenc/dec: factor out input buffer allocation

No semantic change so far. I'm going to add an alternate way to allocate
input buffers.

https://bugzilla.gnome.org/show_bug.cgi?id=787093

omx: add API to implement dynamic buffers support

OMX 1.2.0 introduced a third way to manage buffers by allowing
components to only allocate buffers header during their initialization
and change their pBuffer pointer at runtime.
This new feature can save us a copy between GStreamer and OMX for each
input buffer.

This patch adds API to allocate and use such buffers.

https://bugzilla.gnome.org/show_bug.cgi?id=787093

Automatic update of common submodule

From e8c7a71 to 3fa2c9e

omxvideodec: consolidate the decision to try UseBuffer

The tee element can call gst_query_add_allocation_pool with pool as NULL.
Checking nth > 0 is not enough so we need to verify if there is a pool.

https://bugzilla.gnome.org/show_bug.cgi?id=730758
https://bugzilla.gnome.org/show_bug.cgi?id=784069

gstomxvideodec: fix framerate overflow

Some live streams can set the framerate to 50000/1677 (=29.81).

GstVideoInfo.fps_n << 16 is wrong if the fps_n is 50000
(i.e. greater than 32767).

https://bugzilla.gnome.org/show_bug.cgi?id=759043

example: port testegl.c to desktop

Will be easier to maintain.

Also uniformize autotool build with meson build which is
already retrieving the gl libs.

https://bugzilla.gnome.org/show_bug.cgi?id=781606

meson: move omx features check after target selection

And uses gst_omx_args instead of add_global_arguments.

Similar to c69232852120d064c689caef07b3c68ad8fe6288
which was only for configure.ac

Useful to get omxvp8dec with meson too:
  meson . buildtmp -D with_omx_target=tizonia

https://bugzilla.gnome.org/show_bug.cgi?id=782800

config: add OMX.Aratelia.audio_decoder.aac to Tizonia config

Useful mostly for testing/debugging purpose as this is a software
based decoder (libfaad) for which GStreamer provides a direct
wrapper.

https://bugzilla.gnome.org/show_bug.cgi?id=791482

omxvideodec: retrieve OMX_IndexParamVideoPortFormat before setting it

The usual pattern when setting OMX params is to first get the struct
param, override the values we want to set and then set the updated
param.
We were not doing this with OMX_IndexParamVideoPortFormat and so were
resetting some fields such as OMX_VIDEO_PARAM_PORTFORMATTYPE.xFramerate

https://bugzilla.gnome.org/show_bug.cgi?id=790979

omxaacenc: also set 'profile' if mpegversion is 4

Like done by gst_codec_utils_aac_caps_set_level_and_profile
which is called by avenc_aac, ffaac and voaacenc.

https://bugzilla.gnome.org/show_bug.cgi?id=735208

omx: wait for flush complete and buffers being released when flushing

As stated in the existing comment, when flusing we should wait for OMX
to send the flush command complete event AND all ports being released.
We were stopping as soon as one of those condition was met.

Fix a race between FillThisBufferDone/EmptyBufferDone and the flush
EventCmdComplete messages. The OMX implementation is supposed to release
its buffers before posting the EventCmdComplete event but the ordering
isn't guaranteed as the FillThisBufferDone/EmptyBufferDone and
EventHandler callbacks can be called from different threads (cf 2.7
'Thread Safety' in the spec).

https://bugzilla.gnome.org/show_bug.cgi?id=789475

gst_omx_port_set_flushing: simplify waiting loop

No semantic change so far, I just made the 'while' end condition easier
to understand as a first step before changing it.
- move error/time out checks inside the loop to make it clearer on what
we are actually waiting for.
- group port->buffers checks together with parenthesis as they are part
of the same conceptual check: waiting for all buffers to be released.

https://bugzilla.gnome.org/show_bug.cgi?id=789475

Automatic update of common submodule

From 3f4aa96 to e8c7a71

zynqultrascaleplus: add support for extra AVC levels

The Zynqultrascaleplus has support for extra AVC levels not defined in
the OMX spec as a customer extension.

https://bugzilla.gnome.org/show_bug.cgi?id=790758

add test support

Most of the boilerplate and the states test has been copied from
gst-plugins-good.

https://bugzilla.gnome.org/show_bug.cgi?id=789094

meson: add tools support

Looks like the tools directory was left out during the initial port to
meson.

https://bugzilla.gnome.org/show_bug.cgi?id=789090

omx: fix build on rpi

The nTimeStamp field is a OMX_TICKS struct on the rpi so use the proper
macro to set it.
Fix build on the build which has been broken by
b3173144b7c1b12c9e1b7571f78659be45d813f6

https://bugzilla.gnome.org/show_bug.cgi?id=789052

check if Allegro headers are present when building zynqultrascaleplus

The Zynq UltraScale+ uses a custom version of OMX implementing several
3rd party extensions. Make sure those are present when building this
target.

https://bugzilla.gnome.org/show_bug.cgi?id=788064

omxvideodec: remove redundant debug message

We have already a debug message right after.

https://bugzilla.gnome.org/show_bug.cgi?id=789058

omxh265: fix enum casting when using Allegro HEVC extensions

Allegro's HEVC implementation defines a superset of the profiles and
enums from the Android implementation.
Properly cast to fix -Wenum-conversion warnings from clang.

https://bugzilla.gnome.org/show_bug.cgi?id=789057

properly cast extension enums

OMX's allow 3rds party to define extensions using their own enums
(like OMX_VIDEO_CODINGEXTTYPE) and to be used as the general
ones (like OMX_VIDEO_CODINGTYPE).
Properly cast those to fix -Wenum-conversion warnings from some
compilers such as clang.

https://bugzilla.gnome.org/show_bug.cgi?id=789057

omx: also reset nTimeStamp when re-using buffers

Some OMX implementations may check if the timestamp of the output buffers
they receive is actually not set.

https://bugzilla.gnome.org/show_bug.cgi?id=788711

omx: factor out gst_omx_buffer_reset()

https://bugzilla.gnome.org/show_bug.cgi?id=788711

add gst_omx_buffer_flags_to_string()

Make debug logs more readable so users don't have to manually figure out
the meaning of flags.

https://bugzilla.gnome.org/show_bug.cgi?id=788767

h263enc: fix caps leak in error code path

https://bugzilla.gnome.org/show_bug.cgi?id=788245

omxh264enc: fix caps leak

https://bugzilla.gnome.org/show_bug.cgi?id=787711

omxh265enc: fix caps leak

https://bugzilla.gnome.org/show_bug.cgi?id=787714

omxvideodec: log info about frame before releasing it

gst_video_decoder_release_frame() takes ownership of the frame and will
destroy it. So we should no longer use it after calling it.

https://bugzilla.gnome.org/show_bug.cgi?id=787628

configure: Show tizonia target in help

https://bugzilla.gnome.org/show_bug.cgi?id=786544

omxh265dec: add H265 decoder

Add HEVC decoder for the zynqultrascaleplus platform.

I used the H264 decoder code as a template.

https://bugzilla.gnome.org/show_bug.cgi?id=785434

omxh265enc: add H265 encoder

The OMX spec doesn't support HEVC but the OMX stack of the
zynqultrascaleplus adds it as a custom extension.
It uses the same API as the one of Android's OMX stack.

I used the H264 encoder code as a template.

https://bugzilla.gnome.org/show_bug.cgi?id=785434

omxvideoenc: use caps from query in propose_allocation

Prevent crash by not deferencing a NULL pointer if self->input_state
isn't defined when propose_allocation() is called.

https://bugzilla.gnome.org/show_bug.cgi?id=786442

omx: display states as string if changing failed

Improve the error message by displaying the states in their string
representation rather than their numerical value.

https://bugzilla.gnome.org/show_bug.cgi?id=787235

omxvideodec: EGLDisplay is not indirectly defined by gstgl headers inclusion

Just use gpointer as done in GstGL to not include
EGL/egl.h just for EGLDisplay.

https://bugzilla.gnome.org/show_bug.cgi?id=784779

config: expose OMX.mesa h264 decoder and encoder in Tizonia config

https://bugzilla.gnome.org/show_bug.cgi?id=783976

omxvideodec: remove wrong SettingsChanged ack

Partially revert 1b7d0b8:
  omxvideodec: handle IL 1.2 behavior for OMX_SetParameter

It turned out it was a problem in the decoder which was
not updating some local variables upon SetParameter.

https://bugzilla.gnome.org/show_bug.cgi?id=783976

omx{audio,video}{dec,enc}: sequentially disable ports because buffers are not shared

For the history, the parallel disable port has been introduced by:
"00be69f omxvideodec: Disable output port when setting a new format"
and then replicated to videoenc, audiodec and audioenc.

This is only required to do 'parallel' if buffers are shared between ports.
But for decoders and encoders the input and output buffer are of different
nature by definition (bitstream vs images). So they cannot be shared.

Also starting from IL 1.2.0 it is written in the spec that the parallel
disable is not allowed and will return an error. Except when buffers are
shared.

Again here we know in advance that they are not shared so let's always
do a sequential disable.

Tested on Desktop, rpi and zynqultrascaleplus.

https://bugzilla.gnome.org/show_bug.cgi?id=786348

Automatic update of common submodule

From 48a5d85 to 3f4aa96

omxvideodec: use the decoder API to set latency

https://bugzilla.gnome.org/show_bug.cgi?id=785125

omxvideoenc/dec: declare latency on zynqultrascaleplus

The OMX specification doesn't provide any API to expose the latency
introduced by encoders and decoders. We implemented this as a custom
extension as declaring the latency is needed for live pipelines like
video conferencing.

https://bugzilla.gnome.org/show_bug.cgi?id=785125

omxvideoenc: adjust stride and slice height from input

Use the stride and slice height information from the first buffer meta
data to adjust the settings of the input port.
This will ensure that the OMX input buffers match the GStreamer ones
and so will save us from having to copy line-by-line each one.

This is also the first step to allow the OMX encoder to receive dmabuf.

Tested on rpi and zynqultrascaleplus.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideoenc: delay buffer configuration until component is enabled

No significant change for now. Just delay the input port configuration
of the buffer size related fields (stride, slice height, buffer size)
until the component is activated.
This will allow us to use the actual stride/height of the first input
and so avoid the buffer copying code path in most cases.

Tested on rpi and zynqultrascaleplus.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideodec/enc: delay allocation after the allocation query

Allocating OMX components buffers in set_format() is too early.
Doing it when receiving the first buffers will allow the element to use
the information from the allocation query and/or the first incoming
buffer to pick to best allocation mode.

Tested on raspberry pi with dynamic resolution changes on decoder and
encoder input.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideoenc: start src thread in handle_frame()

Makes the code simpler as we no longer need to restart the thread in
gst_omx_video_enc_flush() and It's more symetric which the omxvideodec
implementation.

I'm also going to move the enabling of the OMX component in
handle_frame() and the src pad thread needs to be started after it.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideodec: earlier return if downstream_flow_ret is not OK

There is no point to (re)start the src thread if, for example, we are
flushing.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideodec: factor out enable and disable code

No semantic change, just factor out the code enabling and disabling the
component to their own functions.

Makes the code easier to read as the set_format() method was already
pretty big. Will also allow us to easily change the enabling logic.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omxvideoenc: factor out enable and disable code

No semantic change, just factor out the code enabling and disabling the
component to their own functions.

Makes the code easier to read as the set_format() method was already
pretty big. Will also allow us to easily change the enabling logic.

https://bugzilla.gnome.org/show_bug.cgi?id=785967

omx: also reset nFilledLen before calling OMX_FillThisBuffer()

The spec states that the buffer passed to OMX_FillThisBuffer() needs to be
empty. Some implementation may check it actually is by checking its
nFilledLen field, so best to reset it as well.

https://bugzilla.gnome.org/show_bug.cgi?id=785623

omxvideodec: make generic the OMX_UseEGLImage code path

Will be easier to maintain and to make enhancements.

Tested with Tizonia on Desktop.
Also tested with Bellagio to make sure it does not crash when
calling OMX_UseEGLImage and indeed it returns NotImplemented.
Then gst-omx fallback to OMX_UseBuffer if it can and so on.

Also tested on rpi to make sure there is no regression.

https://bugzilla.gnome.org/show_bug.cgi?id=784365

omxvideodec: Fix segment seek

On segment seek, unlike EOS, we drain, but we cannot expect a flush
later to reset the decoder state. As a side effect, the decoder would
remain in EOS state and ignore any new incoming buffers.

To fix this, we call _flush() inside the _drain() function, and
_finish() becomes what _drain() was before. This way, for _finish() (the
    eos case) we only drain, for _drain() triggered by segment seek or new
caps, we also reset the decoder state so it's ready to accept buffers.

https://bugzilla.gnome.org/show_bug.cgi?id=785237

omxvideoenc: ensure enough buffers are allocated in the pool

Handle allocation query and ensure enough buffers are allocated in
the negotiated pool. This help preventing buffer starvation in the pipeline.

https://bugzilla.gnome.org/show_bug.cgi?id=785122

omxvideodec: add dmabuf support for output

The zynqultrascaleplus OMX implementation has a custom extension
allowing decoders to output dmabuf and so avoid buffers copy between OMX
and GStreamer.

Make use of this extension when built on the zynqultrascaleplus. The
buffer pool code should be re-usable for other platforms as well.

https://bugzilla.gnome.org/show_bug.cgi?id=784847