omx: log OMX commands with OMX_PERFORMANCE debug category

It has been useful to have a clear raw and structured view of the gst
<-> OMX exchanges when debugging.

https://bugzilla.gnome.org/show_bug.cgi?id=797171

omx: factor out gst_omx_component_send_command()

No semantic change. I'm going to add extra debug in this function.

https://bugzilla.gnome.org/show_bug.cgi?id=797171

omx: log OMX events with OMX_PERFORMANCE debug category

It has been useful to have a clear raw and structured view of the gst
<-> OMX exchanges when debugging.

https://bugzilla.gnome.org/show_bug.cgi?id=797171

omx: rename log_omx_performance() to log_omx_performance_buffer()

I'm about to log more things under this category

https://bugzilla.gnome.org/show_bug.cgi?id=797171

omxvideoenc: Remove spurious locking

The method we call in the context of pushing a buffer are all thread
safe. Holding a lock would prevent input buffers from being queued while
pushing.

https://bugzilla.gnome.org/show_bug.cgi?id=715192

omxvideoenc: Remove unneeded size check

We only enter this branch if nFilledLen > 0, there is not need
to check again.

https://bugzilla.gnome.org/show_bug.cgi?id=715192

omxvideodec: Remove spurious unlock in error case

This was forgotton in previous patch. We no long hold the lock when goto
invalid_buffer is called.

https://bugzilla.gnome.org/show_bug.cgi?id=715192

omxvideodec: don't hold the stream lock when trying to push a frame

The base class methods will lock this properly when needed, there seems
to be no need to lock it explicitly.

This allows the patch in gstvideodec for unlocking the stream lock
when pushing buffers out to work.

https://bugzilla.gnome.org/show_bug.cgi?id=715192

omxvideodec: don't import OMX buffers from downstream

We already have code configuring the encoder stride and slice height
when receiving the first buffer from upstream.
We don't have an equivalent when the encoder is exporting its buffers to the
decoder.

There is no point adding it and making the code even more
complex as we wouldn't gain anything by exporting from the encoder to
the decoder. The dynamic buffer mode already ensures 0-copy between OMX
components.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxvideoenc: implement dmabuf export on input buffers

Propose pool upstream so input buffers can be allocated by the port and
exported as dmabuf.

The actual OMX buffers are allocated when the pool is activated, so we
don't end up doing useless allocations if the pool isn't used.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omx: allow gst_omx_port_acquire_buffer() to not wait for buffers

Will be needed to implement GST_BUFFER_POOL_ACQUIRE_FLAG_DONTWAIT.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxvideodec: don't import non-dmabuf when dec is in dmabuf mode

Fix 'omxh264dec ! videocrop' pipeline.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxvideodec: factor out gst_omx_try_importing_buffer()

No semantic change, just make the code clearer and improve debug output.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxvideodec: fix gst_video_info_from_caps() caps assertion

The "use buffers" code path uses gst_video_info_from_caps() which is
asserting if caps is NULL (because pool was rejected).

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxvideodec: fix pool caps reference stealing

gst_buffer_pool_config_get_params() doesn't ref the returning caps;
so gst_caps_replace() was unreffing the reference owned by the pool.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxvideodec: prevent timeout when shutting down because of pending out buffers

The OMX transition state to Loaded won't be complete until all buffers
have been freed. There is no point waiting, and timeout, if we know that
output buffers haven't been freed yet.

The typical scenario is output buffers being still used downstream
and being freed later when released back to the pool.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxbufferpool: reference the OMX component

Now that the pool is responsible of freeing the OMX buffers, we need to
ensure that the OMX component stay alive while the pool is as we rely on
the component to free the buffers.
The GstOMXPort is owned by the component so no need to ref this one.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

turn GstOMXComponent to a GstMiniObject

Will use it for refcounting.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxbufferpool: deallocate OMX buffers when stopping

The pool is stopped when all the buffers have been released. Deallocate
when stopping so we are sure that the buffers aren't still used by
another element.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omx: call gst_omx_buffer_unmap() when handling BUFFER_DONE

When using a input buffer pool, the buffer may be released to the pool when
gst_omx_buffer_unmap() is called. We need to have buf->used unset at
this point as the pool may use it to check the status of the pool.

{Empty,Fill}BufferDone is called from OMX internal threads while
messages are handled from gst elements' thread. Best to do all this
when handling the message so we don't mess with OMX threads and keep
the original thread/logic split.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxvideo{enc,dec}: stop calling shutdown() in change_state

This is no longer needed since we implemented close() vfuncs as the
encoder/decoder base class already take care of calling close() (which
is calling shutdown()) in its own change_state implementation.

We also move the shut down of the component from PAUSED_TO_READY to READY_TO_NULL.
By doing so upstream will have already deactivated the pool from the
encoder and so won't be preventing the OMX state change as the buffers
will all be released.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omx: factor out gst_omx_buffer_get/set_omx_buf()

Move the qdata code to helper functions as I'm going to need them in
omxvideoenc to implement dmabuf export.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxvideoenc: factor out gst_omx_video_enc_set_to_idle()

No semantic change. We'll have to use this when the input pool is
activated so we can allocate buffers.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omxvideoenc: factor out gst_omx_video_enc_deallocate_in_buffers()

Will add extra code when adding input buffer pool.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omx: add pBuffer to OMX_PERFORMANCE logs

Can be useful to check the fd being passed when using dmabuf.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omx: factor out gst_omx_port_set_dmabuf()

No semantic change. I also made the debug message a bit clearer.

https://bugzilla.gnome.org/show_bug.cgi?id=796918

omx: wait for flush complete and buffers being released when flushing

When flusing we should wait for OMX to send the flush command complete event
AND all ports being released.
We were stopping as soon as one of those condition was met.

Fix a race between FillThisBufferDone/EmptyBufferDone and the flush
EventCmdComplete messages. The OMX implementation is supposed to release
its buffers before posting the EventCmdComplete event but the ordering
isn't guaranteed as the FillThisBufferDone/EmptyBufferDone and
EventHandler callbacks can be called from different threads (cf 2.7
'Thread Safety' in the spec).

Only wait for buffers currently used by OMX as some buffers may not be
in the pending queue because they are held downstream.

https://bugzilla.gnome.org/show_bug.cgi?id=789475

omx: factor out should_wait_until_flushed()

No semantic change. Makes the code easier to understand and I'm about to
change the waiting condition.

https://bugzilla.gnome.org/show_bug.cgi?id=789475

omxvideoenc: pause component when flushing

As stated in the spec ("6.1.3 Seek Event Sequence") we should pause
before flushing.
We were pausing the decoder but not the encoder so I just aligned the
two code paths.

https://bugzilla.gnome.org/show_bug.cgi?id=797038

omxvideoenc: fix vertical padding in NV16 formats

My previous patch to calculate the vertical padding was always halfing
the height of the chroma plane which is incorrect for NV16 formats.

https://bugzilla.gnome.org/show_bug.cgi?id=796749

omxvideoenc: include vertical padding in nFilledLen when copying

According to the OMX spec (3.1.3.7.1) nFilledLen is meant to include any
padding. We use to include the horizontal one (stride) but not the
vertical one if nSliceHeight is bigger than the actual height.

The calculated nFilledLen was wrong as it didn't include the padding
between planes.

https://bugzilla.gnome.org/show_bug.cgi?id=796749

omxvideoenc: implement decide_allocation

Increase the number of output buffers by the number of buffers requested
downstream.
Prevent buffers starvation if downstream is going to use dynamic buffer
mode on its input.

https://bugzilla.gnome.org/show_bug.cgi?id=795746

omxvideodec: implement propose_allocation

Tell upstream about how many buffer we plan to use so they can adjust
their own number of buffers accordingly if needed.

Same logic as the existing gst_omx_video_enc_propose_allocation().

https://bugzilla.gnome.org/show_bug.cgi?id=795746

omxvideoenc: always signal drain cond when stopping streaming loop

Similar change as the one I just did in omxvideodec.

https://bugzilla.gnome.org/show_bug.cgi?id=796207

omxvideodec: always signal drain cond when stopping streaming loop

If for some reason something goes wrong and we stop the streaming loop
we may end up with other threads still waiting on the drain cond.
No more buffers will be produced by the component so they were waiting
forever.

Fix this by always signalling this cond when stopping the streaming
loop.

https://bugzilla.gnome.org/show_bug.cgi?id=796207

omxvideoenc: factor out gst_omx_video_enc_pause_loop()

No semantic change. I'm going to use it in more failure cases.

https://bugzilla.gnome.org/show_bug.cgi?id=796207

zynqultrascaleplus: enable 'ensure-buffer-count-actual' hack

https://bugzilla.gnome.org/show_bug.cgi?id=791211

omxvideodec/enc: add hack updating nBufferCountActual before allocating

The OMX specs states that the nBufferCountActual of a port has to default
to its nBufferCountMin. If we don't change nBufferCountActual we purely rely
on this default. But in some cases, OMX may change nBufferCountMin before we
allocate buffers. Like for example when configuring the input ports with the
actual format, it may decrease the number of minimal buffers required.
This method checks this and update nBufferCountActual if needed so we'll use
less buffers than the worst case in such scenarios.

SetParameter() needs to be called when the port is either disabled or
the component in the Loaded state.

Don't do this for the decoder output as
gst_omx_video_dec_allocate_output_buffers() already check
nBufferCountMin when computing the number of output buffers.

On some platform, like rpi, the default nBufferCountActual is much
higher than nBufferCountMin so only enable this using a specific gst-omx
hack.

https://bugzilla.gnome.org/show_bug.cgi?id=791211

omxvidee{enc,dec}: refresh input port definition after setting format

Setting the input format and the associated encoder/decoder settings
may also affect the nBufferCountMin of the input port.
Refresh the input port so we'll use up to date values in propose/decide
allocation.

https://bugzilla.gnome.org/show_bug.cgi?id=796445

omx: always consider component in 'invalid' state when an error occured

gst_omx_component_get_state() used to early return if there was no
pending state change. So if the component raised an error it wasn't
considered in the invalid state until the next requested state change.

Fix this by checking first if we received an error.

https://bugzilla.gnome.org/show_bug.cgi?id=795874

meson: Update option names to omit 'with_omx' prefixes

Companion commit to:
https://cgit.freedesktop.org/gstreamer/gstreamer/commit/?id=4fb02fc85b70be631f5331b2547e5dc61ef7a43a
https://cgit.freedesktop.org/gstreamer/gst-plugins-base/commit/?id=1e1a5d658e4a031535c44823fd398d3052ca2000
etc...

omxvideodec: pass a GstOMXBufferMode to gst_omx_buffer_pool_new()

The output_mode is supposed to be a GstOMXBufferMode, not a boolean.

zynq: remove 'no-disable-outport' hack

No longer needed with newer version of the OMX stack.

omxh26{4,5}enc: don't pick default 10-bit profile

The OMX stack of the zynqultrascaleplus (the only one supporting
NV12_10LE32 and NV16_10LE32) will now pick the proper profile if none
has been requested. Best to rely on its default than hardcoding a
specific one in gst-omx.

https://bugzilla.gnome.org/show_bug.cgi?id=794319

omxh264: sync with supported profiles on zynqultrascaleplus

Add extra supported AVC profiles and remove extended and 4:4:4 profiles
which are actually not implemented.

https://bugzilla.gnome.org/show_bug.cgi?id=794177

omxh264: factor out gst_omx_h264_utils_get_profile_from_enum()

Move the profile <-> enum mapping to one place. Make changes easier as
I'm about to add extra profiles.

No semantic change.

https://bugzilla.gnome.org/show_bug.cgi?id=794177

omxh265: add format range extension profiles on zynqultrascaleplus

The zynqultrascaleplus OMX gained support for more format range
extensions profiles (A.3.5).

https://bugzilla.gnome.org/show_bug.cgi?id=794177

omxh265: factor out gst_omx_h265_utils_get_profile_from_enum()

Move the profile <-> enum mapping to one place. Make changes easier as
I'm about to add some profiles.

No semantic change.

https://bugzilla.gnome.org/show_bug.cgi?id=794177

omxvideoenc: add NV16 support

NV16 format wasn't supported on encoder input while it was on decoder
output.

https://bugzilla.gnome.org/show_bug.cgi?id=794175

omxvideo: display port number when listing supported formats

More convenient when debugging.

https://bugzilla.gnome.org/show_bug.cgi?id=794175

omxvideoenc: restore OMX default target-bitrate if requested by user

0xffffffff is the magic number in gst-omx meaning 'the default value
defined in OMX'. This works fine with OMX parameters which are only set
once when starting the component but not with configs which can be
changed while PLAYING.
Save the actual OMX default bitrate so we can restore it later if user
sets back 0xffffffff on the property.

Added GST_OMX_PROP_OMX_DEFAULT so we stop hardcoding magic numbers
everywhere.

https://bugzilla.gnome.org/show_bug.cgi?id=794998

omxvideoenc: use gst_omx_video_enc_set_bitrate() when setting bitrate in set_format

We weren't using the usual pattern when re-setting the bitrate:
- get parameters from OMX
- update only the fields different from 0xffffffff (OMX defaults)
- set parameters

Also added a comment explaining why we re-set this param.

https://bugzilla.gnome.org/show_bug.cgi?id=794998

omxvideoenc: factor out gst_omx_video_enc_set_bitrate()

No semantic change, I'm about to re-use this function in set_format().

https://bugzilla.gnome.org/show_bug.cgi?id=794998

meson: fix miscellaneous meson warnings

cc.has_header*() doesn't have a 'required:' kwarg.

omxvideoenc/dec: fix handling of component enabling failing

- Report the error from OMX if any (OMX_EventError)
- If not report the failing to the application (GST_ELEMENT_ERROR)
- return GST_FLOW_ERROR rather than FALSE
- don't leak @frame

https://bugzilla.gnome.org/show_bug.cgi?id=795352

Automatic update of common submodule

From 3fa2c9e to ed78bee

log_omx_performance: convert pointers to strings

G_TYPE_POINTER are not serialized in logs.

https://bugzilla.gnome.org/show_bug.cgi?id=794331

omxvideoenc: remove duplicated debug message

We already have the exact same message at the beginning of
gst_omx_video_enc_handle_frame(). Having it twice is confusing when
reading/grepping logs.

I kept the earlier one to keep the symetry with
gst_omx_video_dec_handle_frame().

https://bugzilla.gnome.org/show_bug.cgi?id=794897

omxvideoenc: add 'roi' qp-mode on zynqultrascaleplus

New QP mode used to handle ROI metadata.

https://bugzilla.gnome.org/show_bug.cgi?id=793696

Back to development

Release 1.14.0

Release 1.13.91

meson: fix typo in package name define

omxh265: update 422 profile names

h265parse is gaining support for the format range extension profile
(bgo#793876).
Use the profile names defined in h265parse.

https://bugzilla.gnome.org/show_bug.cgi?id=793928

omxvideoenc: Don't drop the frame on empty payload

This otherwise may lead to "No reference frame found" warning.

omxvideodec: Don't drop the frame on empty payload

This otherwise may lead to "No reference frame found" warning.

omx: Free empty buffers list in use_dynamic_buffers

To indicate we are doing dynamic buffers importation, we pass
a list of NULL pointers, but we forgot to free that list.

omxvideodec: Fix CodecState leak

Release 1.13.90

config: dist tizonia config files

Revert "omx: wait for flush complete and buffers being released when flushing"

This reverts commit 4211e4c29a262f110cb92ddf9c06b403ced233ef.

videoenc: don't set stride padding to 0 when copying frames

Padding can be left undefined there is no point filling it with 0.

https://bugzilla.gnome.org/show_bug.cgi?id=793694

add support for NV12_10LE32 and NV16_10LE32 on zynqultrascaleplus

The encoder and decoder on zynqultrascaleplus support these new 10 bits
format.

https://bugzilla.gnome.org/show_bug.cgi?id=793694

omxvideoenc: factor out gst_omx_video_enc_nv12_manual_copy()

No semantic change, I'm going to re-use it to copy the NV12_10LE32
format.

https://bugzilla.gnome.org/show_bug.cgi?id=793694

omxvideoenc: display the computed buffer size when configuring input

https://bugzilla.gnome.org/show_bug.cgi?id=793694

videoenc: implement ROI on zynqultrascaleplus

Check input buffers for ROI meta and pass them to the encoder by using
zynqultrascaleplus's custom OMX extension. Also add a new
"default-roi-quality" in order to tell the encoder what quality level
should be applied to ROI by default.

https://bugzilla.gnome.org/show_bug.cgi?id=793696

omxvideoenc: remove GST_PARAM_MUTABLE_PLAYING from 'max-bitrate' property

This property isn't actually mutable in the PLAYING state.

https://bugzilla.gnome.org/show_bug.cgi?id=793458

omxvideoenc: protect target_bitrate with the object lock

The 'target-bitrate' property can be changed while PLAYING
(GST_PARAM_MUTABLE_PLAYING). Make it thread-safe to prevent concurrent
accesses between the application and streaming thread.

https://bugzilla.gnome.org/show_bug.cgi?id=793458

omxbufferpool: add PERFORMANCE DEBUG message when copying output frames

I spent quiet some time figuring out why performance of my pipeline were
terrible. Turned out it was because of output frames being copied
because of stride/offset mismatch.

Add a PERFORMANCE DEBUG message to make it easier to spot and debug from logs.

https://bugzilla.gnome.org/show_bug.cgi?id=793637

Back to development

Release 1.13.1

omxh265enc: fix typo in "periodicty-idr" property name

Also fix the 'nick' of the property.

omxh265enc is based on the code from omxh264enc and suffers the same
typo as we fixed in https://bugzilla.gnome.org/show_bug.cgi?id=784370

This element isn't part of a stable release yet so it's not an API
break.

https://bugzilla.gnome.org/show_bug.cgi?id=793390

meson: make version numbers ints and fix int/string comparison

WARNING: Trying to compare values of different types (str, int).
The result of this is undefined and will become a hard error
in a future Meson release.

Also remove unused libversion/soversion.

include all OMX extension headers if present

The OMX specs defines 8 headers that implementations can use to define
their custom extensions. We were checking and including 3 and ignoring
the other ones.

https://bugzilla.gnome.org/show_bug.cgi?id=792043

meson: simplify OMX extensions detection

We are now always checking which files are present or not, even when using our
internal copy of OMX, rather than hardcoding the ones present in it.

https://bugzilla.gnome.org/show_bug.cgi?id=792043

Revert "meson: use include_directories() with external OMX headers path"

This reverts commit 9d37a92a615e54e8ee12f8c65bcfe386ec9de2d0.

omxh265enc: add some encoding properties

constrained-intra-prediction and loop-filter-mode.
Those map standard OMX settings.

https://bugzilla.gnome.org/show_bug.cgi?id=792528

omxh264enc: add some encoding properties

entropy-mode, constrained-intra-prediction and loop-filter-mode.
Those map standard OMX settings.

https://bugzilla.gnome.org/show_bug.cgi?id=792528

omxvideoenc: add zynqultrascaleplus specific properties

https://bugzilla.gnome.org/show_bug.cgi?id=792528

omxvideoenc: document unit of target-bitrate property

nTargetBitrate and nEncodeBitrate are defined in bits per second in the
OMX spec.

https://bugzilla.gnome.org/show_bug.cgi?id=792528

omxvideodec: add internal-entropy-buffers property on zynqultrascaleplus

Custom property to control the number of internal buffers used in the
decoder to smooth out entropy decoding performance.

https://bugzilla.gnome.org/show_bug.cgi?id=792528

meson: use include_directories() with external OMX headers path

It seems cleaner to use the proper meson tools to include this path
rather than manually tweak the build flags.

This also allows us to simplify the OMX extensions detection code. We
are now always checking which files are present, even when using our
internal copy of OMX, rather than hardcoding the ones present in it.

https://bugzilla.gnome.org/show_bug.cgi?id=792043

omxvideoenc: expose chroma format and bit depth in output caps

As we added in the parser (bgo#792039) expose the chroma and bit
depth information in output caps.

https://bugzilla.gnome.org/show_bug.cgi?id=792040

omxvideoenc: factor out get_output_caps()

No semantic change so far.

https://bugzilla.gnome.org/show_bug.cgi?id=792040

omxvideodec: add hack to pass color format from caps to OMX decoder

This hack tries to pass as much information as possible from caps to the
decoder before it receives any buffer. These information can be used by
the OMX decoder to, for example, pre-allocate its internal buffers
before starting to decode and so reduce its initial latency.

This mechanism is currently supported by the zynqultrascaleplus decoder.

https://bugzilla.gnome.org/show_bug.cgi?id=792040

log failing OMX calls as errors

I find it confusing when debugging that OMX calls returning an error
where not logged as GST_LEVEL_ERROR making them harder to spot.
Fix this by introducing simple log macros checking the return value of
the OMX call and logging failures as errors.

https://bugzilla.gnome.org/show_bug.cgi?id=791069

add OMX_PERFORMANCE debug category

Can be used to log buffers exchange between OMX and gst-omx to profile
performances of the OMX component.
Ideally this should be done using tracer hooks but it's currently not
possible to define custom hooks outside of core.

Use GST_DEBUG="OMX_PERFORMANCE:8" to enable it.
See also
https://github.com/gdesmott/gst-log-parser/blob/master/src/bin/omx-perf.rs
as a simple program consuming those logs to generate gnuplot files and
stats.

https://bugzilla.gnome.org/show_bug.cgi?id=791093

omxvideoenc: implement dmabuf import on zynqultrascaleplus

The Zynq UltraScale+ encoder implements a custom OMX extension to
directly import dmabuf saving the need of mapping input buffers.

This can be use with either 'v4l2src io-mode=dmabuf' or an OMX video
decoder upstream.

https://bugzilla.gnome.org/show_bug.cgi?id=792361

omxvideoenc: drop late input frames if QoS is enabled

Make use of the new GstVideoEncoder QoS API to drop late input frames. This may
help a live pipeline to catch up if it's being late and all frames end up
being dropped at the sink.

https://bugzilla.gnome.org/show_bug.cgi?id=792783

TestEgl: Removed redundant/unused code

https://bugzilla.gnome.org/show_bug.cgi?id=788550