Back to development

Release 1.17.1

docs: Update plugin cache json

https://gitlab.freedesktop.org/alatiera/gst-ci/-/jobs/3109574

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-omx/-/merge_requests/68>

docs: Update documentation cache

omx: Add latest OMX_ALG_Index's to omx_index_type_to_str

Add following indexes to omx_index_type_to_str:
OMX_ALG_IndexParamVideoAccessUnitDelimiter
OMX_ALG_IndexParamVideoBufferingPeriodSEI
OMX_ALG_IndexParamVideoPictureTimingSEI
OMX_ALG_IndexParamVideoRecoveryPointSEI
OMX_ALG_IndexParamVideoMasteringDisplayColourVolumeSEI
OMX_ALG_IndexParamVideoContentLightLevelSEI
OMX_ALG_IndexConfigVideoRegionOfInterestByValue
OMX_ALG_IndexConfigVideoColorPrimaries

zynq: change API to use public 2020.01 from vcu-omx-il

This new release 2020.01 fixes an API typo
Change to OMX_ALG_IndexConfigVideoHighDynamicRangeSEI
instead of OMX_ALG_IndexConfigVideoHighDynamicRangeSEIs
among others.

omxvideoenc: factor out gst_omx_video_enc_allocate_out_buffers()

No semantic change.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-omx/-/merge_requests/66>

omxvideoenc: remove unsupported formats from caps template

Our encoder implementation actually supports a small subset of the
formats supported by the decoder. Those are the formats for which we
have a copy path in gst_omx_video_enc_fill_buffer() and which are not
filtered out in filter_supported_formats().

video: remove BGR from supported format

It's not supported by either decoder or encoder and is even not listed in
gst_omx_video_get_format_from_omx() so it can't work.

omxvideoenc: add GRAY8 support

It's supported by Zynq encoder and was already in the sink caps
template.

omxvideoenc: factor out gst_omx_video_enc_copy_plane()

No semantic change, I'm going to use it to copy GRAY8 buffers which is
actually a single plane 8-bits format.

omxvideoenc: use gst_video_meta_get_plane_height() to compute slice height

This new API saves us from doing manual computation and actually work
with single planar formats, such as GRAY8.

omxh26xenc: fix coverity with frame test

Coverity was complaining with:
Null pointer dereferences  (REVERSE_INULL) Null-checking "frame"
suggests that it may be null, but it has already been
dereferenced on all paths leading to the check.

The frame == NULL has been removed as 'frame' is actively used
in the code above without any change of dereferencing and setting
its value to NULL before the test.

CID: 1461287

gstomxvideoenc: fix subframe output_buffer

Using more than 1 subframes was failing with
frame->output_buffer = NULL

omxvideodec: add support of alternate interlace mode on zynq

omxvideoenc: add support of alternate interlace mode on zynq

It's only supported by the Zynq HEVC encoder for now.

omx: add alternate flags to buffer_flags_map

Zynq specific flags used to tag top/bottom fields in alternate mode.

omxvideo(enc): use GST_VIDEO_INFO_FIELD_RATE_N()

Does not change anything for now but will be needed when we'll support
interlace-mode=alternate as the field rate will be twice the frame rate.

Made the code safe from division by 0 while I was on it.

omxvideo{enc,dec}: use GST_VIDEO_INFO_FIELD_HEIGHT()

Does not change anything for now but will be needed when we'll support
interlace-mode=alternate as the fields will have half the frame height.

omx: don't log error when failing to load conf file with generic target

The generic target is meant to only test building gst-omx. It doesn't
provide any configuration file and so is not supposed to register any
element.
I'm not aware of any user building gst-omx with this target and
providing their own conf file to actually register elements. But best to
not break this use case anyway so let's just downgrade the log message.

Fix GST_ERROR in the 'check fedora' CI job.

meson: add glib project fallback

Add a fallback from glib project to provide glib, gio and
gmodule dependencies.

omxvideoenc: fix warning

Fix warning test when OMX_BUFFERFLAG_ENDOFFRAME
is not set.

omxvideoenc: Add look-ahead property to ZYNQ_USCALE_PLUS encoder

This patch adds look-ahead property to encoder

The value indicates look ahead size in frames,
the number of frames processed ahead of second pass encoding.
Dual pass encoding is disabled if look-ahead
value is less than 2.

omxvideoenc: Add long-term-ref support to ZYNQ_USCALE_PLUS encoder

Custom API that upstream elements can use to notify encoders about
marking longterm ref. pictures or using longterm ref. pictures in
encoding process.

This patch adds below properties:

long-term-ref: Enable/Disable dynamically marking long-term
reference pictures in encoding process

long-term-freq: Periodicity of long-term reference picture
marking in encoding process.

If a picture is marked as long-term reference picture then it remains
in the DPB list for ever unless it overrides with new long-term pitcure with
same index. Encoder can use this long-term picture as refence for
encoding.

This feature is mostly useful to avoid visual artifacts propagation in streaming use cases
when packet loss happens. Instead of requesting for IDR, client can request for use long-term
reference picture for encoding.

meson: display OMX target when configuring

I'm adding more gst-omx CI (
https://gitlab.freedesktop.org/gstreamer/gst-ci/issues/20 ) having the
OMX targets displayed in the logs makes things clearer.

omx: remove useless double negations

flush and port->flushing are both gboolean.

meson: fix tizonia build

meson.build was both using path to gst-omx/openmax/OMX*
headers and path to OMX headers provided by tizilheaders.pc
so this patch makes sure we only use the later.

Also bump tizonia minimum version to 0.19.0 which
is the latest release.

omxh265enc: handle CODECCONFIG buffers

Exact same code as omxh264enc.

omxh264enc: send codec data downstream

We are operating in stream-format=byte-stream so the codec data buffer
is meant to be part of the buffer flow.

The base class will push it when a key frame is requested (as we stored
it with gst_video_encoder_set_headers()) but we still have to push it
right away as part of the normal buffer flow.

Also set the HEADER flag on this buffer.

omxh264enc: no need to check if codeconfig has startcode

We currently only support stream-format=byte-stream so there is no point
re-checking for it when handling CODECCONFIG buffer.

omxh26xenc: Negotiate subframe mode

We now negotiate subframe mode through the caps. To enabled subframe
mode, the caps need to specify alignment=nal:

  ... ! omxh264enc ! video/x-h264,alignment=nal ! ...
  ... ! omxh265enc ! video/x-h265,alignment=nal ! ...

omxvideoenc: use subframe base class API

Use subframe base class support.

omx: Add helper to enable/disable/read subframe mode

zynq: add mapping for latest custom indexes

Fix warning when building using version 2019.2 of OMX headers.

omxvideoenc: update qp-mode settings

Adds load-qp-absolute and load-qp-relative qp-modes

omxvideoenc: Add stride check for input buffer extraction

Stride of input buffer may be different from
that of omx input port even if both sizes are the same.

omxvideoenc: pass padding requirements to ALLOCATION query

By passing the expected video buffer layout, the upstream producer
may be able to produce buffers fitting those requierements allowing
gst-omx to use dynamic buffer mode rather than having to copy each input
buffer.

This is particularly useful with v4l2src as it can request the capture
driver to produce buffers with the required paddings.

omxbufferpool: use gst_video_meta_set_alignment()

Tell buffer consumer about our paddings.

v4l2src can now uses these paddings information when trying to import
buffers to configure the v4l2 driver accordingly.

omxvideoenc: fix buffer size in debug log

Use the actual OMX buffer size rather than the info.size as OMX
may require larger buffer if the port requires some padding.

Remove autotools build

omxallocator: fix leak with a proper chaining finalize

omxvideoenc: revert draining on ALLOCATION and DRAIN query

My latest patch introduces some regressions which I have no time to
debug properly at the moment so just revert it for now.

omxvideoenc: let encoder base class handle ALLOCATION query

Fixing a regression introduced in my previous patch
(7c40a91c31aa4bcbb191f7c6a5d222edf9dfd9d1).

The ALLOCATION query needs to be handled by GstVideoEncoder (to call
propose_allocation()) so chain up the query handling rather than early
returning.

omxvideoenc: drain encoder on ALLOCATION and DRAIN queries

Ensure that the encoder releases all its input buffers when requested by
upstream. Encoder input buffers may be shared with downstreaming (when
using dmabuf), upstream may then request the encoder to
drain when reconfiguring before destroying its buffers.

Also drain on ALLOCATION query as we already do in kmssink as that
notify of a format change.

Fix "decoder ! encoder" pipeline when decoding a file with different
resolutions on Zynq.

omx: log the number of pending buffers when port is EOS

omx: log when an output port is eos

omxvideoenc: log the full input format

Make it easier to debug dynamic format changes.

omxvideodec: fix dmabuf import

When importing dmabuf, UseBuffer() has to be called with the fd as
pBuffer rather than the mapped address of the buffer.

omxbufferpool: fix dmabuf import

When importing dmabuf from downstream, we want the allocator to be in
OTHER_POOL mode despite output_mode being DMABUF.
So check first if other_pool is set before checking for pool's
output_mode.

omxvideoenc: Remove unnecessary gst_video_frame_unmap()

omxvideodec: log supported caps by the decoder

Can be useful when debugging to check the caps supported by the decoder
before filtering.

omxvideoenc: Unref frame of codec config buffer

After handling codec config, codec frame should be unreffed.

omxvideo: check difference between frame and requested ts

This has proven to be very useful when debugging to detect bugs where we
match the wrong gst frame with an output OMX buffer.

omxvideo: add debug infos to find_nearest_frame()

Those debug infos have proved to be very helpful when debugging
timestamp issues. They are often linked to gst-omx picking the wrong
frame when trying to map from OMX.

omxvideodec: Deactivate negotiated pool when output own buffer

If decoder outputs internal buffer and not use OMX_UseBuffer,
downstream bufferpool should be stopped.

omxh264enc: Add 'ref-frames' property

Add a property to control the number of frames for reference.

Min and max value is based on OpenMAX IL 1.2.0 Specification.

meson: Bump minimal GLib version to 2.44

This means we can use some newer features and get rid of some
boilerplate code using the G_DECLARE_* macros.

As discussed on IRC, 2.44 is old enough by now to start depending on it.

doc: Build documentation of hotdoc

gstomx: remove gst_omx_buffer_set_omx_buf/get_omx_buf

They are no longer used anywhere

omxbufferpool: refactor to allow memory sharing

One big restriction of the OMX buffer pool has always been
that the GstMemory objects were flagged with NO_SHARE.
This was because the buffer pool needed to be sure that when
a buffer returned to the pool, it would be safe to release the
OMX buffer back to OpenMAX.

With this change, this is no longer a restriction. What this
commit introduces is a new allocator that allows us to track
the GstMemory objects independently. Now, when a buffer returns
to the pool, it is not necessary for the memory to be released
as well. We simply track the memory's ref count in the allocator
and we return the OMX buffer back when the memory's ref count
drops to 0.

The reason for doing this is to allow implementing zero-copy
transfers in situations where we may need to copy or map a
certain region of the buffer. For instance, omxh264enc ! h264parse
should be possible to be zero-copy by using an OMX buffer pool
between them.

omxbufferpool: fix memory mapping with offset

gst_memory_map() is already adding the offset to the mapped pointer.
Doing it in the memory implementation was resulting in the offset being
accounted twice.

It doesn't matter yet as we are only creating memory without offset for
now but it will once we'll start sharing OMX memories.

Back to development

Release 1.16.0

Fixes build with omx >= 1.2.0

gstomx.c:1405:10: error: ‘OMX_IndexParamCustomContentPipe’ undeclared (first use in this function)
    case OMX_IndexParamCustomContentPipe

Some enums have been deprecated in 1.2.0

https://gitlab.freedesktop.org/gstreamer/gst-omx/issues/27

testegl: properly detect and use rpi specific libs

Use pkg-config to detect and configure rpi specific libs used in testegl
rather than hardcoding their flags.

testelg: include eglext.h

Neded for the declaration of eglSaneChooseConfigBRCM().

testegl: move up pi specific macros

We need to define __VCCOREVER__ and disable redundant-decls before
including the egl.h from the pi.

Release 1.15.90

meson: add -Wundef as additional warning flag

omx: fix autotools build for generic target

gstomxvideoenc.c:2874:7: error: "USE_OMX_TARGET_ZYNQ_USCALE_PLUS" is not defined, evaluates to 0 [-Werror=undef]
 #elif USE_OMX_TARGET_ZYNQ_USCALE_PLUS

Works on meson because it doesn't use -Wundef

Add Gitlab CI configuration

This commit adds a .gitlab-ci.yml file, which uses a feature
to fetch the config from a centralized repository. The intent is
to have all the gstreamer modules use the same configuration.

The configuration is currently hosted at the gst-ci repository
under the gitlab/ci_template.yml path.

Part of https://gitlab.freedesktop.org/gstreamer/gstreamer-project/issues/29

omx: disable OMX_API_TRACE code if gst debug is disabled

No need to create debug structs which won't be used as DEBUG macros are
no-op.

omx: log Get/SetParameter/Config calls

Extend OMX_API_TRACE by logging component configuration calls.

omxbufferpool: don't use CAT_PERFORMANCE if pool will copy

This was the single place where this category was used in gst-omx so
most users, including me, are generally not turning it and were missing this
important information from logs.

The copying code uses gst_video_frame_copy() which is already logging
with CAT_PERFORMANCE so we can still have this information when using
only this debug category.

omxvideodec: add debug if proposed pool can't provide enough buffers

We were silently ignoring the pool which was pretty confusing when
debugging.

omx: Add hardware classifiers to encoders/decoders

meson: sync warnings flags with -good

Add more warnings flags and disabled unused variable warnings if gst
debug system is disabled.

Copied from gst-plugins-good/meson.build

Back to development

Release 1.15.2

meson: add options to disable examples, tests and tools and bump meson requirement

omxvideo: use GST_VIDEO_CAPS_MAKE() for template caps

Simplify the code and so we advertise the formats actually supported by
gst-omx.

omxvideoenc: validate cpb-size and initial-delay

cpb-size cannot be smaller than initial-delay.

omxvideodec: Remove duplicated QoS code

The 'finish' function do the exact same check / drop, there is no
need to duplicate this here.

omxvideodec: Remove dead code

The omxvideodec base class have a totally unused prepare_frame() vritual
function, remove it.

omxvideoenc: add adaptive gop-mode option

Added adaptive gop-mode option to ZYNQ_USCALE_PLUS encoder properties

omxvideoenc: Add dynamic framerate support

Instead of going through a full reset, try and change the framerate
config on the encoder when only the framerate have change.

Release 1.15.1

omxvideoenc: Add dynamic IDR insertion support on zynq

As the pi, the zynq has its own API to request keyframe.

omxbufferpool: fix race when releasing input buffers

If buffers were released from the pool while
gst_omx_video_enc_handle_frame() was waiting for new buffers,
gst_omx_port_acquire_buffer() was never awaken as the buffers weren't
released through OMX's messaging system.

GQueue isn't thread safe so also protect it with the lock mutex.

omxbufferpool: fix early input buffer release

We used to track the 'allocating' status on the pool. It is used while
allocating so output buffers aren't passed right away to OMX and input
ones are not re-added to the pending queue.

This was causing a bug when exporting buffers to v4l2src. On start
v4l2src acquires a buffer, read its stride and release it right away.
As no buffer was received by the encoder element at this point, 'allocating'
was still on TRUE and so the the buffer wasn't put back to the pending
queue and, as result, no longer available to the pool.

Fix this by checking the active status of the pool instead of manually
tracking it down. The pool is considered as active at the very end of
the activation process so we're good when buffers are released during
the activation.

Automatic update of common submodule

From ed78bee to 59cb678

omx: fix OMX_EventBufferFlag OMX_API_TRACE struct

The GType was missing from the second field of the struct.

Update git locations to gitlab

omx: rename OMX_PERFORMANCE debug cat to OMX_API_TRACE

This debug category can now be used to track more OMX calls and events
so best to rename it to something more generic.

https://bugzilla.gnome.org/show_bug.cgi?id=797171

omx: log OMX commands with OMX_PERFORMANCE debug category

It has been useful to have a clear raw and structured view of the gst
<-> OMX exchanges when debugging.

https://bugzilla.gnome.org/show_bug.cgi?id=797171

omx: factor out gst_omx_component_send_command()

No semantic change. I'm going to add extra debug in this function.

https://bugzilla.gnome.org/show_bug.cgi?id=797171

omx: log OMX events with OMX_PERFORMANCE debug category

It has been useful to have a clear raw and structured view of the gst
<-> OMX exchanges when debugging.

https://bugzilla.gnome.org/show_bug.cgi?id=797171

omx: rename log_omx_performance() to log_omx_performance_buffer()

I'm about to log more things under this category

https://bugzilla.gnome.org/show_bug.cgi?id=797171

omxvideoenc: Remove spurious locking

The method we call in the context of pushing a buffer are all thread
safe. Holding a lock would prevent input buffers from being queued while
pushing.

https://bugzilla.gnome.org/show_bug.cgi?id=715192

omxvideoenc: Remove unneeded size check

We only enter this branch if nFilledLen > 0, there is not need
to check again.

https://bugzilla.gnome.org/show_bug.cgi?id=715192