gstavviddec: Only allow a single closed caption meta

Following discussion in
https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1396#note_556068

While it is technically possible to store multiple closed caption metas
in the same buffer, we don't currently do that anywhere and for
H264/MPEG2 both parts have to be stored in the same packet, and also the
number of CC bytes you can store per frame is rather limited. This
restriction might be relaxed later once we figured out how to do it
without breaking things.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-libav/-/merge_requests/82>

Back to development

Release 1.17.2

avauddec: fix buffer leak when send packet failed

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-libav/-/merge_requests/81>

avcodecmap: Add support for SpeedHQ video codec

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-libav/-/merge_requests/79>

meson: mark plugins cache target as always stale

doc: Stop documenting properties from parents

avmux: zero-initialize packets

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-libav/-/merge_requests/76>

Back to development

Release 1.17.1

docs: Update plugins cache

docs: Update plugins cache

plugins: uddate gst_type_mark_as_plugin_api() calls

doc: Require hotdoc >= 0.11.0

docs: Update gst_plugins_cache.json

plugins: Use gst_type_mark_as_plugin_api() for all non-element plugin types

avcodecmap: Remove unused GstFFMpegCompliance type

avdemux: update the context we use to determine stream's caps

The discovered frame rate is only available on the AVStream
itself. Updating the temporary context framerate before
building caps from it seems like a pretty non-intrusive approach.

Fixes #75

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-libav/-/merge_requests/74>

avcodecmap: use framerate instead of time_base when decoding

Documentation for AVCodecContext::time_base:

> decoding: the use of this field for decoding is deprecated.
> Use framerate instead.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-libav/-/merge_requests/74>

gstlibav: minor fixes for header files

Move G_BEGIN_DECLS below includes and add missing include

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-libav/-/merge_requests/71>

gstavviddec: only set range when actually reported by avcodec

otherwise we get incomplete colorimetry that video-info complains about

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-libav/-/merge_requests/70>

README: Convert to markdown, clarify licensing

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-libav/-/merge_requests/68>

All code in this repository is now LGPL-2.1+

Starting with 1.17, we will not ship a copy of FFmpeg in our release
tarballs, and all the remaining code is LGPL2.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-libav/-/merge_requests/68>

avmux: avoid to use unintialized variable

Without this fix, running the command below will get an error randomly.

Example:
gst-launch-1.0 videotestsrc ! vp9enc ! avmux_ivf ! fakesink

ERROR: pipeline doesn't want to preroll.
0:00:02.388528491 30148 0x5601b424a370 ERROR                  libav :0::
Tag [1]V[0][0] incompatible with output codec id '167' (VP90)

avviddec: Update for video-hdr struct change

See the change of -base https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/594

avvidenc: handle GST_VIDEO_MULTIVIEW_MODE_MONO

Otherwise videotestsrc ! avenc_libx265 ! fakesink
outputs `Unsupported multiview mode - no mapping in libav`

avcodecmap: Add some more comments about the assumptions in the ffmpeg code about H264/H265/AAC

avdemux: Only set stream-format for H264/H265/AAC when we have a context

Otherwise we don't know yet whether we'll have extradata/codec_data, so
can't decide on the stream-format yet.

avivf_mux: support VP9 and AV1

Besides vp8, ff_ivf_muxer supports VP9 and AV1

avcodecmap: Set AAC/H264/H265 stream-format for demuxer/encoder situations if no codec_data is provided

This fixes output of the above formats from demuxers.

avdemux: Pass the URI from the URI query to avformat_open_input()

Some demuxers make use of it in various ways, for example the HLS
demuxer.

gstavviddec: Limit default number of decoder threads

When the `max-threads` property is not specified, GStreamer defaults to
the amount of CPU threads in the system.

The number of threads used in avdec has a direct impact on the latency
of the decoder, which is of as many frames as threads. Therefore, big
numbers of threads can make latency levels that can be problematic in
some applications.

For this reason, ffmpeg emits a warning when more than 16 threads are
requested.

This patch limits the default number of threads to 16. This affects only
computers with more than 16 CPU threads when using avviddec without
setting `max-threads`.

pkgconfig: remove unused file

Was never hooked up to meson build it seems, and only ever used
by the uninstalled autotools dev env to locate gst-libav plugins
for use in unit tests in other modules.

avvidenc: Fix error propagation

Instead of returning the default return value (GST_FLOW_OK), actually
return an error one (res vs ret).

avdemux: Fix segmentation fault if long_name is NULL

Some plugins (like libcdio) registers empty long_name field. Calling strncmp on this field leads to a segmentation fault.

Signed-off-by: Kevin Joly <joly.kevin25@gmail.com>

avviddec: Fix huge leak caused by circular reference

AVBufferRef -> GstFFMpegVideoDecVideoFrame -> GstVideoCodecFrame -> AVBufferRef

Instead of holding additional ref there, set read-only which would not be
reused by ff_reget_buffer()

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/63

avvideenc,avvidedec: Filtering hardware en/decoder by flag

... instead of filtering them by hardcoded string compare.

avviddec: Enforce allocate new AVFrame per input frame

... if ffmpeg would reuse the allocated AVBuffer. Reused AVFrame by
the ffmpeg seems to break our decoding flow since the reused AVFrame
holds the initial opaque data (GstVideoCodecFrame in this case), so
we couldn't trace the our in/out frames.
To enforce get_buffer() call per output frame, hold another reference
to the AVBuffer in order to mark the AVBuffer as not writable.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/62

Remove autotools build system

avviddec,avcodemap: Use new helper function for map color space information

... between GStreamer and FFmpeg. Note that FFmpeg follows ISO/IEC 23001-8
defined color{matrix,transfer,primaries} values.

docs: do not require gst-plugins-doc-cache-generator

Do not require the cache generator. This is in line with the other
gstreamer modules

avvidenc: timestamp output buffers

Same approach as x264enc, with the one hour offset

avauddec: Don't warn if drain is successful

avviddec: improve latency calculation

When thread_type is set to FF_THREAD_FRAME, per the documentation
a latency of one frame per thread is introduced:

<https://ffmpeg.org/ffmpeg-codecs.html>, search for thread_type.

Additionally, we need in that case to calculate the automatic
number of threads ourselves, so as to accurately calculate the
latency.

avviddec: Add thread-type property

The thread-type property allows specifying preferred
multithreading methods by user. Note that FF_THREAD_FRAME
may introduce additional latency especially on non-filesrc usecase,
since it introduces a decoding delay of (number of threads) frames.

https://bugzilla.gnome.org/show_bug.cgi?id=797254

avvidenc: Close reference context before freeing it

Otherwise we'll leak some memory.

See https://gitlab.freedesktop.org/gstreamer/gst-libav/merge_requests/32

avaudenc: fix memory leak of refcontext after finalize.

avvidenc: Also set the repeat_pict flag correctly and take the TFF flag from caps if available

avvidenc: Correctly signal interlaced input to ffmpeg when the input caps are interlaced

Regression from 1e4529ced2dadbfed4ac10d639a45dbcb0660129

meson: Bump minimal GLib version to 2.44

This means we can use some newer features and get rid of some
boilerplate code using the G_DECLARE_* macros.

As discussed on IRC, 2.44 is old enough by now to start depending on it.

avviddec: remove cdgraphics element

It was never usable as we don't have a parser and we now have 'cdgdec'
in gst-plugins-rs.

configure: pass -Wno-attributes to fix build against broken ffmpeg headers

libavutil/mem.h:342:1: error: ‘alloc_size’ attribute ignored on a function returning ‘int’
 av_alloc_size(2, 3) int av_reallocp_array(void *ptr, size_t nmemb, size_t size);
 ^~~~~~~~~~~~~

Hopefully fixes build on jenkins.

avcodecmap,avviddec: Map bt2020-10, PQ and HLG transfer functions

Map more transfer functions between Gstreamer and ffmpeg

codecmap: Add caps for aptX and aptX-HD

docs: Stop building the doc cache by default

Fixes https://gitlab.freedesktop.org/gstreamer/gst-docs/issues/36

docs: Update plugins documentation cache

docs: Port to hotdoc

autotools: add bcrypt to win32 libs

The included libav requires it now. Otherwise the builds fails with:

  CCLD     libgstlibav.la
build-i686-w64-mingw32/gst-libs/ext/.libs/libavutil.a(random_seed.o): In function `av_get_random_seed':
gst-libav-1.16.0/gst-libs/ext/libav/libavutil/random_seed.c:126: undefined reference to `BCryptOpenAlgorithmProvider@16'
gst-libav-1.16.0/gst-libs/ext/libav/libavutil/random_seed.c:129: undefined reference to `BCryptGenRandom@16'
gst-libav-1.16.0/gst-libs/ext/libav/libavutil/random_seed.c:130: undefined reference to `BCryptCloseAlgorithmProvider@8'
collect2.exe: error: ld returned 1 exit status

avviddec: Extract HDR information if any

Convert mastering display information (a.k.a HDR static metadata) and
content light level information provided by FFMPEG to Gstreamer.

gstav: Use libavcodec util function for version check

The version of libavutil is printed in the log instead of libavcodec
because avutil_version() returns LIBAVUTIL_VERSION_INT. This can be confusing,
so we should be replace it with avcodec_version().

avauddec: Ensure drain even if codec has not delay capabilities

There are decoders that need to be drained if they work on multi-threads,
even if AV_CODEC_CAP_DELAY is not set.

avviddec: Ensure drain even if codec has not delay capabilities

There are decoders that need to be drained if they work on multi-threads,
even if AV_CODEC_CAP_DELAY is not set.

Back to development

Release 1.16.0

Update docs

libav: Update to ffmpeg n4.1.3

Release 1.15.90

Update docs

avcfg: Override type of bitrate property from int64 to int

See https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/41#note_142808

The switch to the new ffmpeg property system changed the type of the
bitrate property from int to int64, which potentially breaks many
existing applications at runtime as properties are usually set via
g_object_set().

As such, override the type to int until GStreamer 2.0.

avviddec: do not add 708 caption meta if already exists

(this is only used for CEA 708 raw data). another element
such as mpegvideoparse may have already added the meta.

avvidenc: pass Closed Caption metadata to libav

avauddec: fix decoding of APE and Cook audio

.. and other formats where ffmpeg gives us multiple
subframes per input frame.

Since we now support non-interleaved audio, we can't
just concat buffers any more. Also, audio metas won't
be combined when buffers are merged, so when we push
out the combined buffer we'll look at the meta describing
only the first subframe and think it covers the whole
frame leading to stutter/gaps in the output.

We could fix this by copying the output data into a new
buffer when we merge buffers, but that's suboptimal, so
let's add some API to GstAudioDecoder to push out subframes
and use that instead.

https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/49

Back to development

Release 1.15.2

Update docs

avdemux: fix negative pts if start_time is bigger than the ts

The start time is supposed to be the ts of the first frame.
FFmpeg uses fractions to represent timestamps and the start time may use a
different base than the frame pts. So we may end up having the start
time bigger than the pts because of rounding when converting to gst ts.

See https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/51
for details.

configure: Only disable dxva2 once

Update to ffmpeg n4.1.1

Release 1.15.1

Update docs

avcfg: Fix AVOptionRanges leak

It must be freed with av_opt_freep_ranges as documented.

Automatic update of common submodule

From ed78bee to 59cb678

libav: Update to ffmpeg n4.1

Add Gitlab CI configuration

This commit adds a .gitlab-ci.yml file, which uses a feature
to fetch the config from a centralized repository. The intent is
to have all the gstreamer modules use the same configuration.

The configuration is currently hosted at the gst-ci repository
under the gitlab/ci_template.yml path.

Part of https://gitlab.freedesktop.org/gstreamer/gstreamer-project/issues/29

codecmap: Add mapping for Voxware metasound

Allows actually decoding such streams :)

libav: Update to ffmpeg n4.0.3

Update common submodule location

Remove the git directory

Clone the code from gitlab

This fixes https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/43

meson: Remove leftover debug logging

avcfg: Ensure that ternary operator always evaluates to int64

When building with MSVC, if the 3rd operator is a double, the entire
expression always promoted double, and is then cast to int64.

When TRUE, this evaluates to (gint64) (gdouble) (INT64_MAX)
which overflows to INT64_MIN on MSVC, but not on C99 compilers.

This causes us to fail the g_return_if_fail inside g_param_spec_int64
when built with MSVC.

avdemux: Expose IFF container support

This exposes support for the "iff" demuxer. This is a general purpose
format, and the reason to expose this now is to allow reading DSD data
(which is supported via a variant called DSDIFF).

More information at:
  https://wiki.multimedia.cx/index.php?title=IFF
  https://www.loc.gov/preservation/digital/formats/fdd/fdd000245.shtml

meson: Generate a pkgconfig file for gstlibav

This matches all other plugins in the other gstreamer repos. This is
also necessary for generating the correct libtool archive (.la) files
in Cerbero which are needed for static linking on Android and iOS.

meson: use new 'python' module instead of deprecated 'python3' one

https://github.com/mesonbuild/meson/pull/4169

meson: Don't export symbols from linked static libraries

We don't want to export any symbols from the ffmpeg static libraries
we link to when building inside Cerbero. In the Autotools build, we
pass -export-symbols-regex to libtool which ensures this for us.

avviddec: Remove unneeded check

frame is always valid in this function (but wasn't before the
refactoring from a few months ago).

CID #1439540

avcfg: Simplify code

The existence of 'opt' is checked, the remainder of the code can therefore
rely on it being valid.

CID #1439537

libav: update internal snapshot to ffmpeg n4.0.2

decoders: fix draining

https://bugzilla.gnome.org/show_bug.cgi?id=796900

avmux: Place pva case after generic case

In the function gst_ffmpeg_formatid_get_codecids() in the if / else if
construct the special case !strcmp (format_name, "pva") should be
handled before the generic case (plugin->audio_codec !=
AV_CODEC_ID_NONE) || (plugin->video_codec != AV_CODEC_ID_NONE)
This patch fixes the ordering.

I stumbled accorss this issue while adding a new format to
gst_ffmpeg_formatid_get_codecids()

https://bugzilla.gnome.org/show_bug.cgi?id=796738

avauddec: add support for decoding in non-interleaved layout

This removes the internal interleave loop and always negotiates
the native output layout of the libav decoder. Users can use
audioconvert to interleave if necessary.

Special care has been taken to leave the encoder unaffected by
the changes in avcodecmap, since GstAudioEncoder doesn't support
the non-interleaved layout yet.

https://bugzilla.gnome.org/show_bug.cgi?id=705977