avvidenc: handle GST_VIDEO_MULTIVIEW_MODE_MONO

Otherwise videotestsrc ! avenc_libx265 ! fakesink
outputs `Unsupported multiview mode - no mapping in libav`

avcodecmap: Add some more comments about the assumptions in the ffmpeg code about H264/H265/AAC

avdemux: Only set stream-format for H264/H265/AAC when we have a context

Otherwise we don't know yet whether we'll have extradata/codec_data, so
can't decide on the stream-format yet.

avivf_mux: support VP9 and AV1

Besides vp8, ff_ivf_muxer supports VP9 and AV1

avcodecmap: Set AAC/H264/H265 stream-format for demuxer/encoder situations if no codec_data is provided

This fixes output of the above formats from demuxers.

avdemux: Pass the URI from the URI query to avformat_open_input()

Some demuxers make use of it in various ways, for example the HLS
demuxer.

gstavviddec: Limit default number of decoder threads

When the `max-threads` property is not specified, GStreamer defaults to
the amount of CPU threads in the system.

The number of threads used in avdec has a direct impact on the latency
of the decoder, which is of as many frames as threads. Therefore, big
numbers of threads can make latency levels that can be problematic in
some applications.

For this reason, ffmpeg emits a warning when more than 16 threads are
requested.

This patch limits the default number of threads to 16. This affects only
computers with more than 16 CPU threads when using avviddec without
setting `max-threads`.

pkgconfig: remove unused file

Was never hooked up to meson build it seems, and only ever used
by the uninstalled autotools dev env to locate gst-libav plugins
for use in unit tests in other modules.

avvidenc: Fix error propagation

Instead of returning the default return value (GST_FLOW_OK), actually
return an error one (res vs ret).

avdemux: Fix segmentation fault if long_name is NULL

Some plugins (like libcdio) registers empty long_name field. Calling strncmp on this field leads to a segmentation fault.

Signed-off-by: Kevin Joly <joly.kevin25@gmail.com>

avviddec: Fix huge leak caused by circular reference

AVBufferRef -> GstFFMpegVideoDecVideoFrame -> GstVideoCodecFrame -> AVBufferRef

Instead of holding additional ref there, set read-only which would not be
reused by ff_reget_buffer()

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/63

avvideenc,avvidedec: Filtering hardware en/decoder by flag

... instead of filtering them by hardcoded string compare.

avviddec: Enforce allocate new AVFrame per input frame

... if ffmpeg would reuse the allocated AVBuffer. Reused AVFrame by
the ffmpeg seems to break our decoding flow since the reused AVFrame
holds the initial opaque data (GstVideoCodecFrame in this case), so
we couldn't trace the our in/out frames.
To enforce get_buffer() call per output frame, hold another reference
to the AVBuffer in order to mark the AVBuffer as not writable.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/62

Remove autotools build system

avviddec,avcodemap: Use new helper function for map color space information

... between GStreamer and FFmpeg. Note that FFmpeg follows ISO/IEC 23001-8
defined color{matrix,transfer,primaries} values.

docs: do not require gst-plugins-doc-cache-generator

Do not require the cache generator. This is in line with the other
gstreamer modules

avvidenc: timestamp output buffers

Same approach as x264enc, with the one hour offset

avauddec: Don't warn if drain is successful

avviddec: improve latency calculation

When thread_type is set to FF_THREAD_FRAME, per the documentation
a latency of one frame per thread is introduced:

<https://ffmpeg.org/ffmpeg-codecs.html>, search for thread_type.

Additionally, we need in that case to calculate the automatic
number of threads ourselves, so as to accurately calculate the
latency.

avviddec: Add thread-type property

The thread-type property allows specifying preferred
multithreading methods by user. Note that FF_THREAD_FRAME
may introduce additional latency especially on non-filesrc usecase,
since it introduces a decoding delay of (number of threads) frames.

https://bugzilla.gnome.org/show_bug.cgi?id=797254

avvidenc: Close reference context before freeing it

Otherwise we'll leak some memory.

See https://gitlab.freedesktop.org/gstreamer/gst-libav/merge_requests/32

avaudenc: fix memory leak of refcontext after finalize.

avvidenc: Also set the repeat_pict flag correctly and take the TFF flag from caps if available

avvidenc: Correctly signal interlaced input to ffmpeg when the input caps are interlaced

Regression from 1e4529ced2dadbfed4ac10d639a45dbcb0660129

meson: Bump minimal GLib version to 2.44

This means we can use some newer features and get rid of some
boilerplate code using the G_DECLARE_* macros.

As discussed on IRC, 2.44 is old enough by now to start depending on it.

avviddec: remove cdgraphics element

It was never usable as we don't have a parser and we now have 'cdgdec'
in gst-plugins-rs.

configure: pass -Wno-attributes to fix build against broken ffmpeg headers

libavutil/mem.h:342:1: error: ‘alloc_size’ attribute ignored on a function returning ‘int’
 av_alloc_size(2, 3) int av_reallocp_array(void *ptr, size_t nmemb, size_t size);
 ^~~~~~~~~~~~~

Hopefully fixes build on jenkins.

avcodecmap,avviddec: Map bt2020-10, PQ and HLG transfer functions

Map more transfer functions between Gstreamer and ffmpeg

codecmap: Add caps for aptX and aptX-HD

docs: Stop building the doc cache by default

Fixes https://gitlab.freedesktop.org/gstreamer/gst-docs/issues/36

docs: Update plugins documentation cache

docs: Port to hotdoc

autotools: add bcrypt to win32 libs

The included libav requires it now. Otherwise the builds fails with:

  CCLD     libgstlibav.la
build-i686-w64-mingw32/gst-libs/ext/.libs/libavutil.a(random_seed.o): In function `av_get_random_seed':
gst-libav-1.16.0/gst-libs/ext/libav/libavutil/random_seed.c:126: undefined reference to `BCryptOpenAlgorithmProvider@16'
gst-libav-1.16.0/gst-libs/ext/libav/libavutil/random_seed.c:129: undefined reference to `BCryptGenRandom@16'
gst-libav-1.16.0/gst-libs/ext/libav/libavutil/random_seed.c:130: undefined reference to `BCryptCloseAlgorithmProvider@8'
collect2.exe: error: ld returned 1 exit status

avviddec: Extract HDR information if any

Convert mastering display information (a.k.a HDR static metadata) and
content light level information provided by FFMPEG to Gstreamer.

gstav: Use libavcodec util function for version check

The version of libavutil is printed in the log instead of libavcodec
because avutil_version() returns LIBAVUTIL_VERSION_INT. This can be confusing,
so we should be replace it with avcodec_version().

avauddec: Ensure drain even if codec has not delay capabilities

There are decoders that need to be drained if they work on multi-threads,
even if AV_CODEC_CAP_DELAY is not set.

avviddec: Ensure drain even if codec has not delay capabilities

There are decoders that need to be drained if they work on multi-threads,
even if AV_CODEC_CAP_DELAY is not set.

Back to development

Release 1.16.0

Update docs

libav: Update to ffmpeg n4.1.3

Release 1.15.90

Update docs

avcfg: Override type of bitrate property from int64 to int

See https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/41#note_142808

The switch to the new ffmpeg property system changed the type of the
bitrate property from int to int64, which potentially breaks many
existing applications at runtime as properties are usually set via
g_object_set().

As such, override the type to int until GStreamer 2.0.

avviddec: do not add 708 caption meta if already exists

(this is only used for CEA 708 raw data). another element
such as mpegvideoparse may have already added the meta.

avvidenc: pass Closed Caption metadata to libav

avauddec: fix decoding of APE and Cook audio

.. and other formats where ffmpeg gives us multiple
subframes per input frame.

Since we now support non-interleaved audio, we can't
just concat buffers any more. Also, audio metas won't
be combined when buffers are merged, so when we push
out the combined buffer we'll look at the meta describing
only the first subframe and think it covers the whole
frame leading to stutter/gaps in the output.

We could fix this by copying the output data into a new
buffer when we merge buffers, but that's suboptimal, so
let's add some API to GstAudioDecoder to push out subframes
and use that instead.

https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/49

Back to development

Release 1.15.2

Update docs

avdemux: fix negative pts if start_time is bigger than the ts

The start time is supposed to be the ts of the first frame.
FFmpeg uses fractions to represent timestamps and the start time may use a
different base than the frame pts. So we may end up having the start
time bigger than the pts because of rounding when converting to gst ts.

See https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/51
for details.

configure: Only disable dxva2 once

Update to ffmpeg n4.1.1

Release 1.15.1

Update docs

avcfg: Fix AVOptionRanges leak

It must be freed with av_opt_freep_ranges as documented.

Automatic update of common submodule

From ed78bee to 59cb678

libav: Update to ffmpeg n4.1

Add Gitlab CI configuration

This commit adds a .gitlab-ci.yml file, which uses a feature
to fetch the config from a centralized repository. The intent is
to have all the gstreamer modules use the same configuration.

The configuration is currently hosted at the gst-ci repository
under the gitlab/ci_template.yml path.

Part of https://gitlab.freedesktop.org/gstreamer/gstreamer-project/issues/29

codecmap: Add mapping for Voxware metasound

Allows actually decoding such streams :)

libav: Update to ffmpeg n4.0.3

Update common submodule location

Remove the git directory

Clone the code from gitlab

This fixes https://gitlab.freedesktop.org/gstreamer/gst-libav/issues/43

meson: Remove leftover debug logging

avcfg: Ensure that ternary operator always evaluates to int64

When building with MSVC, if the 3rd operator is a double, the entire
expression always promoted double, and is then cast to int64.

When TRUE, this evaluates to (gint64) (gdouble) (INT64_MAX)
which overflows to INT64_MIN on MSVC, but not on C99 compilers.

This causes us to fail the g_return_if_fail inside g_param_spec_int64
when built with MSVC.

avdemux: Expose IFF container support

This exposes support for the "iff" demuxer. This is a general purpose
format, and the reason to expose this now is to allow reading DSD data
(which is supported via a variant called DSDIFF).

More information at:
  https://wiki.multimedia.cx/index.php?title=IFF
  https://www.loc.gov/preservation/digital/formats/fdd/fdd000245.shtml

meson: Generate a pkgconfig file for gstlibav

This matches all other plugins in the other gstreamer repos. This is
also necessary for generating the correct libtool archive (.la) files
in Cerbero which are needed for static linking on Android and iOS.

meson: use new 'python' module instead of deprecated 'python3' one

https://github.com/mesonbuild/meson/pull/4169

meson: Don't export symbols from linked static libraries

We don't want to export any symbols from the ffmpeg static libraries
we link to when building inside Cerbero. In the Autotools build, we
pass -export-symbols-regex to libtool which ensures this for us.

avviddec: Remove unneeded check

frame is always valid in this function (but wasn't before the
refactoring from a few months ago).

CID #1439540

avcfg: Simplify code

The existence of 'opt' is checked, the remainder of the code can therefore
rely on it being valid.

CID #1439537

libav: update internal snapshot to ffmpeg n4.0.2

decoders: fix draining

https://bugzilla.gnome.org/show_bug.cgi?id=796900

avmux: Place pva case after generic case

In the function gst_ffmpeg_formatid_get_codecids() in the if / else if
construct the special case !strcmp (format_name, "pva") should be
handled before the generic case (plugin->audio_codec !=
AV_CODEC_ID_NONE) || (plugin->video_codec != AV_CODEC_ID_NONE)
This patch fixes the ordering.

I stumbled accorss this issue while adding a new format to
gst_ffmpeg_formatid_get_codecids()

https://bugzilla.gnome.org/show_bug.cgi?id=796738

avauddec: add support for decoding in non-interleaved layout

This removes the internal interleave loop and always negotiates
the native output layout of the libav decoder. Users can use
audioconvert to interleave if necessary.

Special care has been taken to leave the encoder unaffected by
the changes in avcodecmap, since GstAudioEncoder doesn't support
the non-interleaved layout yet.

https://bugzilla.gnome.org/show_bug.cgi?id=705977

libav: Fix symbol redefine build error

https://bugzilla.gnome.org/show_bug.cgi?id=796827

Remove obsolete #if 0-ed code

Remove swscale plugin code

This has been disabled for 5.5 years, time to remove it.

libav: Update to ffmpeg release/4.0 HEAD

avcfg: Properly initalize GValue

.. to the expected property value type.

avcfg: actually remove call to g_object_getv

(Sorry about that)

av*dec: Ignore decoding errors

We were ignoring these before the port to 4.0, interpreting them
as GST_FLOW_ERROR / GST_ELEMENT_ERROR causes check failures.

We should start using GST_*_DECODER_ERROR in latter commits,
for now simply restore the previous behaviour.

avcfg: use g_object_get_property, not g_object_getv

I simply confused those two, we didn't need g_object_getv
here anyway.

avcfg: ignore some generic properties

We expose profile, level and colorimetry / colorspaces through
caps.

https://bugzilla.gnome.org/show_bug.cgi?id=792900

avcfg: add skip support to overrides system

https://bugzilla.gnome.org/show_bug.cgi?id=792900

meson: add FFmpeg meson as a fallback

https://bugzilla.gnome.org/show_bug.cgi?id=792900

auddec: fix luck-based sinkpad access

https://bugzilla.gnome.org/show_bug.cgi?id=792900

Update ffmpeg version requirements

https://bugzilla.gnome.org/show_bug.cgi?id=792900

Remove obsolete scale and resample sources

https://bugzilla.gnome.org/show_bug.cgi?id=792900

configure: update libav configure args

https://bugzilla.gnome.org/show_bug.cgi?id=792900

libav: Update to n4.0.1 release

https://bugzilla.gnome.org/show_bug.cgi?id=792900

meson: stop ignoring deprecation warnings!

https://bugzilla.gnome.org/show_bug.cgi?id=792900

avvidenc: port to send_frame / receive_packet

https://bugzilla.gnome.org/show_bug.cgi?id=792900

avviddec: fix invalid alignment calculations.

avcodec_align_dimensions2 uses context->pix_fmt to make its
calculations, we thus need to make sure it is adequately set
when calling it.

Fixes:

gst-launch-1.0 videotestsrc ! video/x-raw, width=1920, height=1080 \
! avenc_mpeg4 ! avdec_mpeg4 ! xvimagesink

This showed invalid writes under valgrind, then segfault.

https://bugzilla.gnome.org/show_bug.cgi?id=792900

avaudenc: port to send_frame / receive_packet

https://bugzilla.gnome.org/show_bug.cgi?id=792900

avmux: fix remaining warnings

https://bugzilla.gnome.org/show_bug.cgi?id=792900

avauddec: fix remaining warnings

https://bugzilla.gnome.org/show_bug.cgi?id=792900

avauddec: port to new decoding API

https://bugzilla.gnome.org/show_bug.cgi?id=792900

avaudenc: further cleanup

https://bugzilla.gnome.org/show_bug.cgi?id=792900

avaudenc: install options generically

https://bugzilla.gnome.org/show_bug.cgi?id=792900