subparse: Send custom event for fragment_timestamp

- If there is no buffer in case of discontinuous,
  do not send reference timestamp.
- related commit: d4e6aa89f86efbc9cc665f2ee123a33015f1449a
  'subparse: Add reference timestamp meta in GstBuffer for HLS webvtt' commit

Change-Id: Id98697ba6db1dc94b4ce4f753670524f6fcf506e

subparse: Add reference timestamp meta in GstBuffer for HLS webvtt

- When discontinuous buffer come in during HLS,
  send the input buffer pts to the reference timestamp meta data
- The reference timetamp meta data is added with the input buffer pts
  to synchronize with the mpeg ts stream

Change-Id: I5ff5b9523b44323f1d6aa37133e5341505d4ce55

decodebin3: Avoid overriding explicit user selection

In case the user set a list of streams to select or answer explicitly
to all 'select-stream' event, we should respect the choice and not
try to add a stream per type.

related upstream commit :
b41b87522f59355bb21c001e9e2df96dc6956928
c9c93339fbd2d37f1ddfd054f7f9e26bce6df743
40fde5fcad0bcdb5429d7bf573690cfe55fc79c8

Change-Id: I63b75bb02fbe40392ae3edbf83a9830d7b606437

cameracontrol: Add new interface for extra preview GOP interval

[Version] 1.16.2-18
[Issue Type] New feature

Change-Id: I5bff2e0433c87bc2daf2949804719cd41c1b48f2
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

cameracontrol: Add new interface for extra preview bitrate

[Version] 1.16.2-17
[Issue Type] New feature

Change-Id: Iaace8d2d4814cb782809daf87905d4ec946664f8
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

Merge "subparse: Remove gst_event_unref when not support byte seek" into tizen

subparse: Remove gst_event_unref when not support byte seek

Change-Id: I5b1ab17ef331a4a712d02cbb6969dd5bbc09cd0e

GstVideoOverlay: Add gst_video_overlay_set_wl_window_exported_shell_handle

- new interface for a shell handle exported by wayland window for synchronization between UI and video

[Version] 1.16.2-16
[Issue Type] New feature

Change-Id: I04d6244062892712c34278343eb9926c25483c07
Signed-off-by: Hyunil <hyunil46.park@samsung.com>

subparse: lower text buffer threshold

It is possible for subtitle files to have a string length less than 30.
WebVTT for example may contain only the 'WEBVTT' string in the file
without any cues.
As an example in hls streams, since WEBVTT files can be segmented
like video/audio, some subtitle segments may only contain just the
header string.

Change-Id: I42dd0497852550d7cd6dd21a485856f06af55d71
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/708>

subparse: convert from pango-markup to utf8 ..

when downstream requires it

Change-Id: I855f284401d8f5abbc4a1b1351f541c9883c92e4

subparse: accept WebVTT timestamps without an hour component

https://www.w3.org/TR/webvtt1/#webvtt-timestamp

Change-Id: I5e87fdcda7f150c12fc08857ce04c378001321bd
mm:ss,000 is a valid WebVTT timestamp

subparse: Send timestamp map custom event for HLS webvtt

Change-Id: I19efb35add97820252d4a0cb8bab60f9d58e5002

cameracontrol: Add new interface for extra preview stream format

[Version] 1.16.2-14
[Issue Type] New feature

Change-Id: If83351104c86b97be5d354b874ad5d777eab796b
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

subparse: check byte seekability

- If seeking in byte format is not possible,
  it'll be handled by default handler.

Change-Id: I186a643a81b084070cea02c64809c2ed1e38f4db

Revert changes

Change-Id: Ieddc55a98ea8104c97e0ae589f81fc6efad37452

subparse: check byte seekability

- If seeking in byte format is not possible,
  it'll be handled by default handler.

Change-Id: I0474d0801b9f47a870b43e6e4bdeb712231892b1

appsrc: add max-buffers property

- max-buffers is about the max number of queued buffers
  which is from upstream source code

Change-Id: I600401b44bffdff7ed7689a2f2670beabb95ca00

subparse: check byte seekability

Change-Id: I9eacff2d1a7f2dcbfae32a4e5a96e9436efa3d70

rtpbuffer: add gst_rtp_buffer_get_extension_onebyte_header_from_bytes

So that one can parse the GBytes returned by gst_rtp_buffer_get_extension_bytes

Original patch
 : https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/commit/19e4d1a93cb21c71f7b359f2fc545875fbd0c930

Change-Id: I88c685c13302d0d9e058d9d580110f08f9612844

rtcpbuffer: add RTPFB_TYPE_TWCC for Transport-Wide Congestion Control

Original patch
 : https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/commit/daea137c9db1809233dfa79e05bd416358e526e9

Change-Id: Ib94aef95e824841372e037309b9909f5e713a1ee

decodebin3: do not drop regular eos event

- decodebin3 send eos event to downstream when it gets eos event from all tracks
  but it causes hang up if application ask changing pipeline state to PAUSED.
- eos track has no data to preroll but sink does not know whether it is eos or not
  because d3 drop the eos and it is waiting another track's eos.

Change-Id: Iee3aaa622f88898f5030a154f4eae25bc9fca562
(cherry picked from commit d52a7353d161875acb8d1168914d600d905374de)

Revert "decodebin3: do not drop the eos event"

This reverts commit e81e47479b49ffe98c3614ad2295c56e28e0b282.

- To allow pad switching in case of adaptive streaming.

Change-Id: Ic0102cc8cb83a2607ae7b24e8ff473df07a08dfa

decodebin3: Release selection lock when pushing EOS

We can't keep the lock otherwise this would lock other actions. In order to keep
it safe, we grab a list of peer pads to send EOS to with the lock taken, then
send to the peer pads with the lock released.

Also make sure the selection lock is taken for another call to this function

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/issues/847

Change-Id: I8c811ff53b77ed62b79a3e90f1f4dab616f02e36
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/971>

[cameracontrol] Add new enum for strobe

[Version] 1.16.2-10
[Issue Type] New feature

Change-Id: I14cdeda7a272fe1dafb51c0d657b2e9da2f6b0f0
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

decodebin3: do not drop the eos event

- decodebin3 send eos event to downstream when it gets eos event from all tracks
  but it causes hang up if application ask changing pipeline state to PAUSED.
- eos track has no data to preroll but sink does not know whether it is eos or not
  because d3 drop the eos and it is waiting another track's eos.

Change-Id: I0787c8cf22abeb1e6e30ba56d0909381399cdbd2
(cherry picked from commit e81e47479b49ffe98c3614ad2295c56e28e0b282)

Activate plug-in for Gstreamer Editing Services

Activation list:
 - libgstaudiomixer.so
 - libgstcompositor.so
 - libgstencoding.so

Change-Id: I3f21421011efd81b1bcfc4be3bdeef2465176d85
Signed-off-by: Minje Ahn <minje.ahn@samsung.com>

playbin3: Fix coverity issue (Missing unlock)

Change-Id: I93dcc031ac75de8e6fff716cd7e7a689f9f9b23e

Merge "spec: Add typelib" into tizen

spec: Add typelib

- for python, C# bindings

Change-Id: Ib9b8e1f99d22c439e3593853e67a9740e09bcd5d

uridecodebin3: check state in src_pad_added callback

- avoid deadlock during autoplugging
- get state before linking between urisourcebin and decodebin3
  to avoid resync state change of the uridecodebin3

Change-Id: I7f0fb12527c13b9c09ee4506d24fbfa168a06986

Remove dependency of development package for opus

- It caused that unnecessary packages were installed in platform binary.
 : gst-plugins-base -> opus-devel -> libogg-devel -> glibc-devel -> linux-kernel-headers

Change-Id: I03e4459711932566f392d3610867f295b6bdf3ad

decodebin3: fix condition about factory selection

Change-Id: I6b23a227bf928ce140dca3959dff848373860462

Enable opus plugin

[Version] 1.16.2-5
[Profile] Common
[Issue Type] Update

Change-Id: I77da25a258416d035e534266be03d5166e85b764
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

decodebin3: add request resource signal

- decodebin3 does not export the candidate decoder information
  to application. so request-resource signal is added to acquire
  resource before creating hw decoder.

Change-Id: Iecbd4667bdc9c47106843e2f181e8cf310278231

decodebin3: add property to select sw decoder

- separate the force-sw-decoders property for video and audio.

Change-Id: Ia36ec554ed6454aa397b1b76439df0ca198c532b

playbin3: handle GST_PLAY_FLAG_FORCE_SW_DECODERS

In decodebin3 and uridecodebin3 the `force-sw-decoders` boolean property is
added. In uridecodebin3 it is only a proxy property which will forward
the value to decodebin3.

When decodebin3 has `force-sw-decoders` disabled, it will filter out in its
decoder and decodable factories those elements within the 'Hardware'
class, at reconfiguring output stream.

playbin3 adds by default GST_PLAY_FLAG_FORCE_SW_DECODERS, and sets
`force-sw-decoders` property accordingly to its internal uridecodebin, also
filters out the 'Hardware' class decoder elements when caps
negotiation.

cherry pick from upstream
commit id: f4bcf8290b3568690dacf0dac95af7f7036f7110

Change-Id: I8ccce2c891a58e272452b1af66967f037c57d571

playback: add GST_PLAY_FLAG_FORCE_SW_DECODERS enum

This flag would be common either for playbin2 and playbin3.

cherry-pick from upstream
commit id: d50c71708a1dd2be120bc4b46c38cb09084a9cba

Change-Id: I55bb687226b8bb4ab36f518eb6d66e13ca3a25a9

[videofilter] Add new condition in transform function for zero copy buffer

- The input buffer could be zero copy buffer.
- SR32 format is also used.

[Version] 1.16.2-4
[Profile] Common
[Issue Type] Update

Change-Id: Ib3e6ecb0504f2019c2dc032fcb27456b68e2d0f8
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

audiomixer/compositor: Disable audiomixer and compositor

Change-Id: Id60626f0e5e3039e7f00f97da2fb160e098bf5ad

[tizenmemory] Fix build warning

- Add annotations for gobject instrospection
- Update Makefile.am to refer GstVideo-1.0.gir

[Version] 1.16.2-3
[Profile] Common
[Issue Type] Update

Change-Id: Ib685fd17f5503442501b42d848fd384fe97f0ed9
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

[cameracontrol] Fix build warning and change interface style like colorbalance

- build warning : return value: Missing (element-type) annotation

[Version] 1.16.2-2
[Profile] Common
[Issue Type] Update

Change-Id: I6ca2dd1de71ec8c7e2062623f13c27cfb7b23ad6
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

[tizenmemory] Set missed flags when map video memory

- gst_buffer_unref() is missed after gst_buffer_ref() while mapping and unmapping video memory,
  so, the buffer is not released and it caused underrun of bufferpool.

[Version] 1.16.2-1
[Profile] Common
[Issue Type] Bug fix

Change-Id: I7990bb88c5852999522a8b2b7d1b10b9e9b83fc2
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

Merge branch 'tizen_gst_1.16.2' into tizen

Change-Id: Ic7957406bd4feccae8151765c793c34b3c9846e4

subparse: fix svace issue

Change-Id: I0008756d0b796b761591a0195fef800db2d02b87

Merge branch 'upstream/1.16' into tizen_gst_1.16.2

Change-Id: I1bc8038f8df8189776f4b2d4b70e3822430e840b

[videoconvert] Update converting function for I420toSN12

[Version] 1.12.2-8
[Profile] Common
[Issue Type] Update

Change-Id: I71e33e185881844b18de1321c45f65dbce002a3f
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

videoconvert: Support I420 to SN12 converting on exynos target

[Version] 1.12.2-7
[Profile] Common
[Issue Type] Improvement

Change-Id: If23c5c4d51a018b7bc6446e9584940a87ed26edb
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

Release 1.16.2

Update docs

Update translations

glfilters: Don't use static variables for storing per-element state

xvimagepool: Update size, stride, and offset with allocated XvImage

Memory layout of XvImage might be different from that of GstVideoInfo.
If so, the image size, stride, and offset would be wrongly informed.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/677

xvimagepool: Fix confusing debug message for padding size

video-converter: Fix RGB-XYZ-RGB conversion

The matrices were in the wrong order.
Instead of the conversion matrix being
  _ XYZ_TO_RGB_output * RGB_TO_XYZ_input * input_RGB
It was
  _ RGB_TO_XYZ_input * XYZ_TO_RGB_output * input_RGB

audiorate: Update next_offset per rate change

To support runtime audio samplerate change, re-calculate next target offset
per caps. Calculating the next buffer offset using the previous
offset seems to be tricky and rounding error prone.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/693

Revert "audiorate: accumulate offset by time diff"

This reverts commit 4fa850e3e6c039000fc7f648de238af6c2278469.

The commit would break an constant rate audio stream with gap.

audioringbuffer: Reset reorder flag before check

This function might be revisited with different channel position mapping
while audio source goes into play so the reorder flag needs to be reset
before the checks happen.

audio-buffer: Don't fail to map buffers with zero samples

Instead initialize the map infos, etc to NULL like gst_buffer_map()
would be doing on a zero-sized buffer.

This fixes a crash in audioresample if the first output buffer would
contain zero samples.

videorate: Fix max-duplication-time handling

Previously this would've only set discont=TRUE and then for all future
buffers simply returned immediately.

Instead we also need to
  a) drain previous input until its buffer time
  b) update next_ts and base_ts accordingly for the gap
  c) actually store the new buffer after the gap so it can be used in
     the future and so the old buffer before the gap is gone

Also update the unit test accordingly so that it actually tests for this
behaviour. Previously it only tested that after the gap we got no output
at all.

gl/gbm: ensure we call the resize callback before attempting to draw

Without this, sinks will not be notified about size changes or even the
initial size and would render at 0x0.

video-converter: Use G_N_ELEMENTS instead of writing it out manually

video-converter: Scaling-only fast-paths for planar formats are keeping interlacing

So we can also use them for interlaced content and speed up scaling a
bit.

video-scaler: Correctly handle interlaced vertical scalers in gst_video_scaler_2d()

We need to provide twice as many lines as usual to the scaling function
as every second lines would be skipped.

Without this we read from random memory and produce colorful output and
crashes.

video-converter: Don't use fast-path halfing/doubling rescalers for interlaced planar formats

They will mix lines from the top and bottom field and by that
effectively deinterlace the video, badly.

video-converter: Use interlaced scalers for vertical scaling if needed

Without this, scaling e.g. interlaced UYVY causes corrupted output with
lines as follows: f1 f1 f2 f2, i.e. two lines of each field and only
then the other field.

gstrtspconnection: messages_bytes not decreased

The watch->messages_bytes is not decreased when the write operation
from the backlog is only partly successfull.

This commit decreases the watch->messages_bytes for the successfully
sent messages.

Fixes #679

check: Don't use real audio devices for tests

When checking the behaviour of live seeking on audiomixer or
adder we don't *really* need real audio devices. audiotestsrc
in live mode is enough to test the behaviour of those elements.

Also avoids people repeatedly wasting hours trying to figure out
whether that failing behaviour is due to their code or not.

pbutils: add description for CineForm codec

riff: add mapping for CineForm codec

Makes CineForm-in-AVI work.

glupload: Add VideoMetas and GLSyncMeta to the raw uploaded buffers

This is done by reusing `gst_gl_memory_setup_buffer` avoiding to
duplicate code.

Without a VideoMeta, mapping those buffers lead to GstBuffer mapping the
buffer in system memory even when specifying the GL flags (through the
buffer merging mechanism) making the result totally broken.

streamsynchronizer: avoid pad destruction races.

Due to the use of {set/get}-element_private methods being used to store
the GstSyncStream in the src and sink pads, and the racey nature of pad
destruction, there are numerous ways we can be bitten by race conditions
in the stream synchronizer. Fix that by tying the pads toghether with
references.

gst-play: Use gst_print* to avoid broken stdout string on Windows

Equvalant to https://gitlab.freedesktop.org/gstreamer/gstreamer/merge_requests/258

When debug enabled, the debug string might be broken on Windows.

Release 1.16.1

Update docs

Update translations

video-info: parse field-order for all interleaved formats

The "field-order" is related for all interlace_mode modes except the
"progressive" mode. So instead of or'ing each mode we can use the
already supported GST_VIDEO_INFO_IS_INTERLACED macro.

meson: Reenable NEON support

audio-resampler: Update NEON to handle remainders not multiples of 4

If the remainder is not evenly divisable by 4, we'd miss the check
for zero and continue the loop until crashing. Change the branch
to take into account negatives as well.

This more closely matches the SSE loop.

eglimage: Fix memory leak

Also free the GstEGLImage struct allocated by g_new0.

Fixes #661

tests: fix up valgrind suppressions for glibc getaddrinfo leaks

Make more flexible. There is an extra
  gethostbyname2_r@@GLIBC_2.2.5 (getXXbyYY_r.c:217)
in the trace on the build bots (F30).

Fixes the -base and -good valgrind jobs on the 1.16 branch CI.

audiodecoder: fix ctitical info assertion 'GST_IS_CAPS (dec->priv->ctx.caps)' failed

Matroskademux will send gap event when lag of video and audio is over 3 seconds.
audiodecoder needs to handle gap event and set default output caps.
Only audio info is set, while output caps is ignored. This cause the assertion failed.

Need to fill output caps in gst_audio_decoder_negotiate_default_caps() with
negotiated caps to avoid critical info printed when check it later.

Docs: add GL_CFLAGS to GTK_DOC_CFLAGS

Otherwise introspection may fail because wayland-client.h cannot be found.

video-frame: Take TFF flag from the video info if it was set in there

The caps and thus the video info have preference. If the field order is
set in there then it applies to all frames.

This works around issues where the tff field order is only set in the
caps but not additionally in the buffer flags.

glcolorconvert: Fix external-oes shader

The #extention must come before 'precision highp float;'.

Closes: #650

video-color: keep UNKNOWN colorimetry define automatically up-to-date

Follow-up to !310 and helps with backport commits like !360

video-color: Deal with NULL colorimetry while converting from string

This came up in the case where v4l2 sets caps with colorimetry=NULL, and
then tries to parse back the colorimetry, causing a crash in
gst_video_get_colorimetry() because of g_str_equal(). We fix this by
making sure the only caller of the function never calls it with a null
colorimetry string.

video-color: Fix unknown colorimetry checking

Also drop some deadcode #defines.

video-anc: Fix ADF detection when trying to extract data from vanc

Previously we were checking offset 1 twice, but the second check
should've been for offset 2.

gl/wayland: fix wayland event source burning CPU

Commit c71dd72b "gl/wayland: fix glib mainloop integration" was overeager
in removing the poll result test from the check function. This caused
dispatch to be called even if no new events are available on the
Wayland connection, which in turn would wake up the glib mainloop,
causing effectively a tight loop without ever blocking on the poll.

Fixes #603

Add used attribute in order to make NEON detection working with -flto.

audioaggregator: Split getcaps() function into two

One for convert pads and one for normal sink pads.

videoaggregator: We can only convert the format if a GstVideoAggregatorConvertPad is used

Otherwise assume that we can at least support any framerate.

audioaggregator: Always take first configure pad's rate and downstream caps into account when calculating allow sink caps

While we can convert between all formats apart from the rate, we
actually need to make sure that we comply with a) the rate of the first
configured pad and b) also all the allowed rates from downstream.

audioaggregator: If we don't have a GstAudioAggregatorConvertPad, don't assume that we can actually convert

audioaggregator: always use downstream's rate requirements

We were previously only fixating the rate in the getcaps
implementation when downstream was requiring a discrete value,
causing negotiation to fail when upstream was capable of rate
conversion, but not made aware that it had to occur.

Instead of fixating the rate, we can simply update our sink
template caps with whatever GValue the downstream caps are holding
as their rate field.

Allows negotiation to successfully complete with pipelines such as:

audiotestsrc ! audio/x-raw, rate=48000 ! audioresample ! audiomixer name=m ! \
audio/x-raw, rate={800, 1000} ! autoaudiosink \
audiotestsrc ! audio/x-raw, rate=44100 ! audioresample ! m.

rtspconnection: data-offset increase not set

rtpsconnection: Fix number of n_vectors

Body_offset mean that so much data have been written.

Without this patch n_vectors somtimes  becomes one more than it should
and then there will be an vector that have a random size causing
writev_bytes to cause a "Bad address" error.

video-color: Add compile-time assert for ColorimetryInfo enum

A comment is not sufficient because this will break when
cherry-picking or backporting commits.

audiodecoder: Fix leak on failed audio gaps

If we fail to process the gap event we need to unref the event or
we end up with a leak.

glupload: Keep track of cached EGLImage texture format

This patch fixes the following critical warning:

CRITICAL **: 11:33:32.843: Unknown GL format 0x0 provided

It would happen during the setup of a second pipeline involving the DMABuf
uploader, typically with a v4l2src element. The warning was raised because the
uploader had a cached EGLImage already filled but the formats were not
synchronized accordingly.