rtpbasepayload: add property for embedding twcc sequencenumbers

By setting the extension-ID for TWCC (Transport Wide Congestion Control),
the payloader will embed sequencenumbers as a RTP header-extension
according to https://tools.ietf.org/html/draft-holmer-rmcat-transport-wide-cc-extensions-01#section-2

The negotiation of this being enabled with downstream elements
is done with caps reflecting the way this is communicated using SDP.

gl/window/win32: implement get_window_handle()

Some other frameworks need the HWND to retrieve information from.

rtpbasepayload: fix test warnings

Compiling with MSVC and Clang.

rtpbasepayload: timestamp bug, if rate control=no

With commit "basepayload: Expose onvif-no-rate-control property" the rtp
timestamp changed behaviour when rate control is disabled.

When disabling rate control, we must take care of the stream time to
avoid the timestamps to begin from zero again.

discoverer: Start discovering next URI from right thread

When using the cache, we were not using the right GMainContext to setup
next URI to discovery, fix that.

glcolorconvert: error out if memory context is different than ours

gltestsrc: NULL out the functions used

Fixes segfault when the display changes

glviewconvert: fix reset context for GL context change

We need to remove GL resources from the old context instead of the new
GL context.  The two GL context may not even be shared.

glviewconvert: fix a use-after-free with allocation params

_free(params) followed by a params->align is a bad idea :)

glviewconvert: also remove GL buffers on a reset

Fixes a possible memory leak on renegotiation

gl/basesrc: call gl_stop when shutting down

Fixes multiple leaks

rtpbuffer: add gst_rtp_buffer_get_extension_onebyte_header_from_bytes

So that one can parse the GBytes returned by gst_rtp_buffer_get_extension_bytes

videoaggregator: handle gap buffers properly

This simply implies not trying to "prepare" those buffers,
as mapping an empty buffer to a video frame does not make
much sense.

This also adds a simple test in compositor that performs
some trivial checking of the handling of gap events, the test
was not failing before, but an error was logged, this is
no longer the case.

Fixes #717

videoaggregator: Don't configure NULL chroma-site/colorimetry

If there's no known value in the best caps then the functions to convert
them to strings will return NULL. Having the fields not in the caps is
not a problem, having them with a NULL value however will cause
negotiation failures.

decodebin3: Reset main group id on PAUSED->READY state change

The main_input stream-id would not get reset when going to READY state.
This would cause warnings when trying to reuse the same decodebin3, since
you would get a new STREAM_START event with a new stream-id, which would
collide with the now stale stream-id

decodebin3: Reduced logging level of messages

The logging is set to warning for a drain event, which is part of the
normal functionality of the parsebin.

clockoverlay: fix bogus time display caused by previous commit

Fixes regression introduced by "clean-up" done as part of commit 98ebcb4.

dummy must live as long as use the return value of localtime_r() since
that's just a pointer to it, and by putting it inside the block we made
dummy go out of scope right after localtime_r() returned, which messed
up the time values since when we poked at the struct the contents might
already have been overwritten.

Fixes #722

uridecodebin3: Fixed defauts not being set on initialization

The default values were not being set on element initialization. This
was a problem for buffer_duration and buffer_size since they would be
zero initialized, rather then being set to -1. This would cause the
underlaying queue2 element to have no limits and depending on the
streamed file, could cause queue2 to allocate massive amounts of memory.

encodebin: Add missing 'Since' marker

oggstream: Workaround for broken PAR in VP8 BOS

Similarily to the Theora mapping, process 0:N, N:0 and 0:0 pixel aspect ratios
as 1:1.

Fixes #719

tests: rtpbasedepayload: Test flow return whith push/push_list

This validate that the base class properly save and return the flow
return value received when gst_rtp_base_depay_push/push_list() helper is
being used.

rtpbasepayload: Save and forward the push flow return

Save push/push_list helper flow return and in case of failure, return it
in the process function. This allow forwarding downstream flow return
even if the subclass is using the push/push_list helper.

playbin3: handle GST_PLAY_FLAG_FORCE_SW_DECODERS

In decodebin3 and uridecodebin3 the `force-sw-decoders` boolean property is
added. In uridecodebin3 it is only a proxy property which will forward
the value to decodebin3.

When decodebin3 has `force-sw-decoders` disabled, it will filter out in its
decoder and decodable factories those elements within the 'Hardware'
class, at reconfiguring output stream.

playbin3 adds by default GST_PLAY_FLAG_FORCE_SW_DECODERS, and sets
`force-sw-decoders` property accordingly to its internal uridecodebin, also
filters out the 'Hardware' class decoder elements when caps
negotiation.

playbin2: handle GST_PLAY_FLAG_FORCE_SW_DECODERS

Added `force-sw-decoders` boolean property in decodebin2 and
uridecodebin. By default the property is %FALSE and it bypass the new
code. Otherwise the factory list is filtered removing decoders
within 'Hardware' class.

uridecodebin sets the `force-sw-decoders` property in its internal
decodebin, and also filters out Hardware class in the
autoplug-factories default signal handler.

playbin2 adds by default GST_PLAY_FLAG_FORCE_SW_DECODERS it its flags
property, and depending on it playbin2 sets the `force-sw-decoders`
property on its internal uridecodebin, also filters out the Hardware
class decoding decoders at the autoplug-factories signal handler.

playback: add GST_PLAY_FLAG_FORCE_SW_DECODERS enum

This flag would be common either for playbin2 and playbin3.

meson: add graphene subproject

So we can build all the OpenGL elements.

compositor: memcpy() lines directly for alpha formats with SOURCE operator and alpha=1.0

rawvideoparse: allow setting the colorimetry

You can neither guess nor parse the colorimetry from the
input stream.

Signed-off-by: Randy Li <ayaka@soulik.info>

compositor: Alpha inputs with the SOURCE operator can be considered opaque

We don't have to look at each pixel's alpha component because we will
directly write it over the background.

Fix link to raw video format design document

playbin3: Propagate sink context

When the playsink's sink is activated its state is set to READY but it remains
unlinked. So, in order for decodebin3 to potentially reuse the context later on,
the whole playbin3 needs to have it internally stored.

playbin: Propagate sink context

Any contexts created by sink during activation need to be propagated
to whole elements of playbin.

rtspurl: add API method to create request uri combined with control url

code logic very similar to gst_rtsp_url_get_request_uri ()

gstvideoaggregator: always update converter when needed

In prepare_frame, it is not enough for the target info
(conversion_info) to not have changed to decide not to update
the converter, as the vpad info may have changed as well.

Fixes #714

fft: Update our kiss fft version

This fixes thread-safety issues and various other minor issues. Our
previous version was about 13 years old.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/715

glwindow/win32: Don't post any WinProc message to parent window

Posting any message to parent seems to be pointless. That might break
parent window.
Regardless of the posting, parent window can catch mouse event
and also any keyboard events will be handled by parent window by default.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/634

playbin: remove deprecated raw audio and raw video sink flags

These flags were deprecated in 2011 with commit
105da803ade859fb299ed3c5265d6acdd168ca8f

Removing these flags will simplify the logic in playbin.

tests: add video encoder test with subframes API

videoencoder: send new headers in finish_frame

If headers have been set by subclass, this headers should be sent
for a first time or on demand with a key-unit

videoencoder: Use video marker flag to signal end of frame

This marker is optional, its name refer to RTP marker bit. This mark can
be use to reduce latency in various use cases. With the split between
finish_frame() and finish_subframe() we will now be able to identitfy
the last subframe with no latency.

In order to detail the use of GST_BUFFER_FLAG_MARKER in a video
use case, the flag GST_VIDEO_BUFFER_FLAG_MARKER has been introduced
with a proper documentation clarifying marker's role.

videoencoder: add API to push subframes

Introduce a new API so encoders can split the encoding in subframes.
This can be useful to reduce the overall latency as we no longer need to
wait for the full frame to be encoded to start decoding or sending it.

videoencoder: factor out logic from gst_video_encoder_finish_frame()

No semantic change, I'm going to reuse all those functions in a new
finish_slice() methods.

audioencoder: fix segment event leak

Segment event was leaked if format != _TIME.

Revert "videoencoder: factor out logic from gst_video_encoder_finish_frame()"

This reverts commit b1ec312b8ed39ffaeeca1f5a8a014acd4b74d5f9.

videoencoder: factor out logic from gst_video_encoder_finish_frame()

No semantic change, I'm going to reuse all those functions in a new
finish_slice() methods.

rtspconnection: Add functions without GTimeVal deprecate existing

GTimeVal is now deprecated in GLib, so let's deprecate it here too

tests: Remove deprecated GTimeVal

GTimeVal won't work past 2038

base: use of g_value_dup_string

Use helper method to get string from GValue.

remove various useless linefeed in logs

tests: actually define HAVE_VALGRIND

This stuff should probably be done differently, but
for now just define it like we used to.

xvimage: remove unused HAVE_XVIDEO define

test: fix up HAVE_X11 / HAVE_X defines

Only HAVE_X was defined, while both HAVE_X11 and HAVE_X were used.

typefindfunctions: build gio xdgmime typefinder again

And add gio-typefinder option to disable it. HAVE_GIO
was never set, at least not in the Meson build.

tests: simple-launch-lines: remove use of unused HAVE_LIBVISUAL define

This is not set anywhere, and it's pretty clear the pipeline in
question has not been tested in a long time. Disable test with
a FIXME, test needs to be rewritten to not use real output devices.

tests: gl-launch-lines: check for features at runtime

Instead of using HAVE_PNG and HAVE_JPEG defines.

multifdsink: remove defunct include guarded by unused HAVE_FIONREAD_IN_SYS_FILIO

The configure check for this went away in 2012 in commit cd3eee.

tests: oggmux: check vorbisenc + theoraenc availability at runtime

HAVE_VORBIS was used but never set, so only 3 out of 7 tests
actually ran. Drop now-unused HAVE_THEORA define.

tests: playback: include stdlib.h unconditionally

Like we do elsewhere. And drop the check for the header.
Also remove some superfluous unistd.h includes.

vorbis: drop unneeded check for vorbis_synthesis_restart()

This was added in 1.0.1 more than 16 years ago, I think we
can safely assume this is always present now. Also in tremor.

While at it, bump vorbis requirement to 1.3.1 from 2010.

pango: check if localtime_r is available

HAVE_LOCALTIME_R was used, but never defined.

examples: overlaycomposition: Fix implicit declaration warning

overlaycomposition.c:276:5: warning: implicit declaration of function 'exit' [-Wimplicit-function-declaration]
overlaycomposition.c(263): warning C4090: 'initializing': different 'const' qualifiers

examples: win32-videooverlay: Remove unused variable

win32-videooverlay.c:34:20: warning: 'msg_io_channel' defined but not used [-Wunused-variable]

codec-utils: add h264 constrained and progressive profiles

Those profiles have been added in the version 2012-01
and 2011-06 of the AVC spec.

Aligned code with https://bugzilla.gnome.org/show_bug.cgi?id=794127

build: use -fvisibility=hidden for objc code

gl/macos+ios: privatise _invoke_on_main()

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1132

videoaggregator: don't let a repeat-after-eos pad prevent EOS

.. if there are pads present that are not repeating after EOS.

Fixes #664

tests: expand compositor repeat-after-eos tests for multiple pads

If there are any pads with repeat-after-eos NOT set, then the compositor
should EOS after all of those pads have gone EOS, but not before all
repeat-after-eos pads have as well.

https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/664

tools: Add support for CameraSource pipeline description

video-converter: Fix RGB-XYZ-RGB conversion

The matrices were in the wrong order.
Instead of the conversion matrix being
  _ XYZ_TO_RGB_output * RGB_TO_XYZ_input * input_RGB
It was
  _ RGB_TO_XYZ_input * XYZ_TO_RGB_output * input_RGB

ximagesink, xvimagesink: don't use XkbKeycodeToKeysym if Xkb is unavailable

ximagesink and xvimagesink use XkbKeycodeToKeysym when the key event is
received. However, this function returns NoSymbol if Xkb is unavailable.

This causes all key events to be translated to "unknown" key when running
ximagsink under some VNC.

Fix it by using XKeycodeToKeysym if Xkb is unavailable.

gst-play: Handle KeyDown event instead of KeyUp on Win32 keyboard handler

To handle long press case, KeyDown input should be handled instead of KeyUp.
Note that OS will take care of the sensitivity of KeyDown event, so we can safely
assume one KeyDown as one input. That will not break user experience.

gst-play: Remove timer GSource from Win32 keyboard handler

Use WaitForMultipleObjects to handle keyboard input only if pending
keyboard input exists.

examples: win32-videooverlay: Add an option for testing reuse of external window

Adding "repeat" option to test a case where external window is reused.

audiorate: Update next_offset per rate change

To support runtime audio samplerate change, re-calculate next target offset
per caps. Calculating the next buffer offset using the previous
offset seems to be tricky and rounding error prone.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/693

Revert "audiorate: accumulate offset by time diff"

This reverts commit 4fa850e3e6c039000fc7f648de238af6c2278469.

The commit would break an constant rate audio stream with gap.

xvimagepool: Update size, stride, and offset with allocated XvImage

Memory layout of XvImage might be different from that of GstVideoInfo.
If so, the image size, stride, and offset would be wrongly informed.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/677

xvimagepool: Fix confusing debug message for padding size

opusenc: Add low delay option

Fixes #681

audioringbuffer: Reset reorder flag before check

This function might be revisited with different channel position mapping
while audio source goes into play so the reorder flag needs to be reset
before the checks happen.

glupload: Fix allocator leak

It fixes allocator leak in failure case

examples: overlaycomposition: Fix typo

Sorry for the noise. Default should be autovideosink

video-info: improve GST_CAPS_FEATURE_FORMAT_INTERLACED documentation

Copied the description from gst-doc written by Tim.

Fix #606

gl/window: marshall quit to the window thread

Fixes a possible deadlock where we're waiting for the window thread to
quit but it never does.

audio-buffer: Don't fail to map buffers with zero samples

Instead initialize the map infos, etc to NULL like gst_buffer_map()
would be doing on a zero-sized buffer.

This fixes a crash in audioresample if the first output buffer would
contain zero samples.

examples: overlaycomposition: Add option for videosink element selection

It would be useful for testing overlaycomposition with specific videosink element.

glcontext/egl: Fix window leak

Fixed to do unref after use of window get by gst_gl_context_get_window()

gldownload: Fix renegotiation loop

When DMABuf was tried, we would renegotiate back and fourth between
DMABuf and system memory if the export failed. This would happen for
every single frame.

This patch introduces try_dmabuf_exports boolean, which is unset when
an export failed. This boolean is then put back to TRUE when upstream
pushes new caps, or downstream pushes a reconfigure event.

gldownload: Refactor download mode selection

This introduces an enum in order to cleanup how we select the
transfer mode. It also fixes the case where we callback to PBO but
we didn't execute the PBO. That was not causing any issue, just that
the processing latency would be delayed to the next element, which
can be confusing.

eglimage: Fix extension names in dmabuf import check

There was a typo in the extension name which resulted in the modifiers
to never be set when doing DMABuf import. That triggered the modifiers
lookup in Intel driver, which was in fact hiding bugs in the gldownload
to glupload path when doing DMABuf.

Note, this changes breaks pipeline the following pipeline on Intel and
some other drivers:

  gltestsrc ! gldownload ! video/x-raw\(memory:DMABuf\) ! glimagsink

A fix for this was added to Mesa recently:

Related to https://gitlab.freedesktop.org/mesa/mesa/merge_requests/1338
Fixes 5d0e191710

eglimage: Fix exported DMABuf size

All we know is the height and the stride, so make sure not to expose
the DMABuf larger then the size we know about.

eglimage: Fail exportation if a modififer is used

We don't support modififers and that would result in bad image being
displayed. Note that this was fixes recently in Mesa MR 1138, prior to
that, the reported modifier is always 0, which makes this change a
no-op.

Fixes #441
Related to https://gitlab.freedesktop.org/mesa/mesa/merge_requests/1338

gldownload: Wait on sync meta if any

This is possibly not strictly needed when pixels are being downloaded to
CPU memory, but would cause issue when exporting DMABuf, as the data may
not be yet ready when the DMABuf reaches the consumer.

playbin: Handle error message with redirection indication

There are in the wild (mp4) streams that basically contain no tracks
but do have a redirect info[0], in which case, qtdemux won't be able
to expose any pad (there are no tracks) so can't post anything but
an error on the bus, as:
  - it can't send EOS downstream, it has no pad,
  - posting an EOS message will be useless as PAUSED state can't be
    reached and there is no sink in the pipeline meaning GstBin will
    simply ignore it

In that case, currently the application could try to handle that but it
is pretty complex as it will get the REDIRECT message on the bus at
which point it could set the URL but playbin will ignore it, as
it will only be for the next EOS, it thus need to set the pipeline to
NULL (READY won't do as it is already in READY at that point). And it
needs to figure out the following ERROR message on the bus needs to be
ignored, which is not really simple.

The approach here is to allow element to add details to the ERROR
message with a `redirect-location` field which elements like playbin handle
and use right away.

We could also use the element 'redirect' message in playbin, but the
issue with that approach is that the element will still emit the ERROR
message on the bus, leading to wrong behaviour. That can't be avoided
since in the case the app/parent pipeline is not handling the redirect
instruction, the ERROR message is necessary (and there is no way to
detect that the message has been "handled" from the element emitting the
redirect).

[0]: http://movietrailers.apple.com/movies/paramount/terminator-dark-fate/terminator-dark-fate-trailer-2_480p.mov

overlaycomposition: set sink pad to proxy allocation queries

display: add a specific lock for the list of windows

It's either this or replacing all the object lock usage in gldisplay
with a recursive mutex which is not backwards compatible

The failure case is effectively:
1. The user has locked the display object lock
2. a glcontext loses it's last ref and attempts to quit the window
3. gst_gl_window_quit() attempts to remove the window from the display
4. gst_gl_display_remove_window attempts to take the display object lock

The only concern with changing the locking for the window list in the
display is that gst_gl_display_create_window() has documentation requiring
the object lock to be held which must continue to work correctly.

glwindow: fix racy resize updates

Take locks around resize handling and marshall all resizes to the
windowing thread by default.

glwindow: remove window from display list on quit/finalize

Fixes a possible use-after-free in the X11 backend.

gl/display: Add thread-safe retrieve_window

Returning a transfer none value for a value checked by a lock is not
thread safe as the reference could disappear before the caller can take
its reference.

encodebin: Ensure that a single segment is pushed into encoders

Following the [design document] encodebin needs to handle sources that
output multiple streams, for that purpose and to make it simpler,
we ensure that a single segment is outputted to the encoders by using
an `identity single-segment=true` at the beginning of streams chains.

Added API to enable or disable the use of that new feature.
Added support for the encoding profile parser for that new property,
keeping backward compatibility

[design document]: https://gstreamer.freedesktop.org/documentation/additional/design/encoding.html?gi-language=c#rendering-timelines

rtcpbuffer: add RTPFB_TYPE_TWCC for Transport-Wide Congestion Control