tests: Remove deprecated GTimeVal

GTimeVal won't work past 2038

base: use of g_value_dup_string

Use helper method to get string from GValue.

remove various useless linefeed in logs

tests: actually define HAVE_VALGRIND

This stuff should probably be done differently, but
for now just define it like we used to.

xvimage: remove unused HAVE_XVIDEO define

test: fix up HAVE_X11 / HAVE_X defines

Only HAVE_X was defined, while both HAVE_X11 and HAVE_X were used.

typefindfunctions: build gio xdgmime typefinder again

And add gio-typefinder option to disable it. HAVE_GIO
was never set, at least not in the Meson build.

tests: simple-launch-lines: remove use of unused HAVE_LIBVISUAL define

This is not set anywhere, and it's pretty clear the pipeline in
question has not been tested in a long time. Disable test with
a FIXME, test needs to be rewritten to not use real output devices.

tests: gl-launch-lines: check for features at runtime

Instead of using HAVE_PNG and HAVE_JPEG defines.

multifdsink: remove defunct include guarded by unused HAVE_FIONREAD_IN_SYS_FILIO

The configure check for this went away in 2012 in commit cd3eee.

tests: oggmux: check vorbisenc + theoraenc availability at runtime

HAVE_VORBIS was used but never set, so only 3 out of 7 tests
actually ran. Drop now-unused HAVE_THEORA define.

tests: playback: include stdlib.h unconditionally

Like we do elsewhere. And drop the check for the header.
Also remove some superfluous unistd.h includes.

vorbis: drop unneeded check for vorbis_synthesis_restart()

This was added in 1.0.1 more than 16 years ago, I think we
can safely assume this is always present now. Also in tremor.

While at it, bump vorbis requirement to 1.3.1 from 2010.

pango: check if localtime_r is available

HAVE_LOCALTIME_R was used, but never defined.

examples: overlaycomposition: Fix implicit declaration warning

overlaycomposition.c:276:5: warning: implicit declaration of function 'exit' [-Wimplicit-function-declaration]
overlaycomposition.c(263): warning C4090: 'initializing': different 'const' qualifiers

examples: win32-videooverlay: Remove unused variable

win32-videooverlay.c:34:20: warning: 'msg_io_channel' defined but not used [-Wunused-variable]

codec-utils: add h264 constrained and progressive profiles

Those profiles have been added in the version 2012-01
and 2011-06 of the AVC spec.

Aligned code with https://bugzilla.gnome.org/show_bug.cgi?id=794127

build: use -fvisibility=hidden for objc code

gl/macos+ios: privatise _invoke_on_main()

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1132

videoaggregator: don't let a repeat-after-eos pad prevent EOS

.. if there are pads present that are not repeating after EOS.

Fixes #664

tests: expand compositor repeat-after-eos tests for multiple pads

If there are any pads with repeat-after-eos NOT set, then the compositor
should EOS after all of those pads have gone EOS, but not before all
repeat-after-eos pads have as well.

https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/664

tools: Add support for CameraSource pipeline description

video-converter: Fix RGB-XYZ-RGB conversion

The matrices were in the wrong order.
Instead of the conversion matrix being
  _ XYZ_TO_RGB_output * RGB_TO_XYZ_input * input_RGB
It was
  _ RGB_TO_XYZ_input * XYZ_TO_RGB_output * input_RGB

ximagesink, xvimagesink: don't use XkbKeycodeToKeysym if Xkb is unavailable

ximagesink and xvimagesink use XkbKeycodeToKeysym when the key event is
received. However, this function returns NoSymbol if Xkb is unavailable.

This causes all key events to be translated to "unknown" key when running
ximagsink under some VNC.

Fix it by using XKeycodeToKeysym if Xkb is unavailable.

gst-play: Handle KeyDown event instead of KeyUp on Win32 keyboard handler

To handle long press case, KeyDown input should be handled instead of KeyUp.
Note that OS will take care of the sensitivity of KeyDown event, so we can safely
assume one KeyDown as one input. That will not break user experience.

gst-play: Remove timer GSource from Win32 keyboard handler

Use WaitForMultipleObjects to handle keyboard input only if pending
keyboard input exists.

examples: win32-videooverlay: Add an option for testing reuse of external window

Adding "repeat" option to test a case where external window is reused.

audiorate: Update next_offset per rate change

To support runtime audio samplerate change, re-calculate next target offset
per caps. Calculating the next buffer offset using the previous
offset seems to be tricky and rounding error prone.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/693

Revert "audiorate: accumulate offset by time diff"

This reverts commit 4fa850e3e6c039000fc7f648de238af6c2278469.

The commit would break an constant rate audio stream with gap.

xvimagepool: Update size, stride, and offset with allocated XvImage

Memory layout of XvImage might be different from that of GstVideoInfo.
If so, the image size, stride, and offset would be wrongly informed.

Fixes: https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/issues/677

xvimagepool: Fix confusing debug message for padding size

opusenc: Add low delay option

Fixes #681

audioringbuffer: Reset reorder flag before check

This function might be revisited with different channel position mapping
while audio source goes into play so the reorder flag needs to be reset
before the checks happen.

glupload: Fix allocator leak

It fixes allocator leak in failure case

examples: overlaycomposition: Fix typo

Sorry for the noise. Default should be autovideosink

video-info: improve GST_CAPS_FEATURE_FORMAT_INTERLACED documentation

Copied the description from gst-doc written by Tim.

Fix #606

gl/window: marshall quit to the window thread

Fixes a possible deadlock where we're waiting for the window thread to
quit but it never does.

audio-buffer: Don't fail to map buffers with zero samples

Instead initialize the map infos, etc to NULL like gst_buffer_map()
would be doing on a zero-sized buffer.

This fixes a crash in audioresample if the first output buffer would
contain zero samples.

examples: overlaycomposition: Add option for videosink element selection

It would be useful for testing overlaycomposition with specific videosink element.

glcontext/egl: Fix window leak

Fixed to do unref after use of window get by gst_gl_context_get_window()

gldownload: Fix renegotiation loop

When DMABuf was tried, we would renegotiate back and fourth between
DMABuf and system memory if the export failed. This would happen for
every single frame.

This patch introduces try_dmabuf_exports boolean, which is unset when
an export failed. This boolean is then put back to TRUE when upstream
pushes new caps, or downstream pushes a reconfigure event.

gldownload: Refactor download mode selection

This introduces an enum in order to cleanup how we select the
transfer mode. It also fixes the case where we callback to PBO but
we didn't execute the PBO. That was not causing any issue, just that
the processing latency would be delayed to the next element, which
can be confusing.

eglimage: Fix extension names in dmabuf import check

There was a typo in the extension name which resulted in the modifiers
to never be set when doing DMABuf import. That triggered the modifiers
lookup in Intel driver, which was in fact hiding bugs in the gldownload
to glupload path when doing DMABuf.

Note, this changes breaks pipeline the following pipeline on Intel and
some other drivers:

  gltestsrc ! gldownload ! video/x-raw\(memory:DMABuf\) ! glimagsink

A fix for this was added to Mesa recently:

Related to https://gitlab.freedesktop.org/mesa/mesa/merge_requests/1338
Fixes 5d0e191710

eglimage: Fix exported DMABuf size

All we know is the height and the stride, so make sure not to expose
the DMABuf larger then the size we know about.

eglimage: Fail exportation if a modififer is used

We don't support modififers and that would result in bad image being
displayed. Note that this was fixes recently in Mesa MR 1138, prior to
that, the reported modifier is always 0, which makes this change a
no-op.

Fixes #441
Related to https://gitlab.freedesktop.org/mesa/mesa/merge_requests/1338

gldownload: Wait on sync meta if any

This is possibly not strictly needed when pixels are being downloaded to
CPU memory, but would cause issue when exporting DMABuf, as the data may
not be yet ready when the DMABuf reaches the consumer.

playbin: Handle error message with redirection indication

There are in the wild (mp4) streams that basically contain no tracks
but do have a redirect info[0], in which case, qtdemux won't be able
to expose any pad (there are no tracks) so can't post anything but
an error on the bus, as:
  - it can't send EOS downstream, it has no pad,
  - posting an EOS message will be useless as PAUSED state can't be
    reached and there is no sink in the pipeline meaning GstBin will
    simply ignore it

In that case, currently the application could try to handle that but it
is pretty complex as it will get the REDIRECT message on the bus at
which point it could set the URL but playbin will ignore it, as
it will only be for the next EOS, it thus need to set the pipeline to
NULL (READY won't do as it is already in READY at that point). And it
needs to figure out the following ERROR message on the bus needs to be
ignored, which is not really simple.

The approach here is to allow element to add details to the ERROR
message with a `redirect-location` field which elements like playbin handle
and use right away.

We could also use the element 'redirect' message in playbin, but the
issue with that approach is that the element will still emit the ERROR
message on the bus, leading to wrong behaviour. That can't be avoided
since in the case the app/parent pipeline is not handling the redirect
instruction, the ERROR message is necessary (and there is no way to
detect that the message has been "handled" from the element emitting the
redirect).

[0]: http://movietrailers.apple.com/movies/paramount/terminator-dark-fate/terminator-dark-fate-trailer-2_480p.mov

overlaycomposition: set sink pad to proxy allocation queries

display: add a specific lock for the list of windows

It's either this or replacing all the object lock usage in gldisplay
with a recursive mutex which is not backwards compatible

The failure case is effectively:
1. The user has locked the display object lock
2. a glcontext loses it's last ref and attempts to quit the window
3. gst_gl_window_quit() attempts to remove the window from the display
4. gst_gl_display_remove_window attempts to take the display object lock

The only concern with changing the locking for the window list in the
display is that gst_gl_display_create_window() has documentation requiring
the object lock to be held which must continue to work correctly.

glwindow: fix racy resize updates

Take locks around resize handling and marshall all resizes to the
windowing thread by default.

glwindow: remove window from display list on quit/finalize

Fixes a possible use-after-free in the X11 backend.

gl/display: Add thread-safe retrieve_window

Returning a transfer none value for a value checked by a lock is not
thread safe as the reference could disappear before the caller can take
its reference.

encodebin: Ensure that a single segment is pushed into encoders

Following the [design document] encodebin needs to handle sources that
output multiple streams, for that purpose and to make it simpler,
we ensure that a single segment is outputted to the encoders by using
an `identity single-segment=true` at the beginning of streams chains.

Added API to enable or disable the use of that new feature.
Added support for the encoding profile parser for that new property,
keeping backward compatibility

[design document]: https://gstreamer.freedesktop.org/documentation/additional/design/encoding.html?gi-language=c#rendering-timelines

rtcpbuffer: add RTPFB_TYPE_TWCC for Transport-Wide Congestion Control

audioconvert: Fixed changing mix-matrix at runtime

Setting the property again after it had already been set ran
g_value_unset() but did not initialize it again to g_value_copy() failed
afterwards. Removed the unset as cleanup is done implicitely from
g_value_copy().

Changing the mix-matrix property did not trigger reconfiguration of the
caps, this has been added.

If the matrix is set to an empty matrix, instead of copying this the
matrix is simply disabled by setting mix_matrix_is_set (formerly
mix_matrix_was_set) to FALSE so the mix-matrix is ignored from now on.

videorate: Fix max-duplication-time handling

Previously this would've only set discont=TRUE and then for all future
buffers simply returned immediately.

Instead we also need to
  a) drain previous input until its buffer time
  b) update next_ts and base_ts accordingly for the gap
  c) actually store the new buffer after the gap so it can be used in
     the future and so the old buffer before the gap is gone

Also update the unit test accordingly so that it actually tests for this
behaviour. Previously it only tested that after the gap we got no output
at all.

compositor: Add support for VUYA format

Reversed order of AYUV format. Most of core methods are prepared
already.

videometa: document how the meta can be used to negotiate buffers layout

I'm going to use this new API in gst-omx so an encoder can request
v4l2src to produce buffers matching the encoder stride and slice heights
preventing copies of incoming buffers.

gl/gbm: ensure we call the resize callback before attempting to draw

Without this, sinks will not be notified about size changes or even the
initial size and would render at 0x0.

video-scaler: Ensure we're always using the correct lines for scaling in gst_video_scaler_2d()

Especially for interlaced input make sure to
  a) never mix both fields
  b) never read lines after the end of the input frame
  c) allocate enough space in the temporary lines to not write outside
     the allocated memory area

This fixes various memory corruptions and rescaling artefacts.

videodecoder: Add a property to disable dropping on QoS

videodecoder: Post QoS when we drop because of QoS

At the moment, we only posted QoS messages when frame_drop() was
called, but not in finish_frame() when QoS triggered a late push.
This should fix applications that tries to account the dropped
frames. We also emit a warning on drops so it's more clear what is
happening.

gl: use gst_video_meta_set_alignment()

x(v)image: use gst_video_meta_set_alignment()

Use the new API to tell buffer consumers about alignment details.

This change is backward compatible as non ported elements can safely
ignore the alignment information and keep processing buffers as they use
to, copying if necessary.

videometa: add alignment field

By adding this field, buffer producers can now explicitly set the exact
geometry of planes, allowing users to easily know the padded size and
height of each plane.

GstVideoMeta is always heap allocated by GStreamer itself so we can
safely extend it.

video-info: add gst_video_info_align_full()

When using gst_video_info_align() user had no easy way to retrieve the
padded size and height of each plane.
This can easily be implemented in fill_planes() as it's already called
in align() with the padded height.

Ideally we'd add a plane_size field to GstVideoInfo but the remaining
padding is too small so that would be an ABI break.

Fix #618

video-info: fix GST_VIDEO_INFO_FIELD_HEIGHT() with frame odd height

We want to round up when halfing height.

I do have a test for this but it relies on my new video-align tests so
it's part of the next commit. Recording the fix separately if we want to
backport this fix to the stable branch.

glimagesink: fix upper-left and upper-right rotate matrices

tests: audio: Add test for gst_audio_info_from_caps() method

Test gst_audio_info_from_caps() with raw and encoded formats.

audio-info: Allow from_caps() with encoded audio format

Similar to gst_video_info_from_caps() which allows encoded video format,
don't error gst_audio_info_from_caps() with encoded audio format.
Because gst_audio_info_set_format() supports encoded format, current
behavior does not seem to be consistent.

video-converter: Use G_N_ELEMENTS instead of writing it out manually

video-converter: Scaling-only fast-paths for planar formats are keeping interlacing

So we can also use them for interlaced content and speed up scaling a
bit.

video-scaler: Correctly handle interlaced vertical scalers in gst_video_scaler_2d()

We need to provide twice as many lines as usual to the scaling function
as every second lines would be skipped.

Without this we read from random memory and produce colorful output and
crashes.

video-converter: Don't use fast-path halfing/doubling rescalers for interlaced planar formats

They will mix lines from the top and bottom field and by that
effectively deinterlace the video, badly.

video-converter: Use interlaced scalers for vertical scaling if needed

Without this, scaling e.g. interlaced UYVY causes corrupted output with
lines as follows: f1 f1 f2 f2, i.e. two lines of each field and only
then the other field.

gstrtspconnection: messages_bytes not decreased

The watch->messages_bytes is not decreased when the write operation
from the backlog is only partly successfull.

This commit decreases the watch->messages_bytes for the successfully
sent messages.

Fixes #679

meson: build gir even when cross-compiling if introspection was enabled explicitly

This can be made to work in certain circumstances when
cross-compiling, so default to not building g-i stuff
when cross-compiling, but allow it if introspection was
enabled explicitly via -Dintrospection=enabled.

See gstreamer/gstreamer#454 and gstreamer/gstreamer#381.

glimagesink: add support for Y210 format

Y210 is a 10-bit YUY2, so we may re-use the YUY2 shaders but gl format
is set to RG16

Sample pipeline:
gst-launch-1.0 videotestsrc ! video/x-raw,format=Y210 ! glimagesink

glcolorconvert: add support for the NV16 and NV61 formats

NV16/NV61 is basically the same as NV12/NV21 with a higher chroma resolution.
Since only the size of the UV plane/texture is different, the same shaders are used as for NV12/NV21.

glimagesink: add support for Y410 format

Sample pipeline:
gst-launch-1.0 videotestsrc ! video/x-raw,format=Y410 ! glimagesink

glcolorconvert: merge shaders for AYUV and VUYA formats

The shaders can be used for AYUV and varieties.

Remove autotools build system

base: Avoid usage of deprecated API

GTimeval and related functions are now deprecated in glib.
Replacement APIs have been present since 2.26

check: Don't use real audio devices for tests

When checking the behaviour of live seeking on audiomixer or
adder we don't *really* need real audio devices. audiotestsrc
in live mode is enough to test the behaviour of those elements.

Also avoids people repeatedly wasting hours trying to figure out
whether that failing behaviour is due to their code or not.

pbutils: add description for CineForm codec

riff: add mapping for CineForm codec

Makes CineForm-in-AVI work.

examples: add device provider example

glfilters: Don't use static variables for storing per-element state

glupload: Add VideoMetas and GLSyncMeta to the raw uploaded buffers

This is done by reusing `gst_gl_memory_setup_buffer` avoiding to
duplicate code.

Without a VideoMeta, mapping those buffers lead to GstBuffer mapping the
buffer in system memory even when specifying the GL flags (through the
buffer merging mechanism) making the result totally broken.

examples/gl/sdlshare: port to OpenGL 3.0 core profile

build: fix werror build on windows

_isatty() is in the io.h header

device-monitor: fix device listing without --follow

In !427, I removed the call to get_devices in order to always
print added devices from the bus handler, however this requires
the main loop to run until all pending messages have been consumed.

This commit achieves this by always running the main loop, and
simply adding an idle source to quit it in the non --follow case.

video-format: correct the pixel stride for Y410

The stride for Y410 is 4 bytes, not 0 byte

examples/sdlshare: Map video frames as early as possible and wait via GL sync meta before using texture ids

examples/sdlshare: Initialize GL as part of the event loop

And unref additional buffers we never use for rendering directly instead
of going via the output queue.

examples/sdlshare: Activate and initialize our wrapped GL context

This allows us to e.g. use the GL functions vtable on it later.

examples/sdlshare: Call gst_init() a bit earlier in main()

Let's not accidentally call other GStreamer API before that.

examples/sdlshare: Create an OpenGL context for OpenGL 2.0

examples/sdlshare: Switch from a GLib main loop to a normal SDL event loop

examples/sdlshare: Port to SDL2