webrtcbin: an element that handles the transport aspects of webrtc connections

SDP's are generated and consumed according to the W3C PeerConnection API
available from https://www.w3.org/TR/webrtc/

The SDP is either created initially from the connected
sink pads/attached transceivers as in the case of generating an offer or
intersected with the connected sink pads/attached transceivers as in
the case for creating an answer.  In both cases, the rtp payloaded streams
sent by the peer are exposed as separate src pads.

The implementation supports trickle ICE, RTCP muxing, reduced size RTCP.

With contributions from:
Nirbheek Chauhan <nirbheek@centricular.com>
Mathieu Duponchelle <mathieu@centricular.com>
Edward Hervey <edward@centricular.com>

https://bugzilla.gnome.org/show_bug.cgi?id=792523

dtls: remove reliance on a default GMainContext/Loop

By removing the indirection to the main loop completely when receiving
the peer certificate. For reference, the on-decoder-key signal does not
have a redirection.

netsim: fix format errors for different platforms

https://bugzilla.gnome.org/show_bug.cgi?id=793073

configure: fix opengl api conditional

Fixes build of openglmixers plugin due to mismatch between
build system conditional USE_OPENGL and define in gstglconfig.h

configure: fix OpenGL API detection

And don't build gl mosaic element unconditionally.

autotools: fix build if OpenGL support is not available

https://bugzilla.gnome.org/show_bug.cgi?id=793039

gdpdepay: don't use allocator if it has custom alloc

gdpdepay element uses the decide_allocation to fetch the downstream
allocator. Nonetheless it is possible that allocate uses a custom
alloc function, which is not usable by gdpdepay, crashing later the
application when the allocater buffer is NULL.

This patch checks for the allocator flags and reset it if the
allocator has a custom alloc function.

https://bugzilla.gnome.org/show_bug.cgi?id=789476

gdpdepay: don't allocation query if caps aren't fixed

When querying downstream for allocation, and the source caps hasn't
set its caps, using ANY by default, it raises a critical message in
console:

CRITICAL **: gst_video_info_from_caps: assertion 'gst_caps_is_fixed (caps)' failed

This patch bails out decide_allocation() if the caps aren't fixed.

https://bugzilla.gnome.org/show_bug.cgi?id=789476

wasapi: Correctly set ringbuffer segsize/segtotal

This will set the actual-latency-time and actual-buffer-time of the sink
and source.

We completely ignore the latency-time/buffer-time values set
on the element because WASAPI is happiest when it is reading/writing at
the default period. Improving this will likely require the use of the
IAudioClient3 interfaces which are not available in MinGW yet.

https://bugzilla.gnome.org/show_bug.cgi?id=792897

wasapi: Implement a device provider for probing

Currently only does probing and does not handle messages from
endpoints/devices. In the future we want to do proper monitoring which
is well-supported in WASAPI.

https://bugzilla.gnome.org/show_bug.cgi?id=792897

wasapi: Implement support for >2 channels

We need to parse the WAVEFORMATEXTENSIBLE structure, figure out what
positions the channels have (if they are positional), and reorder them
as necessary.

https://bugzilla.gnome.org/show_bug.cgi?id=792897

meson: use -fno-strict-aliasing where supported

https://bugzilla.gnome.org/show_bug.cgi?id=769183

codecparser: vp8: Fix range decoder init

According to the vp8 spec, the first partition (size can be derived from
the frame header) should have all compressed header information and we
implemented gst codecparser based on that. But it doesn't seem to be the
case with some of the streams (#792773) and libvpx
works fine because it uses the whole frame size (not the first partition
size) to initialize the bool decoder.

https://bugzilla.gnome.org/show_bug.cgi?id=792773

kmssink: Make render rectangle property controllable

https://bugzilla.gnome.org/show_bug.cgi?id=792798

glvideomixer: fix vertex_buffer leak

We call the base class first as this will remove the pad from
the aggregator, thus stopping misc callbacks from being called,
one of which (process_textures) will recreate the vertex_buffer
if it is destroyed

https://bugzilla.gnome.org/show_bug.cgi?id=760873

srtp: Support libsrtp2

For libsrtp 1, add defines that translate the new namespaced identifiers
to the old unnamespaced ones. Also move the code for setting and getting
a stream's ROC into two compat functions that match libsrtp2's API.

It seems that libsrtp2 properly supports changing the ROC without having
to touch the sequence numbers afterwards, given that srtp_set_stream_roc
sets a pending_roc field, so the entire roc_changed dance should not be
needed anymore. The compat functions for libsrtp 1 just contain our
preexisting hacks, however, so it's still needed there.

libsrtp2 has no means of discovering the streams in the session, so to
create the stats structure we need to iterate over our own set of SSRCs.
For this we also need to re-add the previously removed ssrcs_set to the
encoder.

https://bugzilla.gnome.org/show_bug.cgi?id=776901

rtmpsink: don't crash if there's streamheader field in the caps

Fix regression when used in combination with new flvmux which was
ported to GstAggregator, and which sends plain video/x-flv caps
before sending full caps that include streamheaders.

ahc: enable autofocus callback

It should be enabled to set autofocus properly, but
it seems to be commented out mistakenly from the first commit.

https://bugzilla.gnome.org/show_bug.cgi?id=790945

aom: Add direct casts for GstAV1Enc and GstAV1Dec

https://bugzilla.gnome.org/show_bug.cgi?id=791674

aom: Deadline was removed from AV1

https://bugzilla.gnome.org/show_bug.cgi?id=791674

aom: Fix leak in av1dec

AOM Decoder wasn't being destroyed in stop

https://bugzilla.gnome.org/show_bug.cgi?id=791674

aom: Put av1enc config debugging under gst_av1_enc_debug namespace

https://bugzilla.gnome.org/show_bug.cgi?id=791674

directsoundsrc: Add missing \ in multi-line #define

directsoundsrc: Add support for a DeviceProvider

https://bugzilla.gnome.org/show_bug.cgi?id=792782

wasapi: Fix some leaks, bugs, and compiler warnings

Also improve logging.

h26{4,5}parse: expose chroma format and bit depth in caps

This information could be used for example to pick a decoder supporting
a specific chroma and/or bit depth, like 4:2:2 10 bits.
It can also be used to inform earlier decoder about the format it is
about to decode.

https://bugzilla.gnome.org/show_bug.cgi?id=792039

nvenc: add "gop-size" property

This also changes the default gop size from 30 to 75 frames.

https://bugzilla.gnome.org/show_bug.cgi?id=781410

nvenc: mark properties that can be changed at runtime accordingly

https://bugzilla.gnome.org/show_bug.cgi?id=781410

nvenc: Add support for dynamic bitrate/preset reconfiguration

Useful for dynamically updating bitrate in live scenarios.

https://bugzilla.gnome.org/show_bug.cgi?id=781410

nvenc: Add support for I420

https://bugzilla.gnome.org/show_bug.cgi?id=781410

netsim: fix misleading packet delay log

packet delay time shall be calculated by ready_time minus current time

https://bugzilla.gnome.org/show_bug.cgi?id=791838

videoaggregatorpad: implement skip_buffer

Skip buffers from sources with a framerate higher than the output
framerate.

https://bugzilla.gnome.org/show_bug.cgi?id=781928

decklink: don't crash if there are no decklink devices

Fixes generic/states check.

decklink: don't limit number of devices to 16

There is no fixed limitation for the number of devices on the
decklink API side according to BlackMagic. Many PC motherboards
are able support 6 decklink cards each with up to 8 inputs so
a limit of 16 might well be too low.

https://bugzilla.gnome.org/show_bug.cgi?id=777239

Update for renamed aggregator pad API

https://bugzilla.gnome.org/show_bug.cgi?id=791204

meosn: curl: also check for and use libssh2 if available

directsoundsrc: Don't dynamically load one DirectSound symbol at runtime

Just link statically to it, like for all other DirectSound symbols.

wasapi: Rewrite most of the code to make it work

Both the source and the sink elements were broken in a number of ways:

* prepare() was assuming that the format was always S16LE 2ch 44.1KHz.
  We now probe the preferred format with GetMixFormat().
* Device initialization was done with the wrong buffer size
  (buffer_time is in microseconds, not nanoseconds).
* sink_write() and src_read() were just plain wrong and would never
  write or read anything useful.
* Some functions in prepare() were always returning FALSE which meant
  trying to use the elements would *always* fail.
* get_caps() and delay() were not implemented at all.

TODO: support for >2 channels
TODO: pro-audio low-latency
TODO: SPDIF and other encoded passthroughs

Three new properties are now implemented: role, mute, and device.

* 'role' designates the stream role of the initialized device, see:
   https://msdn.microsoft.com/en-us/library/windows/desktop/dd370842(v=vs.85).aspx
* 'device' is a system-wide GUIDesque string for a specific device.
* 'mute' is a sink property and simply mutes it.

On my Windows 8.1 system, the lowest latency that works is:

  wasapisrc buffer-time=20000
  wasapisink buffer-time=10000

aka, 20ms and 10ms respectively. These values are close to the lowest
possible with the IAudioClient interface. Further improvements require
porting to IAudioClient2 or IAudioClient3.

https://docs.microsoft.com/en-us/windows-hardware/drivers/audio/low-latency-audio

tests: camerabin: skip checks if we don't have encoders for the default format

https://bugzilla.gnome.org/show_bug.cgi?id=767863

tests: ipcpipeline: fix struct initialisation warnings with clang

Use init macros to avoid gst-indent making a mess of it.

https://bugzilla.gnome.org/show_bug.cgi?id=787980

tests: remove test that's never been ported to 1.x

hlsdemux: fix memory leak while updating master playlist

new_master needs to be freed if current playlist is not a master playlist

https://bugzilla.gnome.org/show_bug.cgi?id=792146

lv2: fix inverted boolean properties

https://bugzilla.gnome.org/show_bug.cgi?id=791330

check: Update gitignore

mxfdemux: Remove useless check

Any modification of ret in that "while (ret == GST_FLOW_OK)" loop will
break (and cause it to stop the iteration).

CID #1427095

kateenc: Refactoring for readability and leak fixing

Instead of a massive if/else/if/else/if/else/...:
* Use a common cleanup path for allocated items just before leaving
  the function (which will be free-d only if we're not dealing with
  a delayed SPU).
* "goto" that cleanup path wherever needed

CID #1427096
CID #1427114

msdk: change plugin's description

There are not only encoders nowadays, there are decoders too and a
postprocessor in the future.

msdk: init the debug category for mpeg2dec

https://bugzilla.gnome.org/show_bug.cgi?id=792260

msdk: Add mpeg2 decoder

https://bugzilla.gnome.org/show_bug.cgi?id=792260

srt: The pkgconfig is "srt", not "libsrt"

Also, always use the pkgconfig file instead of falling back

srt: Include srt.h inside object header

Otherwise, newer GCC complains about now having sockaddr defined in
the header.

player: doc update for set_subtitle_uri()

A call to this function without enabling the subtitle track has no effect.

decklinkaudiosrc: Extrapolate stream/hw reference timestamps when video frame is missing

Sometimes we might get an audio packet without a corresponding video
frame. In these cases, the stream and hardware reference timestamps
would be missing, because they're called on the video frame. Instead of
potentially breaking stuff downstream that might depend on these, we now
extrapolate them.

https://bugzilla.gnome.org/show_bug.cgi?id=792042

decklink: Detect gaps on incoming stream times, issue warnings

When we receive a video or audio buffer, we calculate the next stream
time based on the current stream time + buffer duration. If the next
buffer's stream time is after that, we issue a warning.

This happens because the stream time incoming from Decklink should be
really constant and without gaps. If there is a gap, it means that
something went wrong, e.g. the internal buffer pool is empty (too many
buffers queued up downstream).

https://bugzilla.gnome.org/show_bug.cgi?id=781776

Revert "WIP: Revert "Revert "decklink: Detect gaps on incoming stream times, issue warnings"""

This reverts commit 8dceeb5ccd6e46a61e3bbe79efa45275504fa500.

Revert "WIP: Revert "Revert "debugutils: Added new jitterer element"""

This reverts commit a401cb9a61f21c2fbc803eb3f098a9e2496edc06.

Revert "WIP: Revert "Revert "timecodestamper: LTC from audio"""

This reverts commit e0be05dc7059cc97dceb70a48ca9cad4ee2edce6.

Revert "WIP: Revert "Revert "timecodestamper: Modify ltc-add to tc-add"""

This reverts commit 2f9da0ab59ef4231e9c850afb089d920e9d25609.

Revert "decklinkaudiosrc: Extrapolate stream/hw reference timestamps when video frame is missing"

This reverts commit 6af863916a7bf3bfe31970fdc2dd2d42ea3f9690.

decklinkaudiosrc: Extrapolate stream/hw reference timestamps when video frame is missing

Sometimes we might get an audio packet without a corresponding video
frame. In these cases, the stream and hardware reference timestamps
would be missing, because they're called on the video frame. Instead of
potentially breaking stuff downstream that might depend on these, we now
extrapolate them.

https://bugzilla.gnome.org/show_bug.cgi?id=792042

WIP: Revert "Revert "timecodestamper: Modify ltc-add to tc-add""

This reverts commit 05426d9298431c149807fb435cd1d632e9fd061f.

WIP: Revert "Revert "timecodestamper: LTC from audio""

This reverts commit 1998ccf1fbd586ef1dc4b1e7256bad7af8136f13.

WIP: Revert "Revert "debugutils: Added new jitterer element""

This reverts commit ccc1624d097cbfdaf9f99526c033c642c863400c.

WIP: Revert "Revert "decklink: Detect gaps on incoming stream times, issue warnings""

This reverts commit 07819afda461f5e4d77c9be9f484a7aae3c5ec8c.

openh264dec: Remove useless check

We are sure to have a frame at this point

CID #1427138

hlssink2: Remove useless if statement

message will always be present

CID #1409853

kateenc: Fix memory leak in error cases

CID #1427096
CID #1427114

srt: Remove platform dependent socket headers

SRT modules entrust `gnetworking.h` with finding right headers
for the platforms.

https://bugzilla.gnome.org/show_bug.cgi?id=792123

nalutils: Fix Exponential-Golomb 'ue' parsing

The algorithm we use only supports up to a maximum exponent of 31
(for a maximum resulting of 2**32 -1)

CID #1427097

opencv: allow all future 3.4.x versions

Fix-up for previous patch which I modified incorrectly.

https://bugzilla.gnome.org/show_bug.cgi?id=792114

opencv: allow compilation against 3.4.x

https://bugzilla.gnome.org/show_bug.cgi?id=792114

player: transfer ownership of info properties

The previous code would emit GObject critical warnings when the info properties
are NULL.

https://bugzilla.gnome.org/show_bug.cgi?id=791982

srtp: get ssrc for Application-Defined RTCP Packet

Application-defined RTCP(204) packets also have a ssrc in their header.
To find a valid stream from the packet, the ssrc should be used.

https://bugzilla.gnome.org/show_bug.cgi?id=791955

meson: skip translations if gettext is not available

Fix typo in gstreamer-bad-audio-1.0.pc

https://bugzilla.gnome.org/show_bug.cgi?id=791910

gl: local libs should come first in Makefile.am

And keep consistent order in CFLAGS and LIBS.

gl: arrange for finding headers and libs that have moved to -base

In file included from ../../../gst-plugins-bad/ext/gl/gstopengl.c:47:0:
../../../gst-plugins-bad/ext/gl/gstglmixerbin.h:25:29: fatal error: gst/video/video.h: No such file or directory

festival: Don't forward all queries

This fixes issues where wavparse would query the file size upstream
and assert because the file size is way smaller then what the WAVE
header says. This patch disable or cane a handful of queries that
make no sense to forward.

https://bugzilla.gnome.org/show_bug.cgi?id=791811

audioaggregator: Don't leak pads

all audioaggregator subclasses were leaking the first sink pad :)

adaptivedemux: fix pending_segment log

pending_segment shall be logged as GST_PTR_FORMAT, it's an event

https://bugzilla.gnome.org/show_bug.cgi?id=791813

shmsink: Block in preroll_wait on unlock

The correct behaviour of anything stuck in the ->render() function
between ->unlock() and ->unlock_stop() is to call
gst_base_sink_wait_preroll() and only return an error if this returns an
error, otherwise, it must continue where it left off!

https://bugzilla.gnome.org/show_bug.cgi?id=774950

audioaggregator: implement input conversion

https://bugzilla.gnome.org/show_bug.cgi?id=786344

smhsink: Check return values of functions working on memory

https://bugzilla.gnome.org/show_bug.cgi?id=768530

applemedia: don't include private cocoa gl header

gtk example: Fix cflags in Makefile.am

gl: enable openglmixers plugin in autotools again too

applemedia: fix build after gl move to -base

meson: gl: fix build of openglmixers plugin

meson: fix dependency type name to check for

meson: fix build with GstGL from gst-plugins-base as subproject

- use right fallback variable
- get platform/winsys variables from subproject instead of pkg-config

With contributions from Thibault Saunier.

gtk: don't include uninstalled header

allocatorsbad: physmem moved to -base

gl: update plugins to use GstGL from -base

gl: most of opengl plugin has moved to -base, keep mixer bits in -bad for now

Since they rely on GstVideoAggregator.

Fix detection of things again, and Meson

gl: remove GStreamer OpenGL integration library and move to -base

https://bugzilla.gnome.org/show_bug.cgi?id=754094

ladspa: Add Windows/OSX path support

This is to mimic LV2 and what is commonly documented over the
web. We also completely track these directories when updating
the cache now. Unlike LV2, the plugins are flat in the plugin
directories, so no need for the recursive lookup. This also fixes
support for Fedora and other architecture using lib64 as a libdir.

meson: Enable ladspa plugins compilation

lv2: Try and reflect better lilv default path

While keeping it simple, this patch tries and mimic lilv default path.
It does not matter if some path are duplicated due to symlink because in
the end it's lilv that will walk these paths. The worst case is that we
update our cache more often then strictly needed.

https://bugzilla.gnome.org/show_bug.cgi?id=791717

lv2: Recursively monitor the lv2 plugin path

Otherwise we might not update the cache when needed.

https://bugzilla.gnome.org/show_bug.cgi?id=791717

Revert "New element 'proxy' to send data to in-process pipelines"

This reverts commit 8a056af05e23ad5b81cd1dc2699ae20abcf9b91a.

Accidentally pushed this element, oops! Progress on this element is
being tracked at: https://bugzilla.gnome.org/show_bug.cgi?id=788200