tests/webrtc: check for more sdp things across the board

e.g.

- test for a=setup:$val and direction attributes in all tests
- test number of media sections
- test number of formats in each m= section (for audio/video)
- test no duplicate formats

Change-Id: I9cbb75f9f127bc662f9f909bdc8bb33cd42326f6
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/2093>

webrtc: don't generate duplicate rtx payloads when bundle-policy is set

It was possible to generate a SDP that had an RTX payload type
that matched one of the media payload types when providing caps via
codec_preferences without any sink pads.

Fixes

m=video 9 UDP/TLS/RTP/SAVPF 96
...
a=rtpmap:96 VP8/90000
a=rtcp-fb:96 nack pli
a=fmtp:96 apt=96

Change-Id: I0b2d360cb40abcf5a61035673d43f15a40fc09fa
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/2046>

webrtc ice: Add 'min/max-rtp-port' props for setting RTP port range

default min port == 0, max port == 65535 -- if min port == 0, uses existing random port selection (range ignored)
add 'gathering_started' flag to avoid changing ports after gathering has started
validity checks: min port <= max port enforced, error thrown otherwise
include tests to ensure port range is being utilized (by @hhardy)

Change-Id: I5fcc747bb3416c37e2dfdb6d83c9552e30583212
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/119>

webrtc ice: Only ever request one component, it's always rtcpmux

Change-Id: Ic72fcc70844b5869961efed8878f815a087e71a9
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/119>

webrtcbin: use regular ice nomination by default

1. We don't currently deal with an a=ice-options in the SDP which means
   we currently violate https://tools.ietf.org/html/rfc5245#section-8.1.1
   which states: "If its peer is using ICE options (present in
   an ice-options attribute from the peer) that the agent does not
   understand, the agent MUST use a regular nomination algorithm."
2. The recommendation is default to regular nomination in both RFC5245
   and RFC8445.  libnice change for this is
   https://gitlab.freedesktop.org/libnice/libnice/-/merge_requests/125
   which requires an API break in libnice.

Change-Id: I672c2d92b2ac258b563ed7a77a263502d1656bd2
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/2031>

webrtc: expose transport property on sender and receiver

As advised by !1366#note_629558 , the nice transport should be
accessed through:

> transceiver->sender/receiver->transport/rtcp_transport->icetransport

All the objects on the path can be accessed through properties
except sender/receiver->transport. This patch addresses that.

Change-Id: I38e0c71f9dae0bf09ba4e8ea01cfa23726623d0a
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1952>

webrtcbin: try harder not to pick duplicate media ids

On renegotiation, or when the user has specified a mid for
a transceiver, we need to avoid picking a duplicate mid for
a transceiver that doesn't yet have one.

Also assign the mid we created to the transceiver, that doesn't
fix a specific bug but seems to make sense to me.

Change-Id: I6c2399a352f2ab05b469914a348512bb2b5b4a34
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1902>

webrtcbin: Reset need_negotiation flag in case of READY to NULL

If the state is changed from PLAYING to NULL without releasing pad,
'on-negotiation-needed' signal is not be emitted even if the state
is changed to PLAYING again without any pad changes. It fixes this
issue.

[Version] 1.16.2-23
[Issue Type] Improvement

Change-Id: I15b6c34e590a84b6c9731e39f588078f8afaeef9
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Make ssrc map into separate data structures

They now contain a weak reference and that could be freed later
causing strange crashes as GWeakRef are not movable.

Change-Id: I3a5f4ee907bbaac48b25747f76f5d3abb7e3a1f6
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

webrtcstats: Get the remote-inbound stats from the right RTPSource

This also means that we need to get the clock-rate from the codec instead
of from the RTPSource, as the remote one doesn't include a clock rate.

Change-Id: Ib7ee7746a26897fb0a6a188f8a4132acbd0a4e60
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

hlsdemux: Don't double-free variant streams on errors

If an error happened switching to a new variant, we switch back to the previous
one ... except it will be unreffed when settin git.

In order to avoid such issues, keep a reference to the old variant until we're
sure we don't need it anymore

Fixes cases of double-free on variants and its contents

Change-Id: I2829e42d87e9d9218073aaa24ca18474748b092f
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1799>

hlsdemux: Re-use streams if possible

When switching variants, try to re-use existing streams/pads instead of creating
new ones. When dealing with urisourcebin and decodebin3 this is not only the
expected way but also avoids a lot of buffering/hang issues.

Change-Id: I32cf158a0695e5af7de3a2e6001a0e9748f9e2b3
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1757>

m3u8: Make a debug function usable elsewhere

The rest of the code might want to use this

Change-Id: Ica617d702a452e785fb1de16e910a3afcb56232d
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1757>

webrtcbin: Remove remnant of non-rtcp-mux mode

There was some code left that wasn't used anymore.

Change-Id: Ic192f19accf3d1758c80b66fe455851a1fce5442
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1930>

webrtcstats: PLI/FIR/NACK direction are the opposite of the media

Change-Id: I0c538c43041406abc1fb5b8727d2f0098594da51
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1924>

webrtcbin: Implement getting stats for a specific pad

Change-Id: I6147beab9bd62a7fe7c9cb4c76a0207476e3d77e
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

webrtcstats: Also return the raw rtpsource stats for more information

Change-Id: Ic3d3503bedfb3d47b2ea5fc54c97b209f582d92a
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

webrtcstats: Avoid copy of GstStructure

Instead transfer the ownership to the new structure

Change-Id: I08281880d7267ddddd39eb867669df48af5156d8
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

webrtcstats: Remove receiver side when sending

Those are just invalid and just reflect what we sent. We'd need to parse the
RTCP XR packets from the other side to know more about those.

Change-Id: I071784b6017f156345e77463f4bb4980e9ee79f5
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

webrtcstats: Extract statistics from the rtpjitterbuffer

And expose them as standardised webrtc statistics

Change-Id: Ie4257b3ef0ffe0d3eb7128e3f48403cbba8a54f9
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

webrtcbin: Store the rtpjitterbuffer instances to extract stats from them

Store them as web refs to avoid having to worry about freeing later and because
the new-jitterbuffer is on a different thread

Change-Id: I96255421a669a3a08bf853ae0a5ad5f037ab114a
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

webrtcstats: Document all RTP missing fields according to the latest spec

Just document all the missing fields and document which ones will never
be implemented because they depend on the codec or depayloader

Change-Id: I52a9bde7155d146056dbc8bf8c450d3534b67847
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

webrtcstats: RTCP computed RTT is only available at sender

The receiver doesn't have the information to compute it.

Change-Id: Ic7ee27c650ca5853320a41c936a223f0c67198d1
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

webrtcstats: Remove redundant lines

Change-Id: If5fd93a87026ca1d9d6e52c46c227b4e6209adf3
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1766>

webrtcbin: Call nice_debug_enable() to enable nice debug

[Version] 1.16.2-22
[Issue Type] Improvement

Change-Id: Ibdb502e357bbe099703dbdff743980d9f1799eb7

webrtc: Also remove rtcp_transport from the structure

Change-Id: Id63ee4d28b7ebaf72004af554d16f711d6d72ee9
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1765>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Remove APIs to set transport on sender/receiver

They're not not used ever.

Change-Id: Ia90b7edfd32571bc018cb0cb2e5c1a8132da79e7
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1765>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

rtpsender: Add API to set the priority

Change-Id: I2d2d907322a105e9e5d66667afca3373e03dc6d6
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1707>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Remove non rtcp-mux code

RTCP mux is now always required by the WebRTC spec

Change-Id: I5a2112c84280d4ea7bf9969b5d2e7485855b9aaf
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1765>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Update libnice version requirement to 0.1.17

Since !1366 nice_agent_get_sockets() is used, which requires 0.1.17.
Update the version requirement accordingly.

Fixes #1459.

Change-Id: Ic7e8afdf65475e7ffde24aa0665dac8725cdc626
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1792>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Add properties to change the socket buffer sizes to ice object

libnice doesn't touch the kernel buffer sizes. When dealing with RTP data,
it's generally advisable to increase them to avoid dropping packets locally.
This is especially important when running multiple higher bitrate streams at
the same time.

Change-Id: Iee0ad6c5252fba2b27dffadd629930b3152a5f9d
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1366>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Set the DSCP markings based on the priority

This matches how the WebRTC javascript API works and the Chrome implementation.

Change-Id: I83ee2bbf0afc6c627dc367ff7a1c8ea7a0fef43f
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1707>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Save the media kind in the transceiver

Change-Id: If05ff32397a82abfab8394dbaa0209261631cea7
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1707>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Document more objects

Change-Id: I553f4312cbe67d159cb66f3b7a4359887c017874
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1707>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtcbin: Remove unused function

Change-Id: I98dea5b58f3b3870db28e5de6ee9d26728b07150
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1707>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Require gstreamer-sdp in the pkg-config file

Some headers include API from it.

Change-Id: Iefdcb95ee4bc897dc6ce034a374c5df184a66b31
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1660>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtcbin: Accept end-of-candidate pass it to libnice

libnice now supports the concept of end-of-candidate, so use the API
for it. This also means that if you don't do that, the webrtcbin will
never declared the connection as failed.

This requires bumping the dependency to libnice 0.1.16

Change-Id: I6eae82ce39e7e65ff71247f6d4343e6df0b547e5
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1139>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtcbin: Merge the RTX SSRCs from all transceivers when bundling

Change-Id: Iedc2ed9fdeecc4b0b846983957be9a4fb47c6aaa
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1545>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: propagate more errors through the promise

Return errors on promises when things fail where available.

Things like parsing errors, invalid states, missing fields, unsupported
transitions, etc.

Change-Id: I1ca633d2620c99bf874a27d1c10f129d7aee96eb
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1565>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Update tests/ based on 1.18.4

Files below are updated.
 - tests/check/elements/webrtcbin.c
 - tests/examples/webrtc/*

Change-Id: Ife33500c886357ec60fbaf28f5fdd16a84d4d575
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

tsdemux: Save language tag when program is NULL

- When streaming HLS, global_tag release because of the buffer discontinue.
  So, Save and sending pending laguage tag

Change-Id: Ia2823d64894701d27dd47810c0a5a6db385e71b2

hlsdemux: Save the EXT-X-MEDIA information about embedded stream

- And set the tag for embedded stream language code

Change-Id: Ie5336e24d5c09c90324df902b63dfa57324f0dfd

videoparse: Only add a single closed caption meta

Only add a single closed caption meta

Otherwise, having a stream go through a parser multiple times would
result in duplicate closed caption meta.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1396>

upstream commit id : 31d5d04bb1f5e3f6acdef8460193019237ecf5df

Change-Id: I587de0415e78e9e0de21ef079e594bec9bfedabd

webrtcbin: Fix memory leak in _set_rtx_ptmap_from_stream()

[Version] 1.16.2-20
[Issue Type] Coverity (Resource leak)

Change-Id: Ieb7ae7649503026eff5737c5fbe28057ce81a590
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

tsdemux: send converted GST_BUFFER_PTS() when emit stats

Change-Id: I1730850632eef9f93e25e6b5f40a5d0ef034bb09

webrtcbin: Remove unreachable codes and redundant condition

[Version] 1.16.2-18
[Issue Type] SVACE (UNREACHABLE_CODE/SIMILAR_BRANCHES)

Change-Id: Ic3475956be436e9d2151b1dee1fbc79a1cd1c8b7
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtcdatachannel: Fix memory leak

[Version] 1.16.2-17
[Issue Type] SVACE (MEMORY_LEAK.STRDUP)

Change-Id: I8b24e1e01b9f82a952cf53240e6626a55dcedb12
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtcice: Avoid access memory after free and fix memory leak

[Version] 1.16.2-16
[Issue Type] SVACE (PASSED_TO_PROC_AFTER_FREE.EX)

Change-Id: I61f9148466ec842972cf44d8e87a01e8a504b363
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

m3u8: remove unreachable code

- fix svace issue

Change-Id: I342e992e126f2d2ffbbaa1a9e47c403f171f6bae

webrtcbin: Remove remnant of non-rtcp-mux mode

There was some code left that wasn't used anymore.

Change-Id: I76d0148e40012adf07f42c9008075d2f529537ed
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1930>

webrtc: Remove non rtcp-mux code

RTCP mux is now always required by the WebRTC spec

Change-Id: I541ca3e3a9a6a016f9d0be1ab6da1f37c2dde69e
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1765>

webrtcbin: Call the missing gst_ghost_pad_construct()

[Version] 1.16.2-14
[Issue Type] Improvement

Change-Id: Ia733b9972f72595e7dac175b22983332889b6fcf
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

dtls: Update codes based on 1.18.4

Files in ext/dtls/ are updated.

Change-Id: I14a943cf0210610c4e8ee3da31d03bd4f47944dd
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

webrtc: Update codes based on 1.18.4

files below are updated.
 - ext/webrtc/*
 - gst-libs/gst/webrtc/*

Change-Id: Ic2622a1e0275a4e11ccd806a631d923a5601308e
Signed-off-by: Sangchul Lee <sangchul1011@gmail.com>

hlsdemux: add property about live info

- add readable property about live info
  : is live, live start time, live end time

Change-Id: I0be1bfec4527cad2db6910e8e0cae5a6fa2eb498

hlsdemux: push language code tag

Change-Id: I0941e39c9384f6c936d8ea736704d2b718902b3c

hlsdemux: Enable support for external subtitles

- auto-indented using gst-indent

Change-Id: I71f521a191bbca086e8cd01883bed600e3e50b5d

hlsdemux: post first variant bandwidth info

- post bandwidth information if the first variant is selected.
- when the variant is changed, the bandwidth info has been posted.

Change-Id: Ic22cf3e41524bce1b46bd83a2fc0ea54c0e9debd

hlsdemux: parse cue related tag for AD

- parse cue-out, cue-in, cue-out-cont hls tag
  to get AD information

Change-Id: I9b9e4ec3e370418b8cf1310d0aed7afc4cffb79f

fixup! adaptive: allow pad switching

Fix ignoring build definitions caused by the commented line.

Change-Id: Ie08002787deb634c6b5e560ea529d10c972207b6
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

adaptive: allow pad switching

- disable the AVOID_PAD_SWITCHING patch to support
  pad switching as upstream.
- pad switching should be allowed to support AD during
  adaptive streaming.

Change-Id: Iabec91fe30e9069970b057efa80d143d5d191f50

webrtcbin: Make it possible to create data channel before READY state

The condition 'webrtc->priv->is_closed' is set to TRUE when NULL state.
In Tizen, skip checking this condition to create data channel within
NULL state.

[Version] 1.16.2-8
[Profile] Common
[Issue Type] Improvement

Change-Id: I60dad04350372d6fa10dd987be92b152e9cada19
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

hls: support bandwidth limit

- add start-bandwidth, min-bandwidth properties
  to use when switching to alternates.

Change-Id: I616847f7a6f9c71564b9a054feae1a0b38625506

dashdemux: Check bandwidth instead of video mime-type when storing variant information.

- There may be no mimetype in the representation field

Change-Id: Icf40af82ea8c01f649bf982ecb37d19fc33e49b0

Merge "h264parse: ignore GST_H264_PARSER_NO_NAL return when last nal type is GST_H264_NAL_SEQ_END" into tizen

h264parse: ignore GST_H264_PARSER_NO_NAL return when last nal type is GST_H264_NAL_SEQ_END

Change-Id: Ie3c42c98ff22079bd1da31c96e8f26d04d035b6d

webrtcsdp: Fix memory leaks

[Version] 1.16.2-5
[Profile] Common
[Issue Type] Bug fix (SVACE)

Change-Id: I3d60ac5e2cb6b89065edab44ab9139b4e2b442fa
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

Activate plug-in for Gstreamer Editing Services

Activation list:
 - libgstgaudieffects.so
 - libgstcoloreffects.so (Activated in TV profile)

Change-Id: I789d3667f65e40c5a03c87f6884fe6d579f169b4
Signed-off-by: Minje Ahn <minje.ahn@samsung.com>

adaptivedemux/mpegdemux : Fix coverity issue (Missing unlock)

Change-Id: I51fea48a0d00b2a38e136e03fa5f7b3a537440da

[SPEC] Enable gst gdp plugin

Gdp plugin need to be transmit the gst buffers through tcp communication.

Change-Id: I2cdc012f96bdb0ddf1b30164ffb061b92a086bb7
Signed-off-by: gichan-jang <gichan2.jang@samsung.com>

Add webrtcsendrecv test app to tests/example/webrtc

 - Answerer logic is added
 - Add call stack log
 - Add use-camera-mic feature to use camera and mic
 - Add use-proxy feature to use proxy server
 - Add build define for webrtctest

Change-Id: Ide51737b4ef5a87ec853b4f8c1920ddab39dd502
Signed-off-by: Hyunil <hyunil46.park@samsung.com>
Signed-off-by: Sangchul Lee <sc11.lee@samsung.com>

fixup! Enable opusparse plugin

- The explicit build dependency should be added after correct spec file of gst-plugins-base package.

[Version] 1.16.2-2
[Profile] Common
[Issue Type] Bug fix

Change-Id: I6adcea6a2d2d7c4af6dc74912918707b2aeff3b1
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

Enable opusparse plugin

- This patch should be merged with opus enabled gst-plugins-base package.

[Version] 1.16.2-1
[Profile] Common
[Issue Type] Update

Change-Id: Iefa7deceff196974151e10fe4e820d52e93c7b02
Signed-off-by: Jeongmo Yang <jm80.yang@samsung.com>

srtp: enable plugins

Change-Id: I3fc2b995862f194d63f84919635b5c31f1f62f97
Signed-off-by: Hyunil <hyunil46.park@samsung.com>

Merge "Remove unrecognized configure options" into tizen

Remove unrecognized configure options

Change-Id: I3b2c18c417567ccd00edf50267769df8ddbeb213

sctp: enable sctpdec and sctpenc plugins

Change-Id: Ifcd70387b5d3f36dcc980f5ee5a99f335440dc31
Signed-off-by: Hyunil <hyunil46.park@samsung.com>

dtls: enable plugins

Change-Id: Ia8c157ce48f59448eb600d84e3da2d3138c2a153
Signed-off-by: Hyunil <hyunil46.park@samsung.com>

webrtc: modify to allow installation of webrtc plugin

Change-Id: I84a51559a4504ff0d73f9b4617906e51d57c5e42
Signed-off-by: Hyunil <hyunil46.park@samsung.com>

soundtouch: fix coverity issue

Change-Id: I7290f22c61ffda3f27ea77e5232d332be9d5c3d4

Merge branch 'tizen_gst_1.16.2' into tizen

Change-Id: Icf2e38c593ba1f1e4a74ddb1bd1559af6d123676

pitch: add audio meta

- add audio meta info in case of non-interleaved layout
  which is required when it is converted to interleaved.

Change-Id: I8a7c03b9a40f9093e6f0416e53b75f14086d6b88

Merge branch 'upstream/1.16' into tizen_gst_1.16.2

Change-Id: Ib1a717363ad97f1695fb888bc2caa3c2ccff8ee2

Release 1.16.2

Update docs

Update translations

avfvideosrc: Explicitly request device video permissions for macOS 10.14+

Since macOS Mojave (10.14), video permissions have to be explicitly
granted by a user in order to open a video device such as a camera.
This commit adds a check for the current permission status, and tries
to request for permission if applicable.

openexr: Fix check for when to pass -std=c++98

commit 6adfb120ab0e1bb0b3439ad725a362cfe4fbe733 added this flag to fix
builds with `-Werror`, and afterwards it was changed to use a version
check when newer versions of openexr moved over to C++11.

However, some distros have backported patches to older openexr
versions which make it require C++11, which makes the version check
incorrect and causes an error because we passed `-Werror -std=c++98`.

Instead, directly check when usage of the header requires `-std=c++98`
with `-Werror` and override the `cpp_std` setting on the target.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/1117

wasapisrc: Correctly handle BUFFERFLAGS_SILENT

We need to ignore the data we get from WASAPI in this case and write
out silence (zeroes).

Initially reported at https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/808

wasapisrc: Try harder to avoid debug output in the hot loop

The whole `src_read()` function is a hot loop since the ringbuffer
thread is waiting on us, and printing to the console from inside it
can easily cause us to miss our deadline.

F.ex., if you had GST_DEBUG=3 and we accidentally missed a device
period, we'd trigger the "reported glitch" warning, which would cause
us to miss another device period, and so on. Let's reduce the log
level so that GST_DEBUG=3 is more usable, and only print buffer flag
info when it's actually relevant.

wasapisrc: Fix capturing from some buggy audio drivers

Some audio drivers return varying amounts of data per ::GetBuffer
call, instead of following the device period that they've told us
about in `src_prepare()`.

Previously, we would just drop those extra buffers hoping that the
extra buffers were temporary (f.ex., a startup 'burst' of audio data).
However, it seems that some audio drivers, particularly on older
Windows versions (such as Windows 10 1703 and older) consistently
return varying amounts of data.

Use GstAdapter to smooth that out, and hope that the audio driver is
locally varying but globally periodic.

Initially reported in https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/808

wasapisrc: Clarify that nBlockAlign is actually bpf

bpf = bytes per frame.

wasapisrc: Fix glitching and clock skew issues

We were miscalculating the device period, i.e. the number of frames
we'll get from WASAPI in each IAudioClient::GetBuffer call, due to
a calculation mistake (truncate instead of round).

For example, on my machine when the aux input is set to 44.1KHz, the
reported device period is 101587, which comes out to 447.998 frames
per ::GetBuffer call. In reality we will, of course, get 448 frames
per call, but we were truncating, so we expected 447 and were
discarding one frame every time. This led to glitching, and skew over
time.

Interestingly, I can only see this with 44.1Khz. 48Khz/96Khz are fine,
because the device period is a more 'even' number.

Fixes https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/806

wasapi: Move to CoInitializeEx for COM initialization

CoInitialize is not allowed when targeting UWP and causes a Windows
Application Certification Kit (WACK) error.

waylandsink: Commit the parent after creating subsurface

We should commit the parent to activate new subsurface, this is
documented in the protocol.

Signed-off-by: Jeffy Chen <jeffy.chen@rock-chips.com>

msdkdec: fix surface leak in msdkdec_handle_frame

Can be reproduced with:
  videotestsrc ! x264enc key-int-max=$N ! \
  h264parse ! msdkh264dec ! fakesink sync=1

It happens with any gop size but the smaller is the distance N
between key frames, the quicker it is leaking.

Fixes #1023

tsmux: Fix copying of buffer region

tsdemux: Handle continuity mismatch in more cases

Packets of a given PID are meant to have sequential continuity counters
(modulo 16). If there are not sequential, this is the sign of a broken
stream, which we then consider as a discontinuity.

But if that new packet is a frame start (PUSI is true), then we can resume
from that packet without any damage.

tsdemux: Always issue a DTS even when it's equal to PTS

Currently tsdemux timestamps only the PTS, and only issues the DTS if
it's different. In that case, parsers tend to estimate the next DTS
based on the previous DTS and the duration, which can accumulate
rounding errors.

openexr: fix compilation with openexr >= 2.4.0 in autotools

Only pass -std=c++98 for openexr 2.3.x.