audiomixer: use new gst_aggregator_pad_drop_buffer()

videoaggregator: use new gst_aggregator_pad_drop_buffer()

aggregator: use new gst_aggregator_pad_drop_buffer()

aggregator: add gst_aggregator_pad_drop_buffer()

steal_buffer() + unref seems to be a wide-spread idiom
(which perhaps indicates that something is not quite
right with the way aggregator pad works currently).

aggregator: only post latency message if anything changed

Perhaps we should check for element state as well and
only post it if in PLAYING state.

tests: remove GST_DISABLE_PARSE guards from two tests that don't require it

opensles: Make debug category naming a bit more consistent

applemedia: avfvideosrc: fix crash when non-GL memory is used

adaptivedemux: Fix logic in fragment_download_finish.

This was preventing us from surfacing a meaningful error.

https://bugzilla.gnome.org/show_bug.cgi?id=743703

dashdemux: Fix handling of live streams with timeshift buffers.

By implementing get_live_seek_range.

As shown by :

gst-validate-1.0 playbin \
uri=http://dev-iplatforms.kw.bbc.co.uk/dash/news24-avc3/news24.php

This patch handles live seeking, by setting a live seek range
comprised between now - timeShiftBufferDepth and now.

The inteersting thing with this stream is that one can actually
ask fragments up to availabilityStartTime, but it seems quite clear
in the spec that content is only guaranteed to exist up to
timeShiftBufferDepth.

One can test live seeking this way :

gst-validate-1.0 playbin \
uri=http://dev-iplatforms.kw.bbc.co.uk/dash/news24-avc3/news24.php \
--set-scenario seek_back.scenario

with scenario being:

description, seek=true
seek, playback-time=position+5.0, start="position-600.0",
flags=accurate+flush

This example will play the stream, wait for five seconds, then seek back
to a position 10 minutes earlier.

https://bugzilla.gnome.org/show_bug.cgi?id=744362

adaptivedemux: Set first segment time to segment start.

Otherwise as long as a seek wasn't executed, the position was
reported incorrectly:

gst-validate-1.0 playbin \
uri=http://dev-iplatforms.kw.bbc.co.uk/dash/news24-avc3/news24.php

https://bugzilla.gnome.org/show_bug.cgi?id=744362

glimagesink: Fix debug statement

gl: Add/Update more debug statements

Where possible, use the _OBJECT variants in order to track better from
which object the debug statement is coming from

Define (and use) GST_CAT_DEFAULT where applicable

Use GST_PTR_FORMAT where applicable

gl: Make glcontext debug category used in more places

As a bonus it makes the egl context debug messages visible now :)

glimagesink: Sprinkle more debug

dashdemux: set proper stream type to streams

strncmp returns 0 when it compares equal and not a
boolean

audiomixer: calculate stream_time used to sync pad values correctly

Use pad (input) segment to calculate the stream time from the
input timestamp, not the aggregator (output) segment.

avfvideosrc: Only use the duration of the sample if it is valid

adaptivedemux: track per-fragment bitrates.

And use the average to go up in resolution, and the last fragment
bitrate to go down.

This allows the demuxer to react rapidly to bitrate loss, and
be conservative for bitrate improvements.

+ Add a construct only property to define the number of fragments
  to consider when calculating the average moving bitrate.

https://bugzilla.gnome.org/show_bug.cgi?id=742979

x265enc: Add support for 10bit 4:2:0 and 4:4:4 formats

Improve and fix LATENCY query handling

This now follows the design docs everywhere, especially the maximum latency
handling.

https://bugzilla.gnome.org/show_bug.cgi?id=744106

camerabin examples: memory leak in camerabin examples code

should unref caps after set to profile. profile will ref it.

https://bugzilla.gnome.org/show_bug.cgi?id=744219

camerabin examples: memory leak in camerabin examples code

should unref after set object. The object will be refed when set
property.

https://bugzilla.gnome.org/show_bug.cgi?id=744219

openslesringbuffer: Only allocate at most half the number of internal buffers as external audioringbuffer ones

Otherwise we might end up reading too much from the audioringbuffer, which
would result in reading silence.

decklinkvideosrc: Apply the diff between element and pipeline "base" time in all cases

Even if both clocks have the same rate, we need to apply this diff. Only when
it's the same clock we don't, as it's our clock then.

decklinkvideosrc: Add the diff between the pipeline base time and when we start to play

Add the diff between the external time when we went to playing and
the external time when the pipeline went to playing. Otherwise we
will always start outputting from 0 instead of the current running
time.

decklinkvideosink: Actually include the change mentioned in the last commit

decklinkvideo{src,sink}: Sample the internal clock immediately after starting the device

Otherwise we might stay at 0.0s for too long because we will take the first
timestamp we ever see as 0.0... which will be after we started the device.

videoaggregator: When receiving timeout before caps, make sure to also advance our frame counter

Otherwise we will directly go EOS on the next non-timeout.

aggregator: Pause srcpad task on flow errors

Otherwise we will call the task function over and over again until
upstream finally handled the flow return and shuts us down.

videoaggregator: fix buffer selection when duration=-1

If the src framerate and videoaggreator's output framerate were
different, then we were taking every single buffer that had duration=-1
as it came in regardless of the buffer's start time.  This caused the src
to possibly run at a different speed to the output frames.

https://bugzilla.gnome.org/show_bug.cgi?id=744096

decklink: Fix compiler warning with gcc

gstdecklink.cpp: In member function 'virtual HRESULT GStreamerDecklinkInputCallback::VideoInputFrameArrived(IDeckLinkVideoInputFrame*, IDeckLinkAudioInputPacket*)':
gstdecklink.cpp:498:22: error: comparison between signed and unsigned integer expressions [-Werror=sign-compare]
     if (capture_time > m_input->clock_start_time)
                      ^
gstdecklink.cpp:503:22: error: comparison between signed and unsigned integer expressions [-Werror=sign-compare]
     if (capture_time > m_input->clock_offset)
                      ^

decklink{audio,video}src: Implement clock slaving if the pipeline clock is not the decklink clock

decklinkaudio{src,sink}: Only start streams / scheduled playback if there is a videosrc at this point

decklinkaudiosrc: Don't provide a clock

The audio source only works together with the video source, and the video
source is already providing a clock.

decklinkaudiosink: Throttle reading from the ringbuffer

The driver has an internal buffer of unspecified and unconfigurable size, and
it will pull data from our ring buffer as fast as it can until that is full.
Unfortunately that means that we pull silence from the ringbuffer unless its
size is by conincidence larger than the driver's internal ringbuffer.

The good news is that it's not required to completely fill the buffer for
proper playback. So we now throttle reading from the ringbuffer whenever
the driver has buffered more than half of our ringbuffer size by waiting
on the clock for the amount of time until it has buffered less than that
again.

decklinkaudiosink: Start scheduled playback when going to PLAYING

The ringbuffer's acquire() is too early, and ringbuffer's start() will only be
called after the clock has advanced a bit... which it won't unless we start
scheduled playback.

vtdec: fix texture sharing on iOS

Move GLES calls to the context thread. Fix
CVOpenGLESTextureCacheCreateTextureFromImage usage on iOS.

libgstgl: set user data and GDestroyNotify for wrapped textures

decklink{audio,video}src: Take the capture times from the pipeline clock

Not from the decklink clock. Both will return exactly the same time once the
decklink clock got slaved to the pipeline clock and received the first
observation, but until then it will return bogus values. But as both return
exactly the same values, we can as well use the pipeline clock directly.

videoaggregator: don't set element factory details

This is an abstract base class, not an element.

dvdspu: some optimizations

Detect invisible pixels, and skip gstspu_vobsub_blend_comp_buffers()
when there are only invisible pixels.  This significantly reduces the
CPU load in cases of DVDs which don't use the clip_rect to exclude
processing for parts of the screen where the video is visible.

https://bugzilla.gnome.org/show_bug.cgi?id=667221

dvdspu: Avoid warning if the video for a still frame arrives after the SPU

When we don't have a segment on the video pad yet during a still frame
don't freak out.

resindvd: Don't send meaningless segment position downstream

Don't place a meaningless value in the position field in
outgoing segments - values have to be in the range start->stop.

https://bugzilla.gnome.org/show_bug.cgi?id=740558

Revert "aiffparse: make sure we have data before handling sink event"

This reverts commit a4baabb48d252214d3833b502c7903d9f15f3502.

aiffparse: make sure we have data before handling sink event

Check AIFF_PARSE_DATA is True before handling sink event, if not goto exit.

audiomixer: remove now-unused base_time field in object structure

aggregator: Streamline latency calculations

Min latency can never be invalid, latency property can never be invalid
either. So no need to check for all these things in various places.

aggregator: If upstream has no max latency but the subclass has, take the subclass max latency

aggregator: Fix min>max latency error check

We have to include the upstream latency, our own latency and the subclass
latency in the calculations.

FIXME: This is still not entirely correct

aggregator: Don't add the latency property to the max latency

It has no meaning for the max latency and is only used to increase the min
latency.

glproto/vao: only supported in core for ES 3.0+

Was causing horizontally flipped video for frame 2 onward on android

faac: relace parsed with framed in aac caps

For AAC it should always be 'framed' and not 'parsed'

faac: fix output caps to negotiate with some muxers

Add parsed/framed=true to allow negotiation with some
muxers that required parsed input. Encoders already provide
parsed/framed output so it should say so in caps.

tests: compositor: add unit test for proper segment.base handling

As adjusted by gst_pad_set_offset(), or when doing segment seeks
or looping for example.

tests: audiomixer: add unit test for proper segment.base handling

As adjusted by gst_pad_set_offset(), or when doing segment seeks
or looping for example. See previous audiomixer commit.

audiomixer: Remove weird and wrong segment handling

There's no reason why audiomixer should override the segment
base of upstream with whatever value it got from a SEEK event,
or even worse... with 0 if there was no SEEK event yet. This
broke synchronization if upstream provided a segment base other
than 0, e.g. when using pad offsets.
Also that this code did things conditional on the element's state
should've been a big warning already that something is just wrong.
If this breaks anything else now, let's fix it properly :)

Also don't do fancy segment position trickery when receiving a
segment event. It's just not correct.

openslesringbuffer: Only pre-roll a single buffer

There is no reason to pre-roll more buffers here as we have our own ringbuffer
with more segments around it, and we can immediately provide more buffers to
OpenSL ES when it requests that from the callback.

Pre-rolling a single buffer before starting is necessary though, as otherwise
we will only output silence.

Lowers latency a bit, depending on latency-time and buffer-time settings.

openslesringbuffer: Allocate at most 4 internal buffers

4 is the "typical" number of buffers defined by Android's OpenSL ES
implementation, and its code is optimized for this. Also because we
have our own ringbuffer around this, we will always have enough
buffering on our side already.

Allows for more efficient processing.

openslessink/src: Lower default buffer time to 200ms like alsasink

glfilter: ensure that the input upload/colorconvert are always available

glimagesink: log the converted caps

glupload: restrict EGL and UploadMeta to RGBA

other formats are highly untested.

glcolorconvert: don't intersect with the input caps

that limits our formats to whatever is in the input caps

gl: fix memory leak

In gst_gl_filter_fixate_caps () it can goto done without freeing the memory of
the tmp GstStructure. This makes it go out of scope and leak.

CID #1265765

motioncells: initialize class variables

Some variables are not initialized in the constructor. It is highly unlikely
they are used before being set, but it is safer to initialize them.

CID #1197704

ksvideosrc: Fix missing brace warning

There is more but it's from ks.h GUID initializer, which is shipped
this way with mingw.

ksvideosrc: Fix buffer handling

The pseudo buffer pool code was using gst_buffer_is_writable()
alone to try and figure-out if cached buffer could be reused.
It needs to check for memory writability too. Also check map
result and fix map flags.

https://bugzilla.gnome.org/show_bug.cgi?id=734264

mpegtsmux: avoid leaking force keyunit event when going to NULL

Do not set to NULL before unreffing the event or it will leak

mpegtsmux: parse force key unit events with the correct function

Otherwise it won't be parsed and bogus values would be used.

https://bugzilla.gnome.org/show_bug.cgi?id=696032

tsdemux: remove update segment logic

This is not needed in 1.x series anymore

tsdemux: don't mark streams as needing a new segment on flush

The flush is called on discont and we shouldn't output a new segment
each time a discont happens. So this commit remove the mark for a new
segment when flushing streams by propagating the 'hard' flag passed
on the flusing from the base class.

https://bugzilla.gnome.org/show_bug.cgi?id=743363

corevideotexturecache: Add some assertions instead of just dereferencing NULL

corevideotexturecache: Don't unconditionally use the CoreMedia meta on iOS

We might instead have a CoreVideo meta.

Undo accidental common module rewind

in commit 7d463576

vtdec: Don't dereference NULL frames when draining/flushing

gl: remove the egl caps from the src pads

we don't actually support producing EGLImage buffers anywhere.

glcolorconvert: put GstGLSyncMeta on output buffers

allows thread safely using the provided output buffer in a separate
thread

glupload: only try the glmemory upload for sysmem/glmemory caps features

Allows selecting/testing the upload path with explicit caps features.

glmemory: add missing initilisation of tex_target when copying

fixes:

glcolorscale ! video/x-raw\(meta:GstVideoGLTextureUploadMeta\) !
glimagesink

glupload: allow NULL buffer for accept vfunc

glupload: remove unsed convert field in private struct

glupload/download/convert: provide transform_caps functions

Allows finer grain decisions about formats and features at each
stage of the pipeline.
Also provide propose_allocation for glupload besed on the supported
methods.

gstglwindow_cocoa: fix slow render rate

In gst_gl_window_cocoa_draw we used to just call setNeedsDisplay:YES. That was
creating an implicit CA transaction which was getting committed at the next
runloop iteration. Since we don't know how often the main runloop is running,
and when we run it implicitly (from gst_gl_window_cocoa_nsapp_iteration) we only
do so every 200ms, use an explicit CA transaction instead and commit it
immediately. CA transactions nest and debounce automatically so this will never
result in extra work.

gstglcaopengllayer: use the correct rectangle type for iOS and OS X

glcolorconvert: use the correct caps feature for supported caps

glcolorconvert currently only supports converting between GLMemory
targets.

glsyncmeta: don't use the gst debug object variants

We are not a GObject or any inferable GstMiniObject supported by
the gst debug system.  Also fixes a segfault.

gl: update unit test for glmemory api change

glimagesink: clobber the alpha channel by default

this can be disabled with the ignore-alpha property

Revert "libgstgl: gstglcaopengllayer: set the layer as opaque"

This reverts commit 6f152d381ca21595cdc823f32341c8f2fe71b9c7.

The layer shouldn't be always opaque, it should be made a property.

libgstgl: gstglcaopengllayer: set the layer as opaque

glcolorconvert: Add FIXME comment about possibility of non-Apple YCbCr422 rectangular textures

glcolorconvert: Only use GL_TEXTURE_RECTANGLE with OpenGL

It's not defined for GLES.

applemedia: rework GL texture sharing

Use YUV instead of RGB textures, then convert using the new apple specific
shader in GstGLColorConvert. Also use GLMemory directly instead of using the
GL upload meta, avoiding an extra texture copy we used to have before.

applemedia: vtdec: fix CMBlockBufferRef leak

Fix huge leak that went unnoticed for too long. Oops.

libgstgl: run a custom shader to convert YUV to RGB on mac and ios

When GL_APPLE_ycbcr_422 is available, run a custom shader to convert
GL_TEXTURE_RECTANGLE textures from YUV to RGB.

See https://www.opengl.org/registry/specs/APPLE/ycbcr_422.txt

applemedia: don't call CVPixelBufferLockBaseAddress when doing texture sharing

When doing texture sharing we don't need to call CVPixelBufferLockBaseAddress to
map the buffer in CPU. This cuts about 10% relative cpu time from a vtdec !
glimagesink pipeline.

gl: initial support for texture targets other than GL_TEXTURE_2D

Make GstGLMemory hold the texture target (tex_target) the texture it represents
(tex_id) is bound to. Modify gst_gl_memory_wrapped_texture and
gst_gl_download_perform_with_data to take the texture target as an argument.

This change is needed to support wrapping textures created outside libgstgl,
which might be bound to a target other than GL_TEXTURE_2D. For example on OSX
textures coming from VideoToolbox have target GL_TEXTURE_RECTANGLE.

With this change we still keep (and sometimes imply) GL_TEXTURE_2D as the
target of textures created with libgstgl.

API: modify GstGLMemory
API: modify gst_gl_memory_wrapped_texture
API: gst_gl_download_perform_with_data

gstglcolorconvert: micro optimization

Don't call glClear && glClearColor at each draw since we're going to draw the
whole viewport anyway. Gets rid of a glFlush triggered by glClear on OSX.

applemedia: corevideobuffer: make mapping the CVPixelBuffer in CPU optional

Mapping is not necessary and impacts performance when doing texture sharing with
downstream