waylandsink: do not render twice the same buffer

Do not try to render a buffer that is already being rendered.
This happens typically during the initial rendering stage as the first
buffer is rendered twice: first by preroll(), then by render().
This commit avoids this assertion failure:
  CRITICAL: gst_wayland_compositor_acquire_buffer: assertion
  'meta->used_by_compositor == FALSE' failed

https://bugzilla.gnome.org/show_bug.cgi?id=738069

Signed-off-by: Fabien Dessenne <fabien.dessenne@st.com>
Signed-off-by: Benjamin Gaignard <benjamin.gaignard@linaro.org>

waylandsink : Allow surface to catch input events

If waylandsink is the owner of the display then it is in charge
of catching input events on the surface.

https://bugzilla.gnome.org/show_bug.cgi?id=733682

Signed-off-by: Tifaine Inguere <tifaine.inguere@st.com>
Reviewed-by: Benjamin Gaignard <benjamin.gaignard@linaro.org>

waylandsink: take into account the case where a pool may be destroyed together with GstWlDisplay

There are two cases covered here:
1) The GstWlDisplay forces the release of the last buffer and the pool
   gets destroyed in this context, which means it unregisters all the
   other buffers from the GstWlDisplay as well and the display->buffers
   hash table gets corrupted because it is iterating.
2) The pool and its buffers get destroyed concurrently from another
   thread while GstWlDisplay is finalizing and many things get corrupted.

waylandsink: stack the video subsurface into another subsurface that covers the whole render rectangle

The main reason behind this is that when the video caps change and the video
subsurface needs to resize and change position, the wl_subsurface.set_position
call needs a commit in its parent in order to take effect. Previously,
the parent was the application's surface, over which there is no control.
Now, the parent is inside the sink, so we can commit it and change size smoothly.

As a side effect, this also allows the sink to draw its black borders on
its own, without the need for the application to do that. And another side
effect is that this can now allow resizing the sink when it is in top-level
mode and have it respect the aspect ratio.

waylandsink: rename video format conversion functions to indicate they are about wl_shm

Needed to add linux_dmabuf format conversion functions later

waylandsink: remove the ugly gst_wl_display_stop() now that this mechanism is not needed anymore

Because we no longer have a custom buffer pool that holds a reference
to the display, there is no way for a cyclic reference to happen like
before, so we no longer need to explicitly call a function from the
display to release the wl_buffers.

However, the general mechanism of registering buffers to the display
and forcibly releasing them when the display is destroyed is still
needed to avoid potential memory leaks. The comment in wlbuffer.c
is updated to reflect the current situation.

waylandsink: replace the custom buffer pool with an allocator

This reduces the complexity of having a custom buffer pool, as
we don't really need it. We only need the custom allocation part.
And since the wl_buffer is no longer saved in a GstMeta, we can
create it and add it on the buffers in the sink's render()
function, which removes the reference cycle caused by the pool
holding a reference to the display and also allows more generic
scenarios (the allocator being used in another pool, or buffers
being allocated without a pool [if anything stupid does that]).

This commit also simplifies the propose_allocation() function,
which doesn't really need to do all these complicated checks,
since there is always a correct buffer pool available, created
in set_caps().

The other side effect of this commit is that a new wl_shm_pool
is now created for every GstMemory, which means that we use
as much shm memory as we actually need and no more. Previously,
the created wl_shm_pool would allocate space for 15 buffers, no
matter if they were being used or not.

waylandsink: rework the mechanism for keeping buffers out of the pool until wl_buffer::release

This also removes the GstWlMeta and adds a wrapper class for wl_buffer
which is saved in the GstBuffer qdata instead of being a GstMeta.

The motivation behind this is mainly to allow attaching wl_buffers on
GstBuffers that have not been allocated inside the GstWaylandBufferPool,
so that if for example an upstream element is sending us a buffer
from a different pool, which however does not need to be copied
to a buffer from our pool because it may be a hardware buffer
(hello dmabuf!), we can create a wl_buffer directly from it and first,
attach it on it so that we don't have to re-create a wl_buffer every
time the same GstBuffer arrives and second, force the whole mechanism
for keeping the buffer out of the pool until there is a wl_buffer::release
on that foreign GstBuffer.

schrodec: optimize parse logic

Header will be read each and everytime parse function will be called
which is not necessary since until we have complete data,
we need not parse the header again.

https://bugzilla.gnome.org/show_bug.cgi?id=737984

fluiddec: don't leak incoming caps event

https://bugzilla.gnome.org/show_bug.cgi?id=738291

vc1parse: fix framesize when input is frame-layer

frame-layer header is represented as a sequence of 32 bit unsigned
integer serialized in little-endian byte order, so framesize is on the
first 3 bytes.

SMPTE 421M Annex L.

https://bugzilla.gnome.org/show_bug.cgi?id=738243

midiparse: mention fluiddec instead of fluidsynth

The element name is actually fluiddec even if it uses fluidsynth.

https://bugzilla.gnome.org/show_bug.cgi?id=738223

fluiddec: fix some memory leaks

https://bugzilla.gnome.org/show_bug.cgi?id=738223

pcapparse: Add support for LINKTYPE_RAW

Also, strictly speaking, these numbers aren't DLT_*; they are LINKTYPE_* because
libpcap translates from internal OS-specific DLT_ numbering to the portable
LINKTYPE_ number space when writing files.

https://bugzilla.gnome.org/show_bug.cgi?id=738206

test: use G_GSIZE_FORMAT in audiomixer test

https://bugzilla.gnome.org/show_bug.cgi?id=738227

tests/aggregator: add timeout handling test for the timeout parameter

aggregator: add latency query handling

videoaggregator: support unresponsive pads

Render unresponsive pads with the last video frame received.

aggregator: add a timeout property determining buffer wait time

Determines the amount of time that a pad will wait for a buffer before
being marked unresponsive.

Network sources may fail to produce buffers for an extended period of time,
currently causing the pipeline to stall possibly indefinitely, waiting for
these buffers to appear.

Subclasses should render unresponsive pads with either silence (audio), the
last (video) frame or what makes the most sense in the given context.

videoaggregator: remove the use of the queued buffer on sink pads

That data is now held by the aggregator class

h265parse: expose parsed profile, tier and level to downstream

https://bugzilla.gnome.org/show_bug.cgi?id=732239

h264parse: expose parsed profile and level to downstream

Set parsed profile and level in src caps.

https://bugzilla.gnome.org/show_bug.cgi?id=732239

gl/cocoa: Add support for HiDPI displays

Without this our GL surface would be upscaled after rendering
by Cocoa, which would reduce image quality.

glcolorconvert: output why we cannot convert a buffer

glcolorconvert: fix planar YUV download

- sample the u and v planes properly
- output the correctly scaled u and v planes for different chroma block sizes

gloverlay: And fix another unused variable compiler warning

gloverlay: Fix unused variable compiler warning when compiling without desktop GL

zbar: Add YVU9 and YUV9 to ZBAR_YUV_CAPS

https://bugzilla.gnome.org/show_bug.cgi?id=737407

gltestsrc: implement checkers pattern with GLSL

https://bugzilla.gnome.org/show_bug.cgi?id=737505

hlsdemux: Fix M3U8 parsing unit test after API changes

hlsdemux: Fix accessing invalidated memory

In gst_hls_demux_get_next_fragment() the next fragment URI gets
stored in next_fragment_uri, but the gst_hls_demux_updates_loop()
can at any time update the playlist, rendering this string invalid.
Therefore, any data (like key, iv, URIs) that is taken from a
GstM3U8Client needs to be copied. In addition, accessing the
internals of a GstM3U8Client requires locking.

https://bugzilla.gnome.org/show_bug.cgi?id=737793

mpegts: fix typos in comments

https://bugzilla.gnome.org/show_bug.cgi?id=738072

glcolorconvert: fix UYVY download green screen

glcolrconvert: fix YUY2 download

- The shader was outputing the wrong values compared with raw
  videotestsrc.
- deal with the texture edge properly.
- properly sample the 2x1 rectangle for the u and v values
- don't double sample the y value

curlsmtpsink: Set CURLOPT_UPLOAD to 1 to not use VRFY and other unneeded commands

Fixes the sink with SMTP servers that disable VRFY for spam protection.

http://sourceforge.net/p/curl/bugs/1389/

aggregator: Replace GMainContext with GAsyncQueue (v2)

The previous implementation kept accumulating GSources,
slowing down the iteration and leaking memory.

Instead of trying to fix the main context flushing, replace
it with a GAsyncQueue which is simple to flush and has
less overhead.

https://bugzilla.gnome.org/show_bug.cgi?id=736782

audiomixer: Handle seek event in READY state

audiomixer: Set the sinkpad segments basetime after seeking

Otherwise stream offset and running time comparison will not be
correct, leading to segfaults after seeks

audiomixer: Port to GstAggregator

https://bugzilla.gnome.org/show_bug.cgi?id=737183

Co-Authored by: Mathieu Duponchelle <mathieu.duponchelle@opencreed.com>

videoaggregator: Do not wrongly set the aggregator.segment

The aggregator.segment is not to be initialized by the subclasses but
by the aggregator itself. Moreover, initializing it on start would make
us loose the information coming from the initial seek.

videoaggregator: Make sure not to unref a NULL pointer

aggregator: Set seqnum only when segments are received.

aggregator: Add a streaming lock so to secure flush start action

Without a lock that is taken in FLUSH_START we had a rare race where we
end up aggregating a buffer that was before the whole FLUSH_START/STOP
dance. That could lead to very wrong behaviour in subclasses.

aggregator: Query seeking when a seek failed to see if it was expected

And do not worry if seeking failed on a stream that is not seekable

aggregator: set future seqnum before propagating the seek event.

So the seqnum is properly set for the following events.

aggregator: Store segment when seeked in READY for later use

openh264: Use a MARGINAL rank for the encoder and decoder

They work but for now we prefer others until these are extensively tested.

curlsmtpsink: Email with multipart content-type should end with a final boundary

    Add final boundary for each of the sending out emails from smtpsink.

https://bugzilla.gnome.org/show_bug.cgi?id=736134

videoparser: comment unused GST_BASE_PARSE_FRAME_FLAG_PARSING

GST_BASE_PARSE_FRAME_FLAG_PARSING value is wrong, and the same flag is
not being used presently. Hence changing the value and commenting it out.
This needs to be included in baseparse.h later on

https://bugzilla.gnome.org/show_bug.cgi?id=737411

openh264enc: make denoise work

https://bugzilla.gnome.org/show_bug.cgi?id=737894

videoaggregator: Unmap and free GstVideoFrames as needed after conversion and errors

aggregator: Unref the taglist in GstAggregator::stop()

dvbsrc: add preliminary support for DTMB

Previously known as DMB-T/H, this is the
terrestial DTV broadcast standard currently
used by the People's Republic of China,
Hong Kong, Laos and Macau (officially),
and by Malaysia, Iraq, Jordan, Syria and
Lebanon (experimentally).

dvbsrc: add missing standard transmission modes

These apply to ISDB-T, DVB-T2 and DTMB

Order of the enum values (new rates after _AUTO)
has been kept congruent with the one in the v4l
API for consistency.

dvbsrc: add missing DTMB guard intervals

dvbsrc: add missing DVB-T2 guard intervals

According to the v4l-dvb API docs, these are only
used for DVB-T2 at the moment.

Order of the enum values (new rates after _AUTO)
has been kept congruent with the one in the v4l
API for consistency.

mpegts: fix typo in GstMpegtsExtendedEventDescriptor doc

dvbsrc: add _MUTABLE_PLAYING to tuning props

The element can (re)tune while playing so basically
every property used at set_fe_params() can be set
in state <= PLAYING.

openh264dec: The codec can only do baseline so simplify the code a bit

and declare this also on the srcpad caps.

With baseline profile there are no B-frames or frame reordering.

openh264dec: On ::finish() stop trying if the decoder returned that no output is available

openh264: Run gst-indent over everything

openh264: Remove unused codecparsers lib

openh264: Add FIXME comment about missing API in openh264

openh264dec: Try to handle frame reordering

As openh264 has no way to attach any IDs to input frames that we then get on
the output frames, we have to assume that the input has valid PTS. We just
take the frame with the oldest PTS, and if there is no PTS information we take
the one with the oldest DTS.

openh264dec: Don't drop videocodec frames if we can't decode them *yet*

Fixes jittery playback of streams with B frames.

openh264dec: GstVideoDecoder works on frames, not sub-frames (e.g. NALs)

And we can just pass complete AUs to the decoder without problems.

openh264dec: As we require NAL alignment from upstream we don't need to parse anything

openh264dec: Properly drain codec on ::finish()

openh264enc: Properly drain the encoder on ::finish()

openh264enc: We always get a single frame as output, not a NAL

No need to accumulate NALs.

openh264enc: Fix up caps and stride handling

openh264enc: Add support for GstVideoMeta

This will allow upstream elements to work more efficiently.

openh264dec: Add support for GstVideoMeta

This will make operation with various sinks faster for free.

openh264dec: Optimize frame copying a bit

openh264dec: Don't forget to unref the input state

openh264dec: Fix various crashes on ::stop()

openh264dec: Remove invalid sprops-parameter-set handling

This only exists on RTP caps, not H264 caps.

openh264enc: Don't set caps manually

This will break the order of events in GStreamer.

openh264dec: Fix input state handling and propagation of upstream caps fields

openh264: Add OpenH264 based encoder/decoder elements

These are the openh264 elements released under the BSD-2 license
by Ericsson as part of the OpenWebRTC project.
https://github.com/EricssonResearch/openwebrtc-gst-plugins

https://bugzilla.gnome.org/show_bug.cgi?id=737788

videoaggregator: Do not to release VIDEO_AGGREGATOR_LOCK while setting format info

We should be able to always keep the VIDEO_AGGREGATOR_LOCK while
negotiating caps, this patch introduce that change.

That also implies that we do not need the SETCAPS_LOCK anymore because
now VIDEO_AGGREGATOR_LOCK guarantees that setcaps is not called from
several threads and the gst_aggregator_set_caps method is now
protected.

https://bugzilla.gnome.org/show_bug.cgi?id=735042

aggregator: Take lock to ensure set_caps is not called concurently

Avoiding to be in an inconsistent state where we do not have
actual negotiate caps set as srccaps and leading to point where we
try to unref ->srccaps when they have already been set to NULL.

https://bugzilla.gnome.org/show_bug.cgi?id=735042

gst: remove unnecessary GLIB_DISABLE_DEPRECATION_WARNINGS

There are unnecessary definitions for disabling deprecation warnings.
Since GLIB_DISABLE_DEPRECATION_WARNINGS is not needed anymore in these files,
removing the same.

https://bugzilla.gnome.org/show_bug.cgi?id=737559

vc1parse: unref caps when it is empty in renegotiate()

https://bugzilla.gnome.org/show_bug.cgi?id=737724

androidmedia: Fix calculation of the frame size for COLOR_FormatYUV420Planar

https://bugzilla.gnome.org/show_bug.cgi?id=734156

videoaggregator: Also copy over the chroma siting and colorimetry when deciding on a conversion

videoaggregator: Revert the last commit and handle resolutions differences properly

This is about converting the format, not about converting any widths and
heights. Subclasses are expected to handler different resolutions themselves,
like the videomixers already do properly.

videoaggregator: GstVideoConverter currently can't rescale and will assert

Leads to ugly assertions instead of properly erroring out:
CRITICAL **: gst_video_converter_new: assertion 'in_info->width == out_info->width' failed

gl/cocoa: Always update our viewport if Cocoa tells us something has changed

The visible rect and bounds might be the same as before, but Cocoa
might've changed our viewport without us nothing. This happens if
you hide the view and show it again.

gl/cocoa: Handle NSView::renewGState() properly

Don't update the screen until we redraw, this prevents flickering during
scrolling, clipping, resizing, etc

fluiddec: don't crash on 0-sized input buffers

https://bugzilla.gnome.org/show_bug.cgi?id=737658

gltransformation: requires graphene 1.0.0

gltransformation: graphene multiplication order has changed

https://bugzilla.gnome.org/show_bug.cgi?id=733510

glvideomixer: update element documentation

tests/glcolorconvert: do reorder checking for rgba formats

glcolorconvert: convert xRGB into ARGB properly

The alpha channel might not be the last component so check which one
it is in and clobber that one instead.

tests/glmemory: add simple transfer test

tests transferring to/from the GL with a 1x1 RGBA pixel.

glmemory: unset the opposite corresponding transfer flags when mapped with write

fixes consistency with consecutive gst_memory_map()'s with
flags & GST_MAP_WRITE

gl/cocoa: Update viewport according to the current clipping

We have to update the GL viewport if the NSView is only partially
visible. Otherwise the content of the frame will be visibly offset.

tsdemux: do not discard on discont if PES start

If a discontinuity in the stream is detected, data is discarded until
a new PES starts. If the first packet after the discontinuity is also
the start of a PES, there is no reason to discard the packets.

https://bugzilla.gnome.org/show_bug.cgi?id=737569