compositor: Fix memory leak when no buffer is available for a pad currently

CID 1258718

aggregator: Add function to allow subclasses to set their own latency

For audiomixer this is one blocksize, for videoaggregator this should
be the duration of one output frame.

aggregator: Add a timeout parameter to ::aggregate()

When this is TRUE, we really have to produce output. This happens
in live mixing mode when we have to output something for the current
time, no matter if we have enough input or not.

aggregator: make the src pad task drive the pipeline for live pipelines

This removes the uses of GAsyncQueue and replaces it with explicit
GMutex, GCond and wakeup count which is used for the non-live case.

For live pipelines, the aggregator waits on the clock until either
data arrives on all sink pads or the expected output buffer time
arrives plus the timeout/latency at which time, the subclass
produces a buffer.

https://bugzilla.gnome.org/show_bug.cgi?id=741146

videoaggregator: always try to use newer buffers

instead of dropping them for being too old.  This ensures that
the newest buffer is always used for rendering

videoaggregator: Hide some more fields from the API

+ Add some documentation

gl: fixup vao and vbo usage for legacy GL

compositor: Failure to map a video frame is not just a warning

Also add some warning debug output if mapping a output buffer fails

videoaggregator: Failure to map a video frame is not just a warning

gldisplay: implement runtime GL api filtering

Needed so that the pipeline/application can limit the choice of GL api
to what it supports

gl: add a sync meta for synchronizing across GL contexts

A context can create a GLsync object that can be waited on in order
to ensure that GL resources created in one context are able to be
used in another shared context without any chance of reading invalid
data.

This meta would be placed on buffers that are known to cross from
one context to another.  The receiving element would then wait
on the sync object to ensure that the data to be used is complete.

glvideomixer: add support for gl3

videoaggregator: Minor cleanup

compositor: Implement rescaling of the input via pad properties

compositor has now the same interface as glvideomixer.

videoaggregator: Copy over more fields from the relevant video-info

gst_video_info_set_format() will reset the complete video-info, but
we want to keep values like the PAR, colorimetry and chroma site.
Otherwise we risk setting different values on the srcpad caps than
what is actually inside the buffers.

videoaggregator: Directly use the converters video-info instead of recalculating it

videoaggregator: Do source pad negotiation only from the aggregated function

Otherwise we might negotiate from the sinkpad streaming threads at
the same time as on the srcpad streaming thread, and then all kinds
of crazy bugs happen that don't make any sense at all.

videoconvert: Hide all conversion related fields

And do not delay the setting of the conversion_info

https://bugzilla.gnome.org/show_bug.cgi?id=740768

videoaggregator: Expose vmethods to set converters and prepare/clean frames

This gives more flexibility to the subclasses and permits to remove the
GstVideoAggregatorClass->disable_frame_conversion ugly API.

WARNING: This breaks the API as it removes the disable_frame_conversion
field

API:
  + GstVideoAggregatorClass->find_best_format
  + GstVideoAggregatorPadClass->set_format
  + GstVideoAggregatorPadClass->prepare_frame
  + GstVideoAggregatorPadClass->clean_frame

  - GstVideoAggregatorClass->disable_frame_conversion

https://bugzilla.gnome.org/show_bug.cgi?id=740768

videoaggregator: Let a full renegotiation happen after removing the last pad

With the current code, we will end up setting the preferred downstream
format as the srcpad format, and it might not be accepted by the next
sinkpad to be added. We should instead let the next sinkpad reconfigure
everything.

videoaggregator: Also sync pad properties to the controller if conversion is disabled

compositor: Remove unused zorder pad property

It's handled in videoaggregator already.

compositor: GstVideoMeta is supported just fine, tell upstream about that

Also provide a GstVideoBufferPool to upstream just in case.

glupload: rearchitecture for non GLMemory inputs/outputs

Allows other memory types to be implemented/returned/used by the caller.

videoaggregator: Don't output 0-duration buffers at the segment end

https://bugzilla.gnome.org/show_bug.cgi?id=740376

videoaggregator: fix up QoS handling for live sources

Only attempt adaptive drop when we are not live

https://bugzilla.gnome.org/show_bug.cgi?id=739996

glmixer: add read-only context property

gl: remove the width/height fields from the caps to support frame resizing

It was previously only occuring with sysmem caps features

https://bugzilla.gnome.org/show_bug.cgi?id=739334

videoaggregator: Swap source/destination parameters of gst_video_converter_frame()

glmixer: advertise support for changing input caps mid-stream

https://bugzilla.gnome.org/show_bug.cgi?id=739334

videoaggregator: remove storage of never used values

These two values are stored just before the function returns and they go out of
scope.

glmixer: don't get the current caps from GstVideoInfo for the srcpad

It's missing the caps features needed.

glmixer:fix incorrect parameter passed to handle_set_context

glmixer: override the caps query in order to 'convert' capsfeatures

Otherwise, it is only possible for the sink pads and the src pads to
have the exact same caps features.  We can convert from any feature
to another feature so support that.

glmixer: override the accept caps query in order to 'convert' capsfeatures

Otherwise, it is only possible for the sink pads and the src pads to
have the exact same caps features.  We can convert from any feature
to another feature so support that.

gl: propogate other-context using GstContext

glmixer: fixup eglimage include path

videoaggregator: fixate the parts of the caps we don't know how to deal with

fixes glvideomixer with video/x-raw,width=foo i.e. no format field.

glbufferpool: add the GstVideoGLTextureUploadMeta buffer pool option

videoaggregator: operate on caps rather than video info

Otherwise the CapsFeatures will be lost along with the possibility
of multiple output types and formats.

https://bugzilla.gnome.org/show_bug.cgi?id=738129

glmixer: Call the pad's parent class finalize method

glmixer: Only finalize the other context in finalize()

Otherwise we change a value of a property when going to READY state,
which is unexpected behaviour.

glmixer: Add other-context property

aggregator: add latency query handling

videoaggregator: support unresponsive pads

Render unresponsive pads with the last video frame received.

videoaggregator: remove the use of the queued buffer on sink pads

That data is now held by the aggregator class

videoaggregator: Do not wrongly set the aggregator.segment

The aggregator.segment is not to be initialized by the subclasses but
by the aggregator itself. Moreover, initializing it on start would make
us loose the information coming from the initial seek.

videoaggregator: Make sure not to unref a NULL pointer

videoaggregator: Unmap and free GstVideoFrames as needed after conversion and errors

videoaggregator: Do not to release VIDEO_AGGREGATOR_LOCK while setting format info

We should be able to always keep the VIDEO_AGGREGATOR_LOCK while
negotiating caps, this patch introduce that change.

That also implies that we do not need the SETCAPS_LOCK anymore because
now VIDEO_AGGREGATOR_LOCK guarantees that setcaps is not called from
several threads and the gst_aggregator_set_caps method is now
protected.

https://bugzilla.gnome.org/show_bug.cgi?id=735042

videoaggregator: Also copy over the chroma siting and colorimetry when deciding on a conversion

videoaggregator: Revert the last commit and handle resolutions differences properly

This is about converting the format, not about converting any widths and
heights. Subclasses are expected to handler different resolutions themselves,
like the videomixers already do properly.

videoaggregator: GstVideoConverter currently can't rescale and will assert

Leads to ugly assertions instead of properly erroring out:
CRITICAL **: gst_video_converter_new: assertion 'in_info->width == out_info->width' failed

glvideomixer: update element documentation

videoaggregator: don't create converters when the subclass doesn't want them

fixes a critical with glvideomixer after
35bd1969f912cecda0fb5df9595a005e6ddf4e7a

CRITICAL **: gst_video_converter_new: assertion 'in_info->width == out_info->width' failed

glvideomixer: fix blending with low-alpha sources

We also need to apply the blend paramaters to the alpha channel otherwise
the output of the blend will appear black at low alpha values (< 0.2).

video: use video lib conversion code instead of copy

glvideomixer: skip input frames with an alpha of 0

gl: download whenever we have sysmem capsfeatures

Otherwise we could pass on a RGBA formatted buffer and downstream would
misinterpret that as some other video format.

Fixes pipelines of the form

    gleffects ! tee ! xvimagesink

glupload: provide the output buffer that is rendered into

Allows callers to properly reference count the buffers used for
rendering.

Fixes a redraw race in glimagesink where the previous buffer
(the one used for redraw operations) is freed as soon as the next
buffer is uploaded.

1. glimagesink uploads in _prepare() to texture n
1.1 glupload holds buffer n
2. glimagesink _render()s texture n
3. glimagesink uploads texture n+1
3.1 glupload free previous buffer which deletes texture n
3.2 glupload holds buffer n+1
4. glwindow resize/expose
5. glimagesink redraws with texture n

The race is that the buffer n (the one used for redrawing) is freed as soon as
the buffer n+1 arrives.  There could be any amount of time and number of
redraws between this event and when buffer n+1 is actually rendered and thus
replaces buffer n as the redraw source.

https://bugzilla.gnome.org/show_bug.cgi?id=736740

gl: Removed unreachable break, unused variable

https://bugzilla.gnome.org/show_bug.cgi?id=736957

glmixer: do not leak pool in error cases

https://bugzilla.gnome.org/show_bug.cgi?id=736729

glmixer: unref the GstGLUpload in the pad if freed while running

Dynamic pipelines that get and release the sink pads will finalize
the pad without going through gst_gl_mixer_stop() which is where the
upload object is usually freed.  Don't leak objects in such case.

glvideomixer: avoid gl resource race condition between different thread

https://bugzilla.gnome.org/show_bug.cgi?id=734830

glvideomixer: don't clobber unnecessary GstVideoInfo fields

otherwise we might clobber other important fields such as the frame rate.

glvideomixer: get the attribute from the correct shader

videoaggregator: push the caps event as soon as we receive it

Along with the required mandatory dependent events.

Some elements need to perform an allocation query inside
::negotiated_caps().  Without the caps event being sent prior,
downstream elements will be unable to answer and will return
an error.

https://bugzilla.gnome.org/show_bug.cgi?id=732662

opengl: update element docs for 1.x

videoaggregator: Unref allowed caps after usage

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=734522

glvideomixer: add a background property

That's compatible with the compositor/videomixer property

https://bugzilla.gnome.org/show_bug.cgi?id=731954

gl: fix multi gl object leaks

1. fix FBO leaks in decide_allocation
2. fix texture leaks in decide_allocation and reset
3. fix texture leaks in FBO incomplete error path

gl: Move GstGLMixer to the plugin for now

It depends on GstAggregator and we don't want to install headers
for that yet.

https://bugzilla.gnome.org/show_bug.cgi?id=732207

videoaggregator: Fix some more the locking logic in update_src_caps

We need the GST_OBJECT_LOCK only to iterate the sinkpads, nothing else.

https://bugzilla.gnome.org/show_bug.cgi?id=732750

videoaggregator: fix broken locking in update_src_caps function

We would unlock an already-unlocked mutex that we never re-locked.

https://bugzilla.gnome.org/show_bug.cgi?id=732750

videoaggregator: reset QoS on segment event

https://bugzilla.gnome.org/show_bug.cgi?id=732540

badvideo: Rename videoconvert functions to prevent conflicts with static linking

https://bugzilla.gnome.org/show_bug.cgi?id=728443

compositor: tests: Fix pad leak

Remember to unref requested pad

videoaggregator: fix a refcount error when keeping the buffer

We take a ref on the pad's buffer at the beginning so we need to
unref when we are done in all cases.

gl: enable glvideomixer on GLES2

glvideomixer: bas output width/height on the pad properties

Allows automatic negotiation of the size in the following case:
gst-launch-1.0 glvideomixer name=m sink_0::xpos=0 sink_1::xpos=320 ! glimagesink \
    videotestsrc ! m. \
    videotestsrc pattern=1 ! m.

https://bugzilla.gnome.org/show_bug.cgi?id=731878

glvideomixer: don't clobber already allocated shader

compositor: Fix Makefile CFLAGS/LIBADD ordering

We want to use the libraries from -bad if/when present

videoaggregator: don't clobber already heap allocated video frame

CID # 1223440

videoaggregator: fix up the parent chaining for dispose and finalize

Release 1.3.3

libs:video: Properly declare APIs as UNSTABLE

libs: videoaggregato: Do not import videoconvert.h in gstvideoaggregatorpad.h

+ Add a Private structure to the GstVideoAggregatorPad
+ Add some padding

gl:glvideomixer: Add the Compositor in the element metadata class

So it is possible to pick one compositing element from the registry

compositor: Add a new compositor based on the new GstVideoAggregator base class

It is a replacement for videomixer with a similare API

Co-Authored by: Thibault Saunier <tsaunier@gnome.org>

https://bugzilla.gnome.org/show_bug.cgi?id=731919

gl: Port glmixer to the GstVideoAggregator baseclass

https://bugzilla.gnome.org/show_bug.cgi?id=731921

videoaggregator: Create a new GstVideoAggregator baseclass

This base class has been added to a newly created libgstbadvideo library

Co-Authored by: Thibault Saunier <tsaunier@gnome.org>

https://bugzilla.gnome.org/show_bug.cgi?id=731918

glvideomixer: silence incorrect number of arguments in format warning

glvideomixer: wire up the alpha pad property

glvideomixer: support input frame scaling

glvideomixer: add positioning of input streams

https://bugzilla.gnome.org/show_bug.cgi?id=729798

gl: test for frame NULLness before dereferencing it

Coverity 1195172, 1195171

gl: fix array initialization

gl: fix assignment of temporary variables

move gl elements to ext subdirectory