glmixer: remove usage of upload/download objects

gl: new glmixerbin element

gl: add a new glbasemixer class below glmixer

It deals with propagating the gl display/contexts throughout the
application/pipeline

videoaggregator: While aggregating, sync values for all pads before converting frames

glmixer: Don't share our downstream pool with upstream

Pool cannot have multiple owner. This can lead to spurious
pool was flushing error.

https://bugzilla.gnome.org/show_bug.cgi?id=74570

gl: Remove format info in glcolorconvert's transform_caps function instead of on every caller

... and let glmixer actually transform the caps it is supposed to transform
instead of inventing new caps.

Revert "videoaggregator: Create new caps from the video-info"

This reverts commit 78215be0dfbb4e8ed4f249e161a94c644328d28d.

because it broke glvideomixer with custom caps features.

videoaggregator: Create new caps from the video-info

In case the original caps were missing some optional fields like
interlace-mode. We assume default values for those everywhere,
but they can still cause negotiation to fail if a downstream element
expects the field to be there and at a specific value.

videoaggregator: use new gst_aggregator_pad_drop_buffer()

tests: remove GST_DISABLE_PARSE guards from two tests that don't require it

Improve and fix LATENCY query handling

This now follows the design docs everywhere, especially the maximum latency
handling.

https://bugzilla.gnome.org/show_bug.cgi?id=744106

videoaggregator: When receiving timeout before caps, make sure to also advance our frame counter

Otherwise we will directly go EOS on the next non-timeout.

videoaggregator: fix buffer selection when duration=-1

If the src framerate and videoaggreator's output framerate were
different, then we were taking every single buffer that had duration=-1
as it came in regardless of the buffer's start time.  This caused the src
to possibly run at a different speed to the output frames.

https://bugzilla.gnome.org/show_bug.cgi?id=744096

videoaggregator: don't set element factory details

This is an abstract base class, not an element.

tests: compositor: add unit test for proper segment.base handling

As adjusted by gst_pad_set_offset(), or when doing segment seeks
or looping for example.

gl: remove the egl caps from the src pads

we don't actually support producing EGLImage buffers anywhere.

glupload/download/convert: provide transform_caps functions

Allows finer grain decisions about formats and features at each
stage of the pipeline.
Also provide propose_allocation for glupload besed on the supported
methods.

gl: initial support for texture targets other than GL_TEXTURE_2D

Make GstGLMemory hold the texture target (tex_target) the texture it represents
(tex_id) is bound to. Modify gst_gl_memory_wrapped_texture and
gst_gl_download_perform_with_data to take the texture target as an argument.

This change is needed to support wrapping textures created outside libgstgl,
which might be bound to a target other than GL_TEXTURE_2D. For example on OSX
textures coming from VideoToolbox have target GL_TEXTURE_RECTANGLE.

With this change we still keep (and sometimes imply) GL_TEXTURE_2D as the
target of textures created with libgstgl.

API: modify GstGLMemory
API: modify gst_gl_memory_wrapped_texture
API: gst_gl_download_perform_with_data

aggregator: More fixes around locking when accessing protected private fields

In some more places we were accessing GstAggregator->segment
and GstAggregator->seqnum without holding the GST_OBJECT_LOCK

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Hide GstAggregatorPad buffer and EOS fileds

And add a getter for the EOS.

The user should always use the various getters to access
those fields

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Document locking for gst_aggregator_get_latency_unlocked()

Renamed it to _unlocked() to make it clear.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

videoaggregator: Lock access to members of GstAggregatorPad

Take the pad's object lock before accessing members of the
GstAggregatorPad structure.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

videoaggregator: If getting a timeout before having caps, just advance our position

This can happen if this is a live pipeline and no source produced any buffer
and sent no caps until an output buffer should've been produced according to the
latency.

This fix is similar in spirit to commit be7034d1 by Sebastian for audiomixer.

videoaggregator: fix crash when receiving buffer without timestamps

Unset out buffer in clip function when we unref the buffer to be
clipped, otherwise aggregator will continue to use the already-
freed buffer. Fixes crash when buffers without timestamps are
being fed to aggregator. Partly because aggregator ignores the
error flow return.

https://bugzilla.gnome.org/show_bug.cgi?id=743334

compositor: fix illegal memory access in blend function with negative ypos

https://bugzilla.gnome.org/show_bug.cgi?id=741115

glvideomixer: don't upload if alpha <= 0

Implemented using a upload_buffer vfunc within GstGLMixer allowing
NULL uploaded buffers.

compositor: Document the zorder pad property from gstvideoaggregator

gl: split glcolorconvert usage from glupload

the separation allows the transfer operation to occur in a separate
thread/time which may increase performance in specific circumstances.

compositor: Don't do any conversions if the pad is completely transparent anyway

gitignore: ignore more files

glmixer, glvideomixer: update for GstAggregatorPadForeachFunc change

glmixer: update for aggregator start/stop vfunc change

videoaggregator: update for aggregator start/stop vfunc change

aggregator: make padding larger

Esp. the class structures, can't have enough
spare space for virtual functions.

glvideomixer: Point to compositor for the pad properties documentation

compositor: Document the pad properties

videoaggregator: Use the src query implementation of aggregator as the default case

videoaggregator: Don't try to map NULL buffers

videoaggregator: Make sure to always update the pad's videoinfo together with buffers

Otherwise the videoinfo and the buffer content can go out of sync.

compositor: Fix memory leak when no buffer is available for a pad currently

CID 1258718

aggregator: Add function to allow subclasses to set their own latency

For audiomixer this is one blocksize, for videoaggregator this should
be the duration of one output frame.

aggregator: Add a timeout parameter to ::aggregate()

When this is TRUE, we really have to produce output. This happens
in live mixing mode when we have to output something for the current
time, no matter if we have enough input or not.

aggregator: make the src pad task drive the pipeline for live pipelines

This removes the uses of GAsyncQueue and replaces it with explicit
GMutex, GCond and wakeup count which is used for the non-live case.

For live pipelines, the aggregator waits on the clock until either
data arrives on all sink pads or the expected output buffer time
arrives plus the timeout/latency at which time, the subclass
produces a buffer.

https://bugzilla.gnome.org/show_bug.cgi?id=741146

videoaggregator: always try to use newer buffers

instead of dropping them for being too old.  This ensures that
the newest buffer is always used for rendering

videoaggregator: Hide some more fields from the API

+ Add some documentation

gl: fixup vao and vbo usage for legacy GL

compositor: Failure to map a video frame is not just a warning

Also add some warning debug output if mapping a output buffer fails

videoaggregator: Failure to map a video frame is not just a warning

gldisplay: implement runtime GL api filtering

Needed so that the pipeline/application can limit the choice of GL api
to what it supports

gl: add a sync meta for synchronizing across GL contexts

A context can create a GLsync object that can be waited on in order
to ensure that GL resources created in one context are able to be
used in another shared context without any chance of reading invalid
data.

This meta would be placed on buffers that are known to cross from
one context to another.  The receiving element would then wait
on the sync object to ensure that the data to be used is complete.

glvideomixer: add support for gl3

videoaggregator: Minor cleanup

compositor: Implement rescaling of the input via pad properties

compositor has now the same interface as glvideomixer.

videoaggregator: Copy over more fields from the relevant video-info

gst_video_info_set_format() will reset the complete video-info, but
we want to keep values like the PAR, colorimetry and chroma site.
Otherwise we risk setting different values on the srcpad caps than
what is actually inside the buffers.

videoaggregator: Directly use the converters video-info instead of recalculating it

videoaggregator: Do source pad negotiation only from the aggregated function

Otherwise we might negotiate from the sinkpad streaming threads at
the same time as on the srcpad streaming thread, and then all kinds
of crazy bugs happen that don't make any sense at all.

videoconvert: Hide all conversion related fields

And do not delay the setting of the conversion_info

https://bugzilla.gnome.org/show_bug.cgi?id=740768

videoaggregator: Expose vmethods to set converters and prepare/clean frames

This gives more flexibility to the subclasses and permits to remove the
GstVideoAggregatorClass->disable_frame_conversion ugly API.

WARNING: This breaks the API as it removes the disable_frame_conversion
field

API:
  + GstVideoAggregatorClass->find_best_format
  + GstVideoAggregatorPadClass->set_format
  + GstVideoAggregatorPadClass->prepare_frame
  + GstVideoAggregatorPadClass->clean_frame

  - GstVideoAggregatorClass->disable_frame_conversion

https://bugzilla.gnome.org/show_bug.cgi?id=740768

videoaggregator: Let a full renegotiation happen after removing the last pad

With the current code, we will end up setting the preferred downstream
format as the srcpad format, and it might not be accepted by the next
sinkpad to be added. We should instead let the next sinkpad reconfigure
everything.

videoaggregator: Also sync pad properties to the controller if conversion is disabled

compositor: Remove unused zorder pad property

It's handled in videoaggregator already.

compositor: GstVideoMeta is supported just fine, tell upstream about that

Also provide a GstVideoBufferPool to upstream just in case.

glupload: rearchitecture for non GLMemory inputs/outputs

Allows other memory types to be implemented/returned/used by the caller.

videoaggregator: Don't output 0-duration buffers at the segment end

https://bugzilla.gnome.org/show_bug.cgi?id=740376

videoaggregator: fix up QoS handling for live sources

Only attempt adaptive drop when we are not live

https://bugzilla.gnome.org/show_bug.cgi?id=739996

glmixer: add read-only context property

gl: remove the width/height fields from the caps to support frame resizing

It was previously only occuring with sysmem caps features

https://bugzilla.gnome.org/show_bug.cgi?id=739334

videoaggregator: Swap source/destination parameters of gst_video_converter_frame()

glmixer: advertise support for changing input caps mid-stream

https://bugzilla.gnome.org/show_bug.cgi?id=739334

videoaggregator: remove storage of never used values

These two values are stored just before the function returns and they go out of
scope.

glmixer: don't get the current caps from GstVideoInfo for the srcpad

It's missing the caps features needed.

glmixer:fix incorrect parameter passed to handle_set_context

glmixer: override the caps query in order to 'convert' capsfeatures

Otherwise, it is only possible for the sink pads and the src pads to
have the exact same caps features.  We can convert from any feature
to another feature so support that.

glmixer: override the accept caps query in order to 'convert' capsfeatures

Otherwise, it is only possible for the sink pads and the src pads to
have the exact same caps features.  We can convert from any feature
to another feature so support that.

gl: propogate other-context using GstContext

glmixer: fixup eglimage include path

videoaggregator: fixate the parts of the caps we don't know how to deal with

fixes glvideomixer with video/x-raw,width=foo i.e. no format field.

glbufferpool: add the GstVideoGLTextureUploadMeta buffer pool option

videoaggregator: operate on caps rather than video info

Otherwise the CapsFeatures will be lost along with the possibility
of multiple output types and formats.

https://bugzilla.gnome.org/show_bug.cgi?id=738129

glmixer: Call the pad's parent class finalize method

glmixer: Only finalize the other context in finalize()

Otherwise we change a value of a property when going to READY state,
which is unexpected behaviour.

glmixer: Add other-context property

aggregator: add latency query handling

videoaggregator: support unresponsive pads

Render unresponsive pads with the last video frame received.

videoaggregator: remove the use of the queued buffer on sink pads

That data is now held by the aggregator class

videoaggregator: Do not wrongly set the aggregator.segment

The aggregator.segment is not to be initialized by the subclasses but
by the aggregator itself. Moreover, initializing it on start would make
us loose the information coming from the initial seek.

videoaggregator: Make sure not to unref a NULL pointer

videoaggregator: Unmap and free GstVideoFrames as needed after conversion and errors

videoaggregator: Do not to release VIDEO_AGGREGATOR_LOCK while setting format info

We should be able to always keep the VIDEO_AGGREGATOR_LOCK while
negotiating caps, this patch introduce that change.

That also implies that we do not need the SETCAPS_LOCK anymore because
now VIDEO_AGGREGATOR_LOCK guarantees that setcaps is not called from
several threads and the gst_aggregator_set_caps method is now
protected.

https://bugzilla.gnome.org/show_bug.cgi?id=735042

videoaggregator: Also copy over the chroma siting and colorimetry when deciding on a conversion

videoaggregator: Revert the last commit and handle resolutions differences properly

This is about converting the format, not about converting any widths and
heights. Subclasses are expected to handler different resolutions themselves,
like the videomixers already do properly.

videoaggregator: GstVideoConverter currently can't rescale and will assert

Leads to ugly assertions instead of properly erroring out:
CRITICAL **: gst_video_converter_new: assertion 'in_info->width == out_info->width' failed

glvideomixer: update element documentation

videoaggregator: don't create converters when the subclass doesn't want them

fixes a critical with glvideomixer after
35bd1969f912cecda0fb5df9595a005e6ddf4e7a

CRITICAL **: gst_video_converter_new: assertion 'in_info->width == out_info->width' failed

glvideomixer: fix blending with low-alpha sources

We also need to apply the blend paramaters to the alpha channel otherwise
the output of the blend will appear black at low alpha values (< 0.2).

video: use video lib conversion code instead of copy

glvideomixer: skip input frames with an alpha of 0

gl: download whenever we have sysmem capsfeatures

Otherwise we could pass on a RGBA formatted buffer and downstream would
misinterpret that as some other video format.

Fixes pipelines of the form

    gleffects ! tee ! xvimagesink

glupload: provide the output buffer that is rendered into

Allows callers to properly reference count the buffers used for
rendering.

Fixes a redraw race in glimagesink where the previous buffer
(the one used for redraw operations) is freed as soon as the next
buffer is uploaded.

1. glimagesink uploads in _prepare() to texture n
1.1 glupload holds buffer n
2. glimagesink _render()s texture n
3. glimagesink uploads texture n+1
3.1 glupload free previous buffer which deletes texture n
3.2 glupload holds buffer n+1
4. glwindow resize/expose
5. glimagesink redraws with texture n

The race is that the buffer n (the one used for redrawing) is freed as soon as
the buffer n+1 arrives.  There could be any amount of time and number of
redraws between this event and when buffer n+1 is actually rendered and thus
replaces buffer n as the redraw source.

https://bugzilla.gnome.org/show_bug.cgi?id=736740

gl: Removed unreachable break, unused variable

https://bugzilla.gnome.org/show_bug.cgi?id=736957