compositor: fix undeclared functions

compositor: Implement different operators via per-pad property

This removes the crossfade-ratio property and replaces it with an
operator property. Currently this implements the following operators:

- SOURCE: Copy over the source and don't look at the destination
- OVER: Default blending of the source over the destination
- ADD: Like OVER but simply adding the alpha instead

See the example for how to implement crossfading with this.

https://bugzilla.gnome.org/show_bug.cgi?id=797169

compositor: Remove extra header for the pad declaration

There's no reason for having this separate apart from making things less
discoverable.

meson: Replace empty configuration_data() with copy keyword

Use 'copy' keyword to avoid meson warning message.
Note that 'copy' keyword in configure_file() is available
since meson 0.47.0

https://bugzilla.gnome.org/show_bug.cgi?id=797298

glvideomixer: fix the default blend modes for unpremultipled alpha

Alpha in GStreamer is unpremultiplied

glmixerbin: add gloverlaycompositor to each input stream

Flattens the overlay compositions into the stream before the mixer will
mix them.

https://bugzilla.gnome.org/show_bug.cgi?id=759867

glstereomix: Fix build after deprecating misnamed GST_TYPE_GL_STEREO_DOWNMIX_MODE_TYPE

glmixerbin: "latency" property on aggregator is uint64, not int64

Also update the property description and range with aggregator's values.

glvideomixer: fix constant alpha enum value for constant alpha

glvideomixer: Fix typo in property description

compositor: Define crossfade-ratio to have range [0.0,1.0]

Previously negative values had the same effect as 0.0, which was
confusing.

https://bugzilla.gnome.org/show_bug.cgi?id=796845

videoaggregator: Make sure to hold object lock while iterating sink pads

They might otherwise just change while we iterate.

compositor: Don't leak all buffers while crossfading and not all pads are crossfading

compositor: Use 255 as maximum alpha instead of 256

255 will easily become 0 in the blending function as they expect
the maximum value to be 255.

Can be reproduce with

gst-launch-1.0 videotestsrc pattern=ball ! c.sink_0 \
               videotestsrc pattern=snow ! c.sink_1 \
               compositor name=c \
                 sink_0::zorder=0 sink_1::zorder=1 sink_0::crossfade-ratio=0.5 \
                 background=black ! \
               videoconvert ! xvimagesink

crossfade-ratio +/- 0.001 makes it work correctly and the same happens
at e.g. 0.25, 0.75, N*0.0625

https://bugzilla.gnome.org/show_bug.cgi?id=796846

compositor: Update conversion info in property setter

... not in getter. Otherwise, video-converter will not be updated
with new width/height

https://bugzilla.gnome.org/show_bug.cgi?id=796828

glvideomixer: fix default placement when different sized output

i.e. when expanding from 320x240 to 800x600, the resulting frame should
appear in the top left corner, not the middle.

https://bugzilla.gnome.org/show_bug.cgi?id=794401

glvideomixer: Moves the objects to zero on z axis

Matches the output from a similar glimagesink pipeline when
rotating from an upstream gltransformation passed through
the affine transformation meta with xpos/ypos being set.

https://bugzilla.gnome.org/show_bug.cgi?id=794401

glvideomixer: Fix coding style

glvideomixer: Add missing string.h include

Moved the pad offset and aspect ratio to a matrix so it will be added in view space and not in world space

https://bugzilla.gnome.org/show_bug.cgi?id=794401

videoaggregator: Update for g_type_class_add_private() deprecation in recent GLib

gl: Update for g_type_class_add_private() deprecation in recent GLib

videoaggregator: Fix string leak

gst_video_colorimetry_to_string() returns allocated memory which
must be freed.

https://bugzilla.gnome.org/show_bug.cgi?id=796596

videoaggregator: log an ERROR if we're going to return a flow error

videoaggregator: Remove custom get_next_time implementation

GstAggregator now has the same thing in the simple implementation.

https://bugzilla.gnome.org/show_bug.cgi?id=795486

videoaggregator: Set video-meta option on buffer pool configuration correctly

CID 1435451

videoaggregator: First override set/get_property vfuncs, then install properties

Gives assertions otherwise.

videoaggregator: Some more documentation fixes

videoaggregator: expose converter-config on convert pads

This in order to allow users control over the conversion
process, for example the scaling method.

videoaggregator: Fix up documentation some more

videoaggregator: Clean up header and update docs a bit

videoaggregator: Rename get_output_buffer() to create_output_buffer()

For consistency with GstAudioAggregator.

videoaggregator: Validate pool configuration and create a new pool if it just does not work

Also pass the given allocator to the pool if one is set.

videoaggregator: Switch to a GstVideoAggregatorConvertPad subclass

This moves all the conversion related code to a single place, allows
less code-duplication inside compositor and makes the glmixer code less
awkward. It's also the same pattern as used by GstAudioAggregator.

glmixer: Include string.h for memset()

gstglmixer.c:143:5: error: implicit declaration of function ‘memset’ [-Werror=implicit-function-declaration]
     memset (prepared_frame, 0, sizeof (GstVideoFrame));
     ^~~~~~
gstglmixer.c:143:5: error: incompatible implicit declaration of built-in function ‘memset’ [-Werror]

videoaggregator: Remove sink_non_alpha_caps class field

This is only used for caching reasons and should never actually be in
the public API. If this is ever a bottleneck later, caching around a
class private struct could be implemented.

videoaggregator: Move needs_alpha pad field to the private struct

And also trigger renegotiation if the value has changed.

https://bugzilla.gnome.org/show_bug.cgi?id=795836

videoaggregator: Move aggregated_frame and the pad buffer into the private struct

The aggregated_frame is now called prepared_frame and passed to the
prepare_frame and cleanup_frame virtual methods directly. For the
currently queued buffer there is a method on the video aggregator pad
now.

glmixer: Move frame/texture mapping/unmapping into prepare/clean_frame

Previously we assumed that the texture ID is going to be valid even
after unmapping the frame, as it was immediately unmapped before even
being used. Now we only unmap once we're done with the texture.

videoaggregator: Move property storage to private pad struct

videoaggregator: Rename ignore-eos pad property to repeat-after-eos

What it does is to repeat the last frame forever after EOS, it does not
literally ignore EOS.

videoaggregator: Move GstChildProxy implementations into leaf classes

Not every subclass will want to expose the pads via the interface.

https://bugzilla.gnome.org/show_bug.cgi?id=739011

videoaggregator: Get rid of separate header for the aggregator pad

Meson: Generate pc file for all plugins in bad

https://bugzilla.gnome.org/show_bug.cgi?id=794568

video: GST_EXPORT -> GST_URI_VIDEO_BAD_API

We need different export decorators for the different libs.
For now no actual change though, just rename before the release,
and add prelude headers to define the new decorator to GST_EXPORT.

Port to latest GstAggregator segment API

The aggregator segment is now exposed on the src pad

https://bugzilla.gnome.org/show_bug.cgi?id=793946

Dist compositor crossfade example and pythons script for meson build

And add to autotools build so it gets disted.

Update ORC fallback disted code

glvideomixer: fix vertex_buffer leak

We call the base class first as this will remove the pad from
the aggregator, thus stopping misc callbacks from being called,
one of which (process_textures) will recreate the vertex_buffer
if it is destroyed

https://bugzilla.gnome.org/show_bug.cgi?id=760873

videoaggregatorpad: implement skip_buffer

Skip buffers from sources with a framerate higher than the output
framerate.

https://bugzilla.gnome.org/show_bug.cgi?id=781928

Update for renamed aggregator pad API

https://bugzilla.gnome.org/show_bug.cgi?id=791204

Remove GstAggregator from -bad, moved to core

https://bugzilla.gnome.org/show_bug.cgi?id=739010

videoaggregator: Don't leak string

The result of gst_video_colorimetry_to_string () needs to be free'd

aggregator: Remove klass->sinkpads_type

This posed problems for the python bindings (and possibly others).

Instead, subclasses now use add_pad_template_with_gtype.

https://bugzilla.gnome.org/show_bug.cgi?id=789986

videoaggregator: use new gst_element_foreach_sink_pad()

Instead of gst_aggregator_iterate_sinkpads() which will
soon be removed.

https://bugzilla.gnome.org/show_bug.cgi?id=785679

videoaggregator: add CAST macros

gl: use new gst_element_foreach_sink_pad()

Instead of gst_aggregator_iterate_sinkpads() which will
soon be removed.

https://bugzilla.gnome.org/show_bug.cgi?id=785679

videoaggregator: drop ABI compat in padding for new struct member

Don't really have to do that while it's in -bad and most users
are in-tree anyway.

videoaggregator: use GstFlowReturn for flow returns

glmixer: Unmap video frame in error case

https://bugzilla.gnome.org/show_bug.cgi?id=788127

glvidemixer: need reconfigure output gemotry after caps renegotiated

Revert "glvideomixer: need update output geometry after src caps reconfigure"

This reverts commit d6e538dc5651fb03c85d7c7614bcf6c689f2db2f.

glvideomixer: need update output geometry after src caps reconfigure

Need update output geometry when sink caps changed and use
gst_structure_set to update caps if structure is fixed

https://bugzilla.gnome.org/show_bug.cgi?id=787820

Request minimum buffer even if need_pool is FALSE

When tee is used, it will not request a pool, but still it wants to
know how many buffers are required.

https://bugzilla.gnome.org/show_bug.cgi?id=730758

gl: do not include GL headers in public gstgl headers

Except for gst/gl/gstglfuncs.h

It is up to the client app to include these headers.
It is coherent with the fact that gstreamer-gl.pc does not
require any egl.pc/gles.pc. I.e. it is the responsability
of the app to search these headers within its build setup.

For example gstreamer-vaapi includes explicitly EGL/egl.h
and search for it in its configure.ac.

For example with this patch, if an app includes the headers
  gst/gl/egl/gstglcontext_egl.h
  gst/gl/egl/gstgldisplay_egl.h
  gst/gl/egl/gstglmemoryegl.h
it will *no longer* automatically include EGL/egl.h and GLES2/gl2.h.
Which is good because the app might want to use the gstgl api only
without the need to bother about gl headers.

Also added a test: cd tests/check && make libs/gstglheaders.check

https://bugzilla.gnome.org/show_bug.cgi?id=784779

videoaggregator: use colorimetry from find_best_format.

This increases the chances that we won't need to do any conversion
for a given pad.

https://bugzilla.gnome.org/show_bug.cgi?id=786078

videoaggregator: improve find_best_format heuristic.

The goal here is to minimize the work needed to bring all images
to a common format. A better criteria than the number of pads
with a given format is the number of pixels with a given format.

https://bugzilla.gnome.org/show_bug.cgi?id=786078

compositor: improve conversion debugging

https://bugzilla.gnome.org/show_bug.cgi?id=786078

videoaggregator: Don't mix up width and height

CID 1416129

examples: fix compiler warning in compositor crossfade example

warning: control reaches end of non-void function

compositor: update disted orc fallback files

tests: examples: Add a simple crossfade example

https://bugzilla.gnome.org/show_bug.cgi?id=784827

compositor: Add support for crossfade blending

Crossfading is a bit more complex than just having two pads with the
right keyframes as the blending is not exactly the same.

The difference is in the way we compute the alpha channel, in the case
of crossfading, we have to compute an additive operation between
the destination and the source (factored by the alpha property of both
the input pad alpha property and the crossfading ratio) basically so
that the crossfade result of 2 opaque frames is also fully opaque at any
time in the crossfading process, avoid bleeding through the layer
blending.

Some rationnal can be found in https://phabricator.freedesktop.org/T7773.

https://bugzilla.gnome.org/show_bug.cgi?id=784827

video: mark symbols explicitly for export with GST_EXPORT

videoaggregator: fix gaps at end of streams.

When the pad has received EOS, its buffer may still be mixed
any number of times, when the pad's framerate is inferior
to the output framerate.

This was introduced by my patch in
https://bugzilla.gnome.org/show_bug.cgi?id=782962, this patch
also correctly addresses the initial issue.

glbasemixer: Remove unused negotiated member

This is now all handled in GstAggregator, so this code is not
called anymore.

videoaggregator: Declare that it supports the video meta on input

https://bugzilla.gnome.org/show_bug.cgi?id=782918

gl*mixer: Use propose_allocation from the GstAggregator base class

https://bugzilla.gnome.org/show_bug.cgi?id=782918

videoaggregator: Create normal video pool as a fallback

https://bugzilla.gnome.org/show_bug.cgi?id=746529

glbasemixer: Remove own decide_allocation, use GstAggregator's

https://bugzilla.gnome.org/show_bug.cgi?id=746529

glbasemixer: Use aggregator for allocation handling

https://bugzilla.gnome.org/show_bug.cgi?id=746529

videoaggregator: Get the buffer from the pool if available

https://bugzilla.gnome.org/show_bug.cgi?id=746529

videoaggregator: Return to parent on reconfigure

The caps negotiation is now in the parent, so need to return there
if a reconfiguration is needed, otherwise it will loops forever.

aggregator: add simple support for caps handling

Modelled off the videoaggregator caps handling as that seems the most
mature aggregtor-using implementation that has caps handling there is.

https://bugzilla.gnome.org/show_bug.cgi?id=776931

videoaggregator: delay using new caps from a sink pad until the next buffer in the queue is taken

When caps changes while streaming, the new caps was getting processed
immediately in videoaggregator, but the next buffer in the queue that
corresponds to this new caps was not necessarily being used immediately,
which resulted sometimes in using an old buffer with new caps. Of course
there used to be a separate buffer_vinfo for mapping the buffer with its
own caps, but in compositor the GstVideoConverter was still using wrong
info and resulted in invalid reads and corrupt output.

This approach here is more safe. We delay using the new caps
until we actually select the next buffer in the queue for use.
This way we also eliminate the need for buffer_vinfo, since the
pad->info is always in sync with the format of the selected buffer.

https://bugzilla.gnome.org/show_bug.cgi?id=780682

tests: Test caps using query

Sending an event can accepted event if the caps were rejected
because the event could be queued and processed later.

Also send a drain query in the caps test to make sure that the
event has been processed.

https://bugzilla.gnome.org/show_bug.cgi?id=781673

Remove plugin specific static build option

Static and dynamic plugins now have the same interface. The standard
--enable-static/--enable-shared toggle are sufficient.

glvideomixer: fix whole example launch line actually

glvideomixer: remove extraneous \ from example launch line in docs

docs: Port all docstring to gtk-doc markdown

videoaggregator: Do not mix the same buffer twice when EOS.

When entering this code path, we know that:

We received EOS on this pad.
We consumed all its buffers.

In any case, we want to replace vaggpad->buffer with NULL,
otherwise we will end up mixing the same buffer twice.

https://bugzilla.gnome.org/show_bug.cgi?id=781037

videoaggregator: redo src caps negotiation if a sink pad's caps have changed in the meantime

https://bugzilla.gnome.org/show_bug.cgi?id=755782

glvideomixer/compositor: Correctly error out if calculating DAR fails

CID 1320700

gl: Rename gst_gl_get_affine_transformation_meta_as_ndc_ext() to prevent symbol conflict

The same symbol also exists in libgstgl, although marked as private and
internal. This has no effect when doing static linking and there's a
symbol conflict.

glmixer: ensure caps are writable after intersection

gst_caps_intersect () may return an increased reference of one of the
input caps.

Fixes critical in the simple-launch-lines test:

Unexpected critical/warning: gst_caps_set_features: assertion 'IS_WRITABLE (caps)' failed

gl/utils: also take care of the local GL context in query functions

Simplifies a deduplicates a lot of code in elements retrieving/setting
the local OpenGL context.

glutils: remove trivial helper function

gst_gl_caps_replace_all_caps_features() is only used in two places and can
be trivially reproduced.

gl: remove custom control binding proxy

Use the existing GstProxyControlBinding instead.

glvideomixer: Reject multiview video

glvideomixer does not support it currently and it needs special support
for handling this correctly, and is rather non-trivial to implement for
all formats.

compositor: Reject multiview video

Compositor does not support it currently and it needs special support
for handling this correctly, and is rather non-trivial to implement for
all formats.