glwindow: Fix g_return_val_if_fail in a void function

glimagesink: request a resize on caps/3d mode changes

Fixes incorrect aspect ratio on OSX when changing caps or the 3d
output mode.

https://bugzilla.gnome.org/show_bug.cgi?id=755111

glwindow: add API to request a resize event on the next draw

- glimagesink needs to be able to resize the viewport on aspect ratio
  changes resulting from either caps changes or 3d output mode changes.
- Performing a glViewport outside the GstGLWindow::resize callback
  will not have the winsys' stack of viewports required to correctly
  place the output frame.

Provide a function to request a resize on the next draw event from the
winsys.

Also track size changes inside the base GstGLWindow class rather
than in each subclass.

https://bugzilla.gnome.org/show_bug.cgi?id=755111

gl/uploadelement: fail earlier if we could not upload the buffer

gl/x11: store the correct dimension from the resize events

small typo s/width/height/

gl: Fix GError leaks during failures

https://bugzilla.gnome.org/show_bug.cgi?id=755140

glimagesink: avoid updating the viewport in the draw loop

Fixes flashes/incorrect aspect ratio when resizing glimagesink on OSX.

gl: bufferpool take into account video stride alignment requirements

when allocating memory. Fixes crashes with avdec_h265 in the AVX2
code path which requires 32-byte stride alignment, but the
GstAllocationParams only specified a 16-byte alignment.

https://bugzilla.gnome.org/show_bug.cgi?id=754120

gl/api: use public rather than private define

HAVE_IOS is only defined for the build of this module so
attempting to use gstgl in iOS would result in incorrect GL
includes.
Use GST_GL_HAVE_PLATFORM_EAGL instead for choosing the iOS GL
header.

gl/eagl: Also unbind renderbuffer after setting up framebuffer

https://bugzilla.gnome.org/show_bug.cgi?id=754757

gl/eagl: Don't make context uncurrent just to make it current again in the next line

Also binding the framebuffer again is unnecessary then as it was just bound a
few lines before while the context was current.

https://bugzilla.gnome.org/show_bug.cgi?id=754757

gtk, qt, gl: fix typo in debug and error messages

glupload: Use base class metadata copy function

This allow properly copying selected meta, like the composition
overlay. Note that output buffer need to be readable, but GlUpload
keeps a ref. For now, simply drop GlUpload ref after perform,
leaving that ref has no purpose. The method shall be removed
in the future.

https://bugzilla.gnome.org/show_bug.cgi?id=754047

glcolorconvert: Use base transform metadata copy

Use base class default method instead of only copying flags and
timestamp. This way, selected meta's like compostion overlay will
be passed downstream as expected.

https://bugzilla.gnome.org/show_bug.cgi?id=754047

gl/eagl: Unref context after setting a window handle

gst_gl_window_get_context() returns a new reference.

Hopefully fixes https://bugzilla.gnome.org/show_bug.cgi?id=753758

glimagesink: update display size before sending event

This is minor issue, as the reconfigure event is asynchronous.
Basically, update width/height before sending the event.

gl: Let base transform relay the meta api for us

During allocation query, when this element is not passthrough, it must
relay the overlay compostion meta and it's parameters. Fortunatly, base
transform can do this for us.

https://bugzilla.gnome.org/show_bug.cgi?id=753850

glcontext: add specific error message when missing GL_SHADING_LANGUAGE_VERSION

GL_SHADING_LANGUAGE_VERSION was introduced since ES 2.0, but in some
android emulator doesn't support this feature. To prevent confusion for
developer, the error message need to be more clear.

https://bugzilla.gnome.org/show_bug.cgi?id=753905

caopengllayersink: Don't chain up to parent's query handling twice for DRAIN query

https://bugzilla.gnome.org/show_bug.cgi?id=753913

glbasefilter: only call gl_{stop,start} if the context changed

Removes the redundant GL object creation/deletion on every
decide_allocation call which is being called for every caps change.

Thus reduces the required GL state changes on reconfigure events
which are being sent by glimagesink/xvimagesink

glupload: Recalculate offset and size in raw upload

As we only expose the mapped portion of the frame into the GL
memory object (and not the original padding) we need to
re-calculate the size and offset.

checks: Ensure thread-safe libX11/GL when running tests

gloverlaycompositor: Also disable the blend when done

glsink: Enable sync meta on pools we offer

As the upload is asynchronous, we need to enable the sync meta to
gain correct rendering. The buffer pool receiver don't know about
that.

glimagesink: Move overlay rendering after video rendering

This is mostly cosmetic, but heoretically it reduces the amount of
required object in the context at one point. It also avoids potential
conflicts.

opengl: Change GLclampd to double

GLclampd does not exist on GLES, only desktop GL.

opengl: add missing ClearDepth prototype

The ClearDepth call is missing.

https://bugzilla.gnome.org/show_bug.cgi?id=753639

glimagesink: take into account non 1/1 par for navigation

The current code was ignoring the par/dar aspect when transforming
from window coordinates to stream coordinates resulting in incorrect
coordinates being sent upstream in the navigation events.

gl: Add opengl_version.h to the list of sources

Adding this private header to the list of sources. We don't want to make
this header public, but we need it in the list of sources otherwise it
won't be included in the tarball. This fixes make distcheck.

This regression was introduced by commit 1a6fe3db

gl: use gles2 shaders everywhere

This effectively limits a glfilter subclass to be > GL(ES) 2.0.
rather than a possible GL 1.4.

glcontext/wgl: implement gl3 core profile context selection

gltransformation: implement pivot point for rotation and scale

https://bugzilla.gnome.org/show_bug.cgi?id=744763

Add a pivot vector for setting the origin of rotations and scales.

With the pivot point the rotation and scale operations can have
different origins. This adds the ability to rotate around different points.
Currently the default (0, 0) pivot point is possible,
a rotation around the center, and zooming into and out of the center.

With an pivot point this is optional.
I defined the following image coordinates for the pivot point:

 (-1,1) ------------------------- (1,1)
| |
| |
| |
|   (0,0) |
| |
| |
| |
(-1,-1) ------------------------- (1,-1)

Example:

Rotate the video at the bottom left corner

gst-launch-1.0 videotestsrc \
! gltransformation \
  scale-x=0.5 \
scale-y=0.5 \
rotation-z=25.0 \
pivot-x=-1.0 \
pivot-y=-1.0 \
! glimagesink

The pivot-z option defines the pivot point in 3D space.
This only affects rotation, since we have no Z data to scale.
With this option a video can be rotated around a point in 3D space.

Example:

Rotate around point behind the video:

     gst-launch-1.0 videotestsrc \
! gltransformation \
rotation-x=10.0 \
pivot-z=-4.0 \
! glimagesink

gloverlaycompositor: Add shader to convert BGRA/ARGB -> RGBA

Depending on the bytes order we will get BGRA (little) and ARGB (big)
from the composition overlay buffer while our GL code expects RGBA. Add
a fragment shader that do this conversion.

https://bugzilla.gnome.org/show_bug.cgi?id=752842

gl/syncmeta: implement synchronisation without glFenceSync

Uses glFinish as that's the best we have for lesser OpenGL versions.

tests/glcontext: fix INVALID_ENUM GL error in test

context/glx: only use glXCreateContextAttribs for OpenGL 3 contexts

mesa for example when creating a GL 3.1 compatibility context
overrides our context profile selection to create a core context.

glvideomixer: swap control binding proxy

The ref_object and object parameters were the wrong way around.

For the typical use case where an application is setting a
GstControlBinding on the returned ghost pad:
1. our control binding would be removed when the new one was set
2. sync_values calls were not being forwarded from the internal
   pad to the ghost pad.

If an application attempts to perform other control binding
operations (get_* family of functions) on the internal pad, they
will also be forwarded to the ghost pad where a possible
GstControlBinding will provide the necessary values.

gstglfilterbin: remove unused variable

res is set multiple times but never used or returned. Removing it.

glupload: Remove debug output from gst_gl_upload_transform_caps()

We can't know if the GstGLUpload type is initialized at this point already,
and thus our debug category might not be initialized yet... and cause an
assertion here.

As we don't print debug output for any of the other transform functions, let's
defer this problem for now.

glstereomix: remove redundant initialization

v is initialized in the for loop init, no need to do it twice. Removing
first initialization.

glcolorconvert-test: Test notify function for setup_wrapped

gst_gl_memory_setup_wrapped() now takes a destroy notify function. This
destroy notify is called to track the memory life time, hence will
notify each time a memory get destroyed. This test check that the
callback count is correct.

glcolorconvert-test: Fix build

glupload: Add fixme about using bufferpool for raw

http://bugzilla.gnome.org/show_bug.cgi?id=752937

glupload: Keep input frame mapped as long as needed

When performing a raw upload, we need to keep the raw data mapped as
long as needed.

https://bugzilla.gnome.org/show_bug.cgi?id=752937

Revert "glupload: memcpy on raw data upload"

This reverts commit 82c0189b2842e8729e82a4e73491dffc977bc7c2.

https://bugzilla.gnome.org/show_bug.cgi?id=752937

glcontext/wgl: fix defenition of gst_gl_context_wgl_new

gstglcontext_wgl.c: In function 'gst_gl_context_wgl_new':
gstglcontext_wgl.c:83:40: error: 'display' undeclared (first use in this function)

gl/cocoa: fix definition of gst_gl_context_new

gstglcontext_cocoa.m:75:1: error: conflicting types for 'gst_gl_context_cocoa_new'

gl/win32: fix definition of gst_gl_window_win32_new

wayland: fail window open if the display is the correct type

Errors out cleanly if a wayland compositor is not running

glwindow: pass display to implementation's _new()

So they have to opportunity to fail if they cannot handle the
display connection.

https://bugzilla.gnome.org/show_bug.cgi?id=752743

glcontext: pass display to implentation's _new()

This allows the context to fail creation based on incompatible
display type's. e.g. glx context with an wayland display handle.

https://bugzilla.gnome.org/show_bug.cgi?id=752743

gl: support cgl, egl and glx within a same build

On osx, with the same build,
gst-launch-1.0 videotestsrc ! glimagesink works with:

GST_GL_PLATFORM=egl GST_GL_WINDOW=x11 GST_GL_API=gles2
GST_GL_PLATFORM=egl GST_GL_WINDOW=x11 GST_GL_API=opengl

GST_GL_PLATFORM=glx GST_GL_WINDOW=x11 GST_GL_API=opengl

GST_GL_PLATFORM=cgl GST_GL_WINDOW=cocoa GST_GL_API=opengl
GST_GL_PLATFORM=cgl GST_GL_WINDOW=cocoa GST_GL_API=opengl3

https://bugzilla.gnome.org/show_bug.cgi?id=752743

glupload: Check that caps contain desired caps features

Use 'contains' checks instead of equality checks on caps features
to allow for uploading when caps also contain GstVideoOverlayComposition
meta.

https://bugzilla.gnome.org/show_bug.cgi?id=752912

gl: move GL_NUM_EXTENSIONS definition after gl.h

https://bugzilla.gnome.org/show_bug.cgi?id=752743

caopengllayersink: remove unused label context_creation_error

Build error introduced by commit
5457e55f255518d679b59a170951e299ecd8c5f6

https://bugzilla.gnome.org/show_bug.cgi?id=750310

glimagesink: fix allocation meta structure leak

gst_query_add_allocation_meta() does not take ownership
of the structure, for some reason.

CID 1312135

glupload: fix memory leak

GstCapsFeatures need to be freed with gst_caps_features_free() after use.

CID #1312136, CID #1312136

glvideomixer: Add GstControlBinding proxy

This is used to proxy GstControlBinding to the pad on the
parent object. This avoid having to sync the values in the proxy pad,
this is too early if you have a queue between the pad and the actual
aggregation operation.

https://bugzilla.gnome.org/show_bug.cgi?id=734060

glupload: Forward composition meta even without params

When the sink does not know the window size (e.g not created yet)
it will not add any param to the the composition meta. This is no
reason not to forward this meta API. Fixes issue where it could not
attach until we resize the window.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

gloverlaycompositor: Keep memory pointer alive

Keep the composition memory pointer alive while it's being
wrapped inside a GstGLMemory object.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

gloverlaycompositor: Pass buffer stride

The overlay pixel buffer stride was not given back
to the GL image.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

gloverlaycompositor: Hide GstCompsitionOverlay object

This object is only used inside the compositor and does not
need to be expose in libgstgl API.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

libgstgl: Makefile style fix

composition-overlay: Positions are relative to texture

The coordinate are relative to the texture dimension and not
the window dimension now. There is no need to pass the window
dimension or to update the overlay if the dimension changes.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

gloverlaycompositor: Create own shader object

Make gloverlaycompositor independent of the shader used in the sink.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

glimagesink: Properly handle compsositor life time

Should be created in READY_TO_PAUSED, not PAUSED_TO_PLAYING.
Should be cleared in PAUSED_TO_READY.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

caopengllayersink: use gst_gl_display_create_context

https://bugzilla.gnome.org/show_bug.cgi?id=750310

glstereosplit: use gst_gl_display_create_context

Also unlock the lock on error.

https://bugzilla.gnome.org/show_bug.cgi?id=750310

gloverlaycompositor: for loop initial declarations are only allowed in C99 mode

Fixes compiler warnings

gl: use gst_gl_display_create_context in more elements.

glbasefilter, glbasemixer and gltestsrc.

https://bugzilla.gnome.org/show_bug.cgi?id=750310

gl/build: fix typo in _HEADERS resulting in installing the wrong file

/usr/include/gstreamer-1.0/gst/gl/gl.h:51:43: fatal error:
    gst/gl/gstgloverlaycompositor.h: No such file or directory

glcolorconvert: add RGB to NV12/NV21 conversion

glimagesink: Send reconfigure event when window size changes

https://bugzilla.gnome.org/show_bug.cgi?id=745107

glimagesinkbin: Add allocation query for GstVideoOverlayComposition

Adds an GST_VIDEO_OVERLAY_COMPOSITION_META_API_TYPE query to glupload
and glimagesink.  Detects the query from the downstream elements, so
it is executed only when downstream supports the overlay API.

This makes pipelines with textoverlay ! glupload ! gldownload ! xvimagesink possible.
Uses allocation meta struct for passing the window size upstream.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

glcolorconvert: Apply GstVideoOverlayCompositionMeta buffer to converted buffer

Since glcolorconvert creates a new GstBuffer,
without the GstVideoOverlayCompositionMeta data,
it needs to be copied to not be dropped.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

glupload: Detect overlay meta buffers correctly

https://bugzilla.gnome.org/show_bug.cgi?id=745107

glimagesinkbin: Add GstVideoOverlayCompositionMeta caps features

https://bugzilla.gnome.org/show_bug.cgi?id=745107

glimagesink: Upload and draw overlays with GstGLOverlayCompositor

Receives the GstOverlayComposition buffer in the glimagesink and draws them.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

gloverlaycompositor: Add GstGLOverlayCompositor class

Manages the GstGLCompositionOverlay objects,
caches already uploaded overlays and draws them.

https://bugzilla.gnome.org/show_bug.cgi?id=745107

glcompositionoverlay: Add compatibility for GL contexts without glGenVertexArrays

https://bugzilla.gnome.org/show_bug.cgi?id=745107

glcompositionoverlay: Add class for managing GstVideoOverlayCompositionOverlay buffers

Add a class to store and manage the OpenGL texture,
vertex buffer and GstVideoOverlayRectangle.
Transforms overlay coordinate space to vertex buffer space with aspect ratios in mind.

= Example Pipelines =

Simple pipeline

gst-launch-1.0 videotestsrc ! \
  textoverlay text="Hello World" font-desc="sans bold 30" ! \
  glimagesink

Display 3 static overlays at different positions

gst-launch-1.0 videotestsrc ! \
  textoverlay text="text1" valignment="top" font-desc="sans bold 30" ! \
  textoverlay text="text2" halignment="right" font-desc="sans bold 30" ! \
  textoverlay text="text3" halignment="left" font-desc="sans bold 30" ! \
  glimagesink

Display subtitle file over testsrc

gst-launch-1.0 videotestsrc ! \
  textoverlay name=foo filesrc location=foo.srt ! subparse ! queue ! foo. foo. ! \
  glimagesink

https://bugzilla.gnome.org/show_bug.cgi?id=745107

glupload: Move debug init to top of the file

https://bugzilla.gnome.org/show_bug.cgi?id=745107

glmemory: check for pbo availability before attempting pbo download

https://bugzilla.gnome.org/show_bug.cgi?id=751165

glcontext: fix get_current_gl_api on x11/nvidia drivers

They require to get_proc_address some functions through the
platform specific {glX,egl}GetProcAddress rather than the default
GL library symbol lookup.

glcontext: consolidate get_proc_address function definition

Pass the GstGLAPI directly.

glcolorconvertelement: propagate failure to convert buffer upstream

Rather than just silently continuing

glcontext/glx: try creating a context with the highest version

nvidia drivers return the exact version in glGstString (GL_VERSION)
we request on creation so start with the highest known version and
work our way down.

glcontext: track sharedness with a cookie

The previous approach of traversing the other_context weak ref tree was
1. Less performant
2. Incorrect for context destruction removing a link in the tree

Example of 2:
c1 = context_create (NULL)
c2 = context_create (c1)
c3 = context_create (c2)
context_can_share (c1, c3) == TRUE
context_destroy (c2)
unref (c2)
context_can_share (c1, c3) returns FALSE when it should be TRUE!

This does not remove the restriction that context sharedness can only
be tracked between GstGLContext's.

glcontext: use the debug object variant for completeness

uploadelement: Protect against NULL pointer

I notice that if you stop the pipeline during a renegotiation
the upload may be NULL while an allocation query is being run.
In that scenario, returning FALSE to the allocation query is the
best thing.

glupload: memcpy on raw data upload

Anything else requires keeping track of the GstVideoFrame mapping
across possible multiple buffers to ensure correct data pointer
usage.

glbasebuffer: add some debug and zero the data pointers on init

gl/eagl: Don't call anything synchronously from the main thread

This will deadlock if the main thread is the one who creates the GstGLContext.
All things we call from the main thread should be possible from any thread.

https://bugzilla.gnome.org/show_bug.cgi?id=751101

download: only start a download transfer for sysmem caps features

glsyncmeta: transform func: return FALSE if not supported or failed

https://bugzilla.gnome.org/show_bug.cgi?id=751778

android: add missing egl.h include

gltransformation: correct vao usage

keep the vao bound after uploading the new vertex data

fixes a mesa GL error "no vertex array object bound" on caps changes

gl: consolidate egl header includes to egl-only headers

They may conflict with other headers.

glvideomixer, glmixer: Add description and klass

gl: initialize output params to 0 before calling gl functions

The client side API of the Chromium's GPU Process has asserts
in debug mode that check that output params are initialized to 0.