glupload: fallback to upload if contexts cannot share GL resources

Fixes pipelines of the form

    gleffects ! tee ! glimagesink

as tee does not pass on the allocation query.

glcontext: add gst_gl_context_can_share

Which determines whether two GstGLContext's can share sharable
OpenGL resources.

gl/tests: update for upload API changes

gl: Let gst_gl_context_get_thread() return a new reference to the GThread

Otherwise it might go away in the meantime and the caller has some random pointer.

gl: consecutive return, break statement

Signed-off-by: Anuj Jaiswal <anuj.jaiswal@samsung.com>
https://bugzilla.gnome.org/show_bug.cgi?id=736939

gl/debug: desktop GL does not have the KHR suffixes

examples/gl/gtk: use the sync bus callback to set the window handle

And output error messages.

gl: add since markers for new API

glmemory: add debug line for freeing textures

glupload: provide the output buffer that is rendered into

Allows callers to properly reference count the buffers used for
rendering.

Fixes a redraw race in glimagesink where the previous buffer
(the one used for redraw operations) is freed as soon as the next
buffer is uploaded.

1. glimagesink uploads in _prepare() to texture n
1.1 glupload holds buffer n
2. glimagesink _render()s texture n
3. glimagesink uploads texture n+1
3.1 glupload free previous buffer which deletes texture n
3.2 glupload holds buffer n+1
4. glwindow resize/expose
5. glimagesink redraws with texture n

The race is that the buffer n (the one used for redrawing) is freed as soon as
the buffer n+1 arrives.  There could be any amount of time and number of
redraws between this event and when buffer n+1 is actually rendered and thus
replaces buffer n as the redraw source.

https://bugzilla.gnome.org/show_bug.cgi?id=736740

glcontext: add API to retreive the thread that context is active in

gl: Removed unreachable break, unused variable

https://bugzilla.gnome.org/show_bug.cgi?id=736957

glfilter: do not leak pool in error cases

https://bugzilla.gnome.org/show_bug.cgi?id=736732

gltestsrc: do not leak pool in error cases

https://bugzilla.gnome.org/show_bug.cgi?id=736730

glmixer: do not leak pool in error cases

https://bugzilla.gnome.org/show_bug.cgi?id=736729

GstGLWindow: Introduce navigation thread

This thread dispatches navigation events. It is needed to avoid deadlocks
between window backend threads that emit navigation events (e.g. X11/GMainLoop
thread) and consumers of navigation events such as glimagesink, see
https://bugzilla.gnome.org/show_bug.cgi?id=733661

GstGlWindow_x11 thread is changed to invoke the navigation thread for navigation
dispatching, instead of emiting the event itself. Othe backends beside X11 do
not dispatch navigation events yet, but should use this thread when dispatching
these events in the future.

The navigation thread is currently part of GstGLWindow and not implemented in
separate subclasses / backends. This will be needed in the future.

gst_gl_window_x11_get_surface_dimensions is also changed to use a cached value
of the window's width, height. These values are now retrieved in the X11
thread, function gst_gl_window_x11_handle_event. This change is needed because
otherwise the XGetWindowAttributes gets called from the navigation thread,
leading to xlib aborting due to multithreaded access (if XInitThreads is not
called before, as is the case for gst-launch)

gltransformation: fix issues and expose mvp matrix

* aspect should not be 0 on init
* rename fovy to fov
* add mvp to properties as boxed graphene type
* fix transformation order. scale first
* clear color with 1.0 alpha

https://bugzilla.gnome.org/show_bug.cgi?id=734223

glimagesink: Add missing break to switch

CID 1232801

gl: qglwtextureshare demo fixes and cleanup

1. glcontextid function is replaced by gstreamer gst_gl_context_new_wrapped .
2. call gst_init before gst_gl_display_new , seems gst_gl_display_new depends
   on gst_allocator_register , which only worked after gst_init called
3. flush gstreamer OpenGL context before using shared texture, fix
   flicker problem.

https://bugzilla.gnome.org/show_bug.cgi?id=735566

gl: Add GSTGLAPI macro to the debug callback function

Fixes the Windows build.

https://bugzilla.gnome.org/show_bug.cgi?id=735565

egl: Wrap KHR_create_context flags in an ifdef

EGL_CONTEXT_FLAGS_KHR and EGL_CONTEXT_OPENGL_DEBUG_BIT_KHR
don't exist in the Android NDK. Wrap their usage in an #ifdef
EGL_KHR_create_context to fix the build there.

egl: fallback to a non-debug context if a debug one fails

The text for EGL_KHR_create_context added the possiblity for ES
contexts to ask for a debug context however that has not been
fully realized by all implementations.  Fallback to a non-debug
context when the implementation errors.

gstopengl: add introspection support

https://bugzilla.gnome.org/show_bug.cgi?id=734482

examples: fix gtk+ 3.14 deprecation error

https://developer.gnome.org/gtk3/3.13/GtkWidget.html#gtk-widget-set-double-buffered

https://bugzilla.gnome.org/show_bug.cgi?id=734482

glimagesink: expose context

* expose context in draw / reshape callbacks
* add context property

https://bugzilla.gnome.org/show_bug.cgi?id=734482

glshader: expose opengl handle in getter

https://bugzilla.gnome.org/show_bug.cgi?id=734482

gl: check null before unref GstGLDisplay

gl: add prototype definition for KHR_debug

glcontext: implement the debug callback

For both GL_KHR_debug and ARB_debug_output.  This allows us to
receive errors and other hints from the GL instead of querying after
every GL operation.

gl: add prototypes for KHR_debug/ARB_debug_output

gl: don't take an extra ref on the display on set_context

gst_context_get_gl_display() returns a ref.  Don't take another in
gst_object_replace().

glmixer: unref the GstGLUpload in the pad if freed while running

Dynamic pipelines that get and release the sink pads will finalize
the pad without going through gst_gl_mixer_stop() which is where the
upload object is usually freed.  Don't leak objects in such case.

glvideomixer: avoid gl resource race condition between different thread

https://bugzilla.gnome.org/show_bug.cgi?id=734830

glvideomixer: don't clobber unnecessary GstVideoInfo fields

otherwise we might clobber other important fields such as the frame rate.

glvideomixer: get the attribute from the correct shader

glimagesink: unref the window on navigation event

plugs a memory leak

glbufferpool: fix allocator leak in some cases

Spotted by Sebastian Rasmussen.

https://bugzilla.gnome.org/show_bug.cgi?id=734523

examples/gl: unref bus and element after usage

gst_pipeline_get_bus() and gst_bin_get_by_interface() both
return references that need to be unreferenced after usage.

https://bugzilla.gnome.org/show_bug.cgi?id=734527

opengl: update element docs for 1.x

glvideomixer: add a background property

That's compatible with the compositor/videomixer property

https://bugzilla.gnome.org/show_bug.cgi?id=731954

GstGLWindow, GstGLImagesink, x11: Scale navigation events on resized windows

If window is resized, GstStructure pointer values have to be rescaled to
original geometry. A get_surface_dimensions GLWindow class method is added for
this purpose and used in the navigation send_event function.

https://bugzilla.gnome.org/show_bug.cgi?id=703486

glupload: don't determine if frame needs upload by pointer compare

https://bugzilla.gnome.org/show_bug.cgi?id=734269

gl/docs: remove superflous 'the'

gl: document GST_GL_* environment variables

https://bugzilla.gnome.org/show_bug.cgi?id=733245

gl/tests: update for API changes

glcontext: add a destroy function

that just calls the subclass

gl/x11: silence runtime warning

g_main_loop_quit: assertion 'loop != NULL' failed

glmemory: use the plane offsets to compute the size of the data pointer

Certain elements expect that there be a certain number of lines
that they can write into.  e.g. for odd heights, I420, YV12, NV12,
NV21 (and others) Y lines are expected to have exactly twice the
number of U/UV lines.

https://bugzilla.gnome.org/show_bug.cgi?id=733717

glmemory: use GstVideoInfo everywhere

Simplifies a lot of the calling code

https://bugzilla.gnome.org/show_bug.cgi?id=733717

glimagesink: keep the uploaded buffer around on successful redisplay

We might need it later to perform a redisplay.  GstGLUpload will take
of releasing the previous buffer when it receives a new buffer.

https://bugzilla.gnome.org/show_bug.cgi?id=733726

glmemory: reenable the texture_rg support for !eagl

The GST_GL_HAVE_PLATFORM_EAGL is always defined we need to compare
against the value instead.

glimagesink: silence gsignal warning

instance '0xblah' has no handler with id '13'

glwindow/11: Emit signals for mouse and key navigation events

https://bugzilla.gnome.org/show_bug.cgi?id=703486

glwindow: Constify string parameters to the send_*_event() functions

glimagesink: remove extra argument from debug call

glimagesink: Add navigation interface and callbacks for GstGLWindow mouse/key signals

https://bugzilla.gnome.org/show_bug.cgi?id=703486

GstGLWindow : Add mouse-event and key-event signals for navigation

https://bugzilla.gnome.org/show_bug.cgi?id=703486

gl: fix multi gl object leaks

1. fix FBO leaks in decide_allocation
2. fix texture leaks in decide_allocation and reset
3. fix texture leaks in FBO incomplete error path

gl: Reorder CFLAGS to include in-source dirs first in examples

https://bugzilla.gnome.org/show_bug.cgi?id=733426

examples: fix compilation of gl fxtest example on win32 with Gtk+ 3.0

https://bugzilla.gnome.org/show_bug.cgi?id=733063

gl: Always build gstglmixer, not only when full OpenGL support is enabled

gl: Link to all required libraries but not more

gl: Move GstGLMixer to the plugin for now

It depends on GstAggregator and we don't want to install headers
for that yet.

https://bugzilla.gnome.org/show_bug.cgi?id=732207

glimagesink: Keep aspect ratio by default

The expected default behaviour for video sink is to maintain the
aspect ratio. Fix the default value to reflect this. The property
default was already TRUE, but the value was not initially TRUE.

glcocoa: initalize NSApp asap when using gst-launch

See https://bugzilla.gnome.org/show_bug.cgi?id=732661

gl/examples: gitignore generated files

gl : fix qglwtextureshare demo

eagl: Disable usage of R and RG textures on iOS

They don't work currently and just render zeroes, while the
fallback code path with LUM and LUM_ALPHA textures still works.

https://bugzilla.gnome.org/show_bug.cgi?id=732390

glimagesink: Chain up to the parent class' finalize function

glimagesink: Make sure to always unref the display

Even if we didn't create a context yet.

glupload: Fix memory leak in unit test

glcontext: Fix memory leaks in unit test

glcolorconvert: free pixel swizzling information

glmixer: remove redundant/unused lock

Use the GstObject lock instead

glmixer: remove redundant creation and free of GPtrArrays

Also plugs a memory leak

glmixer: plug a memory leak for the caps

gst_query_set_caps_result() takes a ref on the caps

glmixer: intersect with the filtercaps if available

gl: update gles2 compatability header

glfilter: pass through the allocation query when in passthrough mode

Otherwise two GL elements on either side will fail to use the same
GL context.

glfilter: prefer passthrough for non-sysmem caps

glshader: enable glshader on GLES2

glcolorscale: do passthrough on same caps

See https://bugzilla.gnome.org/show_bug.cgi?id=732178

glfilter: handle NULL decide_query which means passthrough

See https://bugzilla.gnome.org/show_bug.cgi?id=732178

glfilter: prepend intersection to src caps

Prefer to stay in the same memory space if possible.
Also it let a chance to do passthrough.

See https://bugzilla.gnome.org/show_bug.cgi?id=732178

gl: enable glvideomixer on GLES2

glvideomixer: bas output width/height on the pad properties

Allows automatic negotiation of the size in the following case:
gst-launch-1.0 glvideomixer name=m sink_0::xpos=0 sink_1::xpos=320 ! glimagesink \
    videotestsrc ! m. \
    videotestsrc pattern=1 ! m.

https://bugzilla.gnome.org/show_bug.cgi?id=731878

glvideomixer: don't clobber already allocated shader

gl: XInitThreads when env variable is set

This is too allow gst-launch debugging with multiple GL contexts as
well as avoiding segfaulting innocent gtk+ apps that have not called
XInitThreads.

https://bugzilla.gnome.org/show_bug.cgi?id=731525

gl: add a scary note about initializing thread support for the winsys

We cannot do it as the winsys may crash if we initialize too late.

Example, GLX contexts with Intel drivers:
Intel requires the X Display to be the same in order to share GL
resources across GL contexts.  These GL contexts are generally
accessed from different threads.  Without winsys support it is
nearly impossible to guarentee that concurrent access will not
occur.  This concurrent access could result in crashes or abortion
by the winsys (xcb).

https://bugzilla.gnome.org/show_bug.cgi?id=731525

gluploadmeta: reenable GLMemory upload path

gl: Need to link to new badvideo library for the video aggregator base class

gl: move gles2 compat header to glprototypes

glbufferpool: provide a consistent API regardless of platform

gl: mark library as API unstable

gl:glvideomixer: Add the Compositor in the element metadata class

So it is possible to pick one compositing element from the registry

gl: Port glmixer to the GstVideoAggregator baseclass

https://bugzilla.gnome.org/show_bug.cgi?id=731921

opengl: add element for transforming video geometry

* add graphene as soft dependency for linear algebra

glframebuffer: don't segfault needlessly with GLES2

gst_gl_framebuffer_use_v2 was using a function that is not available
with GLES2

glfiltershader: port to GLES2

Provide a time variable

glvideomixer: silence incorrect number of arguments in format warning