rtspsrc: do not try to send EOS with invalid seqnum
[platform/upstream/gst-plugins-good.git] / ext / gtk / gtkgstglwidget.c
index 79599b4..6c423ad 100644 (file)
 #include <stdio.h>
 
 #include "gtkgstglwidget.h"
+#include "gstgtkutils.h"
+#include <gst/gl/gstglfuncs.h>
 #include <gst/video/video.h>
 
 #if GST_GL_HAVE_WINDOW_X11 && defined (GDK_WINDOWING_X11)
 #include <gdk/gdkx.h>
 #include <gst/gl/x11/gstgldisplay_x11.h>
-#include <gst/gl/x11/gstglcontext_glx.h>
 #endif
 
 #if GST_GL_HAVE_WINDOW_WAYLAND && defined (GDK_WINDOWING_WAYLAND)
@@ -40,6 +41,7 @@
 
 /**
  * SECTION:gtkgstglwidget
+ * @title: GtkGstGlWidget
  * @short_description: a #GtkGLArea that renders GStreamer video #GstBuffers
  * @see_also: #GtkGLArea, #GstBuffer
  *
 #define GST_CAT_DEFAULT gtk_gst_gl_widget_debug
 GST_DEBUG_CATEGORY_STATIC (GST_CAT_DEFAULT);
 
-G_DEFINE_TYPE_WITH_CODE (GtkGstGLWidget, gtk_gst_gl_widget, GTK_TYPE_GL_AREA,
-    GST_DEBUG_CATEGORY_INIT (GST_CAT_DEFAULT, "gtkgstglwidget", 0,
-        "Gtk Gst GL Widget");
-    );
-
-#define GTK_GST_GL_WIDGET_GET_PRIVATE(obj) (G_TYPE_INSTANCE_GET_PRIVATE ((obj), \
-    GTK_TYPE_GST_GL_WIDGET, GtkGstGLWidgetPrivate))
-
 struct _GtkGstGLWidgetPrivate
 {
   gboolean initted;
@@ -81,6 +75,12 @@ static const GLfloat vertices[] = {
   1.0f, -1.0f, 0.0f, 1.0f, 1.0f
 };
 
+G_DEFINE_TYPE_WITH_CODE (GtkGstGLWidget, gtk_gst_gl_widget, GTK_TYPE_GL_AREA,
+    G_ADD_PRIVATE (GtkGstGLWidget)
+    GST_DEBUG_CATEGORY_INIT (GST_CAT_DEFAULT, "gtkgstglwidget", 0,
+        "Gtk Gst GL Widget");
+    );
+
 static void
 gtk_gst_gl_widget_bind_buffer (GtkGstGLWidget * gst_widget)
 {
@@ -118,11 +118,18 @@ gtk_gst_gl_widget_init_redisplay (GtkGstGLWidget * gst_widget)
 {
   GtkGstGLWidgetPrivate *priv = gst_widget->priv;
   const GstGLFuncs *gl = priv->context->gl_vtable;
+  GError *error = NULL;
 
-  priv->shader = gst_gl_shader_new (priv->context);
+  gst_gl_insert_debug_marker (priv->other_context, "initializing redisplay");
+  if (!(priv->shader = gst_gl_shader_new_default (priv->context, &error))) {
+    GST_ERROR ("Failed to initialize shader: %s", error->message);
+    return;
+  }
 
-  gst_gl_shader_compile_with_default_vf_and_check (priv->shader,
-      &priv->attr_position, &priv->attr_texture);
+  priv->attr_position =
+      gst_gl_shader_get_attribute_location (priv->shader, "a_position");
+  priv->attr_texture =
+      gst_gl_shader_get_attribute_location (priv->shader, "a_texcoord");
 
   if (gl->GenVertexArrays) {
     gl->GenVertexArrays (1, &priv->vao);
@@ -184,8 +191,7 @@ _redraw_texture (GtkGstGLWidget * gst_widget, guint tex)
 
   if (gl->BindVertexArray)
     gl->BindVertexArray (priv->vao);
-  else
-    gtk_gst_gl_widget_bind_buffer (gst_widget);
+  gtk_gst_gl_widget_bind_buffer (gst_widget);
 
   gl->ActiveTexture (GL_TEXTURE0);
   gl->BindTexture (GL_TEXTURE_2D, tex);
@@ -206,6 +212,7 @@ _draw_black (GstGLContext * context)
 {
   const GstGLFuncs *gl = context->gl_vtable;
 
+  gst_gl_insert_debug_marker (context, "no buffer.  rendering black");
   gl->ClearColor (0.0, 0.0, 0.0, 0.0);
   gl->Clear (GL_COLOR_BUFFER_BIT);
 }
@@ -243,17 +250,20 @@ gtk_gst_gl_widget_render (GtkGLArea * widget, GdkGLContext * context)
       goto done;
     }
 
+    priv->current_tex = *(guint *) gl_frame.data[0];
+    gst_gl_insert_debug_marker (priv->other_context, "redrawing texture %u",
+        priv->current_tex);
+
     gst_gl_overlay_compositor_upload_overlays (priv->overlay_compositor,
         buffer);
 
     sync_meta = gst_buffer_get_gl_sync_meta (buffer);
     if (sync_meta) {
+      /* XXX: the set_sync() seems to be needed for resizing */
       gst_gl_sync_meta_set_sync_point (sync_meta, priv->context);
       gst_gl_sync_meta_wait (sync_meta, priv->other_context);
     }
 
-    priv->current_tex = *(guint *) gl_frame.data[0];
-
     gst_video_frame_unmap (&gl_frame);
 
     if (base_widget->buffer)
@@ -270,6 +280,9 @@ gtk_gst_gl_widget_render (GtkGLArea * widget, GdkGLContext * context)
   _redraw_texture (GTK_GST_GL_WIDGET (widget), priv->current_tex);
   gst_gl_overlay_compositor_draw_overlays (priv->overlay_compositor);
 
+  gst_gl_insert_debug_marker (priv->other_context, "texture %u redrawn",
+      priv->current_tex);
+
 done:
   if (priv->other_context)
     gst_gl_context_activate (priv->other_context, FALSE);
@@ -278,52 +291,6 @@ done:
   return FALSE;
 }
 
-typedef void (*ThreadFunc) (gpointer data);
-
-struct invoke_context
-{
-  ThreadFunc func;
-  gpointer data;
-  GMutex lock;
-  GCond cond;
-  gboolean fired;
-};
-
-static gboolean
-_invoke_func (struct invoke_context *info)
-{
-  g_mutex_lock (&info->lock);
-  info->func (info->data);
-  info->fired = TRUE;
-  g_cond_signal (&info->cond);
-  g_mutex_unlock (&info->lock);
-
-  return G_SOURCE_REMOVE;
-}
-
-static void
-_invoke_on_main (ThreadFunc func, gpointer data)
-{
-  GMainContext *main_context = g_main_context_default ();
-  struct invoke_context info;
-
-  g_mutex_init (&info.lock);
-  g_cond_init (&info.cond);
-  info.fired = FALSE;
-  info.func = func;
-  info.data = data;
-
-  g_main_context_invoke (main_context, (GSourceFunc) _invoke_func, &info);
-
-  g_mutex_lock (&info.lock);
-  while (!info.fired)
-    g_cond_wait (&info.cond, &info.lock);
-  g_mutex_unlock (&info.lock);
-
-  g_mutex_clear (&info.lock);
-  g_cond_clear (&info.cond);
-}
-
 static void
 _reset_gl (GtkGstGLWidget * gst_widget)
 {
@@ -380,7 +347,7 @@ gtk_gst_gl_widget_finalize (GObject * object)
   GtkGstBaseWidget *base_widget = GTK_GST_BASE_WIDGET (object);
 
   if (priv->other_context)
-    _invoke_on_main ((ThreadFunc) _reset_gl, base_widget);
+    gst_gtk_invoke_on_main ((GThreadFunc) _reset_gl, base_widget);
 
   if (priv->context)
     gst_object_unref (priv->context);
@@ -398,7 +365,6 @@ gtk_gst_gl_widget_class_init (GtkGstGLWidgetClass * klass)
   GObjectClass *gobject_klass = (GObjectClass *) klass;
   GtkGLAreaClass *gl_widget_klass = (GtkGLAreaClass *) klass;
 
-  g_type_class_add_private (klass, sizeof (GtkGstGLWidgetPrivate));
   gtk_gst_base_widget_class_init (GTK_GST_BASE_WIDGET_CLASS (klass));
 
   gobject_klass->finalize = gtk_gst_gl_widget_finalize;
@@ -414,15 +380,16 @@ gtk_gst_gl_widget_init (GtkGstGLWidget * gst_widget)
 
   gtk_gst_base_widget_init (base_widget);
 
-  gst_widget->priv = priv = GTK_GST_GL_WIDGET_GET_PRIVATE (gst_widget);
+  gst_widget->priv = priv = gtk_gst_gl_widget_get_instance_private (gst_widget);
 
   display = gdk_display_get_default ();
 
 #if GST_GL_HAVE_WINDOW_X11 && defined (GDK_WINDOWING_X11)
-  if (GDK_IS_X11_DISPLAY (display))
+  if (GDK_IS_X11_DISPLAY (display)) {
     priv->display = (GstGLDisplay *)
         gst_gl_display_x11_new_with_display (gdk_x11_display_get_xdisplay
         (display));
+  }
 #endif
 #if GST_GL_HAVE_WINDOW_WAYLAND && defined (GDK_WINDOWING_WAYLAND)
   if (GDK_IS_WAYLAND_DISPLAY (display)) {
@@ -438,6 +405,8 @@ gtk_gst_gl_widget_init (GtkGstGLWidget * gst_widget)
   if (!priv->display)
     priv->display = gst_gl_display_new ();
 
+  GST_INFO ("Created %" GST_PTR_FORMAT, priv->display);
+
   gtk_gl_area_set_has_alpha (GTK_GL_AREA (gst_widget),
       !base_widget->ignore_alpha);
 }
@@ -446,21 +415,26 @@ static void
 _get_gl_context (GtkGstGLWidget * gst_widget)
 {
   GtkGstGLWidgetPrivate *priv = gst_widget->priv;
-  GstGLPlatform platform;
-  GstGLAPI gl_api;
-  guintptr gl_handle;
+  GstGLPlatform platform = GST_GL_PLATFORM_NONE;
+  GstGLAPI gl_api = GST_GL_API_NONE;
+  guintptr gl_handle = 0;
 
   gtk_widget_realize (GTK_WIDGET (gst_widget));
 
+  if (priv->other_context)
+    gst_object_unref (priv->other_context);
+  priv->other_context = NULL;
+
   if (priv->gdk_context)
     g_object_unref (priv->gdk_context);
+
   priv->gdk_context = gtk_gl_area_get_context (GTK_GL_AREA (gst_widget));
   if (priv->gdk_context == NULL) {
     GError *error = gtk_gl_area_get_error (GTK_GL_AREA (gst_widget));
 
     GST_ERROR_OBJECT (gst_widget, "Error creating GdkGLContext : %s",
         error ? error->message : "No error set by Gdk");
-    g_assert_not_reached ();
+    g_clear_error (&error);
     return;
   }
 
@@ -470,16 +444,29 @@ _get_gl_context (GtkGstGLWidget * gst_widget)
 
 #if GST_GL_HAVE_WINDOW_X11 && defined (GDK_WINDOWING_X11)
   if (GST_IS_GL_DISPLAY_X11 (priv->display)) {
-    platform = GST_GL_PLATFORM_GLX;
-    gl_api = gst_gl_context_get_current_gl_api (platform, NULL, NULL);
-    gl_handle = gst_gl_context_get_current_gl_context (platform);
-    if (gl_handle)
+#if GST_GL_HAVE_PLATFORM_GLX
+    if (!gl_handle) {
+      platform = GST_GL_PLATFORM_GLX;
+      gl_handle = gst_gl_context_get_current_gl_context (platform);
+    }
+#endif
+
+#if GST_GL_HAVE_PLATFORM_EGL
+    if (!gl_handle) {
+      platform = GST_GL_PLATFORM_EGL;
+      gl_handle = gst_gl_context_get_current_gl_context (platform);
+    }
+#endif
+
+    if (gl_handle) {
+      gl_api = gst_gl_context_get_current_gl_api (platform, NULL, NULL);
       priv->other_context =
           gst_gl_context_new_wrapped (priv->display, gl_handle,
           platform, gl_api);
+    }
   }
 #endif
-#if GST_GL_HAVE_WINDOW_WAYLAND && defined (GDK_WINDOWING_WAYLAND)
+#if GST_GL_HAVE_WINDOW_WAYLAND && GST_GL_HAVE_PLATFORM_EGL && defined (GDK_WINDOWING_WAYLAND)
   if (GST_IS_GL_DISPLAY_WAYLAND (priv->display)) {
     platform = GST_GL_PLATFORM_EGL;
     gl_api = gst_gl_context_get_current_gl_api (platform, NULL, NULL);
@@ -498,14 +485,19 @@ _get_gl_context (GtkGstGLWidget * gst_widget)
   if (priv->other_context) {
     GError *error = NULL;
 
+    GST_INFO ("Retrieved Gdk OpenGL context %" GST_PTR_FORMAT,
+        priv->other_context);
     gst_gl_context_activate (priv->other_context, TRUE);
     if (!gst_gl_context_fill_info (priv->other_context, &error)) {
       GST_ERROR ("failed to retrieve gdk context info: %s", error->message);
+      g_clear_error (&error);
       g_object_unref (priv->other_context);
       priv->other_context = NULL;
     } else {
       gst_gl_context_activate (priv->other_context, FALSE);
     }
+  } else {
+    GST_WARNING ("Could not retrieve Gdk OpenGL context");
   }
 }
 
@@ -522,31 +514,40 @@ gtk_gst_gl_widget_init_winsys (GtkGstGLWidget * gst_widget)
   GError *error = NULL;
 
   g_return_val_if_fail (GTK_IS_GST_GL_WIDGET (gst_widget), FALSE);
+  g_return_val_if_fail (priv->display != NULL, FALSE);
 
   GTK_GST_BASE_WIDGET_LOCK (gst_widget);
 
   if (priv->display && priv->gdk_context && priv->other_context) {
+    GST_TRACE ("have already initialized contexts");
     GTK_GST_BASE_WIDGET_UNLOCK (gst_widget);
     return TRUE;
   }
 
   if (!priv->other_context) {
     GTK_GST_BASE_WIDGET_UNLOCK (gst_widget);
-    _invoke_on_main ((ThreadFunc) _get_gl_context, gst_widget);
+    gst_gtk_invoke_on_main ((GThreadFunc) _get_gl_context, gst_widget);
     GTK_GST_BASE_WIDGET_LOCK (gst_widget);
   }
 
-  if (!GST_GL_IS_CONTEXT (priv->other_context)) {
+  if (!GST_IS_GL_CONTEXT (priv->other_context)) {
+    GST_FIXME ("Could not retrieve Gdk OpenGL context");
     GTK_GST_BASE_WIDGET_UNLOCK (gst_widget);
     return FALSE;
   }
 
+  GST_OBJECT_LOCK (priv->display);
   if (!gst_gl_display_create_context (priv->display, priv->other_context,
           &priv->context, &error)) {
+    GST_WARNING ("Could not create OpenGL context: %s",
+        error ? error->message : "Unknown");
     g_clear_error (&error);
+    GST_OBJECT_UNLOCK (priv->display);
     GTK_GST_BASE_WIDGET_UNLOCK (gst_widget);
     return FALSE;
   }
+  gst_gl_display_add_context (priv->display, priv->context);
+  GST_OBJECT_UNLOCK (priv->display);
 
   GTK_GST_BASE_WIDGET_UNLOCK (gst_widget);
   return TRUE;