ext/gl/gstglbasemixer.c

   1 /* Generic video mixer plugin
   2  *
   3  * GStreamer
   4  * Copyright (C) 2015 Matthew Waters <matthew@centricular.com>
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Library General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Library General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Library General Public
  17  * License along with this library; if not, write to the
  18  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  19  * Boston, MA 02110-1301, USA.
  20  */
  21
  22 #ifdef HAVE_CONFIG_H
  23 #include "config.h"
  24 #endif
  25
  26 #include <gst/gst.h>
  27 #include <gst/video/video.h>
  28
  29 #include "gstglbasemixer.h"
  30
  31 #define GST_CAT_DEFAULT gst_gl_base_mixer_debug
  32 GST_DEBUG_CATEGORY (gst_gl_base_mixer_debug);
  33
  34 static void gst_gl_base_mixer_pad_get_property (GObject * object, guint prop_id,
  35     GValue * value, GParamSpec * pspec);
  36 static void gst_gl_base_mixer_pad_set_property (GObject * object, guint prop_id,
  37     const GValue * value, GParamSpec * pspec);
  38
  39 static void gst_gl_base_mixer_set_context (GstElement * element,
  40     GstContext * context);
  41 static GstStateChangeReturn gst_gl_base_mixer_change_state (GstElement *
  42     element, GstStateChange transition);
  43
  44 struct _GstGLBaseMixerPrivate
  45 {
  46   gboolean negotiated;
  47
  48   GstGLContext *other_context;
  49 };
  50
  51 #define gst_gl_base_mixer_parent_class parent_class
  52 G_DEFINE_ABSTRACT_TYPE_WITH_PRIVATE (GstGLBaseMixer, gst_gl_base_mixer,
  53     GST_TYPE_VIDEO_AGGREGATOR);
  54
  55 G_DEFINE_TYPE (GstGLBaseMixerPad, gst_gl_base_mixer_pad,
  56     GST_TYPE_VIDEO_AGGREGATOR_PAD);
  57
  58 static void
  59 gst_gl_base_mixer_pad_class_init (GstGLBaseMixerPadClass * klass)
  60 {
  61   GObjectClass *gobject_class = (GObjectClass *) klass;
  62   GstVideoAggregatorPadClass *vaggpad_class =
  63       (GstVideoAggregatorPadClass *) klass;
  64
  65   gobject_class->set_property = gst_gl_base_mixer_pad_set_property;
  66   gobject_class->get_property = gst_gl_base_mixer_pad_get_property;
  67
  68   vaggpad_class->prepare_frame = NULL;
  69   vaggpad_class->clean_frame = NULL;
  70 }
  71
  72 static void
  73 gst_gl_base_mixer_pad_get_property (GObject * object, guint prop_id,
  74     GValue * value, GParamSpec * pspec)
  75 {
  76   switch (prop_id) {
  77     default:
  78       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
  79       break;
  80   }
  81 }
  82
  83 static void
  84 gst_gl_base_mixer_pad_set_property (GObject * object, guint prop_id,
  85     const GValue * value, GParamSpec * pspec)
  86 {
  87   switch (prop_id) {
  88     default:
  89       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
  90       break;
  91   }
  92 }
  93
  94
  95 static gboolean
  96 _find_local_gl_context (GstGLBaseMixer * mix)
  97 {
  98   if (gst_gl_query_local_gl_context (GST_ELEMENT (mix), GST_PAD_SRC,
  99           &mix->context))
 100     return TRUE;
 101   if (gst_gl_query_local_gl_context (GST_ELEMENT (mix), GST_PAD_SINK,
 102           &mix->context))
 103     return TRUE;
 104   return FALSE;
 105 }
 106
 107 static gboolean
 108 _get_gl_context (GstGLBaseMixer * mix)
 109 {
 110   GstGLBaseMixerClass *mix_class = GST_GL_BASE_MIXER_GET_CLASS (mix);
 111   GError *error = NULL;
 112
 113   if (!gst_gl_ensure_element_data (mix, &mix->display,
 114           &mix->priv->other_context))
 115     return FALSE;
 116
 117   gst_gl_display_filter_gl_api (mix->display, mix_class->supported_gl_api);
 118
 119   _find_local_gl_context (mix);
 120
 121   GST_OBJECT_LOCK (mix->display);
 122   if (!mix->context) {
 123     do {
 124       if (mix->context) {
 125         gst_object_unref (mix->context);
 126         mix->context = NULL;
 127       }
 128       /* just get a GL context.  we don't care */
 129       mix->context =
 130           gst_gl_display_get_gl_context_for_thread (mix->display, NULL);
 131       if (!mix->context) {
 132         if (!gst_gl_display_create_context (mix->display,
 133                 mix->priv->other_context, &mix->context, &error)) {
 134           GST_OBJECT_UNLOCK (mix->display);
 135           goto context_error;
 136         }
 137       }
 138     } while (!gst_gl_display_add_context (mix->display, mix->context));
 139   }
 140   GST_OBJECT_UNLOCK (mix->display);
 141
 142   {
 143     GstGLAPI current_gl_api = gst_gl_context_get_gl_api (mix->context);
 144     if ((current_gl_api & mix_class->supported_gl_api) == 0)
 145       goto unsupported_gl_api;
 146   }
 147
 148   return TRUE;
 149
 150 unsupported_gl_api:
 151   {
 152     GstGLAPI gl_api = gst_gl_context_get_gl_api (mix->context);
 153     gchar *gl_api_str = gst_gl_api_to_string (gl_api);
 154     gchar *supported_gl_api_str =
 155         gst_gl_api_to_string (mix_class->supported_gl_api);
 156     GST_ELEMENT_ERROR (mix, RESOURCE, BUSY,
 157         ("GL API's not compatible context: %s supported: %s", gl_api_str,
 158             supported_gl_api_str), (NULL));
 159
 160     g_free (supported_gl_api_str);
 161     g_free (gl_api_str);
 162     return FALSE;
 163   }
 164 context_error:
 165   {
 166     GST_ELEMENT_ERROR (mix, RESOURCE, NOT_FOUND, ("%s", error->message),
 167         (NULL));
 168     g_clear_error (&error);
 169     return FALSE;
 170   }
 171 }
 172
 173 static gboolean
 174 gst_gl_base_mixer_propose_allocation (GstAggregator * agg,
 175     GstAggregatorPad * aggpad, GstQuery * decide_query, GstQuery * query)
 176 {
 177   GstGLBaseMixer *mix = GST_GL_BASE_MIXER (agg);
 178
 179   if (!_get_gl_context (mix))
 180     return FALSE;
 181
 182   return TRUE;
 183 }
 184
 185 static gboolean
 186 gst_gl_base_mixer_sink_query (GstAggregator * agg, GstAggregatorPad * bpad,
 187     GstQuery * query)
 188 {
 189   GstGLBaseMixer *mix = GST_GL_BASE_MIXER (agg);
 190
 191   GST_TRACE ("QUERY %" GST_PTR_FORMAT, query);
 192
 193   switch (GST_QUERY_TYPE (query)) {
 194     case GST_QUERY_CONTEXT:
 195     {
 196       if (gst_gl_handle_context_query ((GstElement *) mix, query,
 197               mix->display, mix->context, mix->priv->other_context))
 198         return TRUE;
 199       break;
 200     }
 201     default:
 202       break;
 203   }
 204
 205   return GST_AGGREGATOR_CLASS (parent_class)->sink_query (agg, bpad, query);;
 206 }
 207
 208 static void
 209 gst_gl_base_mixer_pad_init (GstGLBaseMixerPad * mixerpad)
 210 {
 211 }
 212
 213 /* GLBaseMixer signals and args */
 214 enum
 215 {
 216   /* FILL ME */
 217   LAST_SIGNAL
 218 };
 219
 220 enum
 221 {
 222   PROP_0,
 223   PROP_CONTEXT
 224 };
 225
 226 static gboolean gst_gl_base_mixer_src_query (GstAggregator * agg,
 227     GstQuery * query);
 228
 229 static gboolean
 230 gst_gl_base_mixer_src_activate_mode (GstAggregator * aggregator,
 231     GstPadMode mode, gboolean active);
 232 static gboolean gst_gl_base_mixer_stop (GstAggregator * agg);
 233 static gboolean gst_gl_base_mixer_start (GstAggregator * agg);
 234
 235 static void gst_gl_base_mixer_set_property (GObject * object, guint prop_id,
 236     const GValue * value, GParamSpec * pspec);
 237 static void gst_gl_base_mixer_get_property (GObject * object, guint prop_id,
 238     GValue * value, GParamSpec * pspec);
 239
 240 static gboolean gst_gl_base_mixer_decide_allocation (GstAggregator * agg,
 241     GstQuery * query);
 242
 243 static void
 244 gst_gl_base_mixer_class_init (GstGLBaseMixerClass * klass)
 245 {
 246   GObjectClass *gobject_class;
 247   GstElementClass *element_class;
 248   GstAggregatorClass *agg_class = (GstAggregatorClass *) klass;
 249
 250   GST_DEBUG_CATEGORY_INIT (GST_CAT_DEFAULT, "glmixer", 0, "opengl mixer");
 251
 252   gobject_class = (GObjectClass *) klass;
 253   element_class = GST_ELEMENT_CLASS (klass);
 254
 255   gobject_class->get_property = gst_gl_base_mixer_get_property;
 256   gobject_class->set_property = gst_gl_base_mixer_set_property;
 257
 258   element_class->set_context =
 259       GST_DEBUG_FUNCPTR (gst_gl_base_mixer_set_context);
 260   element_class->change_state = gst_gl_base_mixer_change_state;
 261
 262   agg_class->sink_query = gst_gl_base_mixer_sink_query;
 263   agg_class->src_query = gst_gl_base_mixer_src_query;
 264   agg_class->src_activate = gst_gl_base_mixer_src_activate_mode;
 265   agg_class->stop = gst_gl_base_mixer_stop;
 266   agg_class->start = gst_gl_base_mixer_start;
 267   agg_class->decide_allocation = gst_gl_base_mixer_decide_allocation;
 268   agg_class->propose_allocation = gst_gl_base_mixer_propose_allocation;
 269
 270   g_object_class_install_property (gobject_class, PROP_CONTEXT,
 271       g_param_spec_object ("context",
 272           "OpenGL context",
 273           "Get OpenGL context",
 274           GST_TYPE_GL_CONTEXT, G_PARAM_READABLE | G_PARAM_STATIC_STRINGS));
 275
 276   /* Register the pad class */
 277   g_type_class_ref (GST_TYPE_GL_BASE_MIXER_PAD);
 278
 279   klass->supported_gl_api = GST_GL_API_ANY;
 280 }
 281
 282 static void
 283 gst_gl_base_mixer_init (GstGLBaseMixer * mix)
 284 {
 285   mix->priv = gst_gl_base_mixer_get_instance_private (mix);
 286 }
 287
 288 static void
 289 gst_gl_base_mixer_set_context (GstElement * element, GstContext * context)
 290 {
 291   GstGLBaseMixer *mix = GST_GL_BASE_MIXER (element);
 292   GstGLBaseMixerClass *mix_class = GST_GL_BASE_MIXER_GET_CLASS (mix);
 293
 294   gst_gl_handle_set_context (element, context, &mix->display,
 295       &mix->priv->other_context);
 296
 297   if (mix->display)
 298     gst_gl_display_filter_gl_api (mix->display, mix_class->supported_gl_api);
 299
 300   GST_ELEMENT_CLASS (parent_class)->set_context (element, context);
 301 }
 302
 303 static gboolean
 304 gst_gl_base_mixer_activate (GstGLBaseMixer * mix, gboolean active)
 305 {
 306   GstGLBaseMixerClass *mix_class = GST_GL_BASE_MIXER_GET_CLASS (mix);
 307   gboolean result = TRUE;
 308
 309   if (active) {
 310     if (!gst_gl_ensure_element_data (mix, &mix->display,
 311             &mix->priv->other_context))
 312       return FALSE;
 313
 314     gst_gl_display_filter_gl_api (mix->display, mix_class->supported_gl_api);
 315   }
 316
 317   return result;
 318 }
 319
 320 static gboolean
 321 gst_gl_base_mixer_src_activate_mode (GstAggregator * aggregator,
 322     GstPadMode mode, gboolean active)
 323 {
 324   GstGLBaseMixer *mix;
 325   gboolean result = FALSE;
 326
 327   mix = GST_GL_BASE_MIXER (aggregator);
 328
 329   switch (mode) {
 330     case GST_PAD_MODE_PUSH:
 331     case GST_PAD_MODE_PULL:
 332       result = gst_gl_base_mixer_activate (mix, active);
 333       break;
 334     default:
 335       result = TRUE;
 336       break;
 337   }
 338   return result;
 339 }
 340
 341 static gboolean
 342 gst_gl_base_mixer_src_query (GstAggregator * agg, GstQuery * query)
 343 {
 344   GstGLBaseMixer *mix = GST_GL_BASE_MIXER (agg);
 345
 346   switch (GST_QUERY_TYPE (query)) {
 347     case GST_QUERY_CONTEXT:
 348     {
 349       if (gst_gl_handle_context_query ((GstElement *) mix, query,
 350               mix->display, mix->context, mix->priv->other_context))
 351         return TRUE;
 352       break;
 353     }
 354     default:
 355       break;
 356   }
 357
 358   return GST_AGGREGATOR_CLASS (parent_class)->src_query (agg, query);
 359 }
 360
 361 static gboolean
 362 gst_gl_base_mixer_decide_allocation (GstAggregator * agg, GstQuery * query)
 363 {
 364   GstGLBaseMixer *mix = GST_GL_BASE_MIXER (agg);
 365
 366   if (!_get_gl_context (mix))
 367     return FALSE;
 368
 369   return TRUE;
 370 }
 371
 372 static void
 373 gst_gl_base_mixer_get_property (GObject * object,
 374     guint prop_id, GValue * value, GParamSpec * pspec)
 375 {
 376   GstGLBaseMixer *mixer = GST_GL_BASE_MIXER (object);
 377
 378   switch (prop_id) {
 379     case PROP_CONTEXT:
 380       g_value_set_object (value, mixer->context);
 381       break;
 382     default:
 383       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 384       break;
 385   }
 386 }
 387
 388 static void
 389 gst_gl_base_mixer_set_property (GObject * object,
 390     guint prop_id, const GValue * value, GParamSpec * pspec)
 391 {
 392   switch (prop_id) {
 393     default:
 394       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 395       break;
 396   }
 397 }
 398
 399 static gboolean
 400 gst_gl_base_mixer_start (GstAggregator * agg)
 401 {
 402   return GST_AGGREGATOR_CLASS (parent_class)->start (agg);;
 403 }
 404
 405 static gboolean
 406 gst_gl_base_mixer_stop (GstAggregator * agg)
 407 {
 408   GstGLBaseMixer *mix = GST_GL_BASE_MIXER (agg);
 409
 410   if (mix->context) {
 411     gst_object_unref (mix->context);
 412     mix->context = NULL;
 413   }
 414
 415   return TRUE;
 416 }
 417
 418 static GstStateChangeReturn
 419 gst_gl_base_mixer_change_state (GstElement * element, GstStateChange transition)
 420 {
 421   GstGLBaseMixer *mix = GST_GL_BASE_MIXER (element);
 422   GstGLBaseMixerClass *mix_class = GST_GL_BASE_MIXER_GET_CLASS (mix);
 423   GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
 424
 425   GST_DEBUG_OBJECT (mix, "changing state: %s => %s",
 426       gst_element_state_get_name (GST_STATE_TRANSITION_CURRENT (transition)),
 427       gst_element_state_get_name (GST_STATE_TRANSITION_NEXT (transition)));
 428
 429   switch (transition) {
 430     case GST_STATE_CHANGE_NULL_TO_READY:
 431       if (!gst_gl_ensure_element_data (element, &mix->display,
 432               &mix->priv->other_context))
 433         return GST_STATE_CHANGE_FAILURE;
 434
 435       gst_gl_display_filter_gl_api (mix->display, mix_class->supported_gl_api);
 436       break;
 437     default:
 438       break;
 439   }
 440
 441   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
 442   if (ret == GST_STATE_CHANGE_FAILURE)
 443     return ret;
 444
 445   switch (transition) {
 446     case GST_STATE_CHANGE_READY_TO_NULL:
 447       if (mix->priv->other_context) {
 448         gst_object_unref (mix->priv->other_context);
 449         mix->priv->other_context = NULL;
 450       }
 451
 452       if (mix->display) {
 453         gst_object_unref (mix->display);
 454         mix->display = NULL;
 455       }
 456       break;
 457     default:
 458       break;
 459   }
 460
 461   return ret;
 462 }