ext/gl/gstgltestsrc.c

   1 /*
   2  * GStreamer
   3  * Copyright (C) <1999> Erik Walthinsen <omega@cse.ogi.edu>
   4  * Copyright (C) 2002,2007 David A. Schleef <ds@schleef.org>
   5  * Copyright (C) 2008 Julien Isorce <julien.isorce@gmail.com>
   6  * Copyright (C) 2015 Matthew Waters <matthew@centricular.com>
   7  *
   8  * This library is free software; you can redistribute it and/or
   9  * modify it under the terms of the GNU Library General Public
  10  * License as published by the Free Software Foundation; either
  11  * version 2 of the License, or (at your option) any later version.
  12  *
  13  * This library is distributed in the hope that it will be useful,
  14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  16  * Library General Public License for more details.
  17  *
  18  * You should have received a copy of the GNU Library General Public
  19  * License along with this library; if not, write to the
  20  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  21  * Boston, MA 02110-1301, USA.
  22  */
  23
  24 /**
  25  * SECTION:element-gltestsrc
  26  *
  27  * <refsect2>
  28  * <para>
  29  * The gltestsrc element is used to produce test video texture.
  30  * The video test produced can be controlled with the "pattern"
  31  * property.
  32  * </para>
  33  * <title>Example launch line</title>
  34  * <para>
  35  * <programlisting>
  36  * gst-launch-1.0 -v gltestsrc pattern=smpte ! glimagesink
  37  * </programlisting>
  38  * Shows original SMPTE color bars in a window.
  39  * </para>
  40  * </refsect2>
  41  */
  42
  43 #ifdef HAVE_CONFIG_H
  44 #include "config.h"
  45 #endif
  46
  47 #include "gstgltestsrc.h"
  48 #include "gltestsrc.h"
  49 #include <gst/gst-i18n-plugin.h>
  50
  51 #define USE_PEER_BUFFERALLOC
  52 #define SUPPORTED_GL_APIS (GST_GL_API_OPENGL | GST_GL_API_OPENGL3 | GST_GL_API_GLES2)
  53
  54 GST_DEBUG_CATEGORY_STATIC (gl_test_src_debug);
  55 #define GST_CAT_DEFAULT gl_test_src_debug
  56
  57 enum
  58 {
  59   PROP_0,
  60   PROP_PATTERN,
  61   PROP_TIMESTAMP_OFFSET,
  62   PROP_IS_LIVE
  63       /* FILL ME */
  64 };
  65
  66 /* *INDENT-OFF* */
  67 static GstStaticPadTemplate src_factory = GST_STATIC_PAD_TEMPLATE ("src",
  68     GST_PAD_SRC,
  69     GST_PAD_ALWAYS,
  70     GST_STATIC_CAPS ("video/x-raw(" GST_CAPS_FEATURE_MEMORY_GL_MEMORY "), "
  71         "format = (string) RGBA, "
  72         "width = " GST_VIDEO_SIZE_RANGE ", "
  73         "height = " GST_VIDEO_SIZE_RANGE ", "
  74         "framerate = " GST_VIDEO_FPS_RANGE ","
  75         "texture-target = (string) 2D")
  76     );
  77 /* *INDENT-ON* */
  78
  79 #define gst_gl_test_src_parent_class parent_class
  80 G_DEFINE_TYPE (GstGLTestSrc, gst_gl_test_src, GST_TYPE_PUSH_SRC);
  81
  82 static void gst_gl_test_src_set_pattern (GstGLTestSrc * gltestsrc,
  83     int pattern_type);
  84 static void gst_gl_test_src_set_property (GObject * object, guint prop_id,
  85     const GValue * value, GParamSpec * pspec);
  86 static void gst_gl_test_src_get_property (GObject * object, guint prop_id,
  87     GValue * value, GParamSpec * pspec);
  88
  89 static gboolean gst_gl_test_src_setcaps (GstBaseSrc * bsrc, GstCaps * caps);
  90 static GstCaps *gst_gl_test_src_fixate (GstBaseSrc * bsrc, GstCaps * caps);
  91
  92 static gboolean gst_gl_test_src_is_seekable (GstBaseSrc * psrc);
  93 static gboolean gst_gl_test_src_do_seek (GstBaseSrc * bsrc,
  94     GstSegment * segment);
  95 static gboolean gst_gl_test_src_query (GstBaseSrc * bsrc, GstQuery * query);
  96 static void gst_gl_test_src_set_context (GstElement * element,
  97     GstContext * context);
  98 static GstStateChangeReturn gst_gl_test_src_change_state (GstElement * element,
  99     GstStateChange transition);
 100
 101 static void gst_gl_test_src_get_times (GstBaseSrc * basesrc,
 102     GstBuffer * buffer, GstClockTime * start, GstClockTime * end);
 103 static GstFlowReturn gst_gl_test_src_fill (GstPushSrc * psrc,
 104     GstBuffer * buffer);
 105 static gboolean gst_gl_test_src_start (GstBaseSrc * basesrc);
 106 static gboolean gst_gl_test_src_stop (GstBaseSrc * basesrc);
 107 static gboolean gst_gl_test_src_decide_allocation (GstBaseSrc * basesrc,
 108     GstQuery * query);
 109
 110 static gboolean gst_gl_test_src_callback (gpointer stuff);
 111
 112 static gboolean gst_gl_test_src_init_shader (GstGLTestSrc * gltestsrc);
 113
 114 #define GST_TYPE_GL_TEST_SRC_PATTERN (gst_gl_test_src_pattern_get_type ())
 115 static GType
 116 gst_gl_test_src_pattern_get_type (void)
 117 {
 118   static GType gl_test_src_pattern_type = 0;
 119   static const GEnumValue pattern_types[] = {
 120     {GST_GL_TEST_SRC_SMPTE, "SMPTE 100% color bars", "smpte"},
 121     {GST_GL_TEST_SRC_SNOW, "Random (television snow)", "snow"},
 122     {GST_GL_TEST_SRC_BLACK, "100% Black", "black"},
 123     {GST_GL_TEST_SRC_WHITE, "100% White", "white"},
 124     {GST_GL_TEST_SRC_RED, "Red", "red"},
 125     {GST_GL_TEST_SRC_GREEN, "Green", "green"},
 126     {GST_GL_TEST_SRC_BLUE, "Blue", "blue"},
 127     {GST_GL_TEST_SRC_CHECKERS1, "Checkers 1px", "checkers-1"},
 128     {GST_GL_TEST_SRC_CHECKERS2, "Checkers 2px", "checkers-2"},
 129     {GST_GL_TEST_SRC_CHECKERS4, "Checkers 4px", "checkers-4"},
 130     {GST_GL_TEST_SRC_CHECKERS8, "Checkers 8px", "checkers-8"},
 131     {GST_GL_TEST_SRC_CIRCULAR, "Circular", "circular"},
 132     {GST_GL_TEST_SRC_BLINK, "Blink", "blink"},
 133     {GST_GL_TEST_SRC_MANDELBROT, "Mandelbrot Fractal", "mandelbrot"},
 134     {0, NULL, NULL}
 135   };
 136
 137   if (!gl_test_src_pattern_type) {
 138     gl_test_src_pattern_type =
 139         g_enum_register_static ("GstGLTestSrcPattern", pattern_types);
 140   }
 141   return gl_test_src_pattern_type;
 142 }
 143
 144 static void
 145 gst_gl_test_src_class_init (GstGLTestSrcClass * klass)
 146 {
 147   GObjectClass *gobject_class;
 148   GstBaseSrcClass *gstbasesrc_class;
 149   GstPushSrcClass *gstpushsrc_class;
 150   GstElementClass *element_class;
 151
 152   GST_DEBUG_CATEGORY_INIT (gl_test_src_debug, "gltestsrc", 0,
 153       "Video Test Source");
 154
 155   gobject_class = (GObjectClass *) klass;
 156   gstbasesrc_class = (GstBaseSrcClass *) klass;
 157   gstpushsrc_class = (GstPushSrcClass *) klass;
 158   element_class = GST_ELEMENT_CLASS (klass);
 159
 160   gobject_class->set_property = gst_gl_test_src_set_property;
 161   gobject_class->get_property = gst_gl_test_src_get_property;
 162
 163   g_object_class_install_property (gobject_class, PROP_PATTERN,
 164       g_param_spec_enum ("pattern", "Pattern",
 165           "Type of test pattern to generate", GST_TYPE_GL_TEST_SRC_PATTERN,
 166           GST_GL_TEST_SRC_SMPTE, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 167   g_object_class_install_property (gobject_class,
 168       PROP_TIMESTAMP_OFFSET, g_param_spec_int64 ("timestamp-offset",
 169           "Timestamp offset",
 170           "An offset added to timestamps set on buffers (in ns)", G_MININT64,
 171           G_MAXINT64, 0, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 172   g_object_class_install_property (gobject_class, PROP_IS_LIVE,
 173       g_param_spec_boolean ("is-live", "Is Live",
 174           "Whether to act as a live source", FALSE,
 175           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 176
 177   gst_element_class_set_metadata (element_class, "Video test source",
 178       "Source/Video", "Creates a test video stream",
 179       "David A. Schleef <ds@schleef.org>");
 180
 181   gst_element_class_add_static_pad_template (element_class, &src_factory);
 182
 183   element_class->set_context = gst_gl_test_src_set_context;
 184   element_class->change_state = gst_gl_test_src_change_state;
 185
 186   gstbasesrc_class->set_caps = gst_gl_test_src_setcaps;
 187   gstbasesrc_class->is_seekable = gst_gl_test_src_is_seekable;
 188   gstbasesrc_class->do_seek = gst_gl_test_src_do_seek;
 189   gstbasesrc_class->query = gst_gl_test_src_query;
 190   gstbasesrc_class->get_times = gst_gl_test_src_get_times;
 191   gstbasesrc_class->start = gst_gl_test_src_start;
 192   gstbasesrc_class->stop = gst_gl_test_src_stop;
 193   gstbasesrc_class->fixate = gst_gl_test_src_fixate;
 194   gstbasesrc_class->decide_allocation = gst_gl_test_src_decide_allocation;
 195
 196   gstpushsrc_class->fill = gst_gl_test_src_fill;
 197 }
 198
 199 static void
 200 gst_gl_test_src_init (GstGLTestSrc * src)
 201 {
 202   gst_gl_test_src_set_pattern (src, GST_GL_TEST_SRC_SMPTE);
 203
 204   src->timestamp_offset = 0;
 205
 206   /* we operate in time */
 207   gst_base_src_set_format (GST_BASE_SRC (src), GST_FORMAT_TIME);
 208   gst_base_src_set_live (GST_BASE_SRC (src), FALSE);
 209 }
 210
 211 static GstCaps *
 212 gst_gl_test_src_fixate (GstBaseSrc * bsrc, GstCaps * caps)
 213 {
 214   GstStructure *structure;
 215
 216   GST_DEBUG ("fixate");
 217
 218   caps = gst_caps_make_writable (caps);
 219
 220   structure = gst_caps_get_structure (caps, 0);
 221
 222   gst_structure_fixate_field_nearest_int (structure, "width", 320);
 223   gst_structure_fixate_field_nearest_int (structure, "height", 240);
 224   gst_structure_fixate_field_nearest_fraction (structure, "framerate", 30, 1);
 225
 226   caps = GST_BASE_SRC_CLASS (parent_class)->fixate (bsrc, caps);
 227
 228   return caps;
 229 }
 230
 231 static void
 232 gst_gl_test_src_set_pattern (GstGLTestSrc * gltestsrc, gint pattern_type)
 233 {
 234   gltestsrc->set_pattern = pattern_type;
 235 }
 236
 237 static void
 238 gst_gl_test_src_set_property (GObject * object, guint prop_id,
 239     const GValue * value, GParamSpec * pspec)
 240 {
 241   GstGLTestSrc *src = GST_GL_TEST_SRC (object);
 242
 243   switch (prop_id) {
 244     case PROP_PATTERN:
 245       gst_gl_test_src_set_pattern (src, g_value_get_enum (value));
 246       break;
 247     case PROP_TIMESTAMP_OFFSET:
 248       src->timestamp_offset = g_value_get_int64 (value);
 249       break;
 250     case PROP_IS_LIVE:
 251       gst_base_src_set_live (GST_BASE_SRC (src), g_value_get_boolean (value));
 252       break;
 253     default:
 254       break;
 255   }
 256 }
 257
 258 static void
 259 gst_gl_test_src_get_property (GObject * object, guint prop_id,
 260     GValue * value, GParamSpec * pspec)
 261 {
 262   GstGLTestSrc *src = GST_GL_TEST_SRC (object);
 263
 264   switch (prop_id) {
 265     case PROP_PATTERN:
 266       g_value_set_enum (value, src->set_pattern);
 267       break;
 268     case PROP_TIMESTAMP_OFFSET:
 269       g_value_set_int64 (value, src->timestamp_offset);
 270       break;
 271     case PROP_IS_LIVE:
 272       g_value_set_boolean (value, gst_base_src_is_live (GST_BASE_SRC (src)));
 273       break;
 274     default:
 275       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 276       break;
 277   }
 278 }
 279
 280 static gboolean
 281 gst_gl_test_src_setcaps (GstBaseSrc * bsrc, GstCaps * caps)
 282 {
 283   GstGLTestSrc *gltestsrc = GST_GL_TEST_SRC (bsrc);
 284
 285   GST_DEBUG ("setcaps");
 286
 287   if (!gst_video_info_from_caps (&gltestsrc->out_info, caps))
 288     goto wrong_caps;
 289
 290   gltestsrc->negotiated = TRUE;
 291
 292   gst_caps_replace (&gltestsrc->out_caps, caps);
 293
 294   return TRUE;
 295
 296 /* ERRORS */
 297 wrong_caps:
 298   {
 299     GST_WARNING ("wrong caps");
 300     return FALSE;
 301   }
 302 }
 303
 304 static void
 305 gst_gl_test_src_set_context (GstElement * element, GstContext * context)
 306 {
 307   GstGLTestSrc *src = GST_GL_TEST_SRC (element);
 308
 309   gst_gl_handle_set_context (element, context, &src->display,
 310       &src->other_context);
 311
 312   if (src->display)
 313     gst_gl_display_filter_gl_api (src->display, SUPPORTED_GL_APIS);
 314
 315   GST_ELEMENT_CLASS (parent_class)->set_context (element, context);
 316 }
 317
 318 static gboolean
 319 gst_gl_test_src_query (GstBaseSrc * bsrc, GstQuery * query)
 320 {
 321   gboolean res = FALSE;
 322   GstGLTestSrc *src;
 323
 324   src = GST_GL_TEST_SRC (bsrc);
 325
 326   switch (GST_QUERY_TYPE (query)) {
 327     case GST_QUERY_CONTEXT:
 328     {
 329       const gchar *context_type;
 330       GstContext *context, *old_context;
 331
 332       res = gst_gl_handle_context_query ((GstElement *) src, query,
 333           &src->display, &src->other_context);
 334       if (src->display)
 335         gst_gl_display_filter_gl_api (src->display, SUPPORTED_GL_APIS);
 336
 337       gst_query_parse_context_type (query, &context_type);
 338
 339       if (g_strcmp0 (context_type, "gst.gl.local_context") == 0) {
 340         GstStructure *s;
 341
 342         gst_query_parse_context (query, &old_context);
 343
 344         if (old_context)
 345           context = gst_context_copy (old_context);
 346         else
 347           context = gst_context_new ("gst.gl.local_context", FALSE);
 348
 349         s = gst_context_writable_structure (context);
 350         gst_structure_set (s, "context", GST_TYPE_GL_CONTEXT, src->context,
 351             NULL);
 352         gst_query_set_context (query, context);
 353         gst_context_unref (context);
 354
 355         res = src->context != NULL;
 356       }
 357       GST_LOG_OBJECT (src, "context query of type %s %i", context_type, res);
 358
 359       if (res)
 360         return res;
 361
 362       break;
 363     }
 364     case GST_QUERY_CONVERT:
 365     {
 366       GstFormat src_fmt, dest_fmt;
 367       gint64 src_val, dest_val;
 368
 369       gst_query_parse_convert (query, &src_fmt, &src_val, &dest_fmt, &dest_val);
 370       res =
 371           gst_video_info_convert (&src->out_info, src_fmt, src_val, dest_fmt,
 372           &dest_val);
 373       gst_query_set_convert (query, src_fmt, src_val, dest_fmt, dest_val);
 374
 375       return res;
 376     }
 377     default:
 378       break;
 379   }
 380
 381   return GST_BASE_SRC_CLASS (parent_class)->query (bsrc, query);
 382 }
 383
 384 static void
 385 gst_gl_test_src_get_times (GstBaseSrc * basesrc, GstBuffer * buffer,
 386     GstClockTime * start, GstClockTime * end)
 387 {
 388   /* for live sources, sync on the timestamp of the buffer */
 389   if (gst_base_src_is_live (basesrc)) {
 390     GstClockTime timestamp = GST_BUFFER_TIMESTAMP (buffer);
 391
 392     if (GST_CLOCK_TIME_IS_VALID (timestamp)) {
 393       /* get duration to calculate end time */
 394       GstClockTime duration = GST_BUFFER_DURATION (buffer);
 395
 396       if (GST_CLOCK_TIME_IS_VALID (duration))
 397         *end = timestamp + duration;
 398       *start = timestamp;
 399     }
 400   } else {
 401     *start = -1;
 402     *end = -1;
 403   }
 404 }
 405
 406 static gboolean
 407 gst_gl_test_src_do_seek (GstBaseSrc * bsrc, GstSegment * segment)
 408 {
 409   GstClockTime time;
 410   GstGLTestSrc *src;
 411
 412   src = GST_GL_TEST_SRC (bsrc);
 413
 414   segment->time = segment->start;
 415   time = segment->position;
 416
 417   /* now move to the time indicated */
 418   if (src->out_info.fps_n) {
 419     src->n_frames = gst_util_uint64_scale (time,
 420         src->out_info.fps_n, src->out_info.fps_d * GST_SECOND);
 421   } else
 422     src->n_frames = 0;
 423
 424   if (src->out_info.fps_n) {
 425     src->running_time = gst_util_uint64_scale (src->n_frames,
 426         src->out_info.fps_d * GST_SECOND, src->out_info.fps_n);
 427   } else {
 428     /* FIXME : Not sure what to set here */
 429     src->running_time = 0;
 430   }
 431
 432   g_return_val_if_fail (src->running_time <= time, FALSE);
 433
 434   return TRUE;
 435 }
 436
 437 static gboolean
 438 gst_gl_test_src_is_seekable (GstBaseSrc * psrc)
 439 {
 440   /* we're seekable... */
 441   return TRUE;
 442 }
 443
 444 static gboolean
 445 gst_gl_test_src_init_shader (GstGLTestSrc * gltestsrc)
 446 {
 447   if (gst_gl_context_get_gl_api (gltestsrc->context)) {
 448     /* blocking call, wait until the opengl thread has compiled the shader */
 449 //    if (gltestsrc->vertex_src == NULL)
 450 //      return FALSE;
 451 //    return gst_gl_context_gen_shader (gltestsrc->context, gltestsrc->vertex_src,
 452 //        gltestsrc->fragment_src, &gltestsrc->shader);
 453   }
 454   return TRUE;
 455 }
 456
 457 static void
 458 _fill_gl (GstGLContext * context, GstGLTestSrc * src)
 459 {
 460   src->gl_result = gst_gl_framebuffer_draw_to_texture (src->fbo, src->out_tex,
 461       gst_gl_test_src_callback, src);
 462 }
 463
 464 static GstFlowReturn
 465 gst_gl_test_src_fill (GstPushSrc * psrc, GstBuffer * buffer)
 466 {
 467   GstGLTestSrc *src = GST_GL_TEST_SRC (psrc);
 468   GstClockTime next_time;
 469   GstVideoFrame out_frame;
 470   GstGLSyncMeta *sync_meta;
 471
 472   if (G_UNLIKELY (!src->negotiated || !src->context))
 473     goto not_negotiated;
 474
 475   /* 0 framerate and we are at the second frame, eos */
 476   if (G_UNLIKELY (GST_VIDEO_INFO_FPS_N (&src->out_info) == 0
 477           && src->n_frames == 1))
 478     goto eos;
 479
 480   if (!gst_video_frame_map (&out_frame, &src->out_info, buffer,
 481           GST_MAP_WRITE | GST_MAP_GL)) {
 482     return GST_FLOW_NOT_NEGOTIATED;
 483   }
 484
 485   src->out_tex = (GstGLMemory *) out_frame.map[0].memory;
 486
 487   gst_gl_context_thread_add (src->context, (GstGLContextThreadFunc) _fill_gl,
 488       src);
 489   if (!src->gl_result) {
 490     gst_video_frame_unmap (&out_frame);
 491     goto gl_error;
 492   }
 493   gst_video_frame_unmap (&out_frame);
 494   if (!src->gl_result)
 495     goto gl_error;
 496
 497   sync_meta = gst_buffer_get_gl_sync_meta (buffer);
 498   if (sync_meta)
 499     gst_gl_sync_meta_set_sync_point (sync_meta, src->context);
 500
 501   GST_BUFFER_TIMESTAMP (buffer) = src->timestamp_offset + src->running_time;
 502   GST_BUFFER_OFFSET (buffer) = src->n_frames;
 503   src->n_frames++;
 504   GST_BUFFER_OFFSET_END (buffer) = src->n_frames;
 505   if (src->out_info.fps_n) {
 506     next_time = gst_util_uint64_scale_int (src->n_frames * GST_SECOND,
 507         src->out_info.fps_d, src->out_info.fps_n);
 508     GST_BUFFER_DURATION (buffer) = next_time - src->running_time;
 509   } else {
 510     next_time = src->timestamp_offset;
 511     /* NONE means forever */
 512     GST_BUFFER_DURATION (buffer) = GST_CLOCK_TIME_NONE;
 513   }
 514
 515   src->running_time = next_time;
 516
 517   return GST_FLOW_OK;
 518
 519 gl_error:
 520   {
 521     GST_ELEMENT_ERROR (src, RESOURCE, NOT_FOUND, (_("failed to draw pattern")),
 522         (_("A GL error occured")));
 523     return GST_FLOW_NOT_NEGOTIATED;
 524   }
 525 not_negotiated:
 526   {
 527     GST_ELEMENT_ERROR (src, CORE, NEGOTIATION, (NULL),
 528         (_("format wasn't negotiated before get function")));
 529     return GST_FLOW_NOT_NEGOTIATED;
 530   }
 531 eos:
 532   {
 533     GST_DEBUG_OBJECT (src, "eos: 0 framerate, frame %d", (gint) src->n_frames);
 534     return GST_FLOW_EOS;
 535   }
 536 }
 537
 538 static gboolean
 539 gst_gl_test_src_start (GstBaseSrc * basesrc)
 540 {
 541   GstGLTestSrc *src = GST_GL_TEST_SRC (basesrc);
 542
 543   if (!gst_gl_ensure_element_data (src, &src->display, &src->other_context))
 544     return FALSE;
 545
 546   gst_gl_display_filter_gl_api (src->display, SUPPORTED_GL_APIS);
 547
 548   src->running_time = 0;
 549   src->n_frames = 0;
 550   src->negotiated = FALSE;
 551
 552   return TRUE;
 553 }
 554
 555 static gboolean
 556 gst_gl_test_src_stop (GstBaseSrc * basesrc)
 557 {
 558   GstGLTestSrc *src = GST_GL_TEST_SRC (basesrc);
 559
 560   gst_caps_replace (&src->out_caps, NULL);
 561
 562   if (src->context) {
 563     if (src->shader) {
 564       gst_object_unref (src->shader);
 565       src->shader = NULL;
 566     }
 567
 568     if (src->fbo)
 569       gst_object_unref (src->fbo);
 570     src->fbo = NULL;
 571
 572     gst_object_unref (src->context);
 573     src->context = NULL;
 574   }
 575
 576   if (src->src_impl) {
 577     src->src_funcs->free (src->src_impl);
 578     src->src_impl = NULL;
 579   }
 580
 581   return TRUE;
 582 }
 583
 584 static gboolean
 585 _find_local_gl_context (GstGLTestSrc * src)
 586 {
 587   GstQuery *query;
 588   GstContext *context;
 589   const GstStructure *s;
 590
 591   if (src->context)
 592     return TRUE;
 593
 594   query = gst_query_new_context ("gst.gl.local_context");
 595   if (!src->context && gst_gl_run_query (GST_ELEMENT (src), query, GST_PAD_SRC)) {
 596     gst_query_parse_context (query, &context);
 597     if (context) {
 598       s = gst_context_get_structure (context);
 599       gst_structure_get (s, "context", GST_TYPE_GL_CONTEXT, &src->context,
 600           NULL);
 601     }
 602   }
 603   if (!src->context
 604       && gst_gl_run_query (GST_ELEMENT (src), query, GST_PAD_SINK)) {
 605     gst_query_parse_context (query, &context);
 606     if (context) {
 607       s = gst_context_get_structure (context);
 608       gst_structure_get (s, "context", GST_TYPE_GL_CONTEXT, &src->context,
 609           NULL);
 610     }
 611   }
 612
 613   GST_DEBUG_OBJECT (src, "found local context %p", src->context);
 614
 615   gst_query_unref (query);
 616
 617   if (src->context)
 618     return TRUE;
 619
 620   return FALSE;
 621 }
 622
 623 static void
 624 _src_generate_fbo_gl (GstGLContext * context, GstGLTestSrc * src)
 625 {
 626   src->fbo = gst_gl_framebuffer_new_with_default_depth (src->context,
 627       GST_VIDEO_INFO_WIDTH (&src->out_info),
 628       GST_VIDEO_INFO_HEIGHT (&src->out_info));
 629 }
 630
 631 static gboolean
 632 gst_gl_test_src_decide_allocation (GstBaseSrc * basesrc, GstQuery * query)
 633 {
 634   GstGLTestSrc *src = GST_GL_TEST_SRC (basesrc);
 635   GstBufferPool *pool = NULL;
 636   GstStructure *config;
 637   GstCaps *caps;
 638   guint min, max, size;
 639   gboolean update_pool;
 640   GError *error = NULL;
 641
 642   if (!gst_gl_ensure_element_data (src, &src->display, &src->other_context))
 643     return FALSE;
 644
 645   gst_gl_display_filter_gl_api (src->display, SUPPORTED_GL_APIS);
 646
 647   _find_local_gl_context (src);
 648
 649   if (!src->context) {
 650     GST_OBJECT_LOCK (src->display);
 651     do {
 652       if (src->context) {
 653         gst_object_unref (src->context);
 654         src->context = NULL;
 655       }
 656       /* just get a GL context.  we don't care */
 657       src->context =
 658           gst_gl_display_get_gl_context_for_thread (src->display, NULL);
 659       if (!src->context) {
 660         if (!gst_gl_display_create_context (src->display, src->other_context,
 661                 &src->context, &error)) {
 662           GST_OBJECT_UNLOCK (src->display);
 663           goto context_error;
 664         }
 665       }
 666     } while (!gst_gl_display_add_context (src->display, src->context));
 667     GST_OBJECT_UNLOCK (src->display);
 668   }
 669
 670   if ((gst_gl_context_get_gl_api (src->context) & SUPPORTED_GL_APIS) == 0)
 671     goto unsupported_gl_api;
 672
 673   gst_gl_context_thread_add (src->context,
 674       (GstGLContextThreadFunc) _src_generate_fbo_gl, src);
 675   if (!src->fbo)
 676     goto context_error;
 677
 678   gst_query_parse_allocation (query, &caps, NULL);
 679
 680   if (gst_query_get_n_allocation_pools (query) > 0) {
 681     gst_query_parse_nth_allocation_pool (query, 0, &pool, &size, &min, &max);
 682
 683     update_pool = TRUE;
 684   } else {
 685     GstVideoInfo vinfo;
 686
 687     gst_video_info_init (&vinfo);
 688     gst_video_info_from_caps (&vinfo, caps);
 689     size = vinfo.size;
 690     min = max = 0;
 691     update_pool = FALSE;
 692   }
 693
 694   if (!pool || !GST_IS_GL_BUFFER_POOL (pool)) {
 695     /* can't use this pool */
 696     if (pool)
 697       gst_object_unref (pool);
 698     pool = gst_gl_buffer_pool_new (src->context);
 699   }
 700   config = gst_buffer_pool_get_config (pool);
 701
 702   gst_buffer_pool_config_set_params (config, caps, size, min, max);
 703   gst_buffer_pool_config_add_option (config, GST_BUFFER_POOL_OPTION_VIDEO_META);
 704   if (gst_query_find_allocation_meta (query, GST_GL_SYNC_META_API_TYPE, NULL))
 705     gst_buffer_pool_config_add_option (config,
 706         GST_BUFFER_POOL_OPTION_GL_SYNC_META);
 707   gst_buffer_pool_config_add_option (config,
 708       GST_BUFFER_POOL_OPTION_VIDEO_GL_TEXTURE_UPLOAD_META);
 709
 710   gst_buffer_pool_set_config (pool, config);
 711
 712   if (update_pool)
 713     gst_query_set_nth_allocation_pool (query, 0, pool, size, min, max);
 714   else
 715     gst_query_add_allocation_pool (query, pool, size, min, max);
 716
 717   gst_gl_test_src_init_shader (src);
 718
 719   gst_object_unref (pool);
 720
 721   return TRUE;
 722
 723 unsupported_gl_api:
 724   {
 725     GstGLAPI gl_api = gst_gl_context_get_gl_api (src->context);
 726     gchar *gl_api_str = gst_gl_api_to_string (gl_api);
 727     gchar *supported_gl_api_str = gst_gl_api_to_string (SUPPORTED_GL_APIS);
 728     GST_ELEMENT_ERROR (src, RESOURCE, BUSY,
 729         ("GL API's not compatible context: %s supported: %s", gl_api_str,
 730             supported_gl_api_str), (NULL));
 731
 732     g_free (supported_gl_api_str);
 733     g_free (gl_api_str);
 734     return FALSE;
 735   }
 736 context_error:
 737   {
 738     GST_ELEMENT_ERROR (src, RESOURCE, NOT_FOUND, ("%s", error->message),
 739         (NULL));
 740     g_clear_error (&error);
 741     if (src->context)
 742       gst_object_unref (src->context);
 743     src->context = NULL;
 744     return FALSE;
 745   }
 746 }
 747
 748 static gboolean
 749 gst_gl_test_src_callback (gpointer stuff)
 750 {
 751   GstGLTestSrc *src = GST_GL_TEST_SRC (stuff);
 752   const struct SrcFuncs *funcs;
 753
 754   funcs = src->src_funcs;
 755
 756   if (!funcs || src->set_pattern != src->active_pattern) {
 757     if (src->src_impl && funcs)
 758       funcs->free (src->src_impl);
 759     src->src_funcs = funcs =
 760         gst_gl_test_src_get_src_funcs_for_pattern (src->set_pattern);
 761     if (funcs == NULL) {
 762       GST_ERROR_OBJECT (src, "Could not find an implementation of the "
 763           "requested pattern");
 764       return FALSE;
 765     }
 766     src->src_impl = funcs->new (src);
 767     if (!(src->gl_result =
 768             funcs->init (src->src_impl, src->context, &src->out_info))) {
 769       GST_ERROR_OBJECT (src, "Failed to initialize pattern");
 770       return FALSE;
 771     }
 772     src->active_pattern = src->set_pattern;
 773   }
 774
 775   return funcs->fill_bound_fbo (src->src_impl);
 776 }
 777
 778 static GstStateChangeReturn
 779 gst_gl_test_src_change_state (GstElement * element, GstStateChange transition)
 780 {
 781   GstGLTestSrc *src = GST_GL_TEST_SRC (element);
 782   GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
 783
 784   GST_DEBUG_OBJECT (src, "changing state: %s => %s",
 785       gst_element_state_get_name (GST_STATE_TRANSITION_CURRENT (transition)),
 786       gst_element_state_get_name (GST_STATE_TRANSITION_NEXT (transition)));
 787
 788   switch (transition) {
 789     case GST_STATE_CHANGE_NULL_TO_READY:
 790       if (!gst_gl_ensure_element_data (element, &src->display,
 791               &src->other_context))
 792         return GST_STATE_CHANGE_FAILURE;
 793
 794       gst_gl_display_filter_gl_api (src->display, SUPPORTED_GL_APIS);
 795       break;
 796     default:
 797       break;
 798   }
 799
 800   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
 801   if (ret == GST_STATE_CHANGE_FAILURE)
 802     return ret;
 803
 804   switch (transition) {
 805     case GST_STATE_CHANGE_READY_TO_NULL:
 806       if (src->other_context) {
 807         gst_object_unref (src->other_context);
 808         src->other_context = NULL;
 809       }
 810
 811       if (src->display) {
 812         gst_object_unref (src->display);
 813         src->display = NULL;
 814       }
 815       break;
 816     default:
 817       break;
 818   }
 819
 820   return ret;
 821 }