ext/gtk/gstgtkbasesink.c

   1 /*
   2  * GStreamer
   3  * Copyright (C) 2015 Matthew Waters <matthew@centricular.com>
   4  *
   5  * This library is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU Library General Public
   7  * License as published by the Free Software Foundation; either
   8  * version 2 of the License, or (at your option) any later version.
   9  *
  10  * This library is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * Library General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU Library General Public
  16  * License along with this library; if not, write to the
  17  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  18  * Boston, MA 02110-1301, USA.
  19  */
  20
  21 /**
  22  * SECTION:gtkgstsink
  23  *
  24  */
  25
  26 #ifdef HAVE_CONFIG_H
  27 #include "config.h"
  28 #endif
  29
  30 #include "gstgtkbasesink.h"
  31 #include "gstgtkutils.h"
  32
  33 GST_DEBUG_CATEGORY (gst_debug_gtk_base_sink);
  34 #define GST_CAT_DEFAULT gst_debug_gtk_base_sink
  35
  36 #define DEFAULT_FORCE_ASPECT_RATIO  TRUE
  37 #define DEFAULT_PAR_N               0
  38 #define DEFAULT_PAR_D               1
  39 #define DEFAULT_IGNORE_ALPHA        TRUE
  40
  41 static void gst_gtk_base_sink_finalize (GObject * object);
  42 static void gst_gtk_base_sink_set_property (GObject * object, guint prop_id,
  43     const GValue * value, GParamSpec * param_spec);
  44 static void gst_gtk_base_sink_get_property (GObject * object, guint prop_id,
  45     GValue * value, GParamSpec * param_spec);
  46
  47 static gboolean gst_gtk_base_sink_start (GstBaseSink * bsink);
  48 static gboolean gst_gtk_base_sink_stop (GstBaseSink * bsink);
  49
  50 static GstStateChangeReturn
  51 gst_gtk_base_sink_change_state (GstElement * element,
  52     GstStateChange transition);
  53
  54 static void gst_gtk_base_sink_get_times (GstBaseSink * bsink, GstBuffer * buf,
  55     GstClockTime * start, GstClockTime * end);
  56 static gboolean gst_gtk_base_sink_set_caps (GstBaseSink * bsink,
  57     GstCaps * caps);
  58 static GstFlowReturn gst_gtk_base_sink_show_frame (GstVideoSink * bsink,
  59     GstBuffer * buf);
  60
  61 static void
  62 gst_gtk_base_sink_navigation_interface_init (GstNavigationInterface * iface);
  63
  64 enum
  65 {
  66   PROP_0,
  67   PROP_WIDGET,
  68   PROP_FORCE_ASPECT_RATIO,
  69   PROP_PIXEL_ASPECT_RATIO,
  70   PROP_IGNORE_ALPHA,
  71 };
  72
  73 #define gst_gtk_base_sink_parent_class parent_class
  74 G_DEFINE_ABSTRACT_TYPE_WITH_CODE (GstGtkBaseSink, gst_gtk_base_sink,
  75     GST_TYPE_VIDEO_SINK,
  76     G_IMPLEMENT_INTERFACE (GST_TYPE_NAVIGATION,
  77         gst_gtk_base_sink_navigation_interface_init);
  78     GST_DEBUG_CATEGORY_INIT (gst_debug_gtk_base_sink,
  79         "gtkbasesink", 0, "Gtk Video Sink base class"));
  80
  81
  82 static void
  83 gst_gtk_base_sink_class_init (GstGtkBaseSinkClass * klass)
  84 {
  85   GObjectClass *gobject_class;
  86   GstElementClass *gstelement_class;
  87   GstBaseSinkClass *gstbasesink_class;
  88   GstVideoSinkClass *gstvideosink_class;
  89
  90   gobject_class = (GObjectClass *) klass;
  91   gstelement_class = (GstElementClass *) klass;
  92   gstbasesink_class = (GstBaseSinkClass *) klass;
  93   gstvideosink_class = (GstVideoSinkClass *) klass;
  94
  95   gobject_class->set_property = gst_gtk_base_sink_set_property;
  96   gobject_class->get_property = gst_gtk_base_sink_get_property;
  97
  98   g_object_class_install_property (gobject_class, PROP_WIDGET,
  99       g_param_spec_object ("widget", "Gtk Widget",
 100           "The GtkWidget to place in the widget hierarchy "
 101           "(must only be get from the GTK main thread)",
 102           GTK_TYPE_WIDGET, G_PARAM_READABLE | G_PARAM_STATIC_STRINGS));
 103
 104   g_object_class_install_property (gobject_class, PROP_FORCE_ASPECT_RATIO,
 105       g_param_spec_boolean ("force-aspect-ratio",
 106           "Force aspect ratio",
 107           "When enabled, scaling will respect original aspect ratio",
 108           DEFAULT_FORCE_ASPECT_RATIO,
 109           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 110
 111   g_object_class_install_property (gobject_class, PROP_PIXEL_ASPECT_RATIO,
 112       gst_param_spec_fraction ("pixel-aspect-ratio", "Pixel Aspect Ratio",
 113           "The pixel aspect ratio of the device", DEFAULT_PAR_N, DEFAULT_PAR_D,
 114           G_MAXINT, 1, 1, 1, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 115
 116   g_object_class_install_property (gobject_class, PROP_IGNORE_ALPHA,
 117       g_param_spec_boolean ("ignore-alpha", "Ignore Alpha",
 118           "When enabled, alpha will be ignored and converted to black",
 119           DEFAULT_IGNORE_ALPHA, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 120
 121   gobject_class->finalize = gst_gtk_base_sink_finalize;
 122
 123   gstelement_class->change_state = gst_gtk_base_sink_change_state;
 124   gstbasesink_class->set_caps = gst_gtk_base_sink_set_caps;
 125   gstbasesink_class->get_times = gst_gtk_base_sink_get_times;
 126   gstbasesink_class->start = gst_gtk_base_sink_start;
 127   gstbasesink_class->stop = gst_gtk_base_sink_stop;
 128
 129   gstvideosink_class->show_frame = gst_gtk_base_sink_show_frame;
 130 }
 131
 132 static void
 133 gst_gtk_base_sink_init (GstGtkBaseSink * gtk_sink)
 134 {
 135   gtk_sink->force_aspect_ratio = DEFAULT_FORCE_ASPECT_RATIO;
 136   gtk_sink->par_n = DEFAULT_PAR_N;
 137   gtk_sink->par_d = DEFAULT_PAR_D;
 138   gtk_sink->ignore_alpha = DEFAULT_IGNORE_ALPHA;
 139 }
 140
 141 static void
 142 gst_gtk_base_sink_finalize (GObject * object)
 143 {
 144   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (object);
 145
 146   GST_OBJECT_LOCK (gtk_sink);
 147   if (gtk_sink->window && gtk_sink->window_destroy_id)
 148     g_signal_handler_disconnect (gtk_sink->window, gtk_sink->window_destroy_id);
 149   if (gtk_sink->widget && gtk_sink->widget_destroy_id)
 150     g_signal_handler_disconnect (gtk_sink->widget, gtk_sink->widget_destroy_id);
 151
 152   g_clear_object (&gtk_sink->widget);
 153   GST_OBJECT_UNLOCK (gtk_sink);
 154
 155   G_OBJECT_CLASS (parent_class)->finalize (object);
 156 }
 157
 158 static void
 159 widget_destroy_cb (GtkWidget * widget, GstGtkBaseSink * gtk_sink)
 160 {
 161   GST_OBJECT_LOCK (gtk_sink);
 162   g_clear_object (&gtk_sink->widget);
 163   GST_OBJECT_UNLOCK (gtk_sink);
 164 }
 165
 166 static void
 167 window_destroy_cb (GtkWidget * widget, GstGtkBaseSink * gtk_sink)
 168 {
 169   GST_OBJECT_LOCK (gtk_sink);
 170   gtk_sink->window = NULL;
 171   GST_OBJECT_UNLOCK (gtk_sink);
 172 }
 173
 174 static GtkGstBaseWidget *
 175 gst_gtk_base_sink_get_widget (GstGtkBaseSink * gtk_sink)
 176 {
 177   if (gtk_sink->widget != NULL)
 178     return gtk_sink->widget;
 179
 180   /* Ensure GTK is initialized, this has no side effect if it was already
 181    * initialized. Also, we do that lazily, so the application can be first */
 182   if (!gtk_init_check (NULL, NULL)) {
 183     GST_ERROR_OBJECT (gtk_sink, "Could not ensure GTK initialization.");
 184     return NULL;
 185   }
 186
 187   g_assert (GST_GTK_BASE_SINK_GET_CLASS (gtk_sink)->create_widget);
 188   gtk_sink->widget = (GtkGstBaseWidget *)
 189       GST_GTK_BASE_SINK_GET_CLASS (gtk_sink)->create_widget ();
 190
 191   gtk_sink->bind_aspect_ratio =
 192       g_object_bind_property (gtk_sink, "force-aspect-ratio", gtk_sink->widget,
 193       "force-aspect-ratio", G_BINDING_BIDIRECTIONAL | G_BINDING_SYNC_CREATE);
 194   gtk_sink->bind_pixel_aspect_ratio =
 195       g_object_bind_property (gtk_sink, "pixel-aspect-ratio", gtk_sink->widget,
 196       "pixel-aspect-ratio", G_BINDING_BIDIRECTIONAL | G_BINDING_SYNC_CREATE);
 197   gtk_sink->bind_ignore_alpha =
 198       g_object_bind_property (gtk_sink, "ignore-alpha", gtk_sink->widget,
 199       "ignore-alpha", G_BINDING_BIDIRECTIONAL | G_BINDING_SYNC_CREATE);
 200
 201   /* Take the floating ref, other wise the destruction of the container will
 202    * make this widget disapear possibly before we are done. */
 203   gst_object_ref_sink (gtk_sink->widget);
 204   gtk_sink->widget_destroy_id = g_signal_connect (gtk_sink->widget, "destroy",
 205       G_CALLBACK (widget_destroy_cb), gtk_sink);
 206
 207   /* back pointer */
 208   gtk_gst_base_widget_set_element (GTK_GST_BASE_WIDGET (gtk_sink->widget),
 209       GST_ELEMENT (gtk_sink));
 210
 211   return gtk_sink->widget;
 212 }
 213
 214 static void
 215 gst_gtk_base_sink_get_property (GObject * object, guint prop_id,
 216     GValue * value, GParamSpec * pspec)
 217 {
 218   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (object);
 219
 220   switch (prop_id) {
 221     case PROP_WIDGET:
 222     {
 223       GObject *widget = NULL;
 224
 225       GST_OBJECT_LOCK (gtk_sink);
 226       if (gtk_sink->widget != NULL)
 227         widget = G_OBJECT (gtk_sink->widget);
 228       GST_OBJECT_UNLOCK (gtk_sink);
 229
 230       if (!widget)
 231         widget =
 232             gst_gtk_invoke_on_main ((GThreadFunc) gst_gtk_base_sink_get_widget,
 233             gtk_sink);
 234
 235       g_value_set_object (value, widget);
 236       break;
 237     }
 238     case PROP_FORCE_ASPECT_RATIO:
 239       g_value_set_boolean (value, gtk_sink->force_aspect_ratio);
 240       break;
 241     case PROP_PIXEL_ASPECT_RATIO:
 242       gst_value_set_fraction (value, gtk_sink->par_n, gtk_sink->par_d);
 243       break;
 244     case PROP_IGNORE_ALPHA:
 245       g_value_set_boolean (value, gtk_sink->ignore_alpha);
 246       break;
 247     default:
 248       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 249       break;
 250   }
 251 }
 252
 253 static void
 254 gst_gtk_base_sink_set_property (GObject * object, guint prop_id,
 255     const GValue * value, GParamSpec * pspec)
 256 {
 257   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (object);
 258
 259   switch (prop_id) {
 260     case PROP_FORCE_ASPECT_RATIO:
 261       gtk_sink->force_aspect_ratio = g_value_get_boolean (value);
 262       break;
 263     case PROP_PIXEL_ASPECT_RATIO:
 264       gtk_sink->par_n = gst_value_get_fraction_numerator (value);
 265       gtk_sink->par_d = gst_value_get_fraction_denominator (value);
 266       break;
 267     case PROP_IGNORE_ALPHA:
 268       gtk_sink->ignore_alpha = g_value_get_boolean (value);
 269       break;
 270     default:
 271       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 272       break;
 273   }
 274 }
 275
 276 static void
 277 gst_gtk_base_sink_navigation_send_event (GstNavigation * navigation,
 278     GstStructure * structure)
 279 {
 280   GstGtkBaseSink *sink = GST_GTK_BASE_SINK (navigation);
 281   GstEvent *event;
 282   GstPad *pad;
 283
 284   event = gst_event_new_navigation (structure);
 285   pad = gst_pad_get_peer (GST_VIDEO_SINK_PAD (sink));
 286
 287   GST_TRACE_OBJECT (sink, "navigation event %" GST_PTR_FORMAT, structure);
 288
 289   if (GST_IS_PAD (pad)) {
 290     if (GST_IS_EVENT (event))
 291       gst_pad_send_event (pad, event);
 292
 293     gst_object_unref (pad);
 294   }
 295 }
 296
 297 static void
 298 gst_gtk_base_sink_navigation_interface_init (GstNavigationInterface * iface)
 299 {
 300   iface->send_event = gst_gtk_base_sink_navigation_send_event;
 301 }
 302
 303 static gboolean
 304 gst_gtk_base_sink_start_on_main (GstBaseSink * bsink)
 305 {
 306   GstGtkBaseSink *gst_sink = GST_GTK_BASE_SINK (bsink);
 307   GstGtkBaseSinkClass *klass = GST_GTK_BASE_SINK_GET_CLASS (bsink);
 308   GtkWidget *toplevel;
 309
 310   if (gst_gtk_base_sink_get_widget (gst_sink) == NULL)
 311     return FALSE;
 312
 313   /* After this point, gtk_sink->widget will always be set */
 314
 315   toplevel = gtk_widget_get_toplevel (GTK_WIDGET (gst_sink->widget));
 316   if (!gtk_widget_is_toplevel (toplevel)) {
 317     /* sanity check */
 318     g_assert (klass->window_title);
 319
 320     /* User did not add widget its own UI, let's popup a new GtkWindow to
 321      * make gst-launch-1.0 work. */
 322     gst_sink->window = gtk_window_new (GTK_WINDOW_TOPLEVEL);
 323     gtk_window_set_default_size (GTK_WINDOW (gst_sink->window), 640, 480);
 324     gtk_window_set_title (GTK_WINDOW (gst_sink->window), klass->window_title);
 325     gtk_container_add (GTK_CONTAINER (gst_sink->window), toplevel);
 326     gst_sink->window_destroy_id = g_signal_connect (gst_sink->window, "destroy",
 327         G_CALLBACK (window_destroy_cb), gst_sink);
 328   }
 329
 330   return TRUE;
 331 }
 332
 333 static gboolean
 334 gst_gtk_base_sink_start (GstBaseSink * bsink)
 335 {
 336   return ! !gst_gtk_invoke_on_main ((GThreadFunc)
 337       gst_gtk_base_sink_start_on_main, bsink);
 338 }
 339
 340 static gboolean
 341 gst_gtk_base_sink_stop_on_main (GstBaseSink * bsink)
 342 {
 343   GstGtkBaseSink *gst_sink = GST_GTK_BASE_SINK (bsink);
 344
 345   if (gst_sink->window) {
 346     gtk_widget_destroy (gst_sink->window);
 347     gst_sink->window = NULL;
 348     gst_sink->widget = NULL;
 349   }
 350
 351   return TRUE;
 352 }
 353
 354 static gboolean
 355 gst_gtk_base_sink_stop (GstBaseSink * bsink)
 356 {
 357   GstGtkBaseSink *gst_sink = GST_GTK_BASE_SINK (bsink);
 358
 359   if (gst_sink->window)
 360     return ! !gst_gtk_invoke_on_main ((GThreadFunc)
 361         gst_gtk_base_sink_stop_on_main, bsink);
 362
 363   return TRUE;
 364 }
 365
 366 static void
 367 gst_gtk_widget_show_all_and_unref (GtkWidget * widget)
 368 {
 369   gtk_widget_show_all (widget);
 370   g_object_unref (widget);
 371 }
 372
 373 static GstStateChangeReturn
 374 gst_gtk_base_sink_change_state (GstElement * element, GstStateChange transition)
 375 {
 376   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (element);
 377   GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
 378
 379   GST_DEBUG_OBJECT (element, "changing state: %s => %s",
 380       gst_element_state_get_name (GST_STATE_TRANSITION_CURRENT (transition)),
 381       gst_element_state_get_name (GST_STATE_TRANSITION_NEXT (transition)));
 382
 383   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
 384   if (ret == GST_STATE_CHANGE_FAILURE)
 385     return ret;
 386
 387   switch (transition) {
 388     case GST_STATE_CHANGE_READY_TO_PAUSED:
 389     {
 390       GtkWindow *window = NULL;
 391
 392       GST_OBJECT_LOCK (gtk_sink);
 393       if (gtk_sink->window)
 394         window = g_object_ref (gtk_sink->window);
 395       GST_OBJECT_UNLOCK (gtk_sink);
 396
 397       if (window)
 398         gst_gtk_invoke_on_main ((GThreadFunc) gst_gtk_widget_show_all_and_unref,
 399             window);
 400
 401       break;
 402     }
 403     case GST_STATE_CHANGE_PAUSED_TO_READY:
 404       GST_OBJECT_LOCK (gtk_sink);
 405       if (gtk_sink->widget)
 406         gtk_gst_base_widget_set_buffer (gtk_sink->widget, NULL);
 407       GST_OBJECT_UNLOCK (gtk_sink);
 408       break;
 409     default:
 410       break;
 411   }
 412
 413   return ret;
 414 }
 415
 416 static void
 417 gst_gtk_base_sink_get_times (GstBaseSink * bsink, GstBuffer * buf,
 418     GstClockTime * start, GstClockTime * end)
 419 {
 420   GstGtkBaseSink *gtk_sink;
 421
 422   gtk_sink = GST_GTK_BASE_SINK (bsink);
 423
 424   if (GST_BUFFER_TIMESTAMP_IS_VALID (buf)) {
 425     *start = GST_BUFFER_TIMESTAMP (buf);
 426     if (GST_BUFFER_DURATION_IS_VALID (buf))
 427       *end = *start + GST_BUFFER_DURATION (buf);
 428     else {
 429       if (GST_VIDEO_INFO_FPS_N (&gtk_sink->v_info) > 0) {
 430         *end = *start +
 431             gst_util_uint64_scale_int (GST_SECOND,
 432             GST_VIDEO_INFO_FPS_D (&gtk_sink->v_info),
 433             GST_VIDEO_INFO_FPS_N (&gtk_sink->v_info));
 434       }
 435     }
 436   }
 437 }
 438
 439 gboolean
 440 gst_gtk_base_sink_set_caps (GstBaseSink * bsink, GstCaps * caps)
 441 {
 442   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (bsink);
 443
 444   GST_DEBUG ("set caps with %" GST_PTR_FORMAT, caps);
 445
 446   if (!gst_video_info_from_caps (&gtk_sink->v_info, caps))
 447     return FALSE;
 448
 449   GST_OBJECT_LOCK (gtk_sink);
 450
 451   if (gtk_sink->widget == NULL) {
 452     GST_OBJECT_UNLOCK (gtk_sink);
 453     GST_ELEMENT_ERROR (gtk_sink, RESOURCE, NOT_FOUND,
 454         ("%s", "Output widget was destroyed"), (NULL));
 455     return FALSE;
 456   }
 457
 458   if (!gtk_gst_base_widget_set_format (gtk_sink->widget, &gtk_sink->v_info)) {
 459     GST_OBJECT_UNLOCK (gtk_sink);
 460     return FALSE;
 461   }
 462   GST_OBJECT_UNLOCK (gtk_sink);
 463
 464   return TRUE;
 465 }
 466
 467 static GstFlowReturn
 468 gst_gtk_base_sink_show_frame (GstVideoSink * vsink, GstBuffer * buf)
 469 {
 470   GstGtkBaseSink *gtk_sink;
 471
 472   GST_TRACE ("rendering buffer:%p", buf);
 473
 474   gtk_sink = GST_GTK_BASE_SINK (vsink);
 475
 476   GST_OBJECT_LOCK (vsink);
 477
 478   if (gtk_sink->widget == NULL) {
 479     GST_OBJECT_UNLOCK (gtk_sink);
 480     GST_ELEMENT_ERROR (gtk_sink, RESOURCE, NOT_FOUND,
 481         ("%s", "Output widget was destroyed"), (NULL));
 482     return GST_FLOW_ERROR;
 483   }
 484
 485   gtk_gst_base_widget_set_buffer (gtk_sink->widget, buf);
 486
 487   GST_OBJECT_UNLOCK (gtk_sink);
 488
 489   return GST_FLOW_OK;
 490 }