ext/gtk/gstgtkbasesink.c

   1 /*
   2  * GStreamer
   3  * Copyright (C) 2015 Matthew Waters <matthew@centricular.com>
   4  *
   5  * This library is free software; you can redistribute it and/or
   6  * modify it under the terms of the GNU Library General Public
   7  * License as published by the Free Software Foundation; either
   8  * version 2 of the License, or (at your option) any later version.
   9  *
  10  * This library is distributed in the hope that it will be useful,
  11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13  * Library General Public License for more details.
  14  *
  15  * You should have received a copy of the GNU Library General Public
  16  * License along with this library; if not, write to the
  17  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  18  * Boston, MA 02110-1301, USA.
  19  */
  20
  21 /**
  22  * SECTION:gtkgstsink
  23  * @title: GstGtkBaseSink
  24  *
  25  */
  26
  27 #ifdef HAVE_CONFIG_H
  28 #include "config.h"
  29 #endif
  30
  31 #include "gstgtkbasesink.h"
  32 #include "gstgtkutils.h"
  33
  34 GST_DEBUG_CATEGORY (gst_debug_gtk_base_sink);
  35 #define GST_CAT_DEFAULT gst_debug_gtk_base_sink
  36
  37 #define DEFAULT_FORCE_ASPECT_RATIO  TRUE
  38 #define DEFAULT_PAR_N               0
  39 #define DEFAULT_PAR_D               1
  40 #define DEFAULT_IGNORE_ALPHA        TRUE
  41
  42 static void gst_gtk_base_sink_finalize (GObject * object);
  43 static void gst_gtk_base_sink_set_property (GObject * object, guint prop_id,
  44     const GValue * value, GParamSpec * param_spec);
  45 static void gst_gtk_base_sink_get_property (GObject * object, guint prop_id,
  46     GValue * value, GParamSpec * param_spec);
  47
  48 static gboolean gst_gtk_base_sink_start (GstBaseSink * bsink);
  49 static gboolean gst_gtk_base_sink_stop (GstBaseSink * bsink);
  50
  51 static GstStateChangeReturn
  52 gst_gtk_base_sink_change_state (GstElement * element,
  53     GstStateChange transition);
  54
  55 static void gst_gtk_base_sink_get_times (GstBaseSink * bsink, GstBuffer * buf,
  56     GstClockTime * start, GstClockTime * end);
  57 static gboolean gst_gtk_base_sink_set_caps (GstBaseSink * bsink,
  58     GstCaps * caps);
  59 static GstFlowReturn gst_gtk_base_sink_show_frame (GstVideoSink * bsink,
  60     GstBuffer * buf);
  61
  62 static void
  63 gst_gtk_base_sink_navigation_interface_init (GstNavigationInterface * iface);
  64
  65 enum
  66 {
  67   PROP_0,
  68   PROP_WIDGET,
  69   PROP_FORCE_ASPECT_RATIO,
  70   PROP_PIXEL_ASPECT_RATIO,
  71   PROP_IGNORE_ALPHA,
  72 };
  73
  74 #define gst_gtk_base_sink_parent_class parent_class
  75 G_DEFINE_ABSTRACT_TYPE_WITH_CODE (GstGtkBaseSink, gst_gtk_base_sink,
  76     GST_TYPE_VIDEO_SINK,
  77     G_IMPLEMENT_INTERFACE (GST_TYPE_NAVIGATION,
  78         gst_gtk_base_sink_navigation_interface_init);
  79     GST_DEBUG_CATEGORY_INIT (gst_debug_gtk_base_sink,
  80         "gtkbasesink", 0, "Gtk Video Sink base class"));
  81
  82
  83 static void
  84 gst_gtk_base_sink_class_init (GstGtkBaseSinkClass * klass)
  85 {
  86   GObjectClass *gobject_class;
  87   GstElementClass *gstelement_class;
  88   GstBaseSinkClass *gstbasesink_class;
  89   GstVideoSinkClass *gstvideosink_class;
  90
  91   gobject_class = (GObjectClass *) klass;
  92   gstelement_class = (GstElementClass *) klass;
  93   gstbasesink_class = (GstBaseSinkClass *) klass;
  94   gstvideosink_class = (GstVideoSinkClass *) klass;
  95
  96   gobject_class->set_property = gst_gtk_base_sink_set_property;
  97   gobject_class->get_property = gst_gtk_base_sink_get_property;
  98
  99   g_object_class_install_property (gobject_class, PROP_WIDGET,
 100       g_param_spec_object ("widget", "Gtk Widget",
 101           "The GtkWidget to place in the widget hierarchy "
 102           "(must only be get from the GTK main thread)",
 103           GTK_TYPE_WIDGET, G_PARAM_READABLE | G_PARAM_STATIC_STRINGS));
 104
 105   g_object_class_install_property (gobject_class, PROP_FORCE_ASPECT_RATIO,
 106       g_param_spec_boolean ("force-aspect-ratio",
 107           "Force aspect ratio",
 108           "When enabled, scaling will respect original aspect ratio",
 109           DEFAULT_FORCE_ASPECT_RATIO,
 110           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 111
 112   g_object_class_install_property (gobject_class, PROP_PIXEL_ASPECT_RATIO,
 113       gst_param_spec_fraction ("pixel-aspect-ratio", "Pixel Aspect Ratio",
 114           "The pixel aspect ratio of the device", DEFAULT_PAR_N, DEFAULT_PAR_D,
 115           G_MAXINT, 1, 1, 1, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 116
 117   g_object_class_install_property (gobject_class, PROP_IGNORE_ALPHA,
 118       g_param_spec_boolean ("ignore-alpha", "Ignore Alpha",
 119           "When enabled, alpha will be ignored and converted to black",
 120           DEFAULT_IGNORE_ALPHA, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 121
 122   gobject_class->finalize = gst_gtk_base_sink_finalize;
 123
 124   gstelement_class->change_state = gst_gtk_base_sink_change_state;
 125   gstbasesink_class->set_caps = gst_gtk_base_sink_set_caps;
 126   gstbasesink_class->get_times = gst_gtk_base_sink_get_times;
 127   gstbasesink_class->start = gst_gtk_base_sink_start;
 128   gstbasesink_class->stop = gst_gtk_base_sink_stop;
 129
 130   gstvideosink_class->show_frame = gst_gtk_base_sink_show_frame;
 131
 132   gst_type_mark_as_plugin_api (GST_TYPE_GTK_BASE_SINK, 0);
 133 }
 134
 135 static void
 136 gst_gtk_base_sink_init (GstGtkBaseSink * gtk_sink)
 137 {
 138   gtk_sink->force_aspect_ratio = DEFAULT_FORCE_ASPECT_RATIO;
 139   gtk_sink->par_n = DEFAULT_PAR_N;
 140   gtk_sink->par_d = DEFAULT_PAR_D;
 141   gtk_sink->ignore_alpha = DEFAULT_IGNORE_ALPHA;
 142 }
 143
 144 static void
 145 gst_gtk_base_sink_finalize (GObject * object)
 146 {
 147   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (object);
 148
 149   GST_OBJECT_LOCK (gtk_sink);
 150   if (gtk_sink->window && gtk_sink->window_destroy_id)
 151     g_signal_handler_disconnect (gtk_sink->window, gtk_sink->window_destroy_id);
 152   if (gtk_sink->widget && gtk_sink->widget_destroy_id)
 153     g_signal_handler_disconnect (gtk_sink->widget, gtk_sink->widget_destroy_id);
 154
 155   g_clear_object (&gtk_sink->widget);
 156   GST_OBJECT_UNLOCK (gtk_sink);
 157
 158   G_OBJECT_CLASS (parent_class)->finalize (object);
 159 }
 160
 161 static void
 162 widget_destroy_cb (GtkWidget * widget, GstGtkBaseSink * gtk_sink)
 163 {
 164   GST_OBJECT_LOCK (gtk_sink);
 165   g_clear_object (&gtk_sink->widget);
 166   GST_OBJECT_UNLOCK (gtk_sink);
 167 }
 168
 169 static void
 170 window_destroy_cb (GtkWidget * widget, GstGtkBaseSink * gtk_sink)
 171 {
 172   GST_OBJECT_LOCK (gtk_sink);
 173   gtk_sink->window = NULL;
 174   GST_OBJECT_UNLOCK (gtk_sink);
 175 }
 176
 177 static GtkGstBaseWidget *
 178 gst_gtk_base_sink_get_widget (GstGtkBaseSink * gtk_sink)
 179 {
 180   if (gtk_sink->widget != NULL)
 181     return gtk_sink->widget;
 182
 183   /* Ensure GTK is initialized, this has no side effect if it was already
 184    * initialized. Also, we do that lazily, so the application can be first */
 185   if (!gtk_init_check (NULL, NULL)) {
 186     GST_ERROR_OBJECT (gtk_sink, "Could not ensure GTK initialization.");
 187     return NULL;
 188   }
 189
 190   g_assert (GST_GTK_BASE_SINK_GET_CLASS (gtk_sink)->create_widget);
 191   gtk_sink->widget = (GtkGstBaseWidget *)
 192       GST_GTK_BASE_SINK_GET_CLASS (gtk_sink)->create_widget ();
 193
 194   gtk_sink->bind_aspect_ratio =
 195       g_object_bind_property (gtk_sink, "force-aspect-ratio", gtk_sink->widget,
 196       "force-aspect-ratio", G_BINDING_BIDIRECTIONAL | G_BINDING_SYNC_CREATE);
 197   gtk_sink->bind_pixel_aspect_ratio =
 198       g_object_bind_property (gtk_sink, "pixel-aspect-ratio", gtk_sink->widget,
 199       "pixel-aspect-ratio", G_BINDING_BIDIRECTIONAL | G_BINDING_SYNC_CREATE);
 200   gtk_sink->bind_ignore_alpha =
 201       g_object_bind_property (gtk_sink, "ignore-alpha", gtk_sink->widget,
 202       "ignore-alpha", G_BINDING_BIDIRECTIONAL | G_BINDING_SYNC_CREATE);
 203
 204   /* Take the floating ref, other wise the destruction of the container will
 205    * make this widget disappear possibly before we are done. */
 206   gst_object_ref_sink (gtk_sink->widget);
 207   gtk_sink->widget_destroy_id = g_signal_connect (gtk_sink->widget, "destroy",
 208       G_CALLBACK (widget_destroy_cb), gtk_sink);
 209
 210   /* back pointer */
 211   gtk_gst_base_widget_set_element (GTK_GST_BASE_WIDGET (gtk_sink->widget),
 212       GST_ELEMENT (gtk_sink));
 213
 214   return gtk_sink->widget;
 215 }
 216
 217 static void
 218 gst_gtk_base_sink_get_property (GObject * object, guint prop_id,
 219     GValue * value, GParamSpec * pspec)
 220 {
 221   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (object);
 222
 223   switch (prop_id) {
 224     case PROP_WIDGET:
 225     {
 226       GObject *widget = NULL;
 227
 228       GST_OBJECT_LOCK (gtk_sink);
 229       if (gtk_sink->widget != NULL)
 230         widget = G_OBJECT (gtk_sink->widget);
 231       GST_OBJECT_UNLOCK (gtk_sink);
 232
 233       if (!widget)
 234         widget =
 235             gst_gtk_invoke_on_main ((GThreadFunc) gst_gtk_base_sink_get_widget,
 236             gtk_sink);
 237
 238       g_value_set_object (value, widget);
 239       break;
 240     }
 241     case PROP_FORCE_ASPECT_RATIO:
 242       g_value_set_boolean (value, gtk_sink->force_aspect_ratio);
 243       break;
 244     case PROP_PIXEL_ASPECT_RATIO:
 245       gst_value_set_fraction (value, gtk_sink->par_n, gtk_sink->par_d);
 246       break;
 247     case PROP_IGNORE_ALPHA:
 248       g_value_set_boolean (value, gtk_sink->ignore_alpha);
 249       break;
 250     default:
 251       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 252       break;
 253   }
 254 }
 255
 256 static void
 257 gst_gtk_base_sink_set_property (GObject * object, guint prop_id,
 258     const GValue * value, GParamSpec * pspec)
 259 {
 260   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (object);
 261
 262   switch (prop_id) {
 263     case PROP_FORCE_ASPECT_RATIO:
 264       gtk_sink->force_aspect_ratio = g_value_get_boolean (value);
 265       break;
 266     case PROP_PIXEL_ASPECT_RATIO:
 267       gtk_sink->par_n = gst_value_get_fraction_numerator (value);
 268       gtk_sink->par_d = gst_value_get_fraction_denominator (value);
 269       break;
 270     case PROP_IGNORE_ALPHA:
 271       gtk_sink->ignore_alpha = g_value_get_boolean (value);
 272       break;
 273     default:
 274       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 275       break;
 276   }
 277 }
 278
 279 static void
 280 gst_gtk_base_sink_navigation_send_event (GstNavigation * navigation,
 281     GstStructure * structure)
 282 {
 283   GstGtkBaseSink *sink = GST_GTK_BASE_SINK (navigation);
 284   GstEvent *event;
 285   GstPad *pad;
 286   gdouble x, y;
 287
 288   if (gst_structure_get_double (structure, "pointer_x", &x) &&
 289       gst_structure_get_double (structure, "pointer_y", &y)) {
 290     GtkGstBaseWidget *widget = gst_gtk_base_sink_get_widget (sink);
 291     gdouble stream_x, stream_y;
 292
 293     gtk_gst_base_widget_display_size_to_stream_size (widget,
 294         x, y, &stream_x, &stream_y);
 295     gst_structure_set (structure,
 296         "pointer_x", G_TYPE_DOUBLE, (gdouble) stream_x,
 297         "pointer_y", G_TYPE_DOUBLE, (gdouble) stream_y, NULL);
 298   }
 299
 300   event = gst_event_new_navigation (structure);
 301   pad = gst_pad_get_peer (GST_VIDEO_SINK_PAD (sink));
 302
 303   GST_TRACE_OBJECT (sink, "navigation event %" GST_PTR_FORMAT, structure);
 304
 305   if (GST_IS_PAD (pad) && GST_IS_EVENT (event)) {
 306     if (!gst_pad_send_event (pad, gst_event_ref (event))) {
 307       /* If upstream didn't handle the event we'll post a message with it
 308        * for the application in case it wants to do something with it */
 309       gst_element_post_message (GST_ELEMENT_CAST (sink),
 310           gst_navigation_message_new_event (GST_OBJECT_CAST (sink), event));
 311     }
 312     gst_event_unref (event);
 313     gst_object_unref (pad);
 314   }
 315 }
 316
 317 static void
 318 gst_gtk_base_sink_navigation_interface_init (GstNavigationInterface * iface)
 319 {
 320   iface->send_event = gst_gtk_base_sink_navigation_send_event;
 321 }
 322
 323 static gboolean
 324 gst_gtk_base_sink_start_on_main (GstBaseSink * bsink)
 325 {
 326   GstGtkBaseSink *gst_sink = GST_GTK_BASE_SINK (bsink);
 327   GstGtkBaseSinkClass *klass = GST_GTK_BASE_SINK_GET_CLASS (bsink);
 328   GtkWidget *toplevel;
 329
 330   if (gst_gtk_base_sink_get_widget (gst_sink) == NULL)
 331     return FALSE;
 332
 333   /* After this point, gtk_sink->widget will always be set */
 334
 335   toplevel = gtk_widget_get_toplevel (GTK_WIDGET (gst_sink->widget));
 336   if (!gtk_widget_is_toplevel (toplevel)) {
 337     /* sanity check */
 338     g_assert (klass->window_title);
 339
 340     /* User did not add widget its own UI, let's popup a new GtkWindow to
 341      * make gst-launch-1.0 work. */
 342     gst_sink->window = gtk_window_new (GTK_WINDOW_TOPLEVEL);
 343     gtk_window_set_default_size (GTK_WINDOW (gst_sink->window), 640, 480);
 344     gtk_window_set_title (GTK_WINDOW (gst_sink->window), klass->window_title);
 345     gtk_container_add (GTK_CONTAINER (gst_sink->window), toplevel);
 346     gst_sink->window_destroy_id = g_signal_connect (gst_sink->window, "destroy",
 347         G_CALLBACK (window_destroy_cb), gst_sink);
 348   }
 349
 350   return TRUE;
 351 }
 352
 353 static gboolean
 354 gst_gtk_base_sink_start (GstBaseSink * bsink)
 355 {
 356   return ! !gst_gtk_invoke_on_main ((GThreadFunc)
 357       gst_gtk_base_sink_start_on_main, bsink);
 358 }
 359
 360 static gboolean
 361 gst_gtk_base_sink_stop_on_main (GstBaseSink * bsink)
 362 {
 363   GstGtkBaseSink *gst_sink = GST_GTK_BASE_SINK (bsink);
 364
 365   if (gst_sink->window) {
 366     gtk_widget_destroy (gst_sink->window);
 367     gst_sink->window = NULL;
 368     gst_sink->widget = NULL;
 369   }
 370
 371   return TRUE;
 372 }
 373
 374 static gboolean
 375 gst_gtk_base_sink_stop (GstBaseSink * bsink)
 376 {
 377   GstGtkBaseSink *gst_sink = GST_GTK_BASE_SINK (bsink);
 378
 379   if (gst_sink->window)
 380     return ! !gst_gtk_invoke_on_main ((GThreadFunc)
 381         gst_gtk_base_sink_stop_on_main, bsink);
 382
 383   return TRUE;
 384 }
 385
 386 static void
 387 gst_gtk_widget_show_all_and_unref (GtkWidget * widget)
 388 {
 389   gtk_widget_show_all (widget);
 390   g_object_unref (widget);
 391 }
 392
 393 static GstStateChangeReturn
 394 gst_gtk_base_sink_change_state (GstElement * element, GstStateChange transition)
 395 {
 396   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (element);
 397   GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
 398
 399   GST_DEBUG_OBJECT (element, "changing state: %s => %s",
 400       gst_element_state_get_name (GST_STATE_TRANSITION_CURRENT (transition)),
 401       gst_element_state_get_name (GST_STATE_TRANSITION_NEXT (transition)));
 402
 403   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
 404   if (ret == GST_STATE_CHANGE_FAILURE)
 405     return ret;
 406
 407   switch (transition) {
 408     case GST_STATE_CHANGE_READY_TO_PAUSED:
 409     {
 410       GtkWindow *window = NULL;
 411
 412       GST_OBJECT_LOCK (gtk_sink);
 413       if (gtk_sink->window)
 414         window = g_object_ref (GTK_WINDOW (gtk_sink->window));
 415       GST_OBJECT_UNLOCK (gtk_sink);
 416
 417       if (window)
 418         gst_gtk_invoke_on_main ((GThreadFunc) gst_gtk_widget_show_all_and_unref,
 419             window);
 420
 421       break;
 422     }
 423     case GST_STATE_CHANGE_PAUSED_TO_READY:
 424       GST_OBJECT_LOCK (gtk_sink);
 425       if (gtk_sink->widget)
 426         gtk_gst_base_widget_set_buffer (gtk_sink->widget, NULL);
 427       GST_OBJECT_UNLOCK (gtk_sink);
 428       break;
 429     default:
 430       break;
 431   }
 432
 433   return ret;
 434 }
 435
 436 static void
 437 gst_gtk_base_sink_get_times (GstBaseSink * bsink, GstBuffer * buf,
 438     GstClockTime * start, GstClockTime * end)
 439 {
 440   GstGtkBaseSink *gtk_sink;
 441
 442   gtk_sink = GST_GTK_BASE_SINK (bsink);
 443
 444   if (GST_BUFFER_TIMESTAMP_IS_VALID (buf)) {
 445     *start = GST_BUFFER_TIMESTAMP (buf);
 446     if (GST_BUFFER_DURATION_IS_VALID (buf))
 447       *end = *start + GST_BUFFER_DURATION (buf);
 448     else {
 449       if (GST_VIDEO_INFO_FPS_N (&gtk_sink->v_info) > 0) {
 450         *end = *start +
 451             gst_util_uint64_scale_int (GST_SECOND,
 452             GST_VIDEO_INFO_FPS_D (&gtk_sink->v_info),
 453             GST_VIDEO_INFO_FPS_N (&gtk_sink->v_info));
 454       }
 455     }
 456   }
 457 }
 458
 459 gboolean
 460 gst_gtk_base_sink_set_caps (GstBaseSink * bsink, GstCaps * caps)
 461 {
 462   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (bsink);
 463
 464   GST_DEBUG ("set caps with %" GST_PTR_FORMAT, caps);
 465
 466   if (!gst_video_info_from_caps (&gtk_sink->v_info, caps))
 467     return FALSE;
 468
 469   GST_OBJECT_LOCK (gtk_sink);
 470
 471   if (gtk_sink->widget == NULL) {
 472     GST_OBJECT_UNLOCK (gtk_sink);
 473     GST_ELEMENT_ERROR (gtk_sink, RESOURCE, NOT_FOUND,
 474         ("%s", "Output widget was destroyed"), (NULL));
 475     return FALSE;
 476   }
 477
 478   if (!gtk_gst_base_widget_set_format (gtk_sink->widget, &gtk_sink->v_info)) {
 479     GST_OBJECT_UNLOCK (gtk_sink);
 480     return FALSE;
 481   }
 482   GST_OBJECT_UNLOCK (gtk_sink);
 483
 484   return TRUE;
 485 }
 486
 487 static GstFlowReturn
 488 gst_gtk_base_sink_show_frame (GstVideoSink * vsink, GstBuffer * buf)
 489 {
 490   GstGtkBaseSink *gtk_sink;
 491
 492   GST_TRACE ("rendering buffer:%p", buf);
 493
 494   gtk_sink = GST_GTK_BASE_SINK (vsink);
 495
 496   GST_OBJECT_LOCK (vsink);
 497
 498   if (gtk_sink->widget == NULL) {
 499     GST_OBJECT_UNLOCK (gtk_sink);
 500     GST_ELEMENT_ERROR (gtk_sink, RESOURCE, NOT_FOUND,
 501         ("%s", "Output widget was destroyed"), (NULL));
 502     return GST_FLOW_ERROR;
 503   }
 504
 505   gtk_gst_base_widget_set_buffer (gtk_sink->widget, buf);
 506
 507   GST_OBJECT_UNLOCK (gtk_sink);
 508
 509   return GST_FLOW_OK;
 510 }