a9e706e05f39e1befcc9d8e72837e05637ecbf39
[platform/upstream/gstreamer.git] / subprojects / gst-plugins-good / ext / gtk / gstgtkbasesink.c
1 /*
2  * GStreamer
3  * Copyright (C) 2015 Matthew Waters <matthew@centricular.com>
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Library General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Library General Public License for more details.
14  *
15  * You should have received a copy of the GNU Library General Public
16  * License along with this library; if not, write to the
17  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
18  * Boston, MA 02110-1301, USA.
19  */
20
21 /**
22  * SECTION:gtkgstsink
23  * @title: GstGtkBaseSink
24  *
25  */
26
27 #ifdef HAVE_CONFIG_H
28 #include "config.h"
29 #endif
30
31 #include "gstgtkbasesink.h"
32 #include "gstgtkutils.h"
33
34 GST_DEBUG_CATEGORY (gst_debug_gtk_base_sink);
35 #define GST_CAT_DEFAULT gst_debug_gtk_base_sink
36
37 #define DEFAULT_FORCE_ASPECT_RATIO  TRUE
38 #define DEFAULT_DISPLAY_PAR_N       0
39 #define DEFAULT_DISPLAY_PAR_D       1
40 #define DEFAULT_VIDEO_PAR_N         0
41 #define DEFAULT_VIDEO_PAR_D         1
42 #define DEFAULT_IGNORE_ALPHA        TRUE
43
44 static void gst_gtk_base_sink_finalize (GObject * object);
45 static void gst_gtk_base_sink_set_property (GObject * object, guint prop_id,
46     const GValue * value, GParamSpec * param_spec);
47 static void gst_gtk_base_sink_get_property (GObject * object, guint prop_id,
48     GValue * value, GParamSpec * param_spec);
49
50 static gboolean gst_gtk_base_sink_start (GstBaseSink * bsink);
51 static gboolean gst_gtk_base_sink_stop (GstBaseSink * bsink);
52
53 static GstStateChangeReturn
54 gst_gtk_base_sink_change_state (GstElement * element,
55     GstStateChange transition);
56
57 static void gst_gtk_base_sink_get_times (GstBaseSink * bsink, GstBuffer * buf,
58     GstClockTime * start, GstClockTime * end);
59 static gboolean gst_gtk_base_sink_set_caps (GstBaseSink * bsink,
60     GstCaps * caps);
61 static GstFlowReturn gst_gtk_base_sink_show_frame (GstVideoSink * bsink,
62     GstBuffer * buf);
63
64 static void
65 gst_gtk_base_sink_navigation_interface_init (GstNavigationInterface * iface);
66
67 enum
68 {
69   PROP_0,
70   PROP_WIDGET,
71   PROP_FORCE_ASPECT_RATIO,
72   PROP_PIXEL_ASPECT_RATIO,
73   PROP_VIDEO_ASPECT_RATIO_OVERRIDE,
74   PROP_IGNORE_ALPHA,
75 };
76
77 #define gst_gtk_base_sink_parent_class parent_class
78 G_DEFINE_ABSTRACT_TYPE_WITH_CODE (GstGtkBaseSink, gst_gtk_base_sink,
79     GST_TYPE_VIDEO_SINK,
80     G_IMPLEMENT_INTERFACE (GST_TYPE_NAVIGATION,
81         gst_gtk_base_sink_navigation_interface_init);
82     GST_DEBUG_CATEGORY_INIT (gst_debug_gtk_base_sink,
83         "gtkbasesink", 0, "Gtk Video Sink base class"));
84
85
86 static void
87 gst_gtk_base_sink_class_init (GstGtkBaseSinkClass * klass)
88 {
89   GObjectClass *gobject_class;
90   GstElementClass *gstelement_class;
91   GstBaseSinkClass *gstbasesink_class;
92   GstVideoSinkClass *gstvideosink_class;
93
94   gobject_class = (GObjectClass *) klass;
95   gstelement_class = (GstElementClass *) klass;
96   gstbasesink_class = (GstBaseSinkClass *) klass;
97   gstvideosink_class = (GstVideoSinkClass *) klass;
98
99   gobject_class->set_property = gst_gtk_base_sink_set_property;
100   gobject_class->get_property = gst_gtk_base_sink_get_property;
101
102   g_object_class_install_property (gobject_class, PROP_WIDGET,
103       g_param_spec_object ("widget", "Gtk Widget",
104           "The GtkWidget to place in the widget hierarchy "
105           "(must only be get from the GTK main thread)",
106           GTK_TYPE_WIDGET,
107           G_PARAM_READABLE | G_PARAM_STATIC_STRINGS |
108           GST_PARAM_DOC_SHOW_DEFAULT));
109
110   g_object_class_install_property (gobject_class, PROP_FORCE_ASPECT_RATIO,
111       g_param_spec_boolean ("force-aspect-ratio",
112           "Force aspect ratio",
113           "When enabled, scaling will respect original aspect ratio",
114           DEFAULT_FORCE_ASPECT_RATIO,
115           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
116
117   g_object_class_install_property (gobject_class, PROP_PIXEL_ASPECT_RATIO,
118       gst_param_spec_fraction ("pixel-aspect-ratio", "Pixel Aspect Ratio",
119           "The pixel aspect ratio of the device",
120           0, G_MAXINT, G_MAXINT, 1, DEFAULT_DISPLAY_PAR_N,
121           DEFAULT_DISPLAY_PAR_D, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
122
123   /**
124    * GstGtkBaseSink:video-aspect-ratio-override:
125    *
126    * The pixel aspect ratio of the video (0/1 = follow stream)
127    *
128    * Since: 1.20
129    */
130   g_object_class_install_property (gobject_class,
131       PROP_VIDEO_ASPECT_RATIO_OVERRIDE,
132       gst_param_spec_fraction ("video-aspect-ratio-override",
133           "Video Pixel Aspect Ratio",
134           "The pixel aspect ratio of the video (0/1 = follow stream)", 0,
135           G_MAXINT, G_MAXINT, 1, DEFAULT_VIDEO_PAR_N, DEFAULT_VIDEO_PAR_D,
136           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
137
138   g_object_class_install_property (gobject_class, PROP_IGNORE_ALPHA,
139       g_param_spec_boolean ("ignore-alpha", "Ignore Alpha",
140           "When enabled, alpha will be ignored and converted to black",
141           DEFAULT_IGNORE_ALPHA, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
142
143   gobject_class->finalize = gst_gtk_base_sink_finalize;
144
145   gstelement_class->change_state = gst_gtk_base_sink_change_state;
146   gstbasesink_class->set_caps = gst_gtk_base_sink_set_caps;
147   gstbasesink_class->get_times = gst_gtk_base_sink_get_times;
148   gstbasesink_class->start = gst_gtk_base_sink_start;
149   gstbasesink_class->stop = gst_gtk_base_sink_stop;
150
151   gstvideosink_class->show_frame = gst_gtk_base_sink_show_frame;
152
153   gst_type_mark_as_plugin_api (GST_TYPE_GTK_BASE_SINK, 0);
154 }
155
156 static void
157 gst_gtk_base_sink_init (GstGtkBaseSink * gtk_sink)
158 {
159   gtk_sink->force_aspect_ratio = DEFAULT_FORCE_ASPECT_RATIO;
160   gtk_sink->par_n = DEFAULT_DISPLAY_PAR_N;
161   gtk_sink->par_d = DEFAULT_DISPLAY_PAR_D;
162   gtk_sink->video_par_n = DEFAULT_VIDEO_PAR_N;
163   gtk_sink->video_par_d = DEFAULT_VIDEO_PAR_D;
164   gtk_sink->ignore_alpha = DEFAULT_IGNORE_ALPHA;
165 }
166
167 static void
168 gst_gtk_base_sink_finalize (GObject * object)
169 {
170   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (object);
171
172   GST_OBJECT_LOCK (gtk_sink);
173   if (gtk_sink->window && gtk_sink->window_destroy_id)
174     g_signal_handler_disconnect (gtk_sink->window, gtk_sink->window_destroy_id);
175   if (gtk_sink->widget && gtk_sink->widget_destroy_id)
176     g_signal_handler_disconnect (gtk_sink->widget, gtk_sink->widget_destroy_id);
177
178   g_clear_object (&gtk_sink->widget);
179   GST_OBJECT_UNLOCK (gtk_sink);
180
181   G_OBJECT_CLASS (parent_class)->finalize (object);
182 }
183
184 static void
185 widget_destroy_cb (GtkWidget * widget, GstGtkBaseSink * gtk_sink)
186 {
187   GST_OBJECT_LOCK (gtk_sink);
188   g_clear_object (&gtk_sink->widget);
189   GST_OBJECT_UNLOCK (gtk_sink);
190 }
191
192 static void
193 window_destroy_cb (GtkWidget * widget, GstGtkBaseSink * gtk_sink)
194 {
195   GST_OBJECT_LOCK (gtk_sink);
196   gtk_sink->window = NULL;
197   GST_OBJECT_UNLOCK (gtk_sink);
198 }
199
200 static GtkGstBaseWidget *
201 gst_gtk_base_sink_get_widget (GstGtkBaseSink * gtk_sink)
202 {
203   if (gtk_sink->widget != NULL)
204     return g_object_ref (gtk_sink->widget);
205
206   /* Ensure GTK is initialized, this has no side effect if it was already
207    * initialized. Also, we do that lazily, so the application can be first */
208   if (!gtk_init_check (NULL, NULL)) {
209     GST_INFO_OBJECT (gtk_sink, "Could not ensure GTK initialization.");
210     return NULL;
211   }
212
213   g_assert (GST_GTK_BASE_SINK_GET_CLASS (gtk_sink)->create_widget);
214   gtk_sink->widget = (GtkGstBaseWidget *)
215       GST_GTK_BASE_SINK_GET_CLASS (gtk_sink)->create_widget ();
216
217   gtk_sink->bind_aspect_ratio =
218       g_object_bind_property (gtk_sink, "force-aspect-ratio", gtk_sink->widget,
219       "force-aspect-ratio", G_BINDING_BIDIRECTIONAL | G_BINDING_SYNC_CREATE);
220   gtk_sink->bind_pixel_aspect_ratio =
221       g_object_bind_property (gtk_sink, "pixel-aspect-ratio", gtk_sink->widget,
222       "pixel-aspect-ratio", G_BINDING_BIDIRECTIONAL | G_BINDING_SYNC_CREATE);
223   gtk_sink->bind_video_aspect_ratio =
224       g_object_bind_property (gtk_sink, "video-aspect-ratio-override",
225       gtk_sink->widget, "video-aspect-ratio-override",
226       G_BINDING_BIDIRECTIONAL | G_BINDING_SYNC_CREATE);
227   gtk_sink->bind_ignore_alpha =
228       g_object_bind_property (gtk_sink, "ignore-alpha", gtk_sink->widget,
229       "ignore-alpha", G_BINDING_BIDIRECTIONAL | G_BINDING_SYNC_CREATE);
230
231   /* Take the floating ref, other wise the destruction of the container will
232    * make this widget disappear possibly before we are done. */
233   gst_object_ref_sink (gtk_sink->widget);
234   gtk_sink->widget_destroy_id = g_signal_connect (gtk_sink->widget, "destroy",
235       G_CALLBACK (widget_destroy_cb), gtk_sink);
236
237   /* back pointer */
238   gtk_gst_base_widget_set_element (GTK_GST_BASE_WIDGET (gtk_sink->widget),
239       GST_ELEMENT (gtk_sink));
240
241   return g_object_ref (gtk_sink->widget);
242 }
243
244 GtkWidget *
245 gst_gtk_base_sink_acquire_widget (GstGtkBaseSink * gtk_sink)
246 {
247   gpointer widget = NULL;
248
249   GST_OBJECT_LOCK (gtk_sink);
250   if (gtk_sink->widget != NULL)
251     widget = g_object_ref (gtk_sink->widget);
252   GST_OBJECT_UNLOCK (gtk_sink);
253
254   if (!widget)
255     widget =
256         gst_gtk_invoke_on_main ((GThreadFunc) gst_gtk_base_sink_get_widget,
257         gtk_sink);
258
259   return widget;
260 }
261
262 static void
263 gst_gtk_base_sink_get_property (GObject * object, guint prop_id,
264     GValue * value, GParamSpec * pspec)
265 {
266   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (object);
267
268   switch (prop_id) {
269     case PROP_WIDGET:
270     {
271       g_value_take_object (value, gst_gtk_base_sink_acquire_widget (gtk_sink));
272       break;
273     }
274     case PROP_FORCE_ASPECT_RATIO:
275       g_value_set_boolean (value, gtk_sink->force_aspect_ratio);
276       break;
277     case PROP_PIXEL_ASPECT_RATIO:
278       gst_value_set_fraction (value, gtk_sink->par_n, gtk_sink->par_d);
279       break;
280     case PROP_VIDEO_ASPECT_RATIO_OVERRIDE:
281       gst_value_set_fraction (value, gtk_sink->video_par_n,
282           gtk_sink->video_par_d);
283       break;
284     case PROP_IGNORE_ALPHA:
285       g_value_set_boolean (value, gtk_sink->ignore_alpha);
286       break;
287     default:
288       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
289       break;
290   }
291 }
292
293 static void
294 gst_gtk_base_sink_set_property (GObject * object, guint prop_id,
295     const GValue * value, GParamSpec * pspec)
296 {
297   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (object);
298
299   switch (prop_id) {
300     case PROP_FORCE_ASPECT_RATIO:
301       gtk_sink->force_aspect_ratio = g_value_get_boolean (value);
302       break;
303     case PROP_PIXEL_ASPECT_RATIO:
304       gtk_sink->par_n = gst_value_get_fraction_numerator (value);
305       gtk_sink->par_d = gst_value_get_fraction_denominator (value);
306       break;
307     case PROP_VIDEO_ASPECT_RATIO_OVERRIDE:
308       gtk_sink->video_par_n = gst_value_get_fraction_numerator (value);
309       gtk_sink->video_par_d = gst_value_get_fraction_denominator (value);
310       break;
311     case PROP_IGNORE_ALPHA:
312       gtk_sink->ignore_alpha = g_value_get_boolean (value);
313       break;
314     default:
315       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
316       break;
317   }
318 }
319
320 static void
321 gst_gtk_base_sink_navigation_send_event (GstNavigation * navigation,
322     GstEvent * event)
323 {
324   GstGtkBaseSink *sink = GST_GTK_BASE_SINK (navigation);
325   GstPad *pad;
326   gdouble x, y;
327
328   event = gst_event_make_writable (event);
329
330   if (gst_navigation_event_get_coordinates (event, &x, &y)) {
331     GtkGstBaseWidget *widget = gst_gtk_base_sink_get_widget (sink);
332     gdouble stream_x, stream_y;
333
334     if (widget == NULL) {
335       GST_ERROR_OBJECT (sink, "Could not ensure GTK initialization.");
336       return;
337     }
338
339     gtk_gst_base_widget_display_size_to_stream_size (widget,
340         x, y, &stream_x, &stream_y);
341     gst_navigation_event_set_coordinates (event, stream_x, stream_y);
342   }
343
344   pad = gst_pad_get_peer (GST_VIDEO_SINK_PAD (sink));
345
346   GST_TRACE_OBJECT (sink, "navigation event %" GST_PTR_FORMAT,
347       gst_event_get_structure (event));
348
349   if (GST_IS_PAD (pad) && GST_IS_EVENT (event)) {
350     if (!gst_pad_send_event (pad, gst_event_ref (event))) {
351       /* If upstream didn't handle the event we'll post a message with it
352        * for the application in case it wants to do something with it */
353       gst_element_post_message (GST_ELEMENT_CAST (sink),
354           gst_navigation_message_new_event (GST_OBJECT_CAST (sink), event));
355     }
356     gst_event_unref (event);
357     gst_object_unref (pad);
358   }
359 }
360
361 static void
362 gst_gtk_base_sink_navigation_interface_init (GstNavigationInterface * iface)
363 {
364   iface->send_event_simple = gst_gtk_base_sink_navigation_send_event;
365 }
366
367 static gboolean
368 gst_gtk_base_sink_start_on_main (GstBaseSink * bsink)
369 {
370   GstGtkBaseSink *gst_sink = GST_GTK_BASE_SINK (bsink);
371   GstGtkBaseSinkClass *klass = GST_GTK_BASE_SINK_GET_CLASS (bsink);
372   GtkWidget *toplevel;
373
374   if (gst_gtk_base_sink_get_widget (gst_sink) == NULL) {
375     GST_ERROR_OBJECT (bsink, "Could not ensure GTK initialization.");
376     return FALSE;
377   }
378
379   /* After this point, gtk_sink->widget will always be set */
380
381   toplevel = gtk_widget_get_toplevel (GTK_WIDGET (gst_sink->widget));
382   if (!gtk_widget_is_toplevel (toplevel)) {
383     /* sanity check */
384     g_assert (klass->window_title);
385
386     /* User did not add widget its own UI, let's popup a new GtkWindow to
387      * make gst-launch-1.0 work. */
388     gst_sink->window = gtk_window_new (GTK_WINDOW_TOPLEVEL);
389     gtk_window_set_default_size (GTK_WINDOW (gst_sink->window), 640, 480);
390     gtk_window_set_title (GTK_WINDOW (gst_sink->window), klass->window_title);
391     gtk_container_add (GTK_CONTAINER (gst_sink->window), toplevel);
392     gst_sink->window_destroy_id = g_signal_connect (gst_sink->window, "destroy",
393         G_CALLBACK (window_destroy_cb), gst_sink);
394   }
395
396   return TRUE;
397 }
398
399 static gboolean
400 gst_gtk_base_sink_start (GstBaseSink * bsink)
401 {
402   return ! !gst_gtk_invoke_on_main ((GThreadFunc)
403       gst_gtk_base_sink_start_on_main, bsink);
404 }
405
406 static gboolean
407 gst_gtk_base_sink_stop_on_main (GstBaseSink * bsink)
408 {
409   GstGtkBaseSink *gst_sink = GST_GTK_BASE_SINK (bsink);
410
411   if (gst_sink->window) {
412     gtk_widget_destroy (gst_sink->window);
413     gst_sink->window = NULL;
414     gst_sink->widget = NULL;
415   }
416
417   return TRUE;
418 }
419
420 static gboolean
421 gst_gtk_base_sink_stop (GstBaseSink * bsink)
422 {
423   GstGtkBaseSink *gst_sink = GST_GTK_BASE_SINK (bsink);
424
425   if (gst_sink->window)
426     return ! !gst_gtk_invoke_on_main ((GThreadFunc)
427         gst_gtk_base_sink_stop_on_main, bsink);
428
429   return TRUE;
430 }
431
432 static void
433 gst_gtk_widget_show_all_and_unref (GtkWidget * widget)
434 {
435   gtk_widget_show_all (widget);
436   g_object_unref (widget);
437 }
438
439 static GstStateChangeReturn
440 gst_gtk_base_sink_change_state (GstElement * element, GstStateChange transition)
441 {
442   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (element);
443   GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
444
445   GST_DEBUG_OBJECT (element, "changing state: %s => %s",
446       gst_element_state_get_name (GST_STATE_TRANSITION_CURRENT (transition)),
447       gst_element_state_get_name (GST_STATE_TRANSITION_NEXT (transition)));
448
449   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
450   if (ret == GST_STATE_CHANGE_FAILURE)
451     return ret;
452
453   switch (transition) {
454     case GST_STATE_CHANGE_READY_TO_PAUSED:
455     {
456       GtkWindow *window = NULL;
457
458       GST_OBJECT_LOCK (gtk_sink);
459       if (gtk_sink->window)
460         window = g_object_ref (GTK_WINDOW (gtk_sink->window));
461       GST_OBJECT_UNLOCK (gtk_sink);
462
463       if (window)
464         gst_gtk_invoke_on_main ((GThreadFunc) gst_gtk_widget_show_all_and_unref,
465             window);
466
467       break;
468     }
469     case GST_STATE_CHANGE_PAUSED_TO_READY:
470       GST_OBJECT_LOCK (gtk_sink);
471       if (gtk_sink->widget)
472         gtk_gst_base_widget_set_buffer (gtk_sink->widget, NULL);
473       GST_OBJECT_UNLOCK (gtk_sink);
474       break;
475     default:
476       break;
477   }
478
479   return ret;
480 }
481
482 static void
483 gst_gtk_base_sink_get_times (GstBaseSink * bsink, GstBuffer * buf,
484     GstClockTime * start, GstClockTime * end)
485 {
486   GstGtkBaseSink *gtk_sink;
487
488   gtk_sink = GST_GTK_BASE_SINK (bsink);
489
490   if (GST_BUFFER_TIMESTAMP_IS_VALID (buf)) {
491     *start = GST_BUFFER_TIMESTAMP (buf);
492     if (GST_BUFFER_DURATION_IS_VALID (buf))
493       *end = *start + GST_BUFFER_DURATION (buf);
494     else {
495       if (GST_VIDEO_INFO_FPS_N (&gtk_sink->v_info) > 0) {
496         *end = *start +
497             gst_util_uint64_scale_int (GST_SECOND,
498             GST_VIDEO_INFO_FPS_D (&gtk_sink->v_info),
499             GST_VIDEO_INFO_FPS_N (&gtk_sink->v_info));
500       }
501     }
502   }
503 }
504
505 gboolean
506 gst_gtk_base_sink_set_caps (GstBaseSink * bsink, GstCaps * caps)
507 {
508   GstGtkBaseSink *gtk_sink = GST_GTK_BASE_SINK (bsink);
509
510   GST_DEBUG ("set caps with %" GST_PTR_FORMAT, caps);
511
512   if (!gst_video_info_from_caps (&gtk_sink->v_info, caps))
513     return FALSE;
514
515   GST_OBJECT_LOCK (gtk_sink);
516
517   if (gtk_sink->widget == NULL) {
518     GST_OBJECT_UNLOCK (gtk_sink);
519     GST_ELEMENT_ERROR (gtk_sink, RESOURCE, NOT_FOUND,
520         ("%s", "Output widget was destroyed"), (NULL));
521     return FALSE;
522   }
523
524   if (!gtk_gst_base_widget_set_format (gtk_sink->widget, &gtk_sink->v_info)) {
525     GST_OBJECT_UNLOCK (gtk_sink);
526     return FALSE;
527   }
528   GST_OBJECT_UNLOCK (gtk_sink);
529
530   return TRUE;
531 }
532
533 static GstFlowReturn
534 gst_gtk_base_sink_show_frame (GstVideoSink * vsink, GstBuffer * buf)
535 {
536   GstGtkBaseSink *gtk_sink;
537
538   GST_TRACE ("rendering buffer:%p", buf);
539
540   gtk_sink = GST_GTK_BASE_SINK (vsink);
541
542   GST_OBJECT_LOCK (vsink);
543
544   if (gtk_sink->widget == NULL) {
545     GST_OBJECT_UNLOCK (gtk_sink);
546     GST_ELEMENT_ERROR (gtk_sink, RESOURCE, NOT_FOUND,
547         ("%s", "Output widget was destroyed"), (NULL));
548     return GST_FLOW_ERROR;
549   }
550
551   gtk_gst_base_widget_set_buffer (gtk_sink->widget, buf);
552
553   GST_OBJECT_UNLOCK (gtk_sink);
554
555   return GST_FLOW_OK;
556 }