gst/playback/gstplaysinkvideoconvert.c

   1 /* GStreamer
   2  * Copyright (C) <2011> Sebastian Dröge <sebastian.droege@collabora.co.uk>
   3  *
   4  * This library is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Library General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2 of the License, or (at your option) any later version.
   8  *
   9  * This library is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Library General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Library General Public
  15  * License along with this library; if not, write to the
  16  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  17  * Boston, MA 02111-1307, USA.
  18  */
  19
  20 #ifdef HAVE_CONFIG_H
  21 #include "config.h"
  22 #endif
  23
  24 #include "gstplaysinkvideoconvert.h"
  25
  26 #include <gst/pbutils/pbutils.h>
  27 #include <gst/gst-i18n-plugin.h>
  28
  29 GST_DEBUG_CATEGORY_STATIC (gst_play_sink_video_convert_debug);
  30 #define GST_CAT_DEFAULT gst_play_sink_video_convert_debug
  31
  32 #define parent_class gst_play_sink_video_convert_parent_class
  33
  34 G_DEFINE_TYPE (GstPlaySinkVideoConvert, gst_play_sink_video_convert,
  35     GST_TYPE_BIN);
  36
  37 static GstStaticPadTemplate srctemplate = GST_STATIC_PAD_TEMPLATE ("src",
  38     GST_PAD_SRC,
  39     GST_PAD_ALWAYS,
  40     GST_STATIC_CAPS_ANY);
  41
  42 static GstStaticPadTemplate sinktemplate = GST_STATIC_PAD_TEMPLATE ("sink",
  43     GST_PAD_SINK,
  44     GST_PAD_ALWAYS,
  45     GST_STATIC_CAPS_ANY);
  46
  47 static gboolean
  48 is_raw_caps (GstCaps * caps)
  49 {
  50   gint i, n;
  51   GstStructure *s;
  52   const gchar *name;
  53
  54   n = gst_caps_get_size (caps);
  55   for (i = 0; i < n; i++) {
  56     s = gst_caps_get_structure (caps, i);
  57     name = gst_structure_get_name (s);
  58     if (!g_str_has_prefix (name, "video/x-raw"))
  59       return FALSE;
  60   }
  61
  62   return TRUE;
  63 }
  64
  65 static void
  66 post_missing_element_message (GstPlaySinkVideoConvert * self,
  67     const gchar * name)
  68 {
  69   GstMessage *msg;
  70
  71   msg = gst_missing_element_message_new (GST_ELEMENT_CAST (self), name);
  72   gst_element_post_message (GST_ELEMENT_CAST (self), msg);
  73 }
  74
  75 static void
  76 distribute_running_time (GstElement * element, const GstSegment * segment)
  77 {
  78   GstEvent *event;
  79   GstPad *pad;
  80
  81   pad = gst_element_get_static_pad (element, "sink");
  82
  83   if (segment->accum) {
  84     event = gst_event_new_new_segment_full (FALSE, segment->rate,
  85         segment->applied_rate, segment->format, 0, segment->accum, 0);
  86     gst_pad_push_event (pad, event);
  87   }
  88
  89   event = gst_event_new_new_segment_full (FALSE, segment->rate,
  90       segment->applied_rate, segment->format,
  91       segment->start, segment->stop, segment->time);
  92   gst_pad_push_event (pad, event);
  93
  94   gst_object_unref (pad);
  95 }
  96
  97 static void
  98 pad_blocked_cb (GstPad * pad, gboolean blocked, GstPlaySinkVideoConvert * self)
  99 {
 100   GstPad *peer;
 101   GstCaps *caps;
 102   gboolean raw;
 103
 104   GST_PLAY_SINK_VIDEO_CONVERT_LOCK (self);
 105   self->sink_proxypad_blocked = blocked;
 106   GST_DEBUG_OBJECT (self, "Pad blocked: %d", blocked);
 107   if (!blocked)
 108     goto done;
 109
 110   /* There must be a peer at this point */
 111   peer = gst_pad_get_peer (self->sinkpad);
 112   caps = gst_pad_get_negotiated_caps (peer);
 113   if (!caps)
 114     caps = gst_pad_get_caps_reffed (peer);
 115   gst_object_unref (peer);
 116
 117   raw = is_raw_caps (caps);
 118   GST_DEBUG_OBJECT (self, "Caps %" GST_PTR_FORMAT " are raw: %d", caps, raw);
 119   gst_caps_unref (caps);
 120
 121   if (raw == self->raw)
 122     goto unblock;
 123   self->raw = raw;
 124
 125   if (raw) {
 126     GstBin *bin = GST_BIN_CAST (self);
 127     GstElement *head = NULL, *prev = NULL;
 128     GstPad *pad;
 129
 130     GST_DEBUG_OBJECT (self, "Creating raw conversion pipeline");
 131
 132     gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->sinkpad), NULL);
 133     gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->srcpad), NULL);
 134
 135     self->conv = gst_element_factory_make ("ffmpegcolorspace", "conv");
 136     if (self->conv == NULL) {
 137       post_missing_element_message (self, "ffmpegcolorspace");
 138       GST_ELEMENT_WARNING (self, CORE, MISSING_PLUGIN,
 139           (_("Missing element '%s' - check your GStreamer installation."),
 140               "ffmpegcolorspace"), ("video rendering might fail"));
 141     } else {
 142       gst_bin_add (bin, self->conv);
 143       gst_element_sync_state_with_parent (self->conv);
 144       distribute_running_time (self->conv, &self->segment);
 145       prev = head = self->conv;
 146     }
 147
 148     self->scale = gst_element_factory_make ("videoscale", "scale");
 149     if (self->scale == NULL) {
 150       post_missing_element_message (self, "videoscale");
 151       GST_ELEMENT_WARNING (self, CORE, MISSING_PLUGIN,
 152           (_("Missing element '%s' - check your GStreamer installation."),
 153               "videoscale"), ("possibly a liboil version mismatch?"));
 154     } else {
 155       /* Add black borders if necessary to keep the DAR */
 156       g_object_set (self->scale, "add-borders", TRUE, NULL);
 157       gst_bin_add (bin, self->scale);
 158       gst_element_sync_state_with_parent (self->scale);
 159       distribute_running_time (self->scale, &self->segment);
 160       if (prev) {
 161         if (!gst_element_link_pads_full (prev, "src", self->scale, "sink",
 162                 GST_PAD_LINK_CHECK_TEMPLATE_CAPS))
 163           goto link_failed;
 164       } else {
 165         head = self->scale;
 166       }
 167       prev = self->scale;
 168     }
 169
 170     if (head) {
 171       pad = gst_element_get_static_pad (head, "sink");
 172       gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->sinkpad), pad);
 173       gst_object_unref (pad);
 174     }
 175
 176     if (prev) {
 177       pad = gst_element_get_static_pad (prev, "src");
 178       gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->srcpad), pad);
 179       gst_object_unref (pad);
 180     }
 181
 182     if (!head && !prev) {
 183       gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->srcpad),
 184           self->sink_proxypad);
 185     }
 186
 187     GST_DEBUG_OBJECT (self, "Raw conversion pipeline created");
 188   } else {
 189     GstBin *bin = GST_BIN_CAST (self);
 190
 191     GST_DEBUG_OBJECT (self, "Removing raw conversion pipeline");
 192
 193     gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->sinkpad), NULL);
 194     gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->srcpad), NULL);
 195
 196     if (self->conv) {
 197       gst_element_set_state (self->conv, GST_STATE_NULL);
 198       gst_bin_remove (bin, self->conv);
 199       self->conv = NULL;
 200     }
 201     if (self->scale) {
 202       gst_element_set_state (self->scale, GST_STATE_NULL);
 203       gst_bin_remove (bin, self->scale);
 204       self->scale = NULL;
 205     }
 206
 207     gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->srcpad),
 208         self->sink_proxypad);
 209
 210     GST_DEBUG_OBJECT (self, "Raw conversion pipeline removed");
 211   }
 212
 213 unblock:
 214   gst_pad_set_blocked_async_full (self->sink_proxypad, FALSE,
 215       (GstPadBlockCallback) pad_blocked_cb, gst_object_ref (self),
 216       (GDestroyNotify) gst_object_unref);
 217
 218 done:
 219   GST_PLAY_SINK_VIDEO_CONVERT_UNLOCK (self);
 220   return;
 221
 222 link_failed:
 223   {
 224     GST_ELEMENT_ERROR (self, CORE, PAD,
 225         (NULL), ("Failed to configure the video converter."));
 226     gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->srcpad),
 227         self->sink_proxypad);
 228     gst_pad_set_blocked_async_full (self->sink_proxypad, FALSE,
 229         (GstPadBlockCallback) pad_blocked_cb, gst_object_ref (self),
 230         (GDestroyNotify) gst_object_unref);
 231
 232     GST_PLAY_SINK_VIDEO_CONVERT_UNLOCK (self);
 233     return;
 234   }
 235 }
 236
 237 static gboolean
 238 gst_play_sink_video_convert_sink_event (GstPad * pad, GstEvent * event)
 239 {
 240   GstPlaySinkVideoConvert *self =
 241       GST_PLAY_SINK_VIDEO_CONVERT (gst_pad_get_parent (pad));
 242   gboolean ret;
 243
 244   ret = gst_proxy_pad_event_default (pad, gst_event_ref (event));
 245
 246   if (GST_EVENT_TYPE (event) == GST_EVENT_NEWSEGMENT) {
 247     gboolean update;
 248     gdouble rate, applied_rate;
 249     GstFormat format;
 250     gint64 start, stop, position;
 251
 252     GST_PLAY_SINK_VIDEO_CONVERT_LOCK (self);
 253     gst_event_parse_new_segment_full (event, &update, &rate, &applied_rate,
 254         &format, &start, &stop, &position);
 255
 256     GST_DEBUG_OBJECT (self, "Segment before %" GST_SEGMENT_FORMAT,
 257         &self->segment);
 258     gst_segment_set_newsegment_full (&self->segment, update, rate, applied_rate,
 259         format, start, stop, position);
 260     GST_DEBUG_OBJECT (self, "Segment after %" GST_SEGMENT_FORMAT,
 261         &self->segment);
 262     GST_PLAY_SINK_VIDEO_CONVERT_UNLOCK (self);
 263   } else if (GST_EVENT_TYPE (event) == GST_EVENT_FLUSH_STOP) {
 264     GST_PLAY_SINK_VIDEO_CONVERT_LOCK (self);
 265     GST_DEBUG_OBJECT (self, "Resetting segment");
 266     gst_segment_init (&self->segment, GST_FORMAT_UNDEFINED);
 267     GST_PLAY_SINK_VIDEO_CONVERT_UNLOCK (self);
 268   }
 269
 270   gst_event_unref (event);
 271   gst_object_unref (self);
 272
 273   return ret;
 274 }
 275
 276 static gboolean
 277 gst_play_sink_video_convert_sink_setcaps (GstPad * pad, GstCaps * caps)
 278 {
 279   GstPlaySinkVideoConvert *self =
 280       GST_PLAY_SINK_VIDEO_CONVERT (gst_pad_get_parent (pad));
 281   gboolean ret;
 282   GstStructure *s;
 283   const gchar *name;
 284   gboolean reconfigure = FALSE;
 285
 286   GST_PLAY_SINK_VIDEO_CONVERT_LOCK (self);
 287   s = gst_caps_get_structure (caps, 0);
 288   name = gst_structure_get_name (s);
 289
 290   if (g_str_has_prefix (name, "video/x-raw-")) {
 291     if (!self->raw && !gst_pad_is_blocked (self->sink_proxypad)) {
 292       GST_DEBUG_OBJECT (self, "Changing caps from non-raw to raw");
 293       reconfigure = TRUE;
 294       gst_pad_set_blocked_async_full (self->sink_proxypad, TRUE,
 295           (GstPadBlockCallback) pad_blocked_cb, gst_object_ref (self),
 296           (GDestroyNotify) gst_object_unref);
 297     }
 298   } else {
 299     if (self->raw && !gst_pad_is_blocked (self->sink_proxypad)) {
 300       GST_DEBUG_OBJECT (self, "Changing caps from raw to non-raw");
 301       reconfigure = TRUE;
 302       gst_pad_set_blocked_async_full (self->sink_proxypad, TRUE,
 303           (GstPadBlockCallback) pad_blocked_cb, gst_object_ref (self),
 304           (GDestroyNotify) gst_object_unref);
 305     }
 306   }
 307
 308   /* Otherwise the setcaps below fails */
 309   if (reconfigure) {
 310     gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->sinkpad), NULL);
 311     gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->srcpad), NULL);
 312   }
 313   GST_PLAY_SINK_VIDEO_CONVERT_UNLOCK (self);
 314
 315   ret = gst_ghost_pad_setcaps_default (pad, caps);
 316
 317   GST_DEBUG_OBJECT (self, "Setting sink caps %" GST_PTR_FORMAT ": %d", caps,
 318       ret);
 319
 320   gst_object_unref (self);
 321
 322   return ret;
 323 }
 324
 325 static GstCaps *
 326 gst_play_sink_video_convert_getcaps (GstPad * pad)
 327 {
 328   GstPlaySinkVideoConvert *self =
 329       GST_PLAY_SINK_VIDEO_CONVERT (gst_pad_get_parent (pad));
 330   GstCaps *ret;
 331   GstPad *otherpad, *peer;
 332
 333   GST_PLAY_SINK_VIDEO_CONVERT_LOCK (self);
 334   if (pad == self->srcpad)
 335     otherpad = gst_object_ref (self->sinkpad);
 336   else
 337     otherpad = gst_object_ref (self->srcpad);
 338   GST_PLAY_SINK_VIDEO_CONVERT_UNLOCK (self);
 339
 340   peer = gst_pad_get_peer (otherpad);
 341   if (peer) {
 342     ret = gst_pad_get_caps_reffed (peer);
 343     gst_object_unref (peer);
 344   } else {
 345     ret = gst_caps_new_any ();
 346   }
 347
 348   gst_object_unref (otherpad);
 349   gst_object_unref (self);
 350
 351   return ret;
 352 }
 353
 354 static void
 355 gst_play_sink_video_convert_finalize (GObject * object)
 356 {
 357   GstPlaySinkVideoConvert *self = GST_PLAY_SINK_VIDEO_CONVERT_CAST (object);
 358
 359   gst_object_unref (self->sink_proxypad);
 360   g_mutex_free (self->lock);
 361
 362   G_OBJECT_CLASS (parent_class)->finalize (object);
 363 }
 364
 365 static GstStateChangeReturn
 366 gst_play_sink_video_convert_change_state (GstElement * element,
 367     GstStateChange transition)
 368 {
 369   GstStateChangeReturn ret;
 370   GstPlaySinkVideoConvert *self = GST_PLAY_SINK_VIDEO_CONVERT_CAST (element);
 371
 372   switch (transition) {
 373     case GST_STATE_CHANGE_PAUSED_TO_READY:
 374       GST_PLAY_SINK_VIDEO_CONVERT_LOCK (self);
 375       if (gst_pad_is_blocked (self->sink_proxypad))
 376         gst_pad_set_blocked_async_full (self->sink_proxypad, FALSE,
 377             (GstPadBlockCallback) pad_blocked_cb, gst_object_ref (self),
 378             (GDestroyNotify) gst_object_unref);
 379       GST_PLAY_SINK_VIDEO_CONVERT_UNLOCK (self);
 380       break;
 381     default:
 382       break;
 383   }
 384
 385   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
 386   if (ret == GST_STATE_CHANGE_FAILURE)
 387     return ret;
 388
 389   switch (transition) {
 390     case GST_STATE_CHANGE_PAUSED_TO_READY:
 391       GST_PLAY_SINK_VIDEO_CONVERT_LOCK (self);
 392       gst_segment_init (&self->segment, GST_FORMAT_UNDEFINED);
 393       if (self->conv) {
 394         gst_element_set_state (self->conv, GST_STATE_NULL);
 395         gst_bin_remove (GST_BIN_CAST (self), self->conv);
 396         self->conv = NULL;
 397       }
 398       if (self->scale) {
 399         gst_element_set_state (self->scale, GST_STATE_NULL);
 400         gst_bin_remove (GST_BIN_CAST (self), self->scale);
 401         self->scale = NULL;
 402       }
 403       gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->srcpad),
 404           self->sink_proxypad);
 405       self->raw = FALSE;
 406       GST_PLAY_SINK_VIDEO_CONVERT_UNLOCK (self);
 407       break;
 408     case GST_STATE_CHANGE_READY_TO_PAUSED:
 409       GST_PLAY_SINK_VIDEO_CONVERT_LOCK (self);
 410       if (!gst_pad_is_blocked (self->sink_proxypad))
 411         gst_pad_set_blocked_async_full (self->sink_proxypad, TRUE,
 412             (GstPadBlockCallback) pad_blocked_cb, gst_object_ref (self),
 413             (GDestroyNotify) gst_object_unref);
 414       GST_PLAY_SINK_VIDEO_CONVERT_UNLOCK (self);
 415     default:
 416       break;
 417   }
 418
 419   return ret;
 420 }
 421
 422 static void
 423 gst_play_sink_video_convert_class_init (GstPlaySinkVideoConvertClass * klass)
 424 {
 425   GObjectClass *gobject_class;
 426   GstElementClass *gstelement_class;
 427
 428   GST_DEBUG_CATEGORY_INIT (gst_play_sink_video_convert_debug,
 429       "playsinkvideoconvert", 0, "play bin");
 430
 431   gobject_class = (GObjectClass *) klass;
 432   gstelement_class = (GstElementClass *) klass;
 433
 434   gobject_class->finalize = gst_play_sink_video_convert_finalize;
 435
 436   gst_element_class_add_pad_template (gstelement_class,
 437       gst_static_pad_template_get (&srctemplate));
 438   gst_element_class_add_pad_template (gstelement_class,
 439       gst_static_pad_template_get (&sinktemplate));
 440   gst_element_class_set_details_simple (gstelement_class,
 441       "Player Sink Video Converter", "Video/Bin/Converter",
 442       "Convenience bin for video conversion",
 443       "Sebastian Dröge <sebastian.droege@collabora.co.uk>");
 444
 445   gstelement_class->change_state =
 446       GST_DEBUG_FUNCPTR (gst_play_sink_video_convert_change_state);
 447 }
 448
 449 static void
 450 gst_play_sink_video_convert_init (GstPlaySinkVideoConvert * self)
 451 {
 452   GstPadTemplate *templ;
 453
 454   self->lock = g_mutex_new ();
 455   gst_segment_init (&self->segment, GST_FORMAT_UNDEFINED);
 456
 457   templ = gst_static_pad_template_get (&sinktemplate);
 458   self->sinkpad = gst_ghost_pad_new_no_target_from_template ("sink", templ);
 459   gst_pad_set_event_function (self->sinkpad,
 460       GST_DEBUG_FUNCPTR (gst_play_sink_video_convert_sink_event));
 461   gst_pad_set_setcaps_function (self->sinkpad,
 462       GST_DEBUG_FUNCPTR (gst_play_sink_video_convert_sink_setcaps));
 463   gst_pad_set_getcaps_function (self->sinkpad,
 464       GST_DEBUG_FUNCPTR (gst_play_sink_video_convert_getcaps));
 465
 466   self->sink_proxypad =
 467       GST_PAD_CAST (gst_proxy_pad_get_internal (GST_PROXY_PAD (self->sinkpad)));
 468
 469   gst_element_add_pad (GST_ELEMENT_CAST (self), self->sinkpad);
 470   gst_object_unref (templ);
 471
 472   templ = gst_static_pad_template_get (&srctemplate);
 473   self->srcpad = gst_ghost_pad_new_no_target_from_template ("src", templ);
 474   gst_pad_set_getcaps_function (self->srcpad,
 475       GST_DEBUG_FUNCPTR (gst_play_sink_video_convert_getcaps));
 476   gst_element_add_pad (GST_ELEMENT_CAST (self), self->srcpad);
 477   gst_object_unref (templ);
 478
 479   gst_ghost_pad_set_target (GST_GHOST_PAD_CAST (self->srcpad),
 480       self->sink_proxypad);
 481 }