gst/encoding/gstsmartencoder.c

   1 /* GStreamer Smart Video Encoder element
   2  * Copyright (C) <2010> Edward Hervey <bilboed@gmail.com>
   3  *
   4  * This library is free software; you can redistribute it and/or
   5  * modify it under the terms of the GNU Library General Public
   6  * License as published by the Free Software Foundation; either
   7  * version 2 of the License, or (at your option) any later version.
   8  *
   9  * This library is distributed in the hope that it will be useful,
  10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12  * Library General Public License for more details.
  13  *
  14  * You should have received a copy of the GNU Library General Public
  15  * License along with this library; if not, write to the
  16  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  17  * Boston, MA 02111-1307, USA.
  18  */
  19
  20 /* TODO:
  21  * * Implement get_caps/set_caps (store/forward caps)
  22  * * Adjust template caps to the formats we can support
  23  **/
  24
  25 #ifdef HAVE_CONFIG_H
  26 #include "config.h"
  27 #endif
  28
  29 #include <string.h>
  30 #include "gstsmartencoder.h"
  31
  32 GST_DEBUG_CATEGORY_STATIC (smart_encoder_debug);
  33 #define GST_CAT_DEFAULT smart_encoder_debug
  34
  35 /* FIXME : Update this with new caps */
  36 /* WARNING : We can only allow formats with closed-GOP */
  37 #define ALLOWED_CAPS "video/x-h263;video/x-intel-h263;"\
  38   "video/mpeg,mpegversion=(int)1,systemstream=(boolean)false;"\
  39   "video/mpeg,mpegversion=(int)2,systemstream=(boolean)false;"
  40
  41 static GstStaticPadTemplate src_template =
  42 GST_STATIC_PAD_TEMPLATE ("src", GST_PAD_SRC,
  43     GST_PAD_ALWAYS,
  44     GST_STATIC_CAPS (ALLOWED_CAPS)
  45     );
  46
  47 static GstStaticPadTemplate sink_template = GST_STATIC_PAD_TEMPLATE ("sink",
  48     GST_PAD_SINK,
  49     GST_PAD_ALWAYS,
  50     GST_STATIC_CAPS (ALLOWED_CAPS)
  51     );
  52
  53 static GQuark INTERNAL_ELEMENT;
  54
  55 /* GstSmartEncoder signals and args */
  56 enum
  57 {
  58   /* FILL ME */
  59   LAST_SIGNAL
  60 };
  61
  62 enum
  63 {
  64   ARG_0
  65       /* FILL ME */
  66 };
  67
  68 static void
  69 _do_init (void)
  70 {
  71   INTERNAL_ELEMENT = g_quark_from_string ("internal-element");
  72 };
  73
  74 G_DEFINE_TYPE_EXTENDED (GstSmartEncoder, gst_smart_encoder, GST_TYPE_ELEMENT, 0,
  75     _do_init ());
  76
  77 static void gst_smart_encoder_dispose (GObject * object);
  78
  79 static gboolean setup_recoder_pipeline (GstSmartEncoder * smart_encoder);
  80
  81 static GstFlowReturn gst_smart_encoder_chain (GstPad * pad, GstBuffer * buf);
  82 static gboolean smart_encoder_sink_event (GstPad * pad, GstEvent * event);
  83 static GstCaps *smart_encoder_sink_getcaps (GstPad * pad, GstCaps * filter);
  84 static GstStateChangeReturn
  85 gst_smart_encoder_change_state (GstElement * element,
  86     GstStateChange transition);
  87
  88 static void
  89 gst_smart_encoder_class_init (GstSmartEncoderClass * klass)
  90 {
  91   GObjectClass *gobject_class;
  92   GstElementClass *element_class;
  93
  94   element_class = (GstElementClass *) klass;
  95   gobject_class = G_OBJECT_CLASS (klass);
  96
  97   gst_smart_encoder_parent_class = g_type_class_peek_parent (klass);
  98
  99   gst_element_class_add_pad_template (element_class,
 100       gst_static_pad_template_get (&src_template));
 101   gst_element_class_add_pad_template (element_class,
 102       gst_static_pad_template_get (&sink_template));
 103
 104   gst_element_class_set_details_simple (element_class, "Smart Video Encoder",
 105       "Codec/Recoder/Video",
 106       "Re-encodes portions of Video that lay on segment boundaries",
 107       "Edward Hervey <bilboed@gmail.com>");
 108
 109   gobject_class->dispose = (GObjectFinalizeFunc) (gst_smart_encoder_dispose);
 110   element_class->change_state = gst_smart_encoder_change_state;
 111
 112   GST_DEBUG_CATEGORY_INIT (smart_encoder_debug, "smartencoder", 0,
 113       "Smart Encoder");
 114 }
 115
 116 static void
 117 smart_encoder_reset (GstSmartEncoder * smart_encoder)
 118 {
 119   gst_segment_init (smart_encoder->segment, GST_FORMAT_UNDEFINED);
 120
 121   if (smart_encoder->encoder) {
 122     /* Clean up/remove elements */
 123     gst_element_set_state (smart_encoder->encoder, GST_STATE_NULL);
 124     gst_element_set_state (smart_encoder->decoder, GST_STATE_NULL);
 125     gst_element_set_bus (smart_encoder->encoder, NULL);
 126     gst_element_set_bus (smart_encoder->decoder, NULL);
 127     gst_pad_set_active (smart_encoder->internal_srcpad, FALSE);
 128     gst_pad_set_active (smart_encoder->internal_sinkpad, FALSE);
 129     gst_object_unref (smart_encoder->encoder);
 130     gst_object_unref (smart_encoder->decoder);
 131     gst_object_unref (smart_encoder->internal_srcpad);
 132     gst_object_unref (smart_encoder->internal_sinkpad);
 133
 134     smart_encoder->encoder = NULL;
 135     smart_encoder->decoder = NULL;
 136     smart_encoder->internal_sinkpad = NULL;
 137     smart_encoder->internal_srcpad = NULL;
 138   }
 139
 140   if (smart_encoder->newsegment) {
 141     gst_event_unref (smart_encoder->newsegment);
 142     smart_encoder->newsegment = NULL;
 143   }
 144 }
 145
 146
 147 static void
 148 gst_smart_encoder_init (GstSmartEncoder * smart_encoder)
 149 {
 150   smart_encoder->sinkpad =
 151       gst_pad_new_from_static_template (&sink_template, "sink");
 152   gst_pad_set_chain_function (smart_encoder->sinkpad, gst_smart_encoder_chain);
 153   gst_pad_set_event_function (smart_encoder->sinkpad, smart_encoder_sink_event);
 154   gst_pad_set_getcaps_function (smart_encoder->sinkpad,
 155       smart_encoder_sink_getcaps);
 156   gst_element_add_pad (GST_ELEMENT (smart_encoder), smart_encoder->sinkpad);
 157
 158   smart_encoder->srcpad =
 159       gst_pad_new_from_static_template (&src_template, "src");
 160   gst_pad_use_fixed_caps (smart_encoder->srcpad);
 161   gst_element_add_pad (GST_ELEMENT (smart_encoder), smart_encoder->srcpad);
 162
 163   smart_encoder->segment = gst_segment_new ();
 164
 165   smart_encoder_reset (smart_encoder);
 166 }
 167
 168 void
 169 gst_smart_encoder_dispose (GObject * object)
 170 {
 171   GstSmartEncoder *smart_encoder = (GstSmartEncoder *) object;
 172
 173   if (smart_encoder->segment)
 174     gst_segment_free (smart_encoder->segment);
 175   smart_encoder->segment = NULL;
 176   if (smart_encoder->available_caps)
 177     gst_caps_unref (smart_encoder->available_caps);
 178   smart_encoder->available_caps = NULL;
 179   G_OBJECT_CLASS (gst_smart_encoder_parent_class)->dispose (object);
 180 }
 181
 182 static GstFlowReturn
 183 gst_smart_encoder_reencode_gop (GstSmartEncoder * smart_encoder)
 184 {
 185   GstFlowReturn res = GST_FLOW_OK;
 186   GList *tmp;
 187
 188   if (smart_encoder->encoder == NULL) {
 189     if (!setup_recoder_pipeline (smart_encoder))
 190       return GST_FLOW_ERROR;
 191   }
 192
 193   /* Activate elements */
 194   /* Set elements to PAUSED */
 195   gst_element_set_state (smart_encoder->encoder, GST_STATE_PAUSED);
 196   gst_element_set_state (smart_encoder->decoder, GST_STATE_PAUSED);
 197
 198   GST_INFO ("Pushing Flush start/stop to clean decoder/encoder");
 199   gst_pad_push_event (smart_encoder->internal_srcpad,
 200       gst_event_new_flush_start ());
 201   gst_pad_push_event (smart_encoder->internal_srcpad,
 202       gst_event_new_flush_stop ());
 203
 204   /* push newsegment */
 205   GST_INFO ("Pushing newsegment %" GST_PTR_FORMAT, smart_encoder->newsegment);
 206   gst_pad_push_event (smart_encoder->internal_srcpad,
 207       gst_event_ref (smart_encoder->newsegment));
 208
 209   /* Push buffers through our pads */
 210   GST_DEBUG ("Pushing pending buffers");
 211
 212   for (tmp = smart_encoder->pending_gop; tmp; tmp = tmp->next) {
 213     GstBuffer *buf = (GstBuffer *) tmp->data;
 214
 215     res = gst_pad_push (smart_encoder->internal_srcpad, buf);
 216     if (G_UNLIKELY (res != GST_FLOW_OK))
 217       break;
 218   }
 219
 220   if (G_UNLIKELY (res != GST_FLOW_OK)) {
 221     GST_WARNING ("Error pushing pending buffers : %s", gst_flow_get_name (res));
 222     /* Remove pending bfufers */
 223     for (tmp = smart_encoder->pending_gop; tmp; tmp = tmp->next) {
 224       gst_buffer_unref ((GstBuffer *) tmp->data);
 225     }
 226   } else {
 227     GST_INFO ("Pushing out EOS to flush out decoder/encoder");
 228     gst_pad_push_event (smart_encoder->internal_srcpad, gst_event_new_eos ());
 229   }
 230
 231   /* Activate elements */
 232   /* Set elements to PAUSED */
 233   gst_element_set_state (smart_encoder->encoder, GST_STATE_NULL);
 234   gst_element_set_state (smart_encoder->decoder, GST_STATE_NULL);
 235
 236   g_list_free (smart_encoder->pending_gop);
 237   smart_encoder->pending_gop = NULL;
 238
 239   return res;
 240 }
 241
 242 static GstFlowReturn
 243 gst_smart_encoder_push_pending_gop (GstSmartEncoder * smart_encoder)
 244 {
 245   guint64 cstart, cstop;
 246   GList *tmp;
 247   GstFlowReturn res = GST_FLOW_OK;
 248
 249   GST_DEBUG ("Pushing pending GOP (%" GST_TIME_FORMAT " -- %" GST_TIME_FORMAT
 250       ")", GST_TIME_ARGS (smart_encoder->gop_start),
 251       GST_TIME_ARGS (smart_encoder->gop_stop));
 252
 253   /* If GOP is entirely within segment, just push downstream */
 254   if (gst_segment_clip (smart_encoder->segment, GST_FORMAT_TIME,
 255           smart_encoder->gop_start, smart_encoder->gop_stop, &cstart, &cstop)) {
 256     if ((cstart != smart_encoder->gop_start)
 257         || (cstop != smart_encoder->gop_stop)) {
 258       GST_DEBUG ("GOP needs to be re-encoded from %" GST_TIME_FORMAT " to %"
 259           GST_TIME_FORMAT, GST_TIME_ARGS (cstart), GST_TIME_ARGS (cstop));
 260       res = gst_smart_encoder_reencode_gop (smart_encoder);
 261     } else {
 262       /* The whole GOP is within the segment, push all pending buffers downstream */
 263       GST_DEBUG ("GOP doesn't need to be modified, pushing downstream");
 264       for (tmp = smart_encoder->pending_gop; tmp; tmp = tmp->next) {
 265         GstBuffer *buf = (GstBuffer *) tmp->data;
 266         res = gst_pad_push (smart_encoder->srcpad, buf);
 267         if (G_UNLIKELY (res != GST_FLOW_OK))
 268           break;
 269       }
 270     }
 271   } else {
 272     /* The whole GOP is outside the segment, there's most likely
 273      * a bug somewhere. */
 274     GST_WARNING
 275         ("GOP is entirely outside of the segment, upstream gave us too much data");
 276     for (tmp = smart_encoder->pending_gop; tmp; tmp = tmp->next) {
 277       gst_buffer_unref ((GstBuffer *) tmp->data);
 278     }
 279   }
 280
 281   if (smart_encoder->pending_gop) {
 282     g_list_free (smart_encoder->pending_gop);
 283     smart_encoder->pending_gop = NULL;
 284   }
 285   smart_encoder->gop_start = GST_CLOCK_TIME_NONE;
 286   smart_encoder->gop_stop = GST_CLOCK_TIME_NONE;
 287
 288   return res;
 289 }
 290
 291 static GstFlowReturn
 292 gst_smart_encoder_chain (GstPad * pad, GstBuffer * buf)
 293 {
 294   GstSmartEncoder *smart_encoder;
 295   GstFlowReturn res = GST_FLOW_OK;
 296   gboolean discont, keyframe;
 297
 298   smart_encoder = GST_SMART_ENCODER (gst_object_get_parent (GST_OBJECT (pad)));
 299
 300   discont = GST_BUFFER_IS_DISCONT (buf);
 301   keyframe = !GST_BUFFER_FLAG_IS_SET (buf, GST_BUFFER_FLAG_DELTA_UNIT);
 302
 303   GST_DEBUG ("New buffer %s %s %" GST_TIME_FORMAT,
 304       discont ? "discont" : "",
 305       keyframe ? "keyframe" : "", GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (buf)));
 306
 307   if (keyframe) {
 308     GST_DEBUG ("Got a keyframe");
 309
 310     /* If there's a pending GOP, flush it out */
 311     if (smart_encoder->pending_gop) {
 312       /* Mark gop_stop */
 313       smart_encoder->gop_stop = GST_BUFFER_TIMESTAMP (buf);
 314
 315       /* flush pending */
 316       res = gst_smart_encoder_push_pending_gop (smart_encoder);
 317       if (G_UNLIKELY (res != GST_FLOW_OK))
 318         goto beach;
 319     }
 320
 321     /* Mark gop_start for new gop */
 322     smart_encoder->gop_start = GST_BUFFER_TIMESTAMP (buf);
 323   }
 324
 325   /* Store buffer */
 326   smart_encoder->pending_gop = g_list_append (smart_encoder->pending_gop, buf);
 327   /* Update GOP stop position */
 328   if (GST_BUFFER_TIMESTAMP_IS_VALID (buf)) {
 329     smart_encoder->gop_stop = GST_BUFFER_TIMESTAMP (buf);
 330     if (GST_BUFFER_DURATION_IS_VALID (buf))
 331       smart_encoder->gop_stop += GST_BUFFER_DURATION (buf);
 332   }
 333
 334   GST_DEBUG ("Buffer stored , Current GOP : %" GST_TIME_FORMAT " -- %"
 335       GST_TIME_FORMAT, GST_TIME_ARGS (smart_encoder->gop_start),
 336       GST_TIME_ARGS (smart_encoder->gop_stop));
 337
 338 beach:
 339   gst_object_unref (smart_encoder);
 340   return res;
 341 }
 342
 343 static gboolean
 344 smart_encoder_sink_event (GstPad * pad, GstEvent * event)
 345 {
 346   gboolean res = TRUE;
 347   GstSmartEncoder *smart_encoder = GST_SMART_ENCODER (gst_pad_get_parent (pad));
 348
 349   switch (GST_EVENT_TYPE (event)) {
 350     case GST_EVENT_FLUSH_STOP:
 351       smart_encoder_reset (smart_encoder);
 352       break;
 353     case GST_EVENT_SEGMENT:
 354     {
 355       gst_event_copy_segment (event, smart_encoder->segment);
 356
 357       GST_DEBUG_OBJECT (smart_encoder, "segment: %" GST_SEGMENT_FORMAT,
 358           smart_encoder->segment);
 359       if (smart_encoder->segment->format != GST_FORMAT_TIME)
 360         GST_ERROR
 361             ("smart_encoder can not handle streams not specified in GST_FORMAT_TIME");
 362
 363       /* And keep a copy for further usage */
 364       if (smart_encoder->newsegment)
 365         gst_event_unref (smart_encoder->newsegment);
 366       smart_encoder->newsegment = gst_event_ref (event);
 367     }
 368       break;
 369     case GST_EVENT_EOS:
 370       GST_DEBUG ("Eos, flushing remaining data");
 371       gst_smart_encoder_push_pending_gop (smart_encoder);
 372       break;
 373     default:
 374       break;
 375   }
 376
 377   res = gst_pad_push_event (smart_encoder->srcpad, event);
 378
 379   gst_object_unref (smart_encoder);
 380   return res;
 381 }
 382
 383 static GstCaps *
 384 smart_encoder_sink_getcaps (GstPad * pad, GstCaps * filter)
 385 {
 386   GstCaps *peer, *tmpl, *res;
 387   GstSmartEncoder *smart_encoder = GST_SMART_ENCODER (gst_pad_get_parent (pad));
 388
 389   /* Use computed caps */
 390   if (smart_encoder->available_caps)
 391     tmpl = gst_caps_ref (smart_encoder->available_caps);
 392   else
 393     tmpl = gst_static_pad_template_get_caps (&src_template);
 394
 395   /* Try getting it from downstream */
 396   peer = gst_pad_peer_get_caps (smart_encoder->srcpad, tmpl);
 397
 398   if (peer == NULL) {
 399     res = tmpl;
 400   } else {
 401     res = peer;
 402     gst_caps_unref (tmpl);
 403   }
 404
 405   gst_object_unref (smart_encoder);
 406   return res;
 407 }
 408
 409 /*****************************************
 410  *    Internal encoder/decoder pipeline  *
 411  ******************************************/
 412
 413 static GstElementFactory *
 414 get_decoder_factory (GstCaps * caps)
 415 {
 416   GstElementFactory *fact = NULL;
 417   GList *decoders, *tmp;
 418
 419   tmp =
 420       gst_element_factory_list_get_elements (GST_ELEMENT_FACTORY_TYPE_DECODER,
 421       GST_RANK_MARGINAL);
 422   decoders = gst_element_factory_list_filter (tmp, caps, GST_PAD_SINK, FALSE);
 423   gst_plugin_feature_list_free (tmp);
 424
 425   for (tmp = decoders; tmp; tmp = tmp->next) {
 426     /* We just pick the first one */
 427     fact = (GstElementFactory *) tmp->data;
 428     gst_object_ref (fact);
 429     break;
 430   }
 431
 432   gst_plugin_feature_list_free (decoders);
 433
 434   return fact;
 435 }
 436
 437 static GstElementFactory *
 438 get_encoder_factory (GstCaps * caps)
 439 {
 440   GstElementFactory *fact = NULL;
 441   GList *encoders, *tmp;
 442
 443   tmp =
 444       gst_element_factory_list_get_elements (GST_ELEMENT_FACTORY_TYPE_ENCODER,
 445       GST_RANK_MARGINAL);
 446   encoders = gst_element_factory_list_filter (tmp, caps, GST_PAD_SRC, FALSE);
 447   gst_plugin_feature_list_free (tmp);
 448
 449   for (tmp = encoders; tmp; tmp = tmp->next) {
 450     /* We just pick the first one */
 451     fact = (GstElementFactory *) tmp->data;
 452     gst_object_ref (fact);
 453     break;
 454   }
 455
 456   gst_plugin_feature_list_free (encoders);
 457
 458   return fact;
 459 }
 460
 461 static GstElement *
 462 get_decoder (GstCaps * caps)
 463 {
 464   GstElementFactory *fact = get_decoder_factory (caps);
 465   GstElement *res = NULL;
 466
 467   if (fact) {
 468     res = gst_element_factory_create (fact, "internal-decoder");
 469     gst_object_unref (fact);
 470   }
 471   return res;
 472 }
 473
 474 static GstElement *
 475 get_encoder (GstCaps * caps)
 476 {
 477   GstElementFactory *fact = get_encoder_factory (caps);
 478   GstElement *res = NULL;
 479
 480   if (fact) {
 481     res = gst_element_factory_create (fact, "internal-encoder");
 482     gst_object_unref (fact);
 483   }
 484   return res;
 485 }
 486
 487 static GstFlowReturn
 488 internal_chain (GstPad * pad, GstBuffer * buf)
 489 {
 490   GstSmartEncoder *smart_encoder =
 491       g_object_get_qdata ((GObject *) pad, INTERNAL_ELEMENT);
 492
 493   return gst_pad_push (smart_encoder->srcpad, buf);
 494 }
 495
 496 static gboolean
 497 setup_recoder_pipeline (GstSmartEncoder * smart_encoder)
 498 {
 499   GstPad *tmppad;
 500   GstCaps *caps;
 501
 502   /* Fast path */
 503   if (G_UNLIKELY (smart_encoder->encoder))
 504     return TRUE;
 505
 506   GST_DEBUG ("Creating internal decoder and encoder");
 507
 508   /* Create decoder/encoder */
 509   caps = gst_pad_get_current_caps (smart_encoder->sinkpad);
 510   smart_encoder->decoder = get_decoder (caps);
 511   if (G_UNLIKELY (smart_encoder->decoder == NULL))
 512     goto no_decoder;
 513   gst_caps_unref (caps);
 514   gst_element_set_bus (smart_encoder->decoder, GST_ELEMENT_BUS (smart_encoder));
 515
 516   caps = gst_pad_get_current_caps (smart_encoder->sinkpad);
 517   smart_encoder->encoder = get_encoder (caps);
 518   if (G_UNLIKELY (smart_encoder->encoder == NULL))
 519     goto no_encoder;
 520   gst_caps_unref (caps);
 521   gst_element_set_bus (smart_encoder->encoder, GST_ELEMENT_BUS (smart_encoder));
 522
 523   GST_DEBUG ("Creating internal pads");
 524
 525   /* Create internal pads */
 526
 527   /* Source pad which we'll use to feed data to decoders */
 528   smart_encoder->internal_srcpad = gst_pad_new ("internal_src", GST_PAD_SRC);
 529   g_object_set_qdata ((GObject *) smart_encoder->internal_srcpad,
 530       INTERNAL_ELEMENT, smart_encoder);
 531   gst_pad_set_active (smart_encoder->internal_srcpad, TRUE);
 532
 533   /* Sink pad which will get the buffers from the encoder.
 534    * Note: We don't need an event function since we'll be discarding all
 535    * of them. */
 536   smart_encoder->internal_sinkpad = gst_pad_new ("internal_sink", GST_PAD_SINK);
 537   g_object_set_qdata ((GObject *) smart_encoder->internal_sinkpad,
 538       INTERNAL_ELEMENT, smart_encoder);
 539   gst_pad_set_chain_function (smart_encoder->internal_sinkpad, internal_chain);
 540   gst_pad_set_active (smart_encoder->internal_sinkpad, TRUE);
 541
 542   GST_DEBUG ("Linking pads to elements");
 543
 544   /* Link everything */
 545   tmppad = gst_element_get_static_pad (smart_encoder->encoder, "src");
 546   if (GST_PAD_LINK_FAILED (gst_pad_link (tmppad,
 547               smart_encoder->internal_sinkpad)))
 548     goto sinkpad_link_fail;
 549   gst_object_unref (tmppad);
 550
 551   if (!gst_element_link (smart_encoder->decoder, smart_encoder->encoder))
 552     goto encoder_decoder_link_fail;
 553
 554   tmppad = gst_element_get_static_pad (smart_encoder->decoder, "sink");
 555   if (GST_PAD_LINK_FAILED (gst_pad_link (smart_encoder->internal_srcpad,
 556               tmppad)))
 557     goto srcpad_link_fail;
 558   gst_object_unref (tmppad);
 559
 560   GST_DEBUG ("Done creating internal elements/pads");
 561
 562   return TRUE;
 563
 564 no_decoder:
 565   {
 566     GST_WARNING ("Couldn't find a decoder for %" GST_PTR_FORMAT, caps);
 567     gst_caps_unref (caps);
 568     return FALSE;
 569   }
 570
 571 no_encoder:
 572   {
 573     GST_WARNING ("Couldn't find an encoder for %" GST_PTR_FORMAT, caps);
 574     gst_caps_unref (caps);
 575     return FALSE;
 576   }
 577
 578 srcpad_link_fail:
 579   {
 580     gst_object_unref (tmppad);
 581     GST_WARNING ("Couldn't link internal srcpad to decoder");
 582     return FALSE;
 583   }
 584
 585 sinkpad_link_fail:
 586   {
 587     gst_object_unref (tmppad);
 588     GST_WARNING ("Couldn't link encoder to internal sinkpad");
 589     return FALSE;
 590   }
 591
 592 encoder_decoder_link_fail:
 593   {
 594     GST_WARNING ("Couldn't link decoder to encoder");
 595     return FALSE;
 596   }
 597 }
 598
 599 static GstStateChangeReturn
 600 gst_smart_encoder_find_elements (GstSmartEncoder * smart_encoder)
 601 {
 602   guint i, n;
 603   GstCaps *tmpl, *st, *res;
 604   GstElementFactory *dec, *enc;
 605   GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
 606
 607   if (G_UNLIKELY (smart_encoder->available_caps))
 608     goto beach;
 609
 610   /* Iterate over all pad template caps and see if we have both an
 611    * encoder and a decoder for those media types */
 612   tmpl = gst_static_pad_template_get_caps (&src_template);
 613   res = gst_caps_new_empty ();
 614   n = gst_caps_get_size (tmpl);
 615
 616   for (i = 0; i < n; i++) {
 617     st = gst_caps_copy_nth (tmpl, i);
 618     GST_DEBUG_OBJECT (smart_encoder,
 619         "Checking for available decoder and encoder for %" GST_PTR_FORMAT, st);
 620     if (!(dec = get_decoder_factory (st))) {
 621       gst_caps_unref (st);
 622       continue;
 623     }
 624     gst_object_unref (dec);
 625     if (!(enc = get_encoder_factory (st))) {
 626       gst_caps_unref (st);
 627       continue;
 628     }
 629     gst_object_unref (enc);
 630     GST_DEBUG_OBJECT (smart_encoder, "OK");
 631     gst_caps_append (res, st);
 632   }
 633
 634   gst_caps_unref (tmpl);
 635
 636   if (gst_caps_is_empty (res))
 637     ret = GST_STATE_CHANGE_FAILURE;
 638   else
 639     smart_encoder->available_caps = res;
 640
 641   GST_DEBUG_OBJECT (smart_encoder, "Done, available_caps:%" GST_PTR_FORMAT,
 642       smart_encoder->available_caps);
 643
 644 beach:
 645   return ret;
 646 }
 647
 648 /******************************************
 649  *    GstElement vmethod implementations  *
 650  ******************************************/
 651
 652 static GstStateChangeReturn
 653 gst_smart_encoder_change_state (GstElement * element, GstStateChange transition)
 654 {
 655   GstSmartEncoder *smart_encoder;
 656   GstStateChangeReturn ret;
 657
 658   g_return_val_if_fail (GST_IS_SMART_ENCODER (element),
 659       GST_STATE_CHANGE_FAILURE);
 660
 661   smart_encoder = GST_SMART_ENCODER (element);
 662
 663   switch (transition) {
 664     case GST_STATE_CHANGE_NULL_TO_READY:
 665       /* Figure out which elements are available  */
 666       if ((ret =
 667               gst_smart_encoder_find_elements (smart_encoder)) ==
 668           GST_STATE_CHANGE_FAILURE)
 669         goto beach;
 670       break;
 671     default:
 672       break;
 673   }
 674
 675   ret =
 676       GST_ELEMENT_CLASS (gst_smart_encoder_parent_class)->change_state (element,
 677       transition);
 678
 679   switch (transition) {
 680     case GST_STATE_CHANGE_PAUSED_TO_READY:
 681       smart_encoder_reset (smart_encoder);
 682       break;
 683     default:
 684       break;
 685   }
 686
 687 beach:
 688   return ret;
 689 }