-base: don't use buffer caps
[platform/upstream/gstreamer.git] / gst / encoding / gstsmartencoder.c
1 /* GStreamer Smart Video Encoder element
2  * Copyright (C) <2010> Edward Hervey <bilboed@gmail.com>
3  *
4  * This library is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU Library General Public
6  * License as published by the Free Software Foundation; either
7  * version 2 of the License, or (at your option) any later version.
8  *
9  * This library is distributed in the hope that it will be useful,
10  * but WITHOUT ANY WARRANTY; without even the implied warranty of
11  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
12  * Library General Public License for more details.
13  *
14  * You should have received a copy of the GNU Library General Public
15  * License along with this library; if not, write to the
16  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
17  * Boston, MA 02111-1307, USA.
18  */
19
20 /* TODO:
21  * * Implement get_caps/set_caps (store/forward caps)
22  * * Adjust template caps to the formats we can support
23  **/
24
25 #ifdef HAVE_CONFIG_H
26 #include "config.h"
27 #endif
28
29 #include <string.h>
30 #include "gstsmartencoder.h"
31
32 GST_DEBUG_CATEGORY_STATIC (smart_encoder_debug);
33 #define GST_CAT_DEFAULT smart_encoder_debug
34
35 /* FIXME : Update this with new caps */
36 /* WARNING : We can only allow formats with closed-GOP */
37 #define ALLOWED_CAPS "video/x-h263;video/x-intel-h263;"\
38   "video/mpeg,mpegversion=(int)1,systemstream=(boolean)false;"\
39   "video/mpeg,mpegversion=(int)2,systemstream=(boolean)false;"
40
41 static GstStaticPadTemplate src_template =
42 GST_STATIC_PAD_TEMPLATE ("src", GST_PAD_SRC,
43     GST_PAD_ALWAYS,
44     GST_STATIC_CAPS (ALLOWED_CAPS)
45     );
46
47 static GstStaticPadTemplate sink_template = GST_STATIC_PAD_TEMPLATE ("sink",
48     GST_PAD_SINK,
49     GST_PAD_ALWAYS,
50     GST_STATIC_CAPS (ALLOWED_CAPS)
51     );
52
53 static GQuark INTERNAL_ELEMENT;
54
55 /* GstSmartEncoder signals and args */
56 enum
57 {
58   /* FILL ME */
59   LAST_SIGNAL
60 };
61
62 enum
63 {
64   ARG_0
65       /* FILL ME */
66 };
67
68 static void
69 _do_init (void)
70 {
71   INTERNAL_ELEMENT = g_quark_from_string ("internal-element");
72 };
73
74 G_DEFINE_TYPE_EXTENDED (GstSmartEncoder, gst_smart_encoder, GST_TYPE_ELEMENT, 0,
75     _do_init ());
76
77 static void gst_smart_encoder_dispose (GObject * object);
78
79 static gboolean setup_recoder_pipeline (GstSmartEncoder * smart_encoder);
80
81 static GstFlowReturn gst_smart_encoder_chain (GstPad * pad, GstBuffer * buf);
82 static gboolean smart_encoder_sink_event (GstPad * pad, GstEvent * event);
83 static GstCaps *smart_encoder_sink_getcaps (GstPad * pad);
84 static GstStateChangeReturn
85 gst_smart_encoder_change_state (GstElement * element,
86     GstStateChange transition);
87
88 static void
89 gst_smart_encoder_class_init (GstSmartEncoderClass * klass)
90 {
91   GObjectClass *gobject_class;
92   GstElementClass *element_class;
93
94   element_class = (GstElementClass *) klass;
95   gobject_class = G_OBJECT_CLASS (klass);
96
97   gst_smart_encoder_parent_class = g_type_class_peek_parent (klass);
98
99   gst_element_class_add_pad_template (element_class,
100       gst_static_pad_template_get (&src_template));
101   gst_element_class_add_pad_template (element_class,
102       gst_static_pad_template_get (&sink_template));
103
104   gst_element_class_set_details_simple (element_class, "Smart Video Encoder",
105       "Codec/Recoder/Video",
106       "Re-encodes portions of Video that lay on segment boundaries",
107       "Edward Hervey <bilboed@gmail.com>");
108
109   gobject_class->dispose = (GObjectFinalizeFunc) (gst_smart_encoder_dispose);
110   element_class->change_state = gst_smart_encoder_change_state;
111
112   GST_DEBUG_CATEGORY_INIT (smart_encoder_debug, "smartencoder", 0,
113       "Smart Encoder");
114 }
115
116 static void
117 smart_encoder_reset (GstSmartEncoder * smart_encoder)
118 {
119   gst_segment_init (smart_encoder->segment, GST_FORMAT_UNDEFINED);
120
121   if (smart_encoder->encoder) {
122     /* Clean up/remove elements */
123     gst_element_set_state (smart_encoder->encoder, GST_STATE_NULL);
124     gst_element_set_state (smart_encoder->decoder, GST_STATE_NULL);
125     gst_element_set_bus (smart_encoder->encoder, NULL);
126     gst_element_set_bus (smart_encoder->decoder, NULL);
127     gst_pad_set_active (smart_encoder->internal_srcpad, FALSE);
128     gst_pad_set_active (smart_encoder->internal_sinkpad, FALSE);
129     gst_object_unref (smart_encoder->encoder);
130     gst_object_unref (smart_encoder->decoder);
131     gst_object_unref (smart_encoder->internal_srcpad);
132     gst_object_unref (smart_encoder->internal_sinkpad);
133
134     smart_encoder->encoder = NULL;
135     smart_encoder->decoder = NULL;
136     smart_encoder->internal_sinkpad = NULL;
137     smart_encoder->internal_srcpad = NULL;
138   }
139
140   if (smart_encoder->newsegment) {
141     gst_event_unref (smart_encoder->newsegment);
142     smart_encoder->newsegment = NULL;
143   }
144 }
145
146
147 static void
148 gst_smart_encoder_init (GstSmartEncoder * smart_encoder)
149 {
150   smart_encoder->sinkpad =
151       gst_pad_new_from_static_template (&sink_template, "sink");
152   gst_pad_set_chain_function (smart_encoder->sinkpad, gst_smart_encoder_chain);
153   gst_pad_set_event_function (smart_encoder->sinkpad, smart_encoder_sink_event);
154   gst_pad_set_getcaps_function (smart_encoder->sinkpad,
155       smart_encoder_sink_getcaps);
156   gst_element_add_pad (GST_ELEMENT (smart_encoder), smart_encoder->sinkpad);
157
158   smart_encoder->srcpad =
159       gst_pad_new_from_static_template (&src_template, "src");
160   gst_pad_use_fixed_caps (smart_encoder->srcpad);
161   gst_element_add_pad (GST_ELEMENT (smart_encoder), smart_encoder->srcpad);
162
163   smart_encoder->segment = gst_segment_new ();
164
165   smart_encoder_reset (smart_encoder);
166 }
167
168 void
169 gst_smart_encoder_dispose (GObject * object)
170 {
171   GstSmartEncoder *smart_encoder = (GstSmartEncoder *) object;
172
173   if (smart_encoder->segment)
174     gst_segment_free (smart_encoder->segment);
175   smart_encoder->segment = NULL;
176   if (smart_encoder->available_caps)
177     gst_caps_unref (smart_encoder->available_caps);
178   smart_encoder->available_caps = NULL;
179   G_OBJECT_CLASS (gst_smart_encoder_parent_class)->dispose (object);
180 }
181
182 static GstFlowReturn
183 gst_smart_encoder_reencode_gop (GstSmartEncoder * smart_encoder)
184 {
185   GstFlowReturn res = GST_FLOW_OK;
186   GList *tmp;
187
188   if (smart_encoder->encoder == NULL) {
189     if (!setup_recoder_pipeline (smart_encoder))
190       return GST_FLOW_ERROR;
191   }
192
193   /* Activate elements */
194   /* Set elements to PAUSED */
195   gst_element_set_state (smart_encoder->encoder, GST_STATE_PAUSED);
196   gst_element_set_state (smart_encoder->decoder, GST_STATE_PAUSED);
197
198   GST_INFO ("Pushing Flush start/stop to clean decoder/encoder");
199   gst_pad_push_event (smart_encoder->internal_srcpad,
200       gst_event_new_flush_start ());
201   gst_pad_push_event (smart_encoder->internal_srcpad,
202       gst_event_new_flush_stop ());
203
204   /* push newsegment */
205   GST_INFO ("Pushing newsegment %" GST_PTR_FORMAT, smart_encoder->newsegment);
206   gst_pad_push_event (smart_encoder->internal_srcpad,
207       gst_event_ref (smart_encoder->newsegment));
208
209   /* Push buffers through our pads */
210   GST_DEBUG ("Pushing pending buffers");
211
212   for (tmp = smart_encoder->pending_gop; tmp; tmp = tmp->next) {
213     GstBuffer *buf = (GstBuffer *) tmp->data;
214
215     res = gst_pad_push (smart_encoder->internal_srcpad, buf);
216     if (G_UNLIKELY (res != GST_FLOW_OK))
217       break;
218   }
219
220   if (G_UNLIKELY (res != GST_FLOW_OK)) {
221     GST_WARNING ("Error pushing pending buffers : %s", gst_flow_get_name (res));
222     /* Remove pending bfufers */
223     for (tmp = smart_encoder->pending_gop; tmp; tmp = tmp->next) {
224       gst_buffer_unref ((GstBuffer *) tmp->data);
225     }
226   } else {
227     GST_INFO ("Pushing out EOS to flush out decoder/encoder");
228     gst_pad_push_event (smart_encoder->internal_srcpad, gst_event_new_eos ());
229   }
230
231   /* Activate elements */
232   /* Set elements to PAUSED */
233   gst_element_set_state (smart_encoder->encoder, GST_STATE_NULL);
234   gst_element_set_state (smart_encoder->decoder, GST_STATE_NULL);
235
236   g_list_free (smart_encoder->pending_gop);
237   smart_encoder->pending_gop = NULL;
238
239   return res;
240 }
241
242 static GstFlowReturn
243 gst_smart_encoder_push_pending_gop (GstSmartEncoder * smart_encoder)
244 {
245   gint64 cstart, cstop;
246   GList *tmp;
247   GstFlowReturn res = GST_FLOW_OK;
248
249   GST_DEBUG ("Pushing pending GOP (%" GST_TIME_FORMAT " -- %" GST_TIME_FORMAT
250       ")", GST_TIME_ARGS (smart_encoder->gop_start),
251       GST_TIME_ARGS (smart_encoder->gop_stop));
252
253   /* If GOP is entirely within segment, just push downstream */
254   if (gst_segment_clip (smart_encoder->segment, GST_FORMAT_TIME,
255           smart_encoder->gop_start, smart_encoder->gop_stop, &cstart, &cstop)) {
256     if ((cstart != smart_encoder->gop_start)
257         || (cstop != smart_encoder->gop_stop)) {
258       GST_DEBUG ("GOP needs to be re-encoded from %" GST_TIME_FORMAT " to %"
259           GST_TIME_FORMAT, GST_TIME_ARGS (cstart), GST_TIME_ARGS (cstop));
260       res = gst_smart_encoder_reencode_gop (smart_encoder);
261     } else {
262       /* The whole GOP is within the segment, push all pending buffers downstream */
263       GST_DEBUG ("GOP doesn't need to be modified, pushing downstream");
264       for (tmp = smart_encoder->pending_gop; tmp; tmp = tmp->next) {
265         GstBuffer *buf = (GstBuffer *) tmp->data;
266         res = gst_pad_push (smart_encoder->srcpad, buf);
267         if (G_UNLIKELY (res != GST_FLOW_OK))
268           break;
269       }
270     }
271   } else {
272     /* The whole GOP is outside the segment, there's most likely
273      * a bug somewhere. */
274     GST_WARNING
275         ("GOP is entirely outside of the segment, upstream gave us too much data");
276     for (tmp = smart_encoder->pending_gop; tmp; tmp = tmp->next) {
277       gst_buffer_unref ((GstBuffer *) tmp->data);
278     }
279   }
280
281   if (smart_encoder->pending_gop) {
282     g_list_free (smart_encoder->pending_gop);
283     smart_encoder->pending_gop = NULL;
284   }
285   smart_encoder->gop_start = GST_CLOCK_TIME_NONE;
286   smart_encoder->gop_stop = GST_CLOCK_TIME_NONE;
287
288   return res;
289 }
290
291 static GstFlowReturn
292 gst_smart_encoder_chain (GstPad * pad, GstBuffer * buf)
293 {
294   GstSmartEncoder *smart_encoder;
295   GstFlowReturn res = GST_FLOW_OK;
296   gboolean discont, keyframe;
297
298   smart_encoder = GST_SMART_ENCODER (gst_object_get_parent (GST_OBJECT (pad)));
299
300   discont = GST_BUFFER_IS_DISCONT (buf);
301   keyframe = !GST_BUFFER_FLAG_IS_SET (buf, GST_BUFFER_FLAG_DELTA_UNIT);
302
303   GST_DEBUG ("New buffer %s %s %" GST_TIME_FORMAT,
304       discont ? "discont" : "",
305       keyframe ? "keyframe" : "", GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (buf)));
306
307   if (keyframe) {
308     GST_DEBUG ("Got a keyframe");
309
310     /* If there's a pending GOP, flush it out */
311     if (smart_encoder->pending_gop) {
312       /* Mark gop_stop */
313       smart_encoder->gop_stop = GST_BUFFER_TIMESTAMP (buf);
314
315       /* flush pending */
316       res = gst_smart_encoder_push_pending_gop (smart_encoder);
317       if (G_UNLIKELY (res != GST_FLOW_OK))
318         goto beach;
319     }
320
321     /* Mark gop_start for new gop */
322     smart_encoder->gop_start = GST_BUFFER_TIMESTAMP (buf);
323   }
324
325   /* Store buffer */
326   smart_encoder->pending_gop = g_list_append (smart_encoder->pending_gop, buf);
327   /* Update GOP stop position */
328   if (GST_BUFFER_TIMESTAMP_IS_VALID (buf)) {
329     smart_encoder->gop_stop = GST_BUFFER_TIMESTAMP (buf);
330     if (GST_BUFFER_DURATION_IS_VALID (buf))
331       smart_encoder->gop_stop += GST_BUFFER_DURATION (buf);
332   }
333
334   GST_DEBUG ("Buffer stored , Current GOP : %" GST_TIME_FORMAT " -- %"
335       GST_TIME_FORMAT, GST_TIME_ARGS (smart_encoder->gop_start),
336       GST_TIME_ARGS (smart_encoder->gop_stop));
337
338 beach:
339   gst_object_unref (smart_encoder);
340   return res;
341 }
342
343 static gboolean
344 smart_encoder_sink_event (GstPad * pad, GstEvent * event)
345 {
346   gboolean res = TRUE;
347   GstSmartEncoder *smart_encoder = GST_SMART_ENCODER (gst_pad_get_parent (pad));
348
349   switch (GST_EVENT_TYPE (event)) {
350     case GST_EVENT_FLUSH_STOP:
351       smart_encoder_reset (smart_encoder);
352       break;
353     case GST_EVENT_NEWSEGMENT:
354     {
355       GstFormat format;
356       gdouble rate, arate;
357       gint64 start, stop, time;
358       gboolean update;
359
360       gst_event_parse_new_segment_full (event, &update, &rate, &arate, &format,
361           &start, &stop, &time);
362       GST_DEBUG_OBJECT (smart_encoder,
363           "newsegment: update %d, rate %g, arate %g, start %" GST_TIME_FORMAT
364           ", stop %" GST_TIME_FORMAT ", time %" GST_TIME_FORMAT,
365           update, rate, arate, GST_TIME_ARGS (start), GST_TIME_ARGS (stop),
366           GST_TIME_ARGS (time));
367       if (format != GST_FORMAT_TIME)
368         GST_ERROR
369             ("smart_encoder can not handle streams not specified in GST_FORMAT_TIME");
370
371       /* now configure the values */
372       gst_segment_set_newsegment_full (smart_encoder->segment, update,
373           rate, arate, format, start, stop, time);
374
375       /* And keep a copy for further usage */
376       if (smart_encoder->newsegment)
377         gst_event_unref (smart_encoder->newsegment);
378       smart_encoder->newsegment = gst_event_ref (event);
379     }
380       break;
381     case GST_EVENT_EOS:
382       GST_DEBUG ("Eos, flushing remaining data");
383       gst_smart_encoder_push_pending_gop (smart_encoder);
384       break;
385     default:
386       break;
387   }
388
389   res = gst_pad_push_event (smart_encoder->srcpad, event);
390
391   gst_object_unref (smart_encoder);
392   return res;
393 }
394
395 static GstCaps *
396 smart_encoder_sink_getcaps (GstPad * pad)
397 {
398   GstCaps *peer, *tmpl, *res;
399   GstSmartEncoder *smart_encoder = GST_SMART_ENCODER (gst_pad_get_parent (pad));
400
401   /* Try getting it from downstream */
402   peer = gst_pad_peer_get_caps_reffed (smart_encoder->srcpad);
403
404   /* Use computed caps */
405   if (smart_encoder->available_caps)
406     tmpl = gst_caps_ref (smart_encoder->available_caps);
407   else
408     tmpl = gst_static_pad_template_get_caps (&src_template);
409
410   if (peer == NULL) {
411     res = tmpl;
412   } else {
413     res = gst_caps_intersect (peer, tmpl);
414     gst_caps_unref (peer);
415     gst_caps_unref (tmpl);
416   }
417
418   gst_object_unref (smart_encoder);
419   return res;
420 }
421
422 /*****************************************
423  *    Internal encoder/decoder pipeline  *
424  ******************************************/
425
426 static GstElementFactory *
427 get_decoder_factory (GstCaps * caps)
428 {
429   GstElementFactory *fact = NULL;
430   GList *decoders, *tmp;
431
432   tmp =
433       gst_element_factory_list_get_elements (GST_ELEMENT_FACTORY_TYPE_DECODER,
434       GST_RANK_MARGINAL);
435   decoders = gst_element_factory_list_filter (tmp, caps, GST_PAD_SINK, FALSE);
436   gst_plugin_feature_list_free (tmp);
437
438   for (tmp = decoders; tmp; tmp = tmp->next) {
439     /* We just pick the first one */
440     fact = (GstElementFactory *) tmp->data;
441     gst_object_ref (fact);
442     break;
443   }
444
445   gst_plugin_feature_list_free (decoders);
446
447   return fact;
448 }
449
450 static GstElementFactory *
451 get_encoder_factory (GstCaps * caps)
452 {
453   GstElementFactory *fact = NULL;
454   GList *encoders, *tmp;
455
456   tmp =
457       gst_element_factory_list_get_elements (GST_ELEMENT_FACTORY_TYPE_ENCODER,
458       GST_RANK_MARGINAL);
459   encoders = gst_element_factory_list_filter (tmp, caps, GST_PAD_SRC, FALSE);
460   gst_plugin_feature_list_free (tmp);
461
462   for (tmp = encoders; tmp; tmp = tmp->next) {
463     /* We just pick the first one */
464     fact = (GstElementFactory *) tmp->data;
465     gst_object_ref (fact);
466     break;
467   }
468
469   gst_plugin_feature_list_free (encoders);
470
471   return fact;
472 }
473
474 static GstElement *
475 get_decoder (GstCaps * caps)
476 {
477   GstElementFactory *fact = get_decoder_factory (caps);
478   GstElement *res = NULL;
479
480   if (fact) {
481     res = gst_element_factory_create (fact, "internal-decoder");
482     gst_object_unref (fact);
483   }
484   return res;
485 }
486
487 static GstElement *
488 get_encoder (GstCaps * caps)
489 {
490   GstElementFactory *fact = get_encoder_factory (caps);
491   GstElement *res = NULL;
492
493   if (fact) {
494     res = gst_element_factory_create (fact, "internal-encoder");
495     gst_object_unref (fact);
496   }
497   return res;
498 }
499
500 static GstFlowReturn
501 internal_chain (GstPad * pad, GstBuffer * buf)
502 {
503   GstSmartEncoder *smart_encoder =
504       g_object_get_qdata ((GObject *) pad, INTERNAL_ELEMENT);
505
506   return gst_pad_push (smart_encoder->srcpad, buf);
507 }
508
509 static gboolean
510 setup_recoder_pipeline (GstSmartEncoder * smart_encoder)
511 {
512   GstPad *tmppad;
513   GstCaps *caps;
514
515   /* Fast path */
516   if (G_UNLIKELY (smart_encoder->encoder))
517     return TRUE;
518
519   GST_DEBUG ("Creating internal decoder and encoder");
520
521   /* Create decoder/encoder */
522   caps = gst_pad_get_current_caps (smart_encoder->sinkpad);
523   smart_encoder->decoder = get_decoder (caps);
524   if (G_UNLIKELY (smart_encoder->decoder == NULL))
525     goto no_decoder;
526   gst_caps_unref (caps);
527   gst_element_set_bus (smart_encoder->decoder, GST_ELEMENT_BUS (smart_encoder));
528
529   caps = gst_pad_get_current_caps (smart_encoder->sinkpad);
530   smart_encoder->encoder = get_encoder (caps);
531   if (G_UNLIKELY (smart_encoder->encoder == NULL))
532     goto no_encoder;
533   gst_caps_unref (caps);
534   gst_element_set_bus (smart_encoder->encoder, GST_ELEMENT_BUS (smart_encoder));
535
536   GST_DEBUG ("Creating internal pads");
537
538   /* Create internal pads */
539
540   /* Source pad which we'll use to feed data to decoders */
541   smart_encoder->internal_srcpad = gst_pad_new ("internal_src", GST_PAD_SRC);
542   g_object_set_qdata ((GObject *) smart_encoder->internal_srcpad,
543       INTERNAL_ELEMENT, smart_encoder);
544   gst_pad_set_active (smart_encoder->internal_srcpad, TRUE);
545
546   /* Sink pad which will get the buffers from the encoder.
547    * Note: We don't need an event function since we'll be discarding all
548    * of them. */
549   smart_encoder->internal_sinkpad = gst_pad_new ("internal_sink", GST_PAD_SINK);
550   g_object_set_qdata ((GObject *) smart_encoder->internal_sinkpad,
551       INTERNAL_ELEMENT, smart_encoder);
552   gst_pad_set_chain_function (smart_encoder->internal_sinkpad, internal_chain);
553   gst_pad_set_active (smart_encoder->internal_sinkpad, TRUE);
554
555   GST_DEBUG ("Linking pads to elements");
556
557   /* Link everything */
558   tmppad = gst_element_get_static_pad (smart_encoder->encoder, "src");
559   if (GST_PAD_LINK_FAILED (gst_pad_link (tmppad,
560               smart_encoder->internal_sinkpad)))
561     goto sinkpad_link_fail;
562   gst_object_unref (tmppad);
563
564   if (!gst_element_link (smart_encoder->decoder, smart_encoder->encoder))
565     goto encoder_decoder_link_fail;
566
567   tmppad = gst_element_get_static_pad (smart_encoder->decoder, "sink");
568   if (GST_PAD_LINK_FAILED (gst_pad_link (smart_encoder->internal_srcpad,
569               tmppad)))
570     goto srcpad_link_fail;
571   gst_object_unref (tmppad);
572
573   GST_DEBUG ("Done creating internal elements/pads");
574
575   return TRUE;
576
577 no_decoder:
578   {
579     GST_WARNING ("Couldn't find a decoder for %" GST_PTR_FORMAT, caps);
580     gst_caps_unref (caps);
581     return FALSE;
582   }
583
584 no_encoder:
585   {
586     GST_WARNING ("Couldn't find an encoder for %" GST_PTR_FORMAT, caps);
587     gst_caps_unref (caps);
588     return FALSE;
589   }
590
591 srcpad_link_fail:
592   {
593     gst_object_unref (tmppad);
594     GST_WARNING ("Couldn't link internal srcpad to decoder");
595     return FALSE;
596   }
597
598 sinkpad_link_fail:
599   {
600     gst_object_unref (tmppad);
601     GST_WARNING ("Couldn't link encoder to internal sinkpad");
602     return FALSE;
603   }
604
605 encoder_decoder_link_fail:
606   {
607     GST_WARNING ("Couldn't link decoder to encoder");
608     return FALSE;
609   }
610 }
611
612 static GstStateChangeReturn
613 gst_smart_encoder_find_elements (GstSmartEncoder * smart_encoder)
614 {
615   guint i, n;
616   GstCaps *tmpl, *st, *res;
617   GstElementFactory *dec, *enc;
618   GstStateChangeReturn ret = GST_STATE_CHANGE_SUCCESS;
619
620   if (G_UNLIKELY (smart_encoder->available_caps))
621     goto beach;
622
623   /* Iterate over all pad template caps and see if we have both an
624    * encoder and a decoder for those media types */
625   tmpl = gst_static_pad_template_get_caps (&src_template);
626   res = gst_caps_new_empty ();
627   n = gst_caps_get_size (tmpl);
628
629   for (i = 0; i < n; i++) {
630     st = gst_caps_copy_nth (tmpl, i);
631     GST_DEBUG_OBJECT (smart_encoder,
632         "Checking for available decoder and encoder for %" GST_PTR_FORMAT, st);
633     if (!(dec = get_decoder_factory (st))) {
634       gst_caps_unref (st);
635       continue;
636     }
637     gst_object_unref (dec);
638     if (!(enc = get_encoder_factory (st))) {
639       gst_caps_unref (st);
640       continue;
641     }
642     gst_object_unref (enc);
643     GST_DEBUG_OBJECT (smart_encoder, "OK");
644     gst_caps_append (res, st);
645   }
646
647   gst_caps_unref (tmpl);
648
649   if (gst_caps_is_empty (res))
650     ret = GST_STATE_CHANGE_FAILURE;
651   else
652     smart_encoder->available_caps = res;
653
654   GST_DEBUG_OBJECT (smart_encoder, "Done, available_caps:%" GST_PTR_FORMAT,
655       smart_encoder->available_caps);
656
657 beach:
658   return ret;
659 }
660
661 /******************************************
662  *    GstElement vmethod implementations  *
663  ******************************************/
664
665 static GstStateChangeReturn
666 gst_smart_encoder_change_state (GstElement * element, GstStateChange transition)
667 {
668   GstSmartEncoder *smart_encoder;
669   GstStateChangeReturn ret;
670
671   g_return_val_if_fail (GST_IS_SMART_ENCODER (element),
672       GST_STATE_CHANGE_FAILURE);
673
674   smart_encoder = GST_SMART_ENCODER (element);
675
676   switch (transition) {
677     case GST_STATE_CHANGE_NULL_TO_READY:
678       /* Figure out which elements are available  */
679       if ((ret =
680               gst_smart_encoder_find_elements (smart_encoder)) ==
681           GST_STATE_CHANGE_FAILURE)
682         goto beach;
683       break;
684     default:
685       break;
686   }
687
688   ret =
689       GST_ELEMENT_CLASS (gst_smart_encoder_parent_class)->change_state (element,
690       transition);
691
692   switch (transition) {
693     case GST_STATE_CHANGE_PAUSED_TO_READY:
694       smart_encoder_reset (smart_encoder);
695       break;
696     default:
697       break;
698   }
699
700 beach:
701   return ret;
702 }