typefind: Propagate input buffer offset
[platform/upstream/gstreamer.git] / plugins / elements / gsttypefindelement.c
1 /* GStreamer
2  * Copyright (C) 2003 Benjamin Otte <in7y118@public.uni-hamburg.de>
3  *
4  * gsttypefindelement.c: element that detects type of stream
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Library General Public
8  * License as published by the Free Software Foundation; either
9  * version 2 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Library General Public License for more details.
15  *
16  * You should have received a copy of the GNU Library General Public
17  * License along with this library; if not, write to the
18  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
19  * Boston, MA 02110-1301, USA.
20  */
21 /**
22  * SECTION:element-typefind
23  *
24  * Determines the media-type of a stream. It applies typefind functions in the
25  * order of their rank. Once the type has been detected it sets its src pad caps
26  * to the found media type.
27  *
28  * Whenever a type is found the #GstTypeFindElement::have-type signal is
29  * emitted, either from the streaming thread or the application thread
30  * (the latter may happen when typefinding is done pull-based from the
31  * state change function).
32  *
33  * Plugins can register custom typefinders by using #GstTypeFindFactory.
34  */
35
36 /* FIXME: need a better solution for non-seekable streams */
37
38 /* way of operation:
39  * 1) get a list of all typefind functions sorted best to worst
40  * 2) if all elements have been called with all requested data goto 8
41  * 3) call all functions once with all available data
42  * 4) if a function returns a value >= PROP_MAXIMUM goto 8 (never implemented))
43  * 5) all functions with a result > PROP_MINIMUM or functions that did not get
44  *    all requested data (where peek returned NULL) stay in list
45  * 6) seek to requested offset of best function that still has open data
46  *    requests
47  * 7) goto 2
48  * 8) take best available result and use its caps
49  *
50  * The element has two scheduling modes:
51  *
52  * 1) chain based, it will collect buffers and run the typefind function on
53  *    the buffer until something is found.
54  * 2) getrange based, it will proxy the getrange function to the sinkpad. It
55  *    is assumed that the peer element is happy with whatever format we
56  *    eventually read.
57  *
58  * By default it tries to do pull based typefinding (this avoids joining
59  * received buffers and holding them back in store.)
60  *
61  * When the element has no connected srcpad, and the sinkpad can operate in
62  * getrange based mode, the element starts its own task to figure out the
63  * type of the stream.
64  *
65  * Most of the actual implementation is in libs/gst/base/gsttypefindhelper.c.
66  */
67
68 #ifdef HAVE_CONFIG_H
69 #  include "config.h"
70 #endif
71
72 #include "gst/gst_private.h"
73
74 #include "gsttypefindelement.h"
75 #include "gst/gst-i18n-lib.h"
76 #include "gst/base/gsttypefindhelper.h"
77
78 #include <gst/gsttypefind.h>
79 #include <gst/gstutils.h>
80 #include <gst/gsterror.h>
81
82 GST_DEBUG_CATEGORY_STATIC (gst_type_find_element_debug);
83 #define GST_CAT_DEFAULT gst_type_find_element_debug
84
85 /* generic templates */
86 static GstStaticPadTemplate type_find_element_sink_template =
87 GST_STATIC_PAD_TEMPLATE ("sink",
88     GST_PAD_SINK,
89     GST_PAD_ALWAYS,
90     GST_STATIC_CAPS_ANY);
91
92 static GstStaticPadTemplate type_find_element_src_template =
93 GST_STATIC_PAD_TEMPLATE ("src",
94     GST_PAD_SRC,
95     GST_PAD_ALWAYS,
96     GST_STATIC_CAPS_ANY);
97
98 /* Require at least 2kB of data before we attempt typefinding in chain-mode.
99  * 128kB is massive overkill for the maximum, but doesn't do any harm */
100 #define TYPE_FIND_MIN_SIZE   (2*1024)
101 #define TYPE_FIND_MAX_SIZE (128*1024)
102
103 /* TypeFind signals and args */
104 enum
105 {
106   HAVE_TYPE,
107   LAST_SIGNAL
108 };
109 enum
110 {
111   PROP_0,
112   PROP_CAPS,
113   PROP_MINIMUM,
114   PROP_FORCE_CAPS,
115   PROP_LAST
116 };
117 enum
118 {
119   MODE_NORMAL,                  /* act as identity */
120   MODE_TYPEFIND,                /* do typefinding  */
121   MODE_ERROR                    /* had fatal error */
122 };
123
124
125 #define _do_init \
126     GST_DEBUG_CATEGORY_INIT (gst_type_find_element_debug, "typefind",           \
127         GST_DEBUG_BG_YELLOW | GST_DEBUG_FG_GREEN, "type finding element");
128 #define gst_type_find_element_parent_class parent_class
129 G_DEFINE_TYPE_WITH_CODE (GstTypeFindElement, gst_type_find_element,
130     GST_TYPE_ELEMENT, _do_init);
131
132 static void gst_type_find_element_dispose (GObject * object);
133 static void gst_type_find_element_set_property (GObject * object,
134     guint prop_id, const GValue * value, GParamSpec * pspec);
135 static void gst_type_find_element_get_property (GObject * object,
136     guint prop_id, GValue * value, GParamSpec * pspec);
137
138 static gboolean gst_type_find_element_src_event (GstPad * pad,
139     GstObject * parent, GstEvent * event);
140 static gboolean gst_type_find_handle_src_query (GstPad * pad,
141     GstObject * parent, GstQuery * query);
142
143 static gboolean gst_type_find_element_sink_event (GstPad * pad,
144     GstObject * parent, GstEvent * event);
145 static gboolean gst_type_find_element_setcaps (GstTypeFindElement * typefind,
146     GstCaps * caps);
147 static GstFlowReturn gst_type_find_element_chain (GstPad * sinkpad,
148     GstObject * parent, GstBuffer * buffer);
149 static GstFlowReturn gst_type_find_element_getrange (GstPad * srcpad,
150     GstObject * parent, guint64 offset, guint length, GstBuffer ** buffer);
151
152 static GstStateChangeReturn
153 gst_type_find_element_change_state (GstElement * element,
154     GstStateChange transition);
155 static gboolean gst_type_find_element_activate_sink (GstPad * pad,
156     GstObject * parent);
157 static gboolean gst_type_find_element_activate_sink_mode (GstPad * pad,
158     GstObject * parent, GstPadMode mode, gboolean active);
159 static gboolean gst_type_find_element_activate_src_mode (GstPad * pad,
160     GstObject * parent, GstPadMode mode, gboolean active);
161 static GstFlowReturn
162 gst_type_find_element_chain_do_typefinding (GstTypeFindElement * typefind,
163     gboolean check_avail);
164 static void gst_type_find_element_send_cached_events (GstTypeFindElement *
165     typefind);
166
167 static void gst_type_find_element_loop (GstPad * pad);
168
169 static guint gst_type_find_element_signals[LAST_SIGNAL] = { 0 };
170
171 static void
172 gst_type_find_element_have_type (GstTypeFindElement * typefind,
173     guint probability, GstCaps * caps)
174 {
175   g_assert (caps != NULL);
176
177   GST_INFO_OBJECT (typefind, "found caps %" GST_PTR_FORMAT ", probability=%u",
178       caps, probability);
179
180   GST_OBJECT_LOCK (typefind);
181   if (typefind->caps)
182     gst_caps_unref (typefind->caps);
183   typefind->caps = gst_caps_ref (caps);
184   GST_OBJECT_UNLOCK (typefind);
185
186   gst_pad_set_caps (typefind->src, caps);
187 }
188
189 static void
190 gst_type_find_element_class_init (GstTypeFindElementClass * typefind_class)
191 {
192   GObjectClass *gobject_class = G_OBJECT_CLASS (typefind_class);
193   GstElementClass *gstelement_class = GST_ELEMENT_CLASS (typefind_class);
194
195   gobject_class->set_property = gst_type_find_element_set_property;
196   gobject_class->get_property = gst_type_find_element_get_property;
197   gobject_class->dispose = gst_type_find_element_dispose;
198
199   g_object_class_install_property (gobject_class, PROP_CAPS,
200       g_param_spec_boxed ("caps", _("caps"),
201           _("detected capabilities in stream"), GST_TYPE_CAPS,
202           G_PARAM_READABLE | G_PARAM_STATIC_STRINGS));
203   g_object_class_install_property (gobject_class, PROP_MINIMUM,
204       g_param_spec_uint ("minimum", _("minimum"),
205           "minimum probability required to accept caps", GST_TYPE_FIND_MINIMUM,
206           GST_TYPE_FIND_MAXIMUM, GST_TYPE_FIND_MINIMUM,
207           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
208   g_object_class_install_property (gobject_class, PROP_FORCE_CAPS,
209       g_param_spec_boxed ("force-caps", _("force caps"),
210           _("force caps without doing a typefind"), GST_TYPE_CAPS,
211           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
212   /**
213    * GstTypeFindElement::have-type:
214    * @typefind: the typefind instance
215    * @probability: the probability of the type found
216    * @caps: the caps of the type found
217    *
218    * This signal gets emitted when the type and its probability has
219    * been found.
220    */
221   gst_type_find_element_signals[HAVE_TYPE] = g_signal_new ("have-type",
222       G_TYPE_FROM_CLASS (typefind_class), G_SIGNAL_RUN_FIRST,
223       G_STRUCT_OFFSET (GstTypeFindElementClass, have_type), NULL, NULL,
224       g_cclosure_marshal_generic, G_TYPE_NONE, 2,
225       G_TYPE_UINT, GST_TYPE_CAPS | G_SIGNAL_TYPE_STATIC_SCOPE);
226
227   typefind_class->have_type =
228       GST_DEBUG_FUNCPTR (gst_type_find_element_have_type);
229
230   gst_element_class_set_static_metadata (gstelement_class,
231       "TypeFind",
232       "Generic",
233       "Finds the media type of a stream",
234       "Benjamin Otte <in7y118@public.uni-hamburg.de>");
235   gst_element_class_add_pad_template (gstelement_class,
236       gst_static_pad_template_get (&type_find_element_src_template));
237   gst_element_class_add_pad_template (gstelement_class,
238       gst_static_pad_template_get (&type_find_element_sink_template));
239
240   gstelement_class->change_state =
241       GST_DEBUG_FUNCPTR (gst_type_find_element_change_state);
242 }
243
244 static void
245 gst_type_find_element_init (GstTypeFindElement * typefind)
246 {
247   /* sinkpad */
248   typefind->sink =
249       gst_pad_new_from_static_template (&type_find_element_sink_template,
250       "sink");
251
252   gst_pad_set_activate_function (typefind->sink,
253       GST_DEBUG_FUNCPTR (gst_type_find_element_activate_sink));
254   gst_pad_set_activatemode_function (typefind->sink,
255       GST_DEBUG_FUNCPTR (gst_type_find_element_activate_sink_mode));
256   gst_pad_set_chain_function (typefind->sink,
257       GST_DEBUG_FUNCPTR (gst_type_find_element_chain));
258   gst_pad_set_event_function (typefind->sink,
259       GST_DEBUG_FUNCPTR (gst_type_find_element_sink_event));
260   GST_PAD_SET_PROXY_ALLOCATION (typefind->sink);
261   gst_element_add_pad (GST_ELEMENT (typefind), typefind->sink);
262
263   /* srcpad */
264   typefind->src =
265       gst_pad_new_from_static_template (&type_find_element_src_template, "src");
266
267   gst_pad_set_activatemode_function (typefind->src,
268       GST_DEBUG_FUNCPTR (gst_type_find_element_activate_src_mode));
269   gst_pad_set_getrange_function (typefind->src,
270       GST_DEBUG_FUNCPTR (gst_type_find_element_getrange));
271   gst_pad_set_event_function (typefind->src,
272       GST_DEBUG_FUNCPTR (gst_type_find_element_src_event));
273   gst_pad_set_query_function (typefind->src,
274       GST_DEBUG_FUNCPTR (gst_type_find_handle_src_query));
275   gst_pad_use_fixed_caps (typefind->src);
276   gst_element_add_pad (GST_ELEMENT (typefind), typefind->src);
277
278   typefind->mode = MODE_TYPEFIND;
279   typefind->caps = NULL;
280   typefind->min_probability = 1;
281
282   typefind->adapter = gst_adapter_new ();
283 }
284
285 static void
286 gst_type_find_element_dispose (GObject * object)
287 {
288   GstTypeFindElement *typefind = GST_TYPE_FIND_ELEMENT (object);
289
290   if (typefind->adapter) {
291     g_object_unref (typefind->adapter);
292     typefind->adapter = NULL;
293   }
294
295   if (typefind->force_caps) {
296     gst_caps_unref (typefind->force_caps);
297     typefind->force_caps = NULL;
298   }
299
300   G_OBJECT_CLASS (parent_class)->dispose (object);
301 }
302
303 static void
304 gst_type_find_element_set_property (GObject * object, guint prop_id,
305     const GValue * value, GParamSpec * pspec)
306 {
307   GstTypeFindElement *typefind;
308
309   typefind = GST_TYPE_FIND_ELEMENT (object);
310
311   switch (prop_id) {
312     case PROP_MINIMUM:
313       typefind->min_probability = g_value_get_uint (value);
314       break;
315     case PROP_FORCE_CAPS:
316       GST_OBJECT_LOCK (typefind);
317       if (typefind->force_caps)
318         gst_caps_unref (typefind->force_caps);
319       typefind->force_caps = g_value_dup_boxed (value);
320       GST_OBJECT_UNLOCK (typefind);
321       break;
322     default:
323       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
324       break;
325   }
326 }
327
328 static void
329 gst_type_find_element_get_property (GObject * object, guint prop_id,
330     GValue * value, GParamSpec * pspec)
331 {
332   GstTypeFindElement *typefind;
333
334   typefind = GST_TYPE_FIND_ELEMENT (object);
335
336   switch (prop_id) {
337     case PROP_CAPS:
338       GST_OBJECT_LOCK (typefind);
339       g_value_set_boxed (value, typefind->caps);
340       GST_OBJECT_UNLOCK (typefind);
341       break;
342     case PROP_MINIMUM:
343       g_value_set_uint (value, typefind->min_probability);
344       break;
345     case PROP_FORCE_CAPS:
346       GST_OBJECT_LOCK (typefind);
347       g_value_set_boxed (value, typefind->force_caps);
348       GST_OBJECT_UNLOCK (typefind);
349       break;
350     default:
351       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
352       break;
353   }
354 }
355
356 static gboolean
357 gst_type_find_handle_src_query (GstPad * pad, GstObject * parent,
358     GstQuery * query)
359 {
360   GstTypeFindElement *typefind;
361   gboolean res = FALSE;
362
363   typefind = GST_TYPE_FIND_ELEMENT (parent);
364   GST_DEBUG_OBJECT (typefind, "Handling src query %s",
365       GST_QUERY_TYPE_NAME (query));
366
367   switch (GST_QUERY_TYPE (query)) {
368     case GST_QUERY_SCHEDULING:
369       /* FIXME, filter out the scheduling modes that we understand */
370       res = gst_pad_peer_query (typefind->sink, query);
371       break;
372     case GST_QUERY_CAPS:
373     {
374       GST_DEBUG_OBJECT (typefind,
375           "Got caps query, our caps are %" GST_PTR_FORMAT, typefind->caps);
376
377       /* We can hijack caps query if we typefind already */
378       if (typefind->caps) {
379         gst_query_set_caps_result (query, typefind->caps);
380         res = TRUE;
381       } else {
382         res = gst_pad_peer_query (typefind->sink, query);
383       }
384       break;
385     }
386     case GST_QUERY_POSITION:
387     {
388       gint64 peer_pos;
389       GstFormat format;
390
391       if (!(res = gst_pad_peer_query (typefind->sink, query)))
392         goto out;
393
394       gst_query_parse_position (query, &format, &peer_pos);
395
396       GST_OBJECT_LOCK (typefind);
397       /* FIXME: this code assumes that there's no discont in the queue */
398       switch (format) {
399         case GST_FORMAT_BYTES:
400           peer_pos -= gst_adapter_available (typefind->adapter);
401           break;
402         default:
403           /* FIXME */
404           break;
405       }
406       GST_OBJECT_UNLOCK (typefind);
407       gst_query_set_position (query, format, peer_pos);
408       break;
409     }
410     default:
411       res = gst_pad_query_default (pad, parent, query);
412       break;
413   }
414 out:
415   return res;
416 }
417
418 static gboolean
419 gst_type_find_element_seek (GstTypeFindElement * typefind, GstEvent * event)
420 {
421   GstSeekFlags flags;
422   GstSeekType start_type, stop_type;
423   GstFormat format;
424   gboolean flush;
425   gdouble rate;
426   gint64 start, stop;
427   GstSegment seeksegment = { 0, };
428
429   gst_event_parse_seek (event, &rate, &format, &flags, &start_type, &start,
430       &stop_type, &stop);
431
432   /* we can only seek on bytes */
433   if (format != GST_FORMAT_BYTES) {
434     GST_DEBUG_OBJECT (typefind, "Can only seek on BYTES");
435     return FALSE;
436   }
437
438   /* copy segment, we need this because we still need the old
439    * segment when we close the current segment. */
440   memcpy (&seeksegment, &typefind->segment, sizeof (GstSegment));
441
442   GST_DEBUG_OBJECT (typefind, "configuring seek");
443   gst_segment_do_seek (&seeksegment, rate, format, flags,
444       start_type, start, stop_type, stop, NULL);
445
446   flush = ! !(flags & GST_SEEK_FLAG_FLUSH);
447
448   GST_DEBUG_OBJECT (typefind, "New segment %" GST_SEGMENT_FORMAT, &seeksegment);
449
450   if (flush) {
451     GST_DEBUG_OBJECT (typefind, "Starting flush");
452     gst_pad_push_event (typefind->sink, gst_event_new_flush_start ());
453     gst_pad_push_event (typefind->src, gst_event_new_flush_start ());
454   } else {
455     GST_DEBUG_OBJECT (typefind, "Non-flushing seek, pausing task");
456     gst_pad_pause_task (typefind->sink);
457   }
458
459   /* now grab the stream lock so that streaming cannot continue, for
460    * non flushing seeks when the element is in PAUSED this could block
461    * forever. */
462   GST_DEBUG_OBJECT (typefind, "Waiting for streaming to stop");
463   GST_PAD_STREAM_LOCK (typefind->sink);
464
465   if (flush) {
466     GST_DEBUG_OBJECT (typefind, "Stopping flush");
467     gst_pad_push_event (typefind->sink, gst_event_new_flush_stop (TRUE));
468     gst_pad_push_event (typefind->src, gst_event_new_flush_stop (TRUE));
469   }
470
471   /* now update the real segment info */
472   GST_DEBUG_OBJECT (typefind, "Committing new seek segment");
473   memcpy (&typefind->segment, &seeksegment, sizeof (GstSegment));
474   typefind->offset = typefind->segment.start;
475
476   /* notify start of new segment */
477   if (typefind->segment.flags & GST_SEGMENT_FLAG_SEGMENT) {
478     GstMessage *msg;
479
480     msg = gst_message_new_segment_start (GST_OBJECT (typefind),
481         GST_FORMAT_BYTES, typefind->segment.start);
482     gst_element_post_message (GST_ELEMENT (typefind), msg);
483   }
484
485   typefind->need_segment = TRUE;
486
487   /* restart our task since it might have been stopped when we did the
488    * flush. */
489   gst_pad_start_task (typefind->sink,
490       (GstTaskFunction) gst_type_find_element_loop, typefind->sink, NULL);
491
492   /* streaming can continue now */
493   GST_PAD_STREAM_UNLOCK (typefind->sink);
494
495   return TRUE;
496 }
497
498 static gboolean
499 gst_type_find_element_src_event (GstPad * pad, GstObject * parent,
500     GstEvent * event)
501 {
502   GstTypeFindElement *typefind = GST_TYPE_FIND_ELEMENT (parent);
503
504   if (typefind->mode != MODE_NORMAL) {
505     /* need to do more? */
506     gst_mini_object_unref (GST_MINI_OBJECT_CAST (event));
507     return FALSE;
508   }
509
510   /* Only handle seeks here if driving the pipeline */
511   if (typefind->segment.format != GST_FORMAT_UNDEFINED &&
512       GST_EVENT_TYPE (event) == GST_EVENT_SEEK) {
513     return gst_type_find_element_seek (typefind, event);
514   } else {
515     return gst_pad_push_event (typefind->sink, event);
516   }
517 }
518
519 static void
520 start_typefinding (GstTypeFindElement * typefind)
521 {
522   GST_DEBUG_OBJECT (typefind, "starting typefinding");
523
524   GST_OBJECT_LOCK (typefind);
525   if (typefind->caps)
526     gst_caps_replace (&typefind->caps, NULL);
527   typefind->initial_offs = (guint64) - 1;
528   GST_OBJECT_UNLOCK (typefind);
529
530   typefind->mode = MODE_TYPEFIND;
531 }
532
533 static void
534 stop_typefinding (GstTypeFindElement * typefind)
535 {
536   GstState state;
537   gboolean push_cached_buffers;
538   gsize avail;
539   GstBuffer *buffer;
540   GstClockTime pts, dts;
541
542   gst_element_get_state (GST_ELEMENT (typefind), &state, NULL, 0);
543
544   push_cached_buffers = (state >= GST_STATE_PAUSED && typefind->caps);
545
546   GST_DEBUG_OBJECT (typefind, "stopping typefinding%s",
547       push_cached_buffers ? " and pushing cached events and buffers" : "");
548
549   typefind->mode = MODE_NORMAL;
550   if (push_cached_buffers)
551     gst_type_find_element_send_cached_events (typefind);
552
553   GST_OBJECT_LOCK (typefind);
554   avail = gst_adapter_available (typefind->adapter);
555   if (avail == 0)
556     goto no_data;
557
558   pts = gst_adapter_prev_pts (typefind->adapter, NULL);
559   dts = gst_adapter_prev_dts (typefind->adapter, NULL);
560   buffer = gst_adapter_take_buffer (typefind->adapter, avail);
561   GST_BUFFER_PTS (buffer) = pts;
562   GST_BUFFER_DTS (buffer) = dts;
563   GST_BUFFER_OFFSET (buffer) = typefind->initial_offs;
564   GST_OBJECT_UNLOCK (typefind);
565
566   if (!push_cached_buffers) {
567     gst_buffer_unref (buffer);
568   } else {
569     GstPad *peer = gst_pad_get_peer (typefind->src);
570
571     /* make sure the user gets a meaningful error message in this case,
572      * which is not a core bug or bug of any kind (as the default error
573      * message emitted by gstpad.c otherwise would make you think) */
574     if (peer && GST_PAD_CHAINFUNC (peer) == NULL) {
575       GST_DEBUG_OBJECT (typefind, "upstream only supports push mode, while "
576           "downstream element only works in pull mode, erroring out");
577       GST_ELEMENT_ERROR (typefind, STREAM, FAILED,
578           ("%s cannot work in push mode. The operation is not supported "
579               "with this source element or protocol.",
580               G_OBJECT_TYPE_NAME (GST_PAD_PARENT (peer))),
581           ("Downstream pad %s:%s has no chainfunction, and the upstream "
582               "element does not support pull mode", GST_DEBUG_PAD_NAME (peer)));
583       typefind->mode = MODE_ERROR;      /* make the chain function error out */
584       gst_buffer_unref (buffer);
585     } else {
586       gst_pad_push (typefind->src, buffer);
587     }
588     if (peer)
589       gst_object_unref (peer);
590   }
591   return;
592
593   /* ERRORS */
594 no_data:
595   {
596     GST_DEBUG_OBJECT (typefind, "we have no data to typefind");
597     GST_OBJECT_UNLOCK (typefind);
598     return;
599   }
600 }
601
602 static gboolean
603 gst_type_find_element_sink_event (GstPad * pad, GstObject * parent,
604     GstEvent * event)
605 {
606   gboolean res = FALSE;
607   GstTypeFindElement *typefind = GST_TYPE_FIND_ELEMENT (parent);
608
609   GST_DEBUG_OBJECT (typefind, "got %s event in mode %d",
610       GST_EVENT_TYPE_NAME (event), typefind->mode);
611
612   switch (typefind->mode) {
613     case MODE_TYPEFIND:
614       switch (GST_EVENT_TYPE (event)) {
615         case GST_EVENT_CAPS:
616         {
617           GstCaps *caps;
618
619           /* Parse and push out our caps and data */
620           gst_event_parse_caps (event, &caps);
621           res = gst_type_find_element_setcaps (typefind, caps);
622
623           gst_event_unref (event);
624           break;
625         }
626         case GST_EVENT_GAP:
627         {
628           GST_FIXME_OBJECT (typefind,
629               "GAP events during typefinding not handled properly");
630
631           /* FIXME: These would need to be inserted in the stream at
632            * the right position between buffers, but we combine all
633            * buffers with a GstAdapter. Drop the GAP event for now,
634            * which will only cause an implicit GAP between buffers.
635            */
636           gst_event_unref (event);
637           res = TRUE;
638           break;
639         }
640         case GST_EVENT_EOS:
641         {
642           GST_INFO_OBJECT (typefind, "Got EOS and no type found yet");
643           gst_type_find_element_chain_do_typefinding (typefind, FALSE);
644
645           res = gst_pad_push_event (typefind->src, event);
646           break;
647         }
648         case GST_EVENT_FLUSH_STOP:{
649           GList *l;
650
651           GST_OBJECT_LOCK (typefind);
652
653           for (l = typefind->cached_events; l; l = l->next) {
654             if (GST_EVENT_IS_STICKY (l->data) &&
655                 GST_EVENT_TYPE (l->data) != GST_EVENT_SEGMENT &&
656                 GST_EVENT_TYPE (l->data) != GST_EVENT_EOS) {
657               gst_pad_store_sticky_event (typefind->src, l->data);
658             }
659             gst_event_unref (l->data);
660           }
661
662           g_list_free (typefind->cached_events);
663           typefind->cached_events = NULL;
664           gst_adapter_clear (typefind->adapter);
665           GST_OBJECT_UNLOCK (typefind);
666           /* fall through */
667         }
668         case GST_EVENT_FLUSH_START:
669           res = gst_pad_push_event (typefind->src, event);
670           break;
671         default:
672           /* Forward events that would happen before the caps event
673            * directly instead of storing them. There's no reason not
674            * to send them directly and we should only store events
675            * for later sending that would need to come after the caps
676            * event */
677           if (GST_EVENT_TYPE (event) < GST_EVENT_CAPS) {
678             res = gst_pad_push_event (typefind->src, event);
679           } else {
680             GST_DEBUG_OBJECT (typefind, "Saving %s event to send later",
681                 GST_EVENT_TYPE_NAME (event));
682             GST_OBJECT_LOCK (typefind);
683             typefind->cached_events =
684                 g_list_append (typefind->cached_events, event);
685             GST_OBJECT_UNLOCK (typefind);
686             res = TRUE;
687           }
688           break;
689       }
690       break;
691     case MODE_NORMAL:
692       res = gst_pad_push_event (typefind->src, event);
693       break;
694     case MODE_ERROR:
695       break;
696     default:
697       g_assert_not_reached ();
698   }
699   return res;
700 }
701
702 static void
703 gst_type_find_element_send_cached_events (GstTypeFindElement * typefind)
704 {
705   GList *l, *cached_events;
706
707   GST_OBJECT_LOCK (typefind);
708   cached_events = typefind->cached_events;
709   typefind->cached_events = NULL;
710   GST_OBJECT_UNLOCK (typefind);
711
712   for (l = cached_events; l != NULL; l = l->next) {
713     GstEvent *event = GST_EVENT (l->data);
714
715     GST_DEBUG_OBJECT (typefind, "sending cached %s event",
716         GST_EVENT_TYPE_NAME (event));
717     gst_pad_push_event (typefind->src, event);
718   }
719   g_list_free (cached_events);
720 }
721
722 static gboolean
723 gst_type_find_element_setcaps (GstTypeFindElement * typefind, GstCaps * caps)
724 {
725   /* don't operate on ANY caps */
726   if (gst_caps_is_any (caps))
727     return TRUE;
728
729   g_signal_emit (typefind, gst_type_find_element_signals[HAVE_TYPE], 0,
730       GST_TYPE_FIND_MAXIMUM, caps);
731
732   /* Shortcircuit typefinding if we get caps */
733   GST_DEBUG_OBJECT (typefind, "Skipping typefinding, using caps from "
734       "upstream: %" GST_PTR_FORMAT, caps);
735
736   stop_typefinding (typefind);
737
738   return TRUE;
739 }
740
741 static gchar *
742 gst_type_find_get_extension (GstTypeFindElement * typefind, GstPad * pad)
743 {
744   GstQuery *query;
745   gchar *uri, *result;
746   size_t len;
747   gint find;
748
749   query = gst_query_new_uri ();
750
751   /* try getting the caps with an uri query and from the extension */
752   if (!gst_pad_peer_query (pad, query))
753     goto peer_query_failed;
754
755   gst_query_parse_uri (query, &uri);
756   if (uri == NULL)
757     goto no_uri;
758
759   GST_DEBUG_OBJECT (typefind, "finding extension of %s", uri);
760
761   /* find the extension on the uri, this is everything after a '.' */
762   len = strlen (uri);
763   find = len - 1;
764
765   while (find >= 0) {
766     if (uri[find] == '.')
767       break;
768     find--;
769   }
770   if (find < 0)
771     goto no_extension;
772
773   result = g_strdup (&uri[find + 1]);
774
775   GST_DEBUG_OBJECT (typefind, "found extension %s", result);
776   gst_query_unref (query);
777   g_free (uri);
778
779   return result;
780
781   /* ERRORS */
782 peer_query_failed:
783   {
784     GST_WARNING_OBJECT (typefind, "failed to query peer uri");
785     gst_query_unref (query);
786     return NULL;
787   }
788 no_uri:
789   {
790     GST_WARNING_OBJECT (typefind, "could not parse the peer uri");
791     gst_query_unref (query);
792     return NULL;
793   }
794 no_extension:
795   {
796     GST_WARNING_OBJECT (typefind, "could not find uri extension in %s", uri);
797     gst_query_unref (query);
798     g_free (uri);
799     return NULL;
800   }
801 }
802
803 static GstCaps *
804 gst_type_find_guess_by_extension (GstTypeFindElement * typefind, GstPad * pad,
805     GstTypeFindProbability * probability)
806 {
807   gchar *ext;
808   GstCaps *caps;
809
810   ext = gst_type_find_get_extension (typefind, pad);
811   if (!ext)
812     return NULL;
813
814   caps = gst_type_find_helper_for_extension (GST_OBJECT_CAST (typefind), ext);
815   if (caps)
816     *probability = GST_TYPE_FIND_MAXIMUM;
817
818   g_free (ext);
819
820   return caps;
821 }
822
823 static GstFlowReturn
824 gst_type_find_element_chain (GstPad * pad, GstObject * parent,
825     GstBuffer * buffer)
826 {
827   GstTypeFindElement *typefind;
828   GstFlowReturn res = GST_FLOW_OK;
829
830   typefind = GST_TYPE_FIND_ELEMENT (parent);
831
832   GST_LOG_OBJECT (typefind, "handling buffer in mode %d", typefind->mode);
833
834   switch (typefind->mode) {
835     case MODE_ERROR:
836       /* we should already have called GST_ELEMENT_ERROR */
837       return GST_FLOW_ERROR;
838     case MODE_NORMAL:
839       /* don't take object lock as typefind->caps should not change anymore */
840       return gst_pad_push (typefind->src, buffer);
841     case MODE_TYPEFIND:
842     {
843       GST_OBJECT_LOCK (typefind);
844       if (typefind->initial_offs == GST_CLOCK_TIME_NONE)
845         typefind->initial_offs = GST_BUFFER_OFFSET (buffer);
846       gst_adapter_push (typefind->adapter, buffer);
847       GST_OBJECT_UNLOCK (typefind);
848
849       res = gst_type_find_element_chain_do_typefinding (typefind, TRUE);
850
851       if (typefind->mode == MODE_ERROR)
852         res = GST_FLOW_ERROR;
853
854       break;
855     }
856     default:
857       g_assert_not_reached ();
858       return GST_FLOW_ERROR;
859   }
860
861   return res;
862 }
863
864 static GstFlowReturn
865 gst_type_find_element_chain_do_typefinding (GstTypeFindElement * typefind,
866     gboolean check_avail)
867 {
868   GstTypeFindProbability probability;
869   GstCaps *caps = NULL;
870   gsize avail;
871   const guint8 *data;
872   gboolean have_min, have_max;
873
874   GST_OBJECT_LOCK (typefind);
875   if (typefind->force_caps) {
876     caps = gst_caps_ref (typefind->force_caps);
877     probability = GST_TYPE_FIND_MAXIMUM;
878   }
879
880   if (!caps) {
881     avail = gst_adapter_available (typefind->adapter);
882
883     if (check_avail) {
884       have_min = avail >= TYPE_FIND_MIN_SIZE;
885       have_max = avail >= TYPE_FIND_MAX_SIZE;
886     } else {
887       have_min = avail > 0;
888       have_max = TRUE;
889     }
890
891     if (!have_min)
892       goto not_enough_data;
893
894     /* map all available data */
895     data = gst_adapter_map (typefind->adapter, avail);
896     caps = gst_type_find_helper_for_data (GST_OBJECT (typefind),
897         data, avail, &probability);
898     gst_adapter_unmap (typefind->adapter);
899
900     if (caps == NULL && have_max)
901       goto no_type_found;
902     else if (caps == NULL)
903       goto wait_for_data;
904
905     /* found a type */
906     if (probability < typefind->min_probability)
907       goto low_probability;
908   }
909
910   GST_OBJECT_UNLOCK (typefind);
911
912   /* probability is good enough too, so let's make it known ... emiting this
913    * signal calls our object handler which sets the caps. */
914   g_signal_emit (typefind, gst_type_find_element_signals[HAVE_TYPE], 0,
915       probability, caps);
916
917   /* .. and send out the accumulated data */
918   stop_typefinding (typefind);
919   gst_caps_unref (caps);
920
921   return GST_FLOW_OK;
922
923 not_enough_data:
924   {
925     GST_DEBUG_OBJECT (typefind, "not enough data for typefinding yet "
926         "(%" G_GSIZE_FORMAT " bytes)", avail);
927     GST_OBJECT_UNLOCK (typefind);
928     return GST_FLOW_OK;
929   }
930 no_type_found:
931   {
932     GST_OBJECT_UNLOCK (typefind);
933     GST_ELEMENT_ERROR (typefind, STREAM, TYPE_NOT_FOUND, (NULL), (NULL));
934     stop_typefinding (typefind);
935     return GST_FLOW_ERROR;
936   }
937 wait_for_data:
938   {
939     GST_DEBUG_OBJECT (typefind,
940         "no caps found with %" G_GSIZE_FORMAT " bytes of data, "
941         "waiting for more data", avail);
942     GST_OBJECT_UNLOCK (typefind);
943     return GST_FLOW_OK;
944   }
945 low_probability:
946   {
947     GST_DEBUG_OBJECT (typefind, "found caps %" GST_PTR_FORMAT ", but "
948         "probability is %u which is lower than the required minimum of %u",
949         caps, probability, typefind->min_probability);
950
951     gst_caps_unref (caps);
952
953     if (have_max)
954       goto no_type_found;
955
956     GST_OBJECT_UNLOCK (typefind);
957     GST_DEBUG_OBJECT (typefind, "waiting for more data to try again");
958     return GST_FLOW_OK;
959   }
960 }
961
962 static GstFlowReturn
963 gst_type_find_element_getrange (GstPad * srcpad, GstObject * parent,
964     guint64 offset, guint length, GstBuffer ** buffer)
965 {
966   GstTypeFindElement *typefind;
967   GstFlowReturn ret;
968
969   typefind = GST_TYPE_FIND_ELEMENT (parent);
970
971   ret = gst_pad_pull_range (typefind->sink, offset, length, buffer);
972
973   return ret;
974 }
975
976 static gboolean
977 gst_type_find_element_activate_src_mode (GstPad * pad, GstObject * parent,
978     GstPadMode mode, gboolean active)
979 {
980   gboolean res;
981   GstTypeFindElement *typefind;
982
983   typefind = GST_TYPE_FIND_ELEMENT (parent);
984
985   switch (mode) {
986     case GST_PAD_MODE_PULL:
987       /* make sure our task stops pushing, we can't call _stop here because this
988        * activation might happen from the streaming thread. */
989       gst_pad_pause_task (typefind->sink);
990       res = gst_pad_activate_mode (typefind->sink, mode, active);
991       break;
992     default:
993       res = TRUE;
994       break;
995   }
996   return res;
997 }
998
999 static void
1000 gst_type_find_element_loop (GstPad * pad)
1001 {
1002   GstTypeFindElement *typefind;
1003   GstFlowReturn ret = GST_FLOW_OK;
1004
1005   typefind = GST_TYPE_FIND_ELEMENT (GST_PAD_PARENT (pad));
1006
1007   if (typefind->need_stream_start) {
1008     gchar *stream_id;
1009     GstEvent *event;
1010
1011     stream_id = gst_pad_create_stream_id (typefind->src,
1012         GST_ELEMENT_CAST (typefind), NULL);
1013
1014     GST_DEBUG_OBJECT (typefind, "Pushing STREAM_START");
1015     event = gst_event_new_stream_start (stream_id);
1016     gst_event_set_group_id (event, gst_util_group_id_next ());
1017     gst_pad_push_event (typefind->src, event);
1018
1019     typefind->need_stream_start = FALSE;
1020     g_free (stream_id);
1021   }
1022
1023   if (typefind->mode == MODE_TYPEFIND) {
1024     GstPad *peer = NULL;
1025     GstCaps *found_caps = NULL;
1026     GstTypeFindProbability probability = GST_TYPE_FIND_NONE;
1027
1028     GST_DEBUG_OBJECT (typefind, "find type in pull mode");
1029
1030     GST_OBJECT_LOCK (typefind);
1031     if (typefind->force_caps) {
1032       found_caps = gst_caps_ref (typefind->force_caps);
1033       probability = GST_TYPE_FIND_MAXIMUM;
1034     }
1035     GST_OBJECT_UNLOCK (typefind);
1036
1037     if (!found_caps) {
1038       peer = gst_pad_get_peer (pad);
1039       if (peer) {
1040         gint64 size;
1041         gchar *ext;
1042
1043         if (!gst_pad_query_duration (peer, GST_FORMAT_BYTES, &size)) {
1044           GST_WARNING_OBJECT (typefind, "Could not query upstream length!");
1045           gst_object_unref (peer);
1046
1047           ret = GST_FLOW_ERROR;
1048           goto pause;
1049         }
1050
1051         /* the size if 0, we cannot continue */
1052         if (size == 0) {
1053           /* keep message in sync with message in sink event handler */
1054           GST_ELEMENT_ERROR (typefind, STREAM, TYPE_NOT_FOUND,
1055               (_("Stream contains no data.")), ("Can't typefind empty stream"));
1056           gst_object_unref (peer);
1057           ret = GST_FLOW_ERROR;
1058           goto pause;
1059         }
1060         ext = gst_type_find_get_extension (typefind, pad);
1061
1062         found_caps =
1063             gst_type_find_helper_get_range (GST_OBJECT_CAST (peer),
1064             GST_OBJECT_PARENT (peer),
1065             (GstTypeFindHelperGetRangeFunction) (GST_PAD_GETRANGEFUNC (peer)),
1066             (guint64) size, ext, &probability);
1067         g_free (ext);
1068
1069         GST_DEBUG ("Found caps %" GST_PTR_FORMAT, found_caps);
1070
1071         gst_object_unref (peer);
1072       }
1073     }
1074
1075     if (!found_caps || probability < typefind->min_probability) {
1076       GST_DEBUG ("Trying to guess using extension");
1077       gst_caps_replace (&found_caps, NULL);
1078       found_caps =
1079           gst_type_find_guess_by_extension (typefind, pad, &probability);
1080     }
1081
1082     if (!found_caps || probability < typefind->min_probability) {
1083       GST_ELEMENT_ERROR (typefind, STREAM, TYPE_NOT_FOUND, (NULL), (NULL));
1084       gst_caps_replace (&found_caps, NULL);
1085       ret = GST_FLOW_ERROR;
1086       goto pause;
1087     }
1088
1089     GST_DEBUG ("Emiting found caps %" GST_PTR_FORMAT, found_caps);
1090     g_signal_emit (typefind, gst_type_find_element_signals[HAVE_TYPE],
1091         0, probability, found_caps);
1092     typefind->mode = MODE_NORMAL;
1093     gst_caps_unref (found_caps);
1094   } else if (typefind->mode == MODE_NORMAL) {
1095     GstBuffer *outbuf = NULL;
1096
1097     if (typefind->need_segment) {
1098       typefind->need_segment = FALSE;
1099       gst_pad_push_event (typefind->src,
1100           gst_event_new_segment (&typefind->segment));
1101     }
1102
1103     /* Pull 4k blocks and send downstream */
1104     ret = gst_pad_pull_range (typefind->sink, typefind->offset, 4096, &outbuf);
1105     if (ret != GST_FLOW_OK)
1106       goto pause;
1107
1108     typefind->offset += gst_buffer_get_size (outbuf);
1109
1110     ret = gst_pad_push (typefind->src, outbuf);
1111     if (ret != GST_FLOW_OK)
1112       goto pause;
1113   } else {
1114     /* Error out */
1115     ret = GST_FLOW_ERROR;
1116     goto pause;
1117   }
1118
1119   return;
1120
1121 pause:
1122   {
1123     const gchar *reason = gst_flow_get_name (ret);
1124     gboolean push_eos = FALSE;
1125
1126     GST_LOG_OBJECT (typefind, "pausing task, reason %s", reason);
1127     gst_pad_pause_task (typefind->sink);
1128
1129     if (ret == GST_FLOW_EOS) {
1130       /* perform EOS logic */
1131
1132       if (typefind->segment.flags & GST_SEGMENT_FLAG_SEGMENT) {
1133         gint64 stop;
1134
1135         /* for segment playback we need to post when (in stream time)
1136          * we stopped, this is either stop (when set) or the duration. */
1137         if ((stop = typefind->segment.stop) == -1)
1138           stop = typefind->offset;
1139
1140         GST_LOG_OBJECT (typefind, "Sending segment done, at end of segment");
1141         gst_element_post_message (GST_ELEMENT (typefind),
1142             gst_message_new_segment_done (GST_OBJECT (typefind),
1143                 GST_FORMAT_BYTES, stop));
1144         gst_pad_push_event (typefind->src,
1145             gst_event_new_segment_done (GST_FORMAT_BYTES, stop));
1146       } else {
1147         push_eos = TRUE;
1148       }
1149     } else if (ret == GST_FLOW_NOT_LINKED || ret < GST_FLOW_EOS) {
1150       /* for fatal errors we post an error message */
1151       GST_ELEMENT_ERROR (typefind, STREAM, FAILED, (NULL),
1152           ("stream stopped, reason %s", reason));
1153       push_eos = TRUE;
1154     }
1155     if (push_eos) {
1156       /* send EOS, and prevent hanging if no streams yet */
1157       GST_LOG_OBJECT (typefind, "Sending EOS, at end of stream");
1158       gst_pad_push_event (typefind->src, gst_event_new_eos ());
1159     }
1160     return;
1161   }
1162 }
1163
1164 static gboolean
1165 gst_type_find_element_activate_sink_mode (GstPad * pad, GstObject * parent,
1166     GstPadMode mode, gboolean active)
1167 {
1168   gboolean res;
1169   GstTypeFindElement *typefind;
1170
1171   typefind = GST_TYPE_FIND_ELEMENT (parent);
1172
1173   switch (mode) {
1174     case GST_PAD_MODE_PULL:
1175       if (active) {
1176         gst_segment_init (&typefind->segment, GST_FORMAT_BYTES);
1177         typefind->need_segment = TRUE;
1178         typefind->need_stream_start = TRUE;
1179         typefind->offset = 0;
1180         res = TRUE;
1181       } else {
1182         res = gst_pad_stop_task (pad);
1183       }
1184       break;
1185     case GST_PAD_MODE_PUSH:
1186       if (active)
1187         start_typefinding (typefind);
1188       else
1189         stop_typefinding (typefind);
1190
1191       res = TRUE;
1192       break;
1193     default:
1194       res = FALSE;
1195       break;
1196   }
1197   return res;
1198 }
1199
1200 static gboolean
1201 gst_type_find_element_activate_sink (GstPad * pad, GstObject * parent)
1202 {
1203   GstQuery *query;
1204   gboolean pull_mode;
1205   GstSchedulingFlags sched_flags;
1206
1207   query = gst_query_new_scheduling ();
1208
1209   if (!gst_pad_peer_query (pad, query)) {
1210     gst_query_unref (query);
1211     goto typefind_push;
1212   }
1213
1214   gst_query_parse_scheduling (query, &sched_flags, NULL, NULL, NULL);
1215
1216   pull_mode = gst_query_has_scheduling_mode (query, GST_PAD_MODE_PULL)
1217       && ((sched_flags & GST_SCHEDULING_FLAG_SEEKABLE) != 0);
1218
1219   gst_query_unref (query);
1220
1221   if (!pull_mode)
1222     goto typefind_push;
1223
1224   if (!gst_pad_activate_mode (pad, GST_PAD_MODE_PULL, TRUE))
1225     goto typefind_push;
1226
1227   /* only start our task if we ourselves decide to start in pull mode */
1228   return gst_pad_start_task (pad, (GstTaskFunction) gst_type_find_element_loop,
1229       pad, NULL);
1230
1231 typefind_push:
1232   {
1233     return gst_pad_activate_mode (pad, GST_PAD_MODE_PUSH, TRUE);
1234   }
1235 }
1236
1237 static GstStateChangeReturn
1238 gst_type_find_element_change_state (GstElement * element,
1239     GstStateChange transition)
1240 {
1241   GstStateChangeReturn ret;
1242   GstTypeFindElement *typefind;
1243
1244   typefind = GST_TYPE_FIND_ELEMENT (element);
1245
1246
1247   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
1248
1249   switch (transition) {
1250     case GST_STATE_CHANGE_PAUSED_TO_READY:
1251     case GST_STATE_CHANGE_READY_TO_NULL:
1252       GST_OBJECT_LOCK (typefind);
1253       gst_caps_replace (&typefind->caps, NULL);
1254
1255       g_list_foreach (typefind->cached_events,
1256           (GFunc) gst_mini_object_unref, NULL);
1257       g_list_free (typefind->cached_events);
1258       typefind->cached_events = NULL;
1259       typefind->mode = MODE_TYPEFIND;
1260       GST_OBJECT_UNLOCK (typefind);
1261       break;
1262     default:
1263       break;
1264   }
1265
1266   return ret;
1267 }