plugins/elements/gsttypefindelement.c

   1 /* GStreamer
   2  * Copyright (C) 2003 Benjamin Otte <in7y118@public.uni-hamburg.de>
   3  *
   4  * gsttypefindelement.c: element that detects type of stream
   5  *
   6  * This library is free software; you can redistribute it and/or
   7  * modify it under the terms of the GNU Library General Public
   8  * License as published by the Free Software Foundation; either
   9  * version 2 of the License, or (at your option) any later version.
  10  *
  11  * This library is distributed in the hope that it will be useful,
  12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  14  * Library General Public License for more details.
  15  *
  16  * You should have received a copy of the GNU Library General Public
  17  * License along with this library; if not, write to the
  18  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  19  * Boston, MA 02110-1301, USA.
  20  */
  21 /**
  22  * SECTION:element-typefind
  23  *
  24  * Determines the media-type of a stream. It applies typefind functions in the
  25  * order of their rank. One the type has been deteted it sets its src pad caps
  26  * to the found media type.
  27  *
  28  * Whenever a type is found the #GstTypeFindElement::have-type signal is
  29  * emitted, either from the streaming thread or the application thread
  30  * (the latter may happen when typefinding is done pull-based from the
  31  * state change function).
  32  *
  33  * Plugins can register custom typefinders by using #GstTypeFindFactory.
  34  */
  35
  36 /* FIXME: need a better solution for non-seekable streams */
  37
  38 /* way of operation:
  39  * 1) get a list of all typefind functions sorted best to worst
  40  * 2) if all elements have been called with all requested data goto 8
  41  * 3) call all functions once with all available data
  42  * 4) if a function returns a value >= PROP_MAXIMUM goto 8 (never implemented))
  43  * 5) all functions with a result > PROP_MINIMUM or functions that did not get
  44  *    all requested data (where peek returned NULL) stay in list
  45  * 6) seek to requested offset of best function that still has open data
  46  *    requests
  47  * 7) goto 2
  48  * 8) take best available result and use its caps
  49  *
  50  * The element has two scheduling modes:
  51  *
  52  * 1) chain based, it will collect buffers and run the typefind function on
  53  *    the buffer until something is found.
  54  * 2) getrange based, it will proxy the getrange function to the sinkpad. It
  55  *    is assumed that the peer element is happy with whatever format we
  56  *    eventually read.
  57  *
  58  * By default it tries to do pull based typefinding (this avoids joining
  59  * received buffers and holding them back in store.)
  60  *
  61  * When the element has no connected srcpad, and the sinkpad can operate in
  62  * getrange based mode, the element starts its own task to figure out the
  63  * type of the stream.
  64  *
  65  * Most of the actual implementation is in libs/gst/base/gsttypefindhelper.c.
  66  */
  67
  68 #ifdef HAVE_CONFIG_H
  69 #  include "config.h"
  70 #endif
  71
  72 #include "gst/gst_private.h"
  73
  74 #include "gsttypefindelement.h"
  75 #include "gst/gst-i18n-lib.h"
  76 #include "gst/base/gsttypefindhelper.h"
  77
  78 #include <gst/gsttypefind.h>
  79 #include <gst/gstutils.h>
  80 #include <gst/gsterror.h>
  81
  82 GST_DEBUG_CATEGORY_STATIC (gst_type_find_element_debug);
  83 #define GST_CAT_DEFAULT gst_type_find_element_debug
  84
  85 /* generic templates */
  86 static GstStaticPadTemplate type_find_element_sink_template =
  87 GST_STATIC_PAD_TEMPLATE ("sink",
  88     GST_PAD_SINK,
  89     GST_PAD_ALWAYS,
  90     GST_STATIC_CAPS_ANY);
  91
  92 static GstStaticPadTemplate type_find_element_src_template =
  93 GST_STATIC_PAD_TEMPLATE ("src",
  94     GST_PAD_SRC,
  95     GST_PAD_ALWAYS,
  96     GST_STATIC_CAPS_ANY);
  97
  98 /* Require at least 2kB of data before we attempt typefinding in chain-mode.
  99  * 128kB is massive overkill for the maximum, but doesn't do any harm */
 100 #define TYPE_FIND_MIN_SIZE   (2*1024)
 101 #define TYPE_FIND_MAX_SIZE (128*1024)
 102
 103 /* TypeFind signals and args */
 104 enum
 105 {
 106   HAVE_TYPE,
 107   LAST_SIGNAL
 108 };
 109 enum
 110 {
 111   PROP_0,
 112   PROP_CAPS,
 113   PROP_MINIMUM,
 114   PROP_FORCE_CAPS,
 115   PROP_LAST
 116 };
 117 enum
 118 {
 119   MODE_NORMAL,                  /* act as identity */
 120   MODE_TYPEFIND,                /* do typefinding  */
 121   MODE_ERROR                    /* had fatal error */
 122 };
 123
 124
 125 #define _do_init \
 126     GST_DEBUG_CATEGORY_INIT (gst_type_find_element_debug, "typefind",           \
 127         GST_DEBUG_BG_YELLOW | GST_DEBUG_FG_GREEN, "type finding element");
 128 #define gst_type_find_element_parent_class parent_class
 129 G_DEFINE_TYPE_WITH_CODE (GstTypeFindElement, gst_type_find_element,
 130     GST_TYPE_ELEMENT, _do_init);
 131
 132 static void gst_type_find_element_dispose (GObject * object);
 133 static void gst_type_find_element_set_property (GObject * object,
 134     guint prop_id, const GValue * value, GParamSpec * pspec);
 135 static void gst_type_find_element_get_property (GObject * object,
 136     guint prop_id, GValue * value, GParamSpec * pspec);
 137
 138 #if 0
 139 static const GstEventMask *gst_type_find_element_src_event_mask (GstPad * pad);
 140 #endif
 141
 142 static gboolean gst_type_find_element_src_event (GstPad * pad,
 143     GstObject * parent, GstEvent * event);
 144 static gboolean gst_type_find_handle_src_query (GstPad * pad,
 145     GstObject * parent, GstQuery * query);
 146
 147 static gboolean gst_type_find_element_sink_event (GstPad * pad,
 148     GstObject * parent, GstEvent * event);
 149 static gboolean gst_type_find_element_setcaps (GstTypeFindElement * typefind,
 150     GstCaps * caps);
 151 static GstFlowReturn gst_type_find_element_chain (GstPad * sinkpad,
 152     GstObject * parent, GstBuffer * buffer);
 153 static GstFlowReturn gst_type_find_element_getrange (GstPad * srcpad,
 154     GstObject * parent, guint64 offset, guint length, GstBuffer ** buffer);
 155
 156 static GstStateChangeReturn
 157 gst_type_find_element_change_state (GstElement * element,
 158     GstStateChange transition);
 159 static gboolean gst_type_find_element_activate_sink (GstPad * pad,
 160     GstObject * parent);
 161 static gboolean gst_type_find_element_activate_sink_mode (GstPad * pad,
 162     GstObject * parent, GstPadMode mode, gboolean active);
 163 static gboolean gst_type_find_element_activate_src_mode (GstPad * pad,
 164     GstObject * parent, GstPadMode mode, gboolean active);
 165 static GstFlowReturn
 166 gst_type_find_element_chain_do_typefinding (GstTypeFindElement * typefind,
 167     gboolean check_avail);
 168 static void gst_type_find_element_send_cached_events (GstTypeFindElement *
 169     typefind);
 170
 171 static void gst_type_find_element_loop (GstPad * pad);
 172
 173 static guint gst_type_find_element_signals[LAST_SIGNAL] = { 0 };
 174
 175 static void
 176 gst_type_find_element_have_type (GstTypeFindElement * typefind,
 177     guint probability, GstCaps * caps)
 178 {
 179   g_assert (caps != NULL);
 180
 181   GST_INFO_OBJECT (typefind, "found caps %" GST_PTR_FORMAT ", probability=%u",
 182       caps, probability);
 183
 184   GST_OBJECT_LOCK (typefind);
 185   if (typefind->caps)
 186     gst_caps_unref (typefind->caps);
 187   typefind->caps = gst_caps_ref (caps);
 188   GST_OBJECT_UNLOCK (typefind);
 189
 190   gst_pad_set_caps (typefind->src, caps);
 191 }
 192
 193 static void
 194 gst_type_find_element_class_init (GstTypeFindElementClass * typefind_class)
 195 {
 196   GObjectClass *gobject_class = G_OBJECT_CLASS (typefind_class);
 197   GstElementClass *gstelement_class = GST_ELEMENT_CLASS (typefind_class);
 198
 199   gobject_class->set_property = gst_type_find_element_set_property;
 200   gobject_class->get_property = gst_type_find_element_get_property;
 201   gobject_class->dispose = gst_type_find_element_dispose;
 202
 203   g_object_class_install_property (gobject_class, PROP_CAPS,
 204       g_param_spec_boxed ("caps", _("caps"),
 205           _("detected capabilities in stream"), GST_TYPE_CAPS,
 206           G_PARAM_READABLE | G_PARAM_STATIC_STRINGS));
 207   g_object_class_install_property (gobject_class, PROP_MINIMUM,
 208       g_param_spec_uint ("minimum", _("minimum"),
 209           "minimum probability required to accept caps", GST_TYPE_FIND_MINIMUM,
 210           GST_TYPE_FIND_MAXIMUM, GST_TYPE_FIND_MINIMUM,
 211           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 212   g_object_class_install_property (gobject_class, PROP_FORCE_CAPS,
 213       g_param_spec_boxed ("force-caps", _("force caps"),
 214           _("force caps without doing a typefind"), GST_TYPE_CAPS,
 215           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 216   /**
 217    * GstTypeFindElement::have-type:
 218    * @typefind: the typefind instance
 219    * @probability: the probability of the type found
 220    * @caps: the caps of the type found
 221    *
 222    * This signal gets emitted when the type and its probability has
 223    * been found.
 224    */
 225   gst_type_find_element_signals[HAVE_TYPE] = g_signal_new ("have-type",
 226       G_TYPE_FROM_CLASS (typefind_class), G_SIGNAL_RUN_FIRST,
 227       G_STRUCT_OFFSET (GstTypeFindElementClass, have_type), NULL, NULL,
 228       g_cclosure_marshal_generic, G_TYPE_NONE, 2,
 229       G_TYPE_UINT, GST_TYPE_CAPS | G_SIGNAL_TYPE_STATIC_SCOPE);
 230
 231   typefind_class->have_type =
 232       GST_DEBUG_FUNCPTR (gst_type_find_element_have_type);
 233
 234   gst_element_class_set_static_metadata (gstelement_class,
 235       "TypeFind",
 236       "Generic",
 237       "Finds the media type of a stream",
 238       "Benjamin Otte <in7y118@public.uni-hamburg.de>");
 239   gst_element_class_add_pad_template (gstelement_class,
 240       gst_static_pad_template_get (&type_find_element_src_template));
 241   gst_element_class_add_pad_template (gstelement_class,
 242       gst_static_pad_template_get (&type_find_element_sink_template));
 243
 244   gstelement_class->change_state =
 245       GST_DEBUG_FUNCPTR (gst_type_find_element_change_state);
 246 }
 247
 248 static void
 249 gst_type_find_element_init (GstTypeFindElement * typefind)
 250 {
 251   /* sinkpad */
 252   typefind->sink =
 253       gst_pad_new_from_static_template (&type_find_element_sink_template,
 254       "sink");
 255
 256   gst_pad_set_activate_function (typefind->sink,
 257       GST_DEBUG_FUNCPTR (gst_type_find_element_activate_sink));
 258   gst_pad_set_activatemode_function (typefind->sink,
 259       GST_DEBUG_FUNCPTR (gst_type_find_element_activate_sink_mode));
 260   gst_pad_set_chain_function (typefind->sink,
 261       GST_DEBUG_FUNCPTR (gst_type_find_element_chain));
 262   gst_pad_set_event_function (typefind->sink,
 263       GST_DEBUG_FUNCPTR (gst_type_find_element_sink_event));
 264   GST_PAD_SET_PROXY_ALLOCATION (typefind->sink);
 265   gst_element_add_pad (GST_ELEMENT (typefind), typefind->sink);
 266
 267   /* srcpad */
 268   typefind->src =
 269       gst_pad_new_from_static_template (&type_find_element_src_template, "src");
 270
 271   gst_pad_set_activatemode_function (typefind->src,
 272       GST_DEBUG_FUNCPTR (gst_type_find_element_activate_src_mode));
 273   gst_pad_set_getrange_function (typefind->src,
 274       GST_DEBUG_FUNCPTR (gst_type_find_element_getrange));
 275   gst_pad_set_event_function (typefind->src,
 276       GST_DEBUG_FUNCPTR (gst_type_find_element_src_event));
 277   gst_pad_set_query_function (typefind->src,
 278       GST_DEBUG_FUNCPTR (gst_type_find_handle_src_query));
 279   gst_pad_use_fixed_caps (typefind->src);
 280   gst_element_add_pad (GST_ELEMENT (typefind), typefind->src);
 281
 282   typefind->mode = MODE_TYPEFIND;
 283   typefind->caps = NULL;
 284   typefind->min_probability = 1;
 285
 286   typefind->adapter = gst_adapter_new ();
 287 }
 288
 289 static void
 290 gst_type_find_element_dispose (GObject * object)
 291 {
 292   GstTypeFindElement *typefind = GST_TYPE_FIND_ELEMENT (object);
 293
 294   if (typefind->adapter) {
 295     g_object_unref (typefind->adapter);
 296     typefind->adapter = NULL;
 297   }
 298
 299   if (typefind->force_caps) {
 300     gst_caps_unref (typefind->force_caps);
 301     typefind->force_caps = NULL;
 302   }
 303
 304   G_OBJECT_CLASS (parent_class)->dispose (object);
 305 }
 306
 307 static void
 308 gst_type_find_element_set_property (GObject * object, guint prop_id,
 309     const GValue * value, GParamSpec * pspec)
 310 {
 311   GstTypeFindElement *typefind;
 312
 313   typefind = GST_TYPE_FIND_ELEMENT (object);
 314
 315   switch (prop_id) {
 316     case PROP_MINIMUM:
 317       typefind->min_probability = g_value_get_uint (value);
 318       break;
 319     case PROP_FORCE_CAPS:
 320       GST_OBJECT_LOCK (typefind);
 321       if (typefind->force_caps)
 322         gst_caps_unref (typefind->force_caps);
 323       typefind->force_caps = g_value_dup_boxed (value);
 324       GST_OBJECT_UNLOCK (typefind);
 325       break;
 326     default:
 327       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 328       break;
 329   }
 330 }
 331
 332 static void
 333 gst_type_find_element_get_property (GObject * object, guint prop_id,
 334     GValue * value, GParamSpec * pspec)
 335 {
 336   GstTypeFindElement *typefind;
 337
 338   typefind = GST_TYPE_FIND_ELEMENT (object);
 339
 340   switch (prop_id) {
 341     case PROP_CAPS:
 342       GST_OBJECT_LOCK (typefind);
 343       g_value_set_boxed (value, typefind->caps);
 344       GST_OBJECT_UNLOCK (typefind);
 345       break;
 346     case PROP_MINIMUM:
 347       g_value_set_uint (value, typefind->min_probability);
 348       break;
 349     case PROP_FORCE_CAPS:
 350       GST_OBJECT_LOCK (typefind);
 351       g_value_set_boxed (value, typefind->force_caps);
 352       GST_OBJECT_UNLOCK (typefind);
 353       break;
 354     default:
 355       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 356       break;
 357   }
 358 }
 359
 360 static gboolean
 361 gst_type_find_handle_src_query (GstPad * pad, GstObject * parent,
 362     GstQuery * query)
 363 {
 364   GstTypeFindElement *typefind;
 365   gboolean res = FALSE;
 366
 367   typefind = GST_TYPE_FIND_ELEMENT (parent);
 368   GST_DEBUG_OBJECT (typefind, "Handling src query %s",
 369       GST_QUERY_TYPE_NAME (query));
 370
 371   switch (GST_QUERY_TYPE (query)) {
 372     case GST_QUERY_SCHEDULING:
 373       /* FIXME, filter out the scheduling modes that we understand */
 374       res = gst_pad_peer_query (typefind->sink, query);
 375       break;
 376     case GST_QUERY_CAPS:
 377     {
 378       GST_DEBUG_OBJECT (typefind,
 379           "Got caps query, our caps are %" GST_PTR_FORMAT, typefind->caps);
 380
 381       /* We can hijack caps query if we typefind already */
 382       if (typefind->caps) {
 383         gst_query_set_caps_result (query, typefind->caps);
 384         res = TRUE;
 385       } else {
 386         res = gst_pad_peer_query (typefind->sink, query);
 387       }
 388       break;
 389     }
 390     case GST_QUERY_POSITION:
 391     {
 392       gint64 peer_pos;
 393       GstFormat format;
 394
 395       if (!(res = gst_pad_peer_query (typefind->sink, query)))
 396         goto out;
 397
 398       gst_query_parse_position (query, &format, &peer_pos);
 399
 400       GST_OBJECT_LOCK (typefind);
 401       /* FIXME: this code assumes that there's no discont in the queue */
 402       switch (format) {
 403         case GST_FORMAT_BYTES:
 404           peer_pos -= gst_adapter_available (typefind->adapter);
 405           break;
 406         default:
 407           /* FIXME */
 408           break;
 409       }
 410       GST_OBJECT_UNLOCK (typefind);
 411       gst_query_set_position (query, format, peer_pos);
 412       break;
 413     }
 414     default:
 415       res = gst_pad_query_default (pad, parent, query);
 416       break;
 417   }
 418 out:
 419   return res;
 420 }
 421
 422 static gboolean
 423 gst_type_find_element_seek (GstTypeFindElement * typefind, GstEvent * event)
 424 {
 425   GstSeekFlags flags;
 426   GstSeekType start_type, stop_type;
 427   GstFormat format;
 428   gboolean flush;
 429   gdouble rate;
 430   gint64 start, stop;
 431   GstSegment seeksegment = { 0, };
 432
 433   gst_event_parse_seek (event, &rate, &format, &flags, &start_type, &start,
 434       &stop_type, &stop);
 435
 436   /* we can only seek on bytes */
 437   if (format != GST_FORMAT_BYTES) {
 438     GST_DEBUG_OBJECT (typefind, "Can only seek on BYTES");
 439     return FALSE;
 440   }
 441
 442   /* copy segment, we need this because we still need the old
 443    * segment when we close the current segment. */
 444   memcpy (&seeksegment, &typefind->segment, sizeof (GstSegment));
 445
 446   GST_DEBUG_OBJECT (typefind, "configuring seek");
 447   gst_segment_do_seek (&seeksegment, rate, format, flags,
 448       start_type, start, stop_type, stop, NULL);
 449
 450   flush = ! !(flags & GST_SEEK_FLAG_FLUSH);
 451
 452   GST_DEBUG_OBJECT (typefind, "New segment %" GST_SEGMENT_FORMAT, &seeksegment);
 453
 454   if (flush) {
 455     GST_DEBUG_OBJECT (typefind, "Starting flush");
 456     gst_pad_push_event (typefind->sink, gst_event_new_flush_start ());
 457     gst_pad_push_event (typefind->src, gst_event_new_flush_start ());
 458   } else {
 459     GST_DEBUG_OBJECT (typefind, "Non-flushing seek, pausing task");
 460     gst_pad_pause_task (typefind->sink);
 461   }
 462
 463   /* now grab the stream lock so that streaming cannot continue, for
 464    * non flushing seeks when the element is in PAUSED this could block
 465    * forever. */
 466   GST_DEBUG_OBJECT (typefind, "Waiting for streaming to stop");
 467   GST_PAD_STREAM_LOCK (typefind->sink);
 468
 469   if (flush) {
 470     GST_DEBUG_OBJECT (typefind, "Stopping flush");
 471     gst_pad_push_event (typefind->sink, gst_event_new_flush_stop (TRUE));
 472     gst_pad_push_event (typefind->src, gst_event_new_flush_stop (TRUE));
 473   }
 474
 475   /* now update the real segment info */
 476   GST_DEBUG_OBJECT (typefind, "Committing new seek segment");
 477   memcpy (&typefind->segment, &seeksegment, sizeof (GstSegment));
 478   typefind->offset = typefind->segment.start;
 479
 480   /* notify start of new segment */
 481   if (typefind->segment.flags & GST_SEGMENT_FLAG_SEGMENT) {
 482     GstMessage *msg;
 483
 484     msg = gst_message_new_segment_start (GST_OBJECT (typefind),
 485         GST_FORMAT_BYTES, typefind->segment.start);
 486     gst_element_post_message (GST_ELEMENT (typefind), msg);
 487   }
 488
 489   typefind->need_segment = TRUE;
 490
 491   /* restart our task since it might have been stopped when we did the
 492    * flush. */
 493   gst_pad_start_task (typefind->sink,
 494       (GstTaskFunction) gst_type_find_element_loop, typefind->sink, NULL);
 495
 496   /* streaming can continue now */
 497   GST_PAD_STREAM_UNLOCK (typefind->sink);
 498
 499   return TRUE;
 500 }
 501
 502 static gboolean
 503 gst_type_find_element_src_event (GstPad * pad, GstObject * parent,
 504     GstEvent * event)
 505 {
 506   GstTypeFindElement *typefind = GST_TYPE_FIND_ELEMENT (parent);
 507
 508   if (typefind->mode != MODE_NORMAL) {
 509     /* need to do more? */
 510     gst_mini_object_unref (GST_MINI_OBJECT_CAST (event));
 511     return FALSE;
 512   }
 513
 514   /* Only handle seeks here if driving the pipeline */
 515   if (typefind->segment.format != GST_FORMAT_UNDEFINED &&
 516       GST_EVENT_TYPE (event) == GST_EVENT_SEEK) {
 517     return gst_type_find_element_seek (typefind, event);
 518   } else {
 519     return gst_pad_push_event (typefind->sink, event);
 520   }
 521 }
 522
 523 static void
 524 start_typefinding (GstTypeFindElement * typefind)
 525 {
 526   GST_DEBUG_OBJECT (typefind, "starting typefinding");
 527
 528   GST_OBJECT_LOCK (typefind);
 529   if (typefind->caps)
 530     gst_caps_replace (&typefind->caps, NULL);
 531   GST_OBJECT_UNLOCK (typefind);
 532
 533   typefind->mode = MODE_TYPEFIND;
 534 }
 535
 536 static void
 537 stop_typefinding (GstTypeFindElement * typefind)
 538 {
 539   GstState state;
 540   gboolean push_cached_buffers;
 541   gsize avail;
 542   GstBuffer *buffer;
 543
 544   gst_element_get_state (GST_ELEMENT (typefind), &state, NULL, 0);
 545
 546   push_cached_buffers = (state >= GST_STATE_PAUSED && typefind->caps);
 547
 548   GST_DEBUG_OBJECT (typefind, "stopping typefinding%s",
 549       push_cached_buffers ? " and pushing cached events and buffers" : "");
 550
 551   if (push_cached_buffers)
 552     gst_type_find_element_send_cached_events (typefind);
 553
 554   GST_OBJECT_LOCK (typefind);
 555   avail = gst_adapter_available (typefind->adapter);
 556   if (avail == 0)
 557     goto no_data;
 558
 559   buffer = gst_adapter_take_buffer (typefind->adapter, avail);
 560   GST_OBJECT_UNLOCK (typefind);
 561
 562   if (!push_cached_buffers) {
 563     gst_buffer_unref (buffer);
 564   } else {
 565     GstPad *peer = gst_pad_get_peer (typefind->src);
 566
 567     typefind->mode = MODE_NORMAL;
 568
 569     /* make sure the user gets a meaningful error message in this case,
 570      * which is not a core bug or bug of any kind (as the default error
 571      * message emitted by gstpad.c otherwise would make you think) */
 572     if (peer && GST_PAD_CHAINFUNC (peer) == NULL) {
 573       GST_DEBUG_OBJECT (typefind, "upstream only supports push mode, while "
 574           "downstream element only works in pull mode, erroring out");
 575       GST_ELEMENT_ERROR (typefind, STREAM, FAILED,
 576           ("%s cannot work in push mode. The operation is not supported "
 577               "with this source element or protocol.",
 578               G_OBJECT_TYPE_NAME (GST_PAD_PARENT (peer))),
 579           ("Downstream pad %s:%s has no chainfunction, and the upstream "
 580               "element does not support pull mode", GST_DEBUG_PAD_NAME (peer)));
 581       typefind->mode = MODE_ERROR;      /* make the chain function error out */
 582       gst_buffer_unref (buffer);
 583     } else {
 584       gst_pad_push (typefind->src, buffer);
 585     }
 586     if (peer)
 587       gst_object_unref (peer);
 588   }
 589   return;
 590
 591   /* ERRORS */
 592 no_data:
 593   {
 594     GST_DEBUG_OBJECT (typefind, "we have no data to typefind");
 595     GST_OBJECT_UNLOCK (typefind);
 596     return;
 597   }
 598 }
 599
 600 static gboolean
 601 gst_type_find_element_sink_event (GstPad * pad, GstObject * parent,
 602     GstEvent * event)
 603 {
 604   gboolean res = FALSE;
 605   GstTypeFindElement *typefind = GST_TYPE_FIND_ELEMENT (parent);
 606
 607   GST_DEBUG_OBJECT (typefind, "got %s event in mode %d",
 608       GST_EVENT_TYPE_NAME (event), typefind->mode);
 609
 610   switch (typefind->mode) {
 611     case MODE_TYPEFIND:
 612       switch (GST_EVENT_TYPE (event)) {
 613         case GST_EVENT_CAPS:
 614         {
 615           GstCaps *caps;
 616
 617           /* Parse and push out our caps and data */
 618           gst_event_parse_caps (event, &caps);
 619           res = gst_type_find_element_setcaps (typefind, caps);
 620
 621           gst_event_unref (event);
 622           break;
 623         }
 624         case GST_EVENT_GAP:
 625         {
 626           GST_FIXME_OBJECT (typefind,
 627               "GAP events during typefinding not handled properly");
 628
 629           /* FIXME: These would need to be inserted in the stream at
 630            * the right position between buffers, but we combine all
 631            * buffers with a GstAdapter. Drop the GAP event for now,
 632            * which will only cause an implicit GAP between buffers.
 633            */
 634           gst_event_unref (event);
 635           res = TRUE;
 636         }
 637         case GST_EVENT_EOS:
 638         {
 639           GST_INFO_OBJECT (typefind, "Got EOS and no type found yet");
 640           gst_type_find_element_chain_do_typefinding (typefind, FALSE);
 641
 642           res = gst_pad_push_event (typefind->src, event);
 643           break;
 644         }
 645         case GST_EVENT_FLUSH_STOP:
 646           GST_OBJECT_LOCK (typefind);
 647           g_list_foreach (typefind->cached_events,
 648               (GFunc) gst_mini_object_unref, NULL);
 649           g_list_free (typefind->cached_events);
 650           typefind->cached_events = NULL;
 651           gst_adapter_clear (typefind->adapter);
 652           GST_OBJECT_UNLOCK (typefind);
 653           /* fall through */
 654         case GST_EVENT_FLUSH_START:
 655           res = gst_pad_push_event (typefind->src, event);
 656           break;
 657         default:
 658           /* Forward events that would happen before the caps event
 659            * directly instead of storing them. There's no reason not
 660            * to send them directly and we should only store events
 661            * for later sending that would need to come after the caps
 662            * event */
 663           if (GST_EVENT_TYPE (event) < GST_EVENT_CAPS) {
 664             res = gst_pad_push_event (typefind->src, event);
 665           } else {
 666             GST_DEBUG_OBJECT (typefind, "Saving %s event to send later",
 667                 GST_EVENT_TYPE_NAME (event));
 668             GST_OBJECT_LOCK (typefind);
 669             typefind->cached_events =
 670                 g_list_append (typefind->cached_events, event);
 671             GST_OBJECT_UNLOCK (typefind);
 672             res = TRUE;
 673           }
 674           break;
 675       }
 676       break;
 677     case MODE_NORMAL:
 678       res = gst_pad_push_event (typefind->src, event);
 679       break;
 680     case MODE_ERROR:
 681       break;
 682     default:
 683       g_assert_not_reached ();
 684   }
 685   return res;
 686 }
 687
 688 static void
 689 gst_type_find_element_send_cached_events (GstTypeFindElement * typefind)
 690 {
 691   GList *l, *cached_events;
 692
 693   GST_OBJECT_LOCK (typefind);
 694   cached_events = typefind->cached_events;
 695   typefind->cached_events = NULL;
 696   GST_OBJECT_UNLOCK (typefind);
 697
 698   for (l = cached_events; l != NULL; l = l->next) {
 699     GstEvent *event = GST_EVENT (l->data);
 700
 701     GST_DEBUG_OBJECT (typefind, "sending cached %s event",
 702         GST_EVENT_TYPE_NAME (event));
 703     gst_pad_push_event (typefind->src, event);
 704   }
 705   g_list_free (cached_events);
 706 }
 707
 708 static gboolean
 709 gst_type_find_element_setcaps (GstTypeFindElement * typefind, GstCaps * caps)
 710 {
 711   /* don't operate on ANY caps */
 712   if (gst_caps_is_any (caps))
 713     return TRUE;
 714
 715   g_signal_emit (typefind, gst_type_find_element_signals[HAVE_TYPE], 0,
 716       GST_TYPE_FIND_MAXIMUM, caps);
 717
 718   /* Shortcircuit typefinding if we get caps */
 719   GST_DEBUG_OBJECT (typefind, "Skipping typefinding, using caps from "
 720       "upstream: %" GST_PTR_FORMAT, caps);
 721
 722   stop_typefinding (typefind);
 723
 724   return TRUE;
 725 }
 726
 727 static gchar *
 728 gst_type_find_get_extension (GstTypeFindElement * typefind, GstPad * pad)
 729 {
 730   GstQuery *query;
 731   gchar *uri, *result;
 732   size_t len;
 733   gint find;
 734
 735   query = gst_query_new_uri ();
 736
 737   /* try getting the caps with an uri query and from the extension */
 738   if (!gst_pad_peer_query (pad, query))
 739     goto peer_query_failed;
 740
 741   gst_query_parse_uri (query, &uri);
 742   if (uri == NULL)
 743     goto no_uri;
 744
 745   GST_DEBUG_OBJECT (typefind, "finding extension of %s", uri);
 746
 747   /* find the extension on the uri, this is everything after a '.' */
 748   len = strlen (uri);
 749   find = len - 1;
 750
 751   while (find >= 0) {
 752     if (uri[find] == '.')
 753       break;
 754     find--;
 755   }
 756   if (find < 0)
 757     goto no_extension;
 758
 759   result = g_strdup (&uri[find + 1]);
 760
 761   GST_DEBUG_OBJECT (typefind, "found extension %s", result);
 762   gst_query_unref (query);
 763   g_free (uri);
 764
 765   return result;
 766
 767   /* ERRORS */
 768 peer_query_failed:
 769   {
 770     GST_WARNING_OBJECT (typefind, "failed to query peer uri");
 771     gst_query_unref (query);
 772     return NULL;
 773   }
 774 no_uri:
 775   {
 776     GST_WARNING_OBJECT (typefind, "could not parse the peer uri");
 777     gst_query_unref (query);
 778     return NULL;
 779   }
 780 no_extension:
 781   {
 782     GST_WARNING_OBJECT (typefind, "could not find uri extension in %s", uri);
 783     gst_query_unref (query);
 784     g_free (uri);
 785     return NULL;
 786   }
 787 }
 788
 789 static GstCaps *
 790 gst_type_find_guess_by_extension (GstTypeFindElement * typefind, GstPad * pad,
 791     GstTypeFindProbability * probability)
 792 {
 793   gchar *ext;
 794   GstCaps *caps;
 795
 796   ext = gst_type_find_get_extension (typefind, pad);
 797   if (!ext)
 798     return NULL;
 799
 800   caps = gst_type_find_helper_for_extension (GST_OBJECT_CAST (typefind), ext);
 801   if (caps)
 802     *probability = GST_TYPE_FIND_MAXIMUM;
 803
 804   g_free (ext);
 805
 806   return caps;
 807 }
 808
 809 static GstFlowReturn
 810 gst_type_find_element_chain (GstPad * pad, GstObject * parent,
 811     GstBuffer * buffer)
 812 {
 813   GstTypeFindElement *typefind;
 814   GstFlowReturn res = GST_FLOW_OK;
 815
 816   typefind = GST_TYPE_FIND_ELEMENT (parent);
 817
 818   GST_LOG_OBJECT (typefind, "handling buffer in mode %d", typefind->mode);
 819
 820   switch (typefind->mode) {
 821     case MODE_ERROR:
 822       /* we should already have called GST_ELEMENT_ERROR */
 823       return GST_FLOW_ERROR;
 824     case MODE_NORMAL:
 825       /* don't take object lock as typefind->caps should not change anymore */
 826       return gst_pad_push (typefind->src, buffer);
 827     case MODE_TYPEFIND:
 828     {
 829       GST_OBJECT_LOCK (typefind);
 830       gst_adapter_push (typefind->adapter, buffer);
 831       GST_OBJECT_UNLOCK (typefind);
 832
 833       res = gst_type_find_element_chain_do_typefinding (typefind, TRUE);
 834
 835       if (typefind->mode == MODE_ERROR)
 836         res = GST_FLOW_ERROR;
 837
 838       break;
 839     }
 840     default:
 841       g_assert_not_reached ();
 842       return GST_FLOW_ERROR;
 843   }
 844
 845   return res;
 846 }
 847
 848 static GstFlowReturn
 849 gst_type_find_element_chain_do_typefinding (GstTypeFindElement * typefind,
 850     gboolean check_avail)
 851 {
 852   GstTypeFindProbability probability;
 853   GstCaps *caps;
 854   gsize avail;
 855   const guint8 *data;
 856   gboolean have_min, have_max;
 857
 858   GST_OBJECT_LOCK (typefind);
 859   avail = gst_adapter_available (typefind->adapter);
 860
 861   if (check_avail) {
 862     have_min = avail >= TYPE_FIND_MIN_SIZE;
 863     have_max = avail >= TYPE_FIND_MAX_SIZE;
 864   } else {
 865     have_min = avail > 0;
 866     have_max = TRUE;
 867   }
 868
 869   if (!have_min)
 870     goto not_enough_data;
 871
 872   /* map all available data */
 873   data = gst_adapter_map (typefind->adapter, avail);
 874   caps = gst_type_find_helper_for_data (GST_OBJECT (typefind),
 875       data, avail, &probability);
 876   gst_adapter_unmap (typefind->adapter);
 877
 878   if (caps == NULL && have_max)
 879     goto no_type_found;
 880   else if (caps == NULL)
 881     goto wait_for_data;
 882
 883   /* found a type */
 884   if (probability < typefind->min_probability)
 885     goto low_probability;
 886   GST_OBJECT_UNLOCK (typefind);
 887
 888   /* probability is good enough too, so let's make it known ... emiting this
 889    * signal calls our object handler which sets the caps. */
 890   g_signal_emit (typefind, gst_type_find_element_signals[HAVE_TYPE], 0,
 891       probability, caps);
 892
 893   /* .. and send out the accumulated data */
 894   stop_typefinding (typefind);
 895   gst_caps_unref (caps);
 896
 897   return GST_FLOW_OK;
 898
 899 not_enough_data:
 900   {
 901     GST_DEBUG_OBJECT (typefind, "not enough data for typefinding yet "
 902         "(%" G_GSIZE_FORMAT " bytes)", avail);
 903     GST_OBJECT_UNLOCK (typefind);
 904     return GST_FLOW_OK;
 905   }
 906 no_type_found:
 907   {
 908     GST_OBJECT_UNLOCK (typefind);
 909     GST_ELEMENT_ERROR (typefind, STREAM, TYPE_NOT_FOUND, (NULL), (NULL));
 910     stop_typefinding (typefind);
 911     return GST_FLOW_ERROR;
 912   }
 913 wait_for_data:
 914   {
 915     GST_DEBUG_OBJECT (typefind,
 916         "no caps found with %" G_GSIZE_FORMAT " bytes of data, "
 917         "waiting for more data", avail);
 918     GST_OBJECT_UNLOCK (typefind);
 919     return GST_FLOW_OK;
 920   }
 921 low_probability:
 922   {
 923     GST_DEBUG_OBJECT (typefind, "found caps %" GST_PTR_FORMAT ", but "
 924         "probability is %u which is lower than the required minimum of %u",
 925         caps, probability, typefind->min_probability);
 926
 927     gst_caps_unref (caps);
 928
 929     if (have_max)
 930       goto no_type_found;
 931
 932     GST_OBJECT_UNLOCK (typefind);
 933     GST_DEBUG_OBJECT (typefind, "waiting for more data to try again");
 934     return GST_FLOW_OK;
 935   }
 936 }
 937
 938 static GstFlowReturn
 939 gst_type_find_element_getrange (GstPad * srcpad, GstObject * parent,
 940     guint64 offset, guint length, GstBuffer ** buffer)
 941 {
 942   GstTypeFindElement *typefind;
 943   GstFlowReturn ret;
 944
 945   typefind = GST_TYPE_FIND_ELEMENT (parent);
 946
 947   ret = gst_pad_pull_range (typefind->sink, offset, length, buffer);
 948
 949   return ret;
 950 }
 951
 952 static gboolean
 953 gst_type_find_element_activate_src_mode (GstPad * pad, GstObject * parent,
 954     GstPadMode mode, gboolean active)
 955 {
 956   gboolean res;
 957   GstTypeFindElement *typefind;
 958
 959   typefind = GST_TYPE_FIND_ELEMENT (parent);
 960
 961   switch (mode) {
 962     case GST_PAD_MODE_PULL:
 963       /* make sure our task stops pushing, we can't call _stop here because this
 964        * activation might happen from the streaming thread. */
 965       gst_pad_pause_task (typefind->sink);
 966       res = gst_pad_activate_mode (typefind->sink, mode, active);
 967       break;
 968     default:
 969       res = TRUE;
 970       break;
 971   }
 972   return res;
 973 }
 974
 975 static void
 976 gst_type_find_element_loop (GstPad * pad)
 977 {
 978   GstTypeFindElement *typefind;
 979   GstFlowReturn ret = GST_FLOW_OK;
 980
 981   typefind = GST_TYPE_FIND_ELEMENT (GST_PAD_PARENT (pad));
 982
 983   if (typefind->mode == MODE_TYPEFIND) {
 984     GstPad *peer;
 985     GstCaps *found_caps = NULL;
 986     GstTypeFindProbability probability = GST_TYPE_FIND_NONE;
 987
 988     GST_DEBUG_OBJECT (typefind, "find type in pull mode");
 989
 990     peer = gst_pad_get_peer (pad);
 991     if (peer) {
 992       gint64 size;
 993       gchar *ext;
 994
 995       if (!gst_pad_query_duration (peer, GST_FORMAT_BYTES, &size)) {
 996         GST_WARNING_OBJECT (typefind, "Could not query upstream length!");
 997         gst_object_unref (peer);
 998
 999         ret = GST_FLOW_ERROR;
1000         goto pause;
1001       }
1002
1003       /* the size if 0, we cannot continue */
1004       if (size == 0) {
1005         /* keep message in sync with message in sink event handler */
1006         GST_ELEMENT_ERROR (typefind, STREAM, TYPE_NOT_FOUND,
1007             (_("Stream contains no data.")), ("Can't typefind empty stream"));
1008         gst_object_unref (peer);
1009         ret = GST_FLOW_ERROR;
1010         goto pause;
1011       }
1012       ext = gst_type_find_get_extension (typefind, pad);
1013
1014       found_caps =
1015           gst_type_find_helper_get_range (GST_OBJECT_CAST (peer),
1016           GST_OBJECT_PARENT (peer),
1017           (GstTypeFindHelperGetRangeFunction) (GST_PAD_GETRANGEFUNC (peer)),
1018           (guint64) size, ext, &probability);
1019       g_free (ext);
1020
1021       GST_DEBUG ("Found caps %" GST_PTR_FORMAT, found_caps);
1022
1023       gst_object_unref (peer);
1024     }
1025
1026     if (!found_caps || probability < typefind->min_probability) {
1027       GST_DEBUG ("Trying to guess using extension");
1028       gst_caps_replace (&found_caps, NULL);
1029       found_caps =
1030           gst_type_find_guess_by_extension (typefind, pad, &probability);
1031     }
1032
1033     if (!found_caps || probability < typefind->min_probability) {
1034       GST_ELEMENT_ERROR (typefind, STREAM, TYPE_NOT_FOUND, (NULL), (NULL));
1035       gst_caps_replace (&found_caps, NULL);
1036       ret = GST_FLOW_ERROR;
1037       goto pause;
1038     }
1039
1040     GST_DEBUG ("Emiting found caps %" GST_PTR_FORMAT, found_caps);
1041     g_signal_emit (typefind, gst_type_find_element_signals[HAVE_TYPE],
1042         0, probability, found_caps);
1043     typefind->mode = MODE_NORMAL;
1044     gst_caps_unref (found_caps);
1045   } else if (typefind->mode == MODE_NORMAL) {
1046     GstBuffer *outbuf = NULL;
1047
1048     if (typefind->need_stream_start) {
1049       gchar *stream_id;
1050
1051       stream_id =
1052           gst_pad_create_stream_id (typefind->src, GST_ELEMENT_CAST (typefind),
1053           NULL);
1054
1055       GST_DEBUG_OBJECT (typefind, "Pushing STREAM_START");
1056       gst_pad_push_event (typefind->src,
1057           gst_event_new_stream_start (stream_id));
1058
1059       typefind->need_stream_start = FALSE;
1060       g_free (stream_id);
1061     }
1062
1063     if (typefind->need_segment) {
1064       typefind->need_segment = FALSE;
1065       gst_pad_push_event (typefind->src,
1066           gst_event_new_segment (&typefind->segment));
1067     }
1068
1069     /* Pull 4k blocks and send downstream */
1070     ret = gst_pad_pull_range (typefind->sink, typefind->offset, 4096, &outbuf);
1071     if (ret != GST_FLOW_OK)
1072       goto pause;
1073
1074     typefind->offset += 4096;
1075
1076     ret = gst_pad_push (typefind->src, outbuf);
1077     if (ret != GST_FLOW_OK)
1078       goto pause;
1079   } else {
1080     /* Error out */
1081     ret = GST_FLOW_ERROR;
1082     goto pause;
1083   }
1084
1085   return;
1086
1087 pause:
1088   {
1089     const gchar *reason = gst_flow_get_name (ret);
1090     gboolean push_eos = FALSE;
1091
1092     GST_LOG_OBJECT (typefind, "pausing task, reason %s", reason);
1093     gst_pad_pause_task (typefind->sink);
1094
1095     if (ret == GST_FLOW_EOS) {
1096       /* perform EOS logic */
1097
1098       if (typefind->segment.flags & GST_SEGMENT_FLAG_SEGMENT) {
1099         gint64 stop;
1100
1101         /* for segment playback we need to post when (in stream time)
1102          * we stopped, this is either stop (when set) or the duration. */
1103         if ((stop = typefind->segment.stop) == -1)
1104           stop = typefind->offset;
1105
1106         GST_LOG_OBJECT (typefind, "Sending segment done, at end of segment");
1107         gst_element_post_message (GST_ELEMENT (typefind),
1108             gst_message_new_segment_done (GST_OBJECT (typefind),
1109                 GST_FORMAT_BYTES, stop));
1110         gst_pad_push_event (typefind->src,
1111             gst_event_new_segment_done (GST_FORMAT_BYTES, stop));
1112       } else {
1113         push_eos = TRUE;
1114       }
1115     } else if (ret == GST_FLOW_NOT_LINKED || ret < GST_FLOW_EOS) {
1116       /* for fatal errors we post an error message */
1117       GST_ELEMENT_ERROR (typefind, STREAM, FAILED, (NULL),
1118           ("stream stopped, reason %s", reason));
1119       push_eos = TRUE;
1120     }
1121     if (push_eos) {
1122       /* send EOS, and prevent hanging if no streams yet */
1123       GST_LOG_OBJECT (typefind, "Sending EOS, at end of stream");
1124       gst_pad_push_event (typefind->src, gst_event_new_eos ());
1125     }
1126     return;
1127   }
1128 }
1129
1130 static gboolean
1131 gst_type_find_element_activate_sink_mode (GstPad * pad, GstObject * parent,
1132     GstPadMode mode, gboolean active)
1133 {
1134   gboolean res;
1135   GstTypeFindElement *typefind;
1136
1137   typefind = GST_TYPE_FIND_ELEMENT (parent);
1138
1139   switch (mode) {
1140     case GST_PAD_MODE_PULL:
1141       if (active) {
1142         gst_segment_init (&typefind->segment, GST_FORMAT_BYTES);
1143         typefind->need_segment = TRUE;
1144         typefind->need_stream_start = TRUE;
1145         typefind->offset = 0;
1146         res = TRUE;
1147       } else {
1148         res = gst_pad_stop_task (pad);
1149       }
1150       break;
1151     case GST_PAD_MODE_PUSH:
1152       if (active)
1153         start_typefinding (typefind);
1154       else
1155         stop_typefinding (typefind);
1156
1157       res = TRUE;
1158       break;
1159     default:
1160       res = FALSE;
1161       break;
1162   }
1163   return res;
1164 }
1165
1166 static gboolean
1167 gst_type_find_element_activate_sink (GstPad * pad, GstObject * parent)
1168 {
1169   GstTypeFindElement *typefind;
1170   GstQuery *query;
1171   gboolean pull_mode;
1172   GstCaps *found_caps = NULL;
1173   GstTypeFindProbability probability = GST_TYPE_FIND_NONE;
1174   GstSchedulingFlags sched_flags;
1175
1176   typefind = GST_TYPE_FIND_ELEMENT (parent);
1177
1178   /* if we have force caps, use those */
1179   GST_OBJECT_LOCK (typefind);
1180   if (typefind->force_caps) {
1181     found_caps = gst_caps_ref (typefind->force_caps);
1182     probability = GST_TYPE_FIND_MAXIMUM;
1183     GST_OBJECT_UNLOCK (typefind);
1184
1185     GST_DEBUG ("Emiting found caps %" GST_PTR_FORMAT, found_caps);
1186     g_signal_emit (typefind, gst_type_find_element_signals[HAVE_TYPE],
1187         0, probability, found_caps);
1188     gst_caps_unref (found_caps);
1189     typefind->mode = MODE_NORMAL;
1190     /* the signal above could have made a downstream element activate
1191      * the pad in pull mode, we check if the pad is already active now and if
1192      * so, we are done */
1193     if (gst_pad_is_active (pad))
1194       return TRUE;
1195
1196     goto typefind_push;
1197   }
1198   GST_OBJECT_UNLOCK (typefind);
1199
1200   query = gst_query_new_scheduling ();
1201
1202   if (!gst_pad_peer_query (pad, query)) {
1203     gst_query_unref (query);
1204     goto typefind_push;
1205   }
1206
1207   gst_query_parse_scheduling (query, &sched_flags, NULL, NULL, NULL);
1208
1209   pull_mode = gst_query_has_scheduling_mode (query, GST_PAD_MODE_PULL)
1210       && ((sched_flags & GST_SCHEDULING_FLAG_SEEKABLE) != 0);
1211
1212   gst_query_unref (query);
1213
1214   if (!pull_mode)
1215     goto typefind_push;
1216
1217   if (!gst_pad_activate_mode (pad, GST_PAD_MODE_PULL, TRUE))
1218     goto typefind_push;
1219
1220   /* only start our task if we ourselves decide to start in pull mode */
1221   return gst_pad_start_task (pad, (GstTaskFunction) gst_type_find_element_loop,
1222       pad, NULL);
1223
1224 typefind_push:
1225   {
1226     return gst_pad_activate_mode (pad, GST_PAD_MODE_PUSH, TRUE);
1227   }
1228 }
1229
1230 static GstStateChangeReturn
1231 gst_type_find_element_change_state (GstElement * element,
1232     GstStateChange transition)
1233 {
1234   GstStateChangeReturn ret;
1235   GstTypeFindElement *typefind;
1236
1237   typefind = GST_TYPE_FIND_ELEMENT (element);
1238
1239
1240   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
1241
1242   switch (transition) {
1243     case GST_STATE_CHANGE_PAUSED_TO_READY:
1244     case GST_STATE_CHANGE_READY_TO_NULL:
1245       GST_OBJECT_LOCK (typefind);
1246       gst_caps_replace (&typefind->caps, NULL);
1247
1248       g_list_foreach (typefind->cached_events,
1249           (GFunc) gst_mini_object_unref, NULL);
1250       g_list_free (typefind->cached_events);
1251       typefind->cached_events = NULL;
1252       typefind->mode = MODE_TYPEFIND;
1253       GST_OBJECT_UNLOCK (typefind);
1254       break;
1255     default:
1256       break;
1257   }
1258
1259   return ret;
1260 }