ext/smoothstreaming/gstmssdemux.c

   1 /* GStreamer
   2  * Copyright (C) 2012 Smart TV Alliance
   3  *  Author: Thiago Sousa Santos <thiago.sousa.santos@collabora.com>, Collabora Ltd.
   4  *
   5  * gstmssdemux.c:
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Library General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Library General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Library General Public
  18  * License along with this library; if not, write to the
  19  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  20  * Boston, MA 02111-1307, USA.
  21  */
  22
  23 /**
  24  * SECTION:element-mssdemux
  25  *
  26  * Demuxes a Microsoft's Smooth Streaming manifest into its audio and/or video streams.
  27  *
  28  *
  29  */
  30
  31 /*
  32  * == Internals
  33  *
  34  * = Smooth streaming in a few lines
  35  * A SS stream is defined by a xml manifest file. This file has a list of
  36  * tracks (StreamIndex), each one can have multiple QualityLevels, that define
  37  * different encoding/bitrates. When playing a track, only one of those
  38  * QualityLevels can be active at a time (per stream).
  39  *
  40  * The StreamIndex defines a URL with {time} and {bitrate} tags that are
  41  * replaced by values indicated by the fragment start times and the selected
  42  * QualityLevel, that generates the fragments URLs.
  43  *
  44  * Another relevant detail is that the Isomedia fragments for smoothstreaming
  45  * won't contains a 'moov' atom, nor a 'stsd', so there is no information
  46  * about the media type/configuration on the fragments, it must be extracted
  47  * from the Manifest and passed downstream. mssdemux does this via GstCaps.
  48  *
  49  * = How mssdemux works
  50  * There is a gstmssmanifest.c utility that holds the manifest and parses
  51  * and has functions to extract information from it. mssdemux received the
  52  * manifest from its sink pad and starts processing it when it gets EOS.
  53  *
  54  * The Manifest is parsed and the streams are exposed, 1 pad for each, with
  55  * a initially selected QualityLevel. Each stream starts its own GstTaks that
  56  * is responsible for downloading fragments and storing in its own GstDataQueue.
  57  *
  58  * The mssdemux starts another GstTask, this one iterates through the streams
  59  * and selects the fragment with the smaller timestamp to push and repeats this.
  60  *
  61  * When a new connection-speed is set, mssdemux evaluates the available
  62  * QualityLevels and might decide to switch to another one. In this case it
  63  * exposes new pads for each stream, pushes EOS to the old ones and removes
  64  * them. This should make decodebin2 pad switching mechanism act and the
  65  * switch would be smooth for the final user.
  66  */
  67
  68 #ifdef HAVE_CONFIG_H
  69 #include "config.h"
  70 #endif
  71
  72 #include "gst/gst-i18n-plugin.h"
  73
  74 #include <stdio.h>
  75 #include <stdlib.h>
  76 #include <string.h>
  77
  78 #include "gstmssdemux.h"
  79
  80 GST_DEBUG_CATEGORY (mssdemux_debug);
  81
  82 #define DEFAULT_CONNECTION_SPEED 0
  83 #define DEFAULT_MAX_QUEUE_SIZE_BUFFERS 0
  84
  85 enum
  86 {
  87   PROP_0,
  88
  89   PROP_CONNECTION_SPEED,
  90   PROP_MAX_QUEUE_SIZE_BUFFERS,
  91   PROP_LAST
  92 };
  93
  94 static GstStaticPadTemplate gst_mss_demux_sink_template =
  95 GST_STATIC_PAD_TEMPLATE ("sink",
  96     GST_PAD_SINK,
  97     GST_PAD_ALWAYS,
  98     GST_STATIC_CAPS ("application/vnd.ms-sstr+xml")
  99     );
 100
 101 static GstStaticPadTemplate gst_mss_demux_videosrc_template =
 102 GST_STATIC_PAD_TEMPLATE ("video_%02u",
 103     GST_PAD_SRC,
 104     GST_PAD_SOMETIMES,
 105     GST_STATIC_CAPS_ANY);
 106
 107 static GstStaticPadTemplate gst_mss_demux_audiosrc_template =
 108 GST_STATIC_PAD_TEMPLATE ("audio_%02u",
 109     GST_PAD_SRC,
 110     GST_PAD_SOMETIMES,
 111     GST_STATIC_CAPS_ANY);
 112
 113 GST_BOILERPLATE (GstMssDemux, gst_mss_demux, GstMssDemux, GST_TYPE_ELEMENT);
 114
 115 static void gst_mss_demux_dispose (GObject * object);
 116 static void gst_mss_demux_set_property (GObject * object, guint prop_id,
 117     const GValue * value, GParamSpec * pspec);
 118 static void gst_mss_demux_get_property (GObject * object, guint prop_id,
 119     GValue * value, GParamSpec * pspec);
 120 static GstStateChangeReturn gst_mss_demux_change_state (GstElement * element,
 121     GstStateChange transition);
 122 static GstFlowReturn gst_mss_demux_chain (GstPad * pad, GstBuffer * buffer);
 123 static GstFlowReturn gst_mss_demux_event (GstPad * pad, GstEvent * event);
 124
 125 static gboolean gst_mss_demux_src_query (GstPad * pad, GstQuery * query);
 126
 127 static void gst_mss_demux_download_loop (GstMssDemuxStream * stream);
 128 static void gst_mss_demux_stream_loop (GstMssDemux * mssdemux);
 129
 130 static gboolean gst_mss_demux_process_manifest (GstMssDemux * mssdemux);
 131
 132 static void
 133 gst_mss_demux_base_init (gpointer klass)
 134 {
 135   GstElementClass *element_class = GST_ELEMENT_CLASS (klass);
 136
 137   gst_element_class_add_static_pad_template (element_class,
 138       &gst_mss_demux_sink_template);
 139   gst_element_class_add_static_pad_template (element_class,
 140       &gst_mss_demux_videosrc_template);
 141   gst_element_class_add_static_pad_template (element_class,
 142       &gst_mss_demux_audiosrc_template);
 143   gst_element_class_set_details_simple (element_class, "Smooth Streaming "
 144       "demuxer", "Demuxer",
 145       "Parse and demultiplex a Smooth Streaming manifest into audio and video "
 146       "streams", "Thiago Santos <thiago.sousa.santos@collabora.com>");
 147
 148   GST_DEBUG_CATEGORY_INIT (mssdemux_debug, "mssdemux", 0, "mssdemux plugin");
 149 }
 150
 151 static void
 152 gst_mss_demux_class_init (GstMssDemuxClass * klass)
 153 {
 154   GObjectClass *gobject_class;
 155   GstElementClass *gstelement_class;
 156
 157   gobject_class = (GObjectClass *) klass;
 158   gstelement_class = (GstElementClass *) klass;
 159
 160   parent_class = g_type_class_peek_parent (klass);
 161
 162   gobject_class->dispose = gst_mss_demux_dispose;
 163   gobject_class->set_property = gst_mss_demux_set_property;
 164   gobject_class->get_property = gst_mss_demux_get_property;
 165
 166   g_object_class_install_property (gobject_class, PROP_CONNECTION_SPEED,
 167       g_param_spec_uint ("connection-speed", "Connection Speed",
 168           "Network connection speed in kbps (0 = unknown)",
 169           0, G_MAXUINT / 1000, DEFAULT_CONNECTION_SPEED,
 170           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 171
 172   g_object_class_install_property (gobject_class, PROP_MAX_QUEUE_SIZE_BUFFERS,
 173       g_param_spec_uint ("max-queue-size-buffers", "Max queue size in buffers",
 174           "Maximum buffers that can be stored in each internal stream queue "
 175           "(0 = infinite)", 0, G_MAXUINT, DEFAULT_MAX_QUEUE_SIZE_BUFFERS,
 176           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 177
 178   gstelement_class->change_state =
 179       GST_DEBUG_FUNCPTR (gst_mss_demux_change_state);
 180 }
 181
 182 static void
 183 gst_mss_demux_init (GstMssDemux * mssdemux, GstMssDemuxClass * klass)
 184 {
 185   mssdemux->sinkpad =
 186       gst_pad_new_from_static_template (&gst_mss_demux_sink_template, "sink");
 187   gst_pad_set_chain_function (mssdemux->sinkpad,
 188       GST_DEBUG_FUNCPTR (gst_mss_demux_chain));
 189   gst_pad_set_event_function (mssdemux->sinkpad,
 190       GST_DEBUG_FUNCPTR (gst_mss_demux_event));
 191   gst_element_add_pad (GST_ELEMENT_CAST (mssdemux), mssdemux->sinkpad);
 192
 193   g_static_rec_mutex_init (&mssdemux->stream_lock);
 194   mssdemux->stream_task =
 195       gst_task_create ((GstTaskFunction) gst_mss_demux_stream_loop, mssdemux);
 196   gst_task_set_lock (mssdemux->stream_task, &mssdemux->stream_lock);
 197
 198   mssdemux->data_queue_max_size = DEFAULT_MAX_QUEUE_SIZE_BUFFERS;
 199 }
 200
 201 static gboolean
 202 _data_queue_check_full (GstDataQueue * queue, guint visible, guint bytes,
 203     guint64 time, gpointer checkdata)
 204 {
 205   GstMssDemuxStream *stream = checkdata;
 206   GstMssDemux *mssdemux = stream->parent;
 207
 208   if (mssdemux->data_queue_max_size == 0)
 209     return FALSE;               /* never full */
 210   return visible >= mssdemux->data_queue_max_size;
 211 }
 212
 213 static GstMssDemuxStream *
 214 gst_mss_demux_stream_new (GstMssDemux * mssdemux,
 215     GstMssStream * manifeststream, GstPad * srcpad)
 216 {
 217   GstMssDemuxStream *stream;
 218
 219   stream = g_new0 (GstMssDemuxStream, 1);
 220   stream->downloader = gst_uri_downloader_new ();
 221   stream->dataqueue = gst_data_queue_new (_data_queue_check_full, stream);
 222
 223   /* Downloading task */
 224   g_static_rec_mutex_init (&stream->download_lock);
 225   stream->download_task =
 226       gst_task_create ((GstTaskFunction) gst_mss_demux_download_loop, stream);
 227   gst_task_set_lock (stream->download_task, &stream->download_lock);
 228
 229   stream->pad = srcpad;
 230   stream->manifest_stream = manifeststream;
 231   stream->parent = mssdemux;
 232
 233   return stream;
 234 }
 235
 236 static void
 237 gst_mss_demux_stream_free (GstMssDemuxStream * stream)
 238 {
 239   if (stream->download_task) {
 240     if (GST_TASK_STATE (stream->download_task) != GST_TASK_STOPPED) {
 241       GST_DEBUG_OBJECT (stream->parent, "Leaving streaming task %s:%s",
 242           GST_DEBUG_PAD_NAME (stream->pad));
 243       gst_task_stop (stream->download_task);
 244       gst_uri_downloader_cancel (stream->downloader);
 245       g_static_rec_mutex_lock (&stream->download_lock);
 246       g_static_rec_mutex_unlock (&stream->download_lock);
 247       GST_LOG_OBJECT (stream->parent, "Waiting for task to finish");
 248       gst_task_join (stream->download_task);
 249       GST_LOG_OBJECT (stream->parent, "Finished");
 250     }
 251     gst_object_unref (stream->download_task);
 252     g_static_rec_mutex_free (&stream->download_lock);
 253     stream->download_task = NULL;
 254   }
 255
 256   if (stream->pending_newsegment) {
 257     gst_event_unref (stream->pending_newsegment);
 258     stream->pending_newsegment = NULL;
 259   }
 260
 261
 262   if (stream->downloader != NULL) {
 263     g_object_unref (stream->downloader);
 264     stream->downloader = NULL;
 265   }
 266   if (stream->dataqueue) {
 267     g_object_unref (stream->dataqueue);
 268     stream->dataqueue = NULL;
 269   }
 270   if (stream->pad) {
 271     gst_object_unref (stream->pad);
 272     stream->pad = NULL;
 273   }
 274   g_free (stream);
 275 }
 276
 277 static void
 278 gst_mss_demux_reset (GstMssDemux * mssdemux)
 279 {
 280   GSList *iter;
 281
 282   if (GST_TASK_STATE (mssdemux->stream_task) != GST_TASK_STOPPED) {
 283     gst_task_stop (mssdemux->stream_task);
 284     g_static_rec_mutex_lock (&mssdemux->stream_lock);
 285     g_static_rec_mutex_unlock (&mssdemux->stream_lock);
 286     gst_task_join (mssdemux->stream_task);
 287   }
 288
 289   if (mssdemux->manifest_buffer) {
 290     gst_buffer_unref (mssdemux->manifest_buffer);
 291     mssdemux->manifest_buffer = NULL;
 292   }
 293
 294   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 295     GstMssDemuxStream *stream = iter->data;
 296     gst_element_remove_pad (GST_ELEMENT_CAST (mssdemux), stream->pad);
 297     gst_mss_demux_stream_free (stream);
 298   }
 299   g_slist_free (mssdemux->streams);
 300   mssdemux->streams = NULL;
 301
 302   if (mssdemux->manifest) {
 303     gst_mss_manifest_free (mssdemux->manifest);
 304     mssdemux->manifest = NULL;
 305   }
 306
 307   mssdemux->n_videos = mssdemux->n_audios = 0;
 308   g_free (mssdemux->base_url);
 309   g_free (mssdemux->manifest_uri);
 310   mssdemux->base_url = NULL;
 311 }
 312
 313 static void
 314 gst_mss_demux_dispose (GObject * object)
 315 {
 316   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (object);
 317
 318   if (mssdemux->stream_task) {
 319     gst_object_unref (mssdemux->stream_task);
 320     g_static_rec_mutex_free (&mssdemux->stream_lock);
 321     mssdemux->stream_task = NULL;
 322   }
 323
 324   G_OBJECT_CLASS (parent_class)->dispose (object);
 325 }
 326
 327 static void
 328 gst_mss_demux_set_property (GObject * object, guint prop_id,
 329     const GValue * value, GParamSpec * pspec)
 330 {
 331   GstMssDemux *mssdemux = GST_MSS_DEMUX (object);
 332
 333   switch (prop_id) {
 334     case PROP_CONNECTION_SPEED:
 335       GST_OBJECT_LOCK (mssdemux);
 336       mssdemux->connection_speed = g_value_get_uint (value) * 1000;
 337       mssdemux->update_bitrates = TRUE;
 338       GST_DEBUG_OBJECT (mssdemux, "Connection speed set to %llu",
 339           mssdemux->connection_speed);
 340       GST_OBJECT_UNLOCK (mssdemux);
 341       break;
 342     case PROP_MAX_QUEUE_SIZE_BUFFERS:
 343       mssdemux->data_queue_max_size = g_value_get_uint (value);
 344       break;
 345     default:
 346       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 347       break;
 348   }
 349 }
 350
 351 static void
 352 gst_mss_demux_get_property (GObject * object, guint prop_id, GValue * value,
 353     GParamSpec * pspec)
 354 {
 355   GstMssDemux *mssdemux = GST_MSS_DEMUX (object);
 356
 357   switch (prop_id) {
 358     case PROP_CONNECTION_SPEED:
 359       g_value_set_uint (value, mssdemux->connection_speed / 1000);
 360       break;
 361     case PROP_MAX_QUEUE_SIZE_BUFFERS:
 362       g_value_set_uint (value, mssdemux->data_queue_max_size);
 363       break;
 364     default:
 365       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 366       break;
 367   }
 368 }
 369
 370 static GstStateChangeReturn
 371 gst_mss_demux_change_state (GstElement * element, GstStateChange transition)
 372 {
 373   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (element);
 374   GstStateChangeReturn result = GST_STATE_CHANGE_FAILURE;
 375
 376   switch (transition) {
 377     case GST_STATE_CHANGE_PAUSED_TO_READY:
 378       gst_mss_demux_reset (mssdemux);
 379       break;
 380     case GST_STATE_CHANGE_READY_TO_NULL:
 381       break;
 382     default:
 383       break;
 384   }
 385
 386   result = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
 387
 388   switch (transition) {
 389     case GST_STATE_CHANGE_PAUSED_TO_READY:{
 390       break;
 391     }
 392     default:
 393       break;
 394   }
 395
 396   return result;
 397 }
 398
 399 static GstFlowReturn
 400 gst_mss_demux_chain (GstPad * pad, GstBuffer * buffer)
 401 {
 402   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (GST_PAD_PARENT (pad));
 403   if (mssdemux->manifest_buffer == NULL)
 404     mssdemux->manifest_buffer = buffer;
 405   else
 406     mssdemux->manifest_buffer =
 407         gst_buffer_join (mssdemux->manifest_buffer, buffer);
 408
 409   return GST_FLOW_OK;
 410 }
 411
 412 static void
 413 gst_mss_demux_start (GstMssDemux * mssdemux)
 414 {
 415   GSList *iter;
 416
 417   GST_INFO_OBJECT (mssdemux, "Starting streams' tasks");
 418   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 419     GstMssDemuxStream *stream = iter->data;
 420     gst_task_start (stream->download_task);
 421   }
 422
 423   gst_task_start (mssdemux->stream_task);
 424 }
 425
 426 static gboolean
 427 gst_mss_demux_push_src_event (GstMssDemux * mssdemux, GstEvent * event)
 428 {
 429   GSList *iter;
 430   gboolean ret = TRUE;
 431
 432   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 433     GstMssDemuxStream *stream = iter->data;
 434     gst_event_ref (event);
 435     ret = ret & gst_pad_push_event (stream->pad, event);
 436   }
 437   return ret;
 438 }
 439
 440 static gboolean
 441 gst_mss_demux_event (GstPad * pad, GstEvent * event)
 442 {
 443   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (GST_PAD_PARENT (pad));
 444   gboolean forward = TRUE;
 445   gboolean ret = TRUE;
 446
 447   switch (GST_EVENT_TYPE (event)) {
 448     case GST_EVENT_EOS:
 449       if (mssdemux->manifest_buffer == NULL) {
 450         GST_WARNING_OBJECT (mssdemux, "Received EOS without a manifest.");
 451         break;
 452       }
 453
 454       if (gst_mss_demux_process_manifest (mssdemux))
 455         gst_mss_demux_start (mssdemux);
 456       forward = FALSE;
 457       break;
 458     default:
 459       break;
 460   }
 461
 462   if (forward) {
 463     ret = gst_pad_event_default (pad, event);
 464   } else {
 465     gst_event_unref (event);
 466   }
 467
 468   return ret;
 469 }
 470
 471 static void
 472 gst_mss_demux_stop_tasks (GstMssDemux * mssdemux, gboolean immediate)
 473 {
 474   GSList *iter;
 475
 476   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 477     GstMssDemuxStream *stream = iter->data;
 478
 479     gst_data_queue_set_flushing (stream->dataqueue, TRUE);
 480
 481     if (immediate)
 482       gst_uri_downloader_cancel (stream->downloader);
 483     gst_task_pause (stream->download_task);
 484   }
 485   gst_task_pause (mssdemux->stream_task);
 486
 487   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 488     GstMssDemuxStream *stream = iter->data;
 489     g_static_rec_mutex_lock (&stream->download_lock);
 490   }
 491   g_static_rec_mutex_lock (&mssdemux->stream_lock);
 492 }
 493
 494 static void
 495 gst_mss_demux_restart_tasks (GstMssDemux * mssdemux)
 496 {
 497   GSList *iter;
 498   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 499     GstMssDemuxStream *stream = iter->data;
 500     g_static_rec_mutex_unlock (&stream->download_lock);
 501   }
 502   g_static_rec_mutex_unlock (&mssdemux->stream_lock);
 503   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 504     GstMssDemuxStream *stream = iter->data;
 505
 506     gst_data_queue_set_flushing (stream->dataqueue, FALSE);
 507     gst_task_start (stream->download_task);
 508   }
 509   gst_task_start (mssdemux->stream_task);
 510 }
 511
 512 static gboolean
 513 gst_mss_demux_src_event (GstPad * pad, GstEvent * event)
 514 {
 515   GstMssDemux *mssdemux;
 516
 517   mssdemux = GST_MSS_DEMUX (GST_PAD_PARENT (pad));
 518
 519   switch (event->type) {
 520     case GST_EVENT_SEEK:
 521     {
 522       gdouble rate;
 523       GstFormat format;
 524       GstSeekFlags flags;
 525       GstSeekType start_type, stop_type;
 526       gint64 start, stop;
 527       GstEvent *newsegment;
 528       GSList *iter;
 529
 530       GST_INFO_OBJECT (mssdemux, "Received GST_EVENT_SEEK");
 531
 532       gst_event_parse_seek (event, &rate, &format, &flags, &start_type, &start,
 533           &stop_type, &stop);
 534
 535       if (format != GST_FORMAT_TIME)
 536         return FALSE;
 537
 538       GST_DEBUG_OBJECT (mssdemux,
 539           "seek event, rate: %f start: %" GST_TIME_FORMAT " stop: %"
 540           GST_TIME_FORMAT, rate, GST_TIME_ARGS (start), GST_TIME_ARGS (stop));
 541
 542       if (flags & GST_SEEK_FLAG_FLUSH) {
 543         GstEvent *flush = gst_event_new_flush_start ();
 544         GST_DEBUG_OBJECT (mssdemux, "sending flush start");
 545
 546         gst_event_set_seqnum (flush, gst_event_get_seqnum (event));
 547         gst_mss_demux_push_src_event (mssdemux, flush);
 548         gst_event_unref (flush);
 549       }
 550
 551       gst_mss_demux_stop_tasks (mssdemux, TRUE);
 552
 553       if (!gst_mss_manifest_seek (mssdemux->manifest, start)) {;
 554         GST_WARNING_OBJECT (mssdemux, "Could not find seeked fragment");
 555         return FALSE;
 556       }
 557
 558       newsegment =
 559           gst_event_new_new_segment (FALSE, rate, format, start, stop, start);
 560       gst_event_set_seqnum (newsegment, gst_event_get_seqnum (event));
 561       for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 562         GstMssDemuxStream *stream = iter->data;
 563
 564         stream->eos = FALSE;
 565         gst_data_queue_flush (stream->dataqueue);
 566         stream->pending_newsegment = gst_event_ref (newsegment);
 567       }
 568       gst_event_unref (newsegment);
 569
 570       if (flags & GST_SEEK_FLAG_FLUSH) {
 571         GstEvent *flush = gst_event_new_flush_stop ();
 572         GST_DEBUG_OBJECT (mssdemux, "sending flush stop");
 573
 574         gst_event_set_seqnum (flush, gst_event_get_seqnum (event));
 575         gst_mss_demux_push_src_event (mssdemux, flush);
 576         gst_event_unref (flush);
 577       }
 578
 579       gst_mss_demux_restart_tasks (mssdemux);
 580
 581       return TRUE;
 582     }
 583     default:
 584       break;
 585   }
 586
 587   return gst_pad_event_default (pad, event);
 588 }
 589
 590 static gboolean
 591 gst_mss_demux_src_query (GstPad * pad, GstQuery * query)
 592 {
 593   GstMssDemux *mssdemux;
 594   gboolean ret = FALSE;
 595
 596   if (query == NULL)
 597     return FALSE;
 598
 599   mssdemux = GST_MSS_DEMUX (GST_PAD_PARENT (pad));
 600
 601   switch (query->type) {
 602     case GST_QUERY_DURATION:{
 603       GstClockTime duration = -1;
 604       GstFormat fmt;
 605
 606       gst_query_parse_duration (query, &fmt, NULL);
 607       if (fmt == GST_FORMAT_TIME && mssdemux->manifest) {
 608         /* TODO should we use the streams accumulated duration or the main manifest duration? */
 609         duration = gst_mss_manifest_get_gst_duration (mssdemux->manifest);
 610
 611         if (GST_CLOCK_TIME_IS_VALID (duration) && duration > 0) {
 612           gst_query_set_duration (query, GST_FORMAT_TIME, duration);
 613           ret = TRUE;
 614         }
 615       }
 616       GST_INFO_OBJECT (mssdemux, "GST_QUERY_DURATION returns %s with duration %"
 617           GST_TIME_FORMAT, ret ? "TRUE" : "FALSE", GST_TIME_ARGS (duration));
 618       break;
 619     }
 620     case GST_QUERY_LATENCY:{
 621       gboolean live = FALSE;
 622
 623       live = mssdemux->manifest
 624           && gst_mss_manifest_is_live (mssdemux->manifest);
 625
 626       gst_query_set_latency (query, live, 0, -1);
 627       ret = TRUE;
 628       break;
 629     }
 630     case GST_QUERY_SEEKING:{
 631       GstFormat fmt;
 632       gint64 stop = -1;
 633
 634       if (mssdemux->manifest && gst_mss_manifest_is_live (mssdemux->manifest)) {
 635         return FALSE;           /* no live seeking */
 636       }
 637
 638       gst_query_parse_seeking (query, &fmt, NULL, NULL, NULL);
 639       GST_INFO_OBJECT (mssdemux, "Received GST_QUERY_SEEKING with format %d",
 640           fmt);
 641       if (fmt == GST_FORMAT_TIME) {
 642         GstClockTime duration;
 643         duration = gst_mss_manifest_get_gst_duration (mssdemux->manifest);
 644         if (GST_CLOCK_TIME_IS_VALID (duration) && duration > 0)
 645           stop = duration;
 646         gst_query_set_seeking (query, fmt, TRUE, 0, stop);
 647         ret = TRUE;
 648         GST_INFO_OBJECT (mssdemux, "GST_QUERY_SEEKING returning with stop : %"
 649             GST_TIME_FORMAT, GST_TIME_ARGS (stop));
 650       }
 651       break;
 652     }
 653     default:
 654       /* Don't fordward queries upstream because of the special nature of this
 655        *  "demuxer", which relies on the upstream element only to be fed
 656        *  the Manifest
 657        */
 658       break;
 659   }
 660
 661   return ret;
 662 }
 663
 664 static void
 665 _set_src_pad_functions (GstPad * pad)
 666 {
 667   gst_pad_set_query_function (pad, GST_DEBUG_FUNCPTR (gst_mss_demux_src_query));
 668   gst_pad_set_event_function (pad, GST_DEBUG_FUNCPTR (gst_mss_demux_src_event));
 669 }
 670
 671 static GstPad *
 672 _create_pad (GstMssDemux * mssdemux, GstMssStream * manifeststream)
 673 {
 674   gchar *name;
 675   GstPad *srcpad = NULL;
 676   GstMssStreamType streamtype;
 677
 678   streamtype = gst_mss_stream_get_type (manifeststream);
 679   GST_DEBUG_OBJECT (mssdemux, "Found stream of type: %s",
 680       gst_mss_stream_type_name (streamtype));
 681
 682   /* TODO use stream's name/bitrate/index as the pad name? */
 683   if (streamtype == MSS_STREAM_TYPE_VIDEO) {
 684     name = g_strdup_printf ("video_%02u", mssdemux->n_videos++);
 685     srcpad =
 686         gst_pad_new_from_static_template (&gst_mss_demux_videosrc_template,
 687         name);
 688     g_free (name);
 689   } else if (streamtype == MSS_STREAM_TYPE_AUDIO) {
 690     name = g_strdup_printf ("audio_%02u", mssdemux->n_audios++);
 691     srcpad =
 692         gst_pad_new_from_static_template (&gst_mss_demux_audiosrc_template,
 693         name);
 694     g_free (name);
 695   }
 696
 697   if (!srcpad) {
 698     GST_WARNING_OBJECT (mssdemux, "Ignoring unknown type stream");
 699     return NULL;
 700   }
 701
 702   _set_src_pad_functions (srcpad);
 703   return srcpad;
 704 }
 705
 706 static void
 707 gst_mss_demux_create_streams (GstMssDemux * mssdemux)
 708 {
 709   GSList *streams = gst_mss_manifest_get_streams (mssdemux->manifest);
 710   GSList *iter;
 711
 712   if (streams == NULL) {
 713     GST_INFO_OBJECT (mssdemux, "No streams found in the manifest");
 714     GST_ELEMENT_ERROR (mssdemux, STREAM, DEMUX,
 715         (_("This file contains no playable streams.")),
 716         ("no streams found at the Manifest"));
 717     return;
 718   }
 719
 720   for (iter = streams; iter; iter = g_slist_next (iter)) {
 721     GstPad *srcpad = NULL;
 722     GstMssDemuxStream *stream = NULL;
 723     GstMssStream *manifeststream = iter->data;
 724
 725     srcpad = _create_pad (mssdemux, manifeststream);
 726
 727     if (!srcpad) {
 728       continue;
 729     }
 730
 731     stream = gst_mss_demux_stream_new (mssdemux, manifeststream, srcpad);
 732     gst_mss_stream_set_active (manifeststream, TRUE);
 733     mssdemux->streams = g_slist_append (mssdemux->streams, stream);
 734   }
 735
 736   /* select initial bitrates */
 737   GST_OBJECT_LOCK (mssdemux);
 738   GST_INFO_OBJECT (mssdemux, "Changing max bitrate to %llu",
 739       mssdemux->connection_speed);
 740   gst_mss_manifest_change_bitrate (mssdemux->manifest,
 741       mssdemux->connection_speed);
 742   mssdemux->update_bitrates = FALSE;
 743   GST_OBJECT_UNLOCK (mssdemux);
 744 }
 745
 746 static gboolean
 747 gst_mss_demux_expose_stream (GstMssDemux * mssdemux, GstMssDemuxStream * stream)
 748 {
 749   GstCaps *caps;
 750   GstCaps *media_caps;
 751   GstPad *pad = stream->pad;
 752
 753   media_caps = gst_mss_stream_get_caps (stream->manifest_stream);
 754
 755   if (media_caps) {
 756     caps = gst_caps_new_simple ("video/quicktime", "variant", G_TYPE_STRING,
 757         "mss-fragmented", "timescale", G_TYPE_UINT64,
 758         gst_mss_stream_get_timescale (stream->manifest_stream), "media-caps",
 759         GST_TYPE_CAPS, media_caps, NULL);
 760     gst_caps_unref (media_caps);
 761     gst_pad_set_caps (pad, caps);
 762     gst_caps_unref (caps);
 763
 764     gst_pad_set_active (pad, TRUE);
 765     GST_INFO_OBJECT (mssdemux, "Adding srcpad %s:%s with caps %" GST_PTR_FORMAT,
 766         GST_DEBUG_PAD_NAME (pad), caps);
 767     gst_object_ref (pad);
 768     gst_element_add_pad (GST_ELEMENT_CAST (mssdemux), pad);
 769   } else {
 770     GST_WARNING_OBJECT (mssdemux,
 771         "Couldn't get caps from manifest stream %p %s, not exposing it", stream,
 772         GST_PAD_NAME (stream->pad));
 773     return FALSE;
 774   }
 775   return TRUE;
 776 }
 777
 778 static gboolean
 779 gst_mss_demux_process_manifest (GstMssDemux * mssdemux)
 780 {
 781   GstQuery *query;
 782   gchar *uri = NULL;
 783   gboolean ret;
 784   GSList *iter;
 785
 786   g_return_val_if_fail (mssdemux->manifest_buffer != NULL, FALSE);
 787   g_return_val_if_fail (mssdemux->manifest == NULL, FALSE);
 788
 789   query = gst_query_new_uri ();
 790   ret = gst_pad_peer_query (mssdemux->sinkpad, query);
 791   if (ret) {
 792     gchar *baseurl_end;
 793     gst_query_parse_uri (query, &uri);
 794     GST_INFO_OBJECT (mssdemux, "Upstream is using URI: %s", uri);
 795
 796     mssdemux->manifest_uri = g_strdup (uri);
 797     baseurl_end = g_strrstr (uri, "/Manifest");
 798     if (baseurl_end) {
 799       /* set the new end of the string */
 800       baseurl_end[0] = '\0';
 801     } else {
 802       GST_WARNING_OBJECT (mssdemux, "Stream's URI didn't end with /manifest");
 803     }
 804
 805     mssdemux->base_url = uri;
 806   }
 807   gst_query_unref (query);
 808
 809   if (mssdemux->base_url == NULL) {
 810     GST_ELEMENT_ERROR (mssdemux, RESOURCE, NOT_FOUND,
 811         (_("Couldn't get the Manifest's URI")),
 812         ("need to get the manifest's URI from upstream elements"));
 813     return FALSE;
 814   }
 815
 816   mssdemux->manifest = gst_mss_manifest_new (mssdemux->manifest_buffer);
 817   if (!mssdemux->manifest) {
 818     GST_ELEMENT_ERROR (mssdemux, STREAM, FORMAT, ("Bad manifest file"),
 819         ("Xml manifest file couldn't be parsed"));
 820     return FALSE;
 821   }
 822
 823   GST_INFO_OBJECT (mssdemux, "Live stream: %d",
 824       gst_mss_manifest_is_live (mssdemux->manifest));
 825
 826   gst_mss_demux_create_streams (mssdemux);
 827   for (iter = mssdemux->streams; iter;) {
 828     GSList *current = iter;
 829     GstMssDemuxStream *stream = iter->data;
 830     iter = g_slist_next (iter); /* do it ourselves as we want it done in the beginning of the loop */
 831     if (!gst_mss_demux_expose_stream (mssdemux, stream)) {
 832       gst_mss_demux_stream_free (stream);
 833       mssdemux->streams = g_slist_delete_link (mssdemux->streams, current);
 834     }
 835   }
 836
 837   if (!mssdemux->streams) {
 838     /* no streams */
 839     GST_WARNING_OBJECT (mssdemux, "Couldn't identify the caps for any of the "
 840         "streams found in the manifest");
 841     GST_ELEMENT_ERROR (mssdemux, STREAM, DEMUX,
 842         (_("This file contains no playable streams.")),
 843         ("No known stream formats found at the Manifest"));
 844     return FALSE;
 845   }
 846
 847   gst_element_no_more_pads (GST_ELEMENT_CAST (mssdemux));
 848   return TRUE;
 849 }
 850
 851 static void
 852 gst_mss_demux_reload_manifest (GstMssDemux * mssdemux)
 853 {
 854   GstUriDownloader *downloader;
 855   GstFragment *manifest_data;
 856   GstBuffer *manifest_buffer;
 857
 858   downloader = gst_uri_downloader_new ();
 859
 860   manifest_data =
 861       gst_uri_downloader_fetch_uri (downloader, mssdemux->manifest_uri);
 862   manifest_buffer = gst_fragment_get_buffer (manifest_data);
 863   g_object_unref (manifest_data);
 864
 865   gst_mss_manifest_reload_fragments (mssdemux->manifest, manifest_buffer);
 866   gst_buffer_replace (&mssdemux->manifest_buffer, manifest_buffer);
 867   gst_buffer_unref (manifest_buffer);
 868
 869   g_object_unref (downloader);
 870 }
 871
 872 static void
 873 gst_mss_demux_reconfigure (GstMssDemux * mssdemux)
 874 {
 875   GSList *oldpads = NULL;
 876   GSList *iter;
 877
 878   gst_mss_demux_stop_tasks (mssdemux, TRUE);
 879   if (gst_mss_manifest_change_bitrate (mssdemux->manifest,
 880           mssdemux->connection_speed)) {
 881     GstClockTime newseg_ts = GST_CLOCK_TIME_NONE;
 882
 883     GST_DEBUG_OBJECT (mssdemux, "Creating new pad group");
 884     /* if we changed the bitrate, we need to add new pads */
 885     for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 886       GstMssDemuxStream *stream = iter->data;
 887       GstPad *oldpad = stream->pad;
 888       GstClockTime ts = GST_CLOCK_TIME_NONE;
 889
 890       oldpads = g_slist_prepend (oldpads, oldpad);
 891
 892       /* since we are flushing the queue, get the next un-pushed timestamp to seek
 893        * and avoid gaps */
 894       gst_data_queue_set_flushing (stream->dataqueue, FALSE);
 895       if (!gst_data_queue_is_empty (stream->dataqueue)) {
 896         GstDataQueueItem *item = NULL;
 897
 898         while (!gst_data_queue_is_empty (stream->dataqueue)
 899             && !GST_CLOCK_TIME_IS_VALID (ts)) {
 900           gst_data_queue_pop (stream->dataqueue, &item);
 901
 902           if (!item) {
 903             g_assert_not_reached ();
 904             break;
 905           }
 906
 907           if (GST_IS_BUFFER (item->object)) {
 908             GstBuffer *buffer = GST_BUFFER_CAST (item->object);
 909
 910             ts = GST_BUFFER_TIMESTAMP (buffer);
 911           }
 912           item->destroy (item);
 913         }
 914
 915       }
 916       if (!GST_CLOCK_TIME_IS_VALID (ts)) {
 917         ts = gst_mss_stream_get_fragment_gst_timestamp
 918             (stream->manifest_stream);
 919       }
 920
 921       if (ts < newseg_ts)
 922         newseg_ts = ts;
 923
 924       GST_DEBUG_OBJECT (mssdemux,
 925           "Seeking stream %p %s to ts %" GST_TIME_FORMAT, stream,
 926           GST_PAD_NAME (stream->pad), GST_TIME_ARGS (ts));
 927       gst_mss_stream_seek (stream->manifest_stream, ts);
 928       gst_data_queue_flush (stream->dataqueue);
 929
 930       stream->pad = _create_pad (mssdemux, stream->manifest_stream);
 931       gst_mss_demux_expose_stream (mssdemux, stream);
 932
 933       gst_pad_push_event (oldpad, gst_event_new_eos ());
 934     }
 935
 936     gst_element_no_more_pads (GST_ELEMENT (mssdemux));
 937
 938     for (iter = oldpads; iter; iter = g_slist_next (iter)) {
 939       GstPad *oldpad = iter->data;
 940
 941       gst_pad_set_active (oldpad, FALSE);
 942       gst_element_remove_pad (GST_ELEMENT (mssdemux), oldpad);
 943       gst_object_unref (oldpad);
 944     }
 945     for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 946       GstMssDemuxStream *stream = iter->data;
 947
 948       stream->pending_newsegment =
 949           gst_event_new_new_segment (TRUE, 1.0, GST_FORMAT_TIME, newseg_ts, -1,
 950           newseg_ts);
 951     }
 952   }
 953   gst_mss_demux_restart_tasks (mssdemux);
 954 }
 955
 956 static void
 957 _free_data_queue_item (gpointer obj)
 958 {
 959   GstDataQueueItem *item = obj;
 960
 961   gst_mini_object_unref (item->object);
 962   g_slice_free (GstDataQueueItem, item);
 963 }
 964
 965 static void
 966 gst_mss_demux_stream_store_object (GstMssDemuxStream * stream,
 967     GstMiniObject * obj)
 968 {
 969   GstDataQueueItem *item;
 970
 971   item = g_slice_new (GstDataQueueItem);
 972   item->object = (GstMiniObject *) obj;
 973
 974   item->duration = 0;           /* we don't care */
 975   item->size = 0;
 976   item->visible = TRUE;
 977
 978   item->destroy = (GDestroyNotify) _free_data_queue_item;
 979
 980   if (!gst_data_queue_push (stream->dataqueue, item)) {
 981     GST_DEBUG_OBJECT (stream->parent, "Failed to store object %p", obj);
 982     gst_mini_object_unref (obj);
 983     g_slice_free (GstDataQueueItem, item);
 984   }
 985 }
 986
 987 static GstFlowReturn
 988 gst_mss_demux_stream_download_fragment (GstMssDemuxStream * stream,
 989     GstBuffer ** buffer)
 990 {
 991   GstMssDemux *mssdemux = stream->parent;
 992   gchar *path;
 993   gchar *url;
 994   GstFragment *fragment;
 995   GstBuffer *_buffer;
 996   GstFlowReturn ret = GST_FLOW_OK;
 997
 998   GST_DEBUG_OBJECT (mssdemux, "Getting url for stream %p", stream);
 999   ret = gst_mss_stream_get_fragment_url (stream->manifest_stream, &path);
1000   switch (ret) {
1001     case GST_FLOW_OK:
1002       break;                    /* all is good, let's go */
1003     case GST_FLOW_UNEXPECTED:  /* EOS */
1004       gst_mss_demux_reload_manifest (mssdemux);
1005       return GST_FLOW_OK;
1006       return GST_FLOW_UNEXPECTED;
1007     case GST_FLOW_ERROR:
1008       goto error;
1009     default:
1010       break;
1011   }
1012   if (!path) {
1013     goto no_url_error;
1014   }
1015   GST_DEBUG_OBJECT (mssdemux, "Got url path '%s' for stream %p", path, stream);
1016
1017   url = g_strdup_printf ("%s/%s", mssdemux->base_url, path);
1018
1019   GST_DEBUG_OBJECT (mssdemux, "Got url '%s' for stream %p", url, stream);
1020
1021   fragment = gst_uri_downloader_fetch_uri (stream->downloader, url);
1022   g_free (path);
1023   g_free (url);
1024
1025   if (!fragment) {
1026     GST_INFO_OBJECT (mssdemux, "No fragment downloaded");
1027     /* TODO check if we are truly stoping */
1028     if (gst_mss_manifest_is_live (mssdemux->manifest)) {
1029       /* looks like there is no way of knowing when a live stream has ended
1030        * Have to assume we are falling behind and cause a manifest reload */
1031       return GST_FLOW_OK;
1032     }
1033     return GST_FLOW_ERROR;
1034   }
1035
1036   _buffer = gst_fragment_get_buffer (fragment);
1037   _buffer = gst_buffer_make_metadata_writable (_buffer);
1038   gst_buffer_set_caps (_buffer, GST_PAD_CAPS (stream->pad));
1039   GST_BUFFER_TIMESTAMP (_buffer) =
1040       gst_mss_stream_get_fragment_gst_timestamp (stream->manifest_stream);
1041   GST_BUFFER_DURATION (_buffer) =
1042       gst_mss_stream_get_fragment_gst_duration (stream->manifest_stream);
1043
1044   g_object_unref (fragment);
1045
1046   if (buffer)
1047     *buffer = _buffer;
1048
1049   if (_buffer) {
1050     GST_DEBUG_OBJECT (mssdemux,
1051         "Storing buffer for stream %p - %s. Timestamp: %" GST_TIME_FORMAT
1052         " Duration: %" GST_TIME_FORMAT,
1053         stream, GST_PAD_NAME (stream->pad),
1054         GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (_buffer)),
1055         GST_TIME_ARGS (GST_BUFFER_DURATION (_buffer)));
1056     gst_mss_demux_stream_store_object (stream, GST_MINI_OBJECT_CAST (_buffer));
1057   }
1058
1059   return ret;
1060
1061 no_url_error:
1062   {
1063     GST_ELEMENT_ERROR (mssdemux, STREAM, DEMUX,
1064         (_("Failed to get fragment URL.")),
1065         ("An error happened when getting fragment URL"));
1066     gst_task_stop (stream->download_task);
1067     return GST_FLOW_ERROR;
1068   }
1069 error:
1070   {
1071     GST_WARNING_OBJECT (mssdemux, "Error while pushing fragment");
1072     gst_task_stop (stream->download_task);
1073     return GST_FLOW_ERROR;
1074   }
1075 }
1076
1077 static void
1078 gst_mss_demux_download_loop (GstMssDemuxStream * stream)
1079 {
1080   GstMssDemux *mssdemux = stream->parent;
1081   GstBuffer *buffer = NULL;
1082   GstFlowReturn ret;
1083
1084   GST_LOG_OBJECT (mssdemux, "download loop start %p", stream);
1085
1086
1087   ret = gst_mss_demux_stream_download_fragment (stream, &buffer);
1088   switch (ret) {
1089     case GST_FLOW_OK:
1090       break;                    /* all is good, let's go */
1091     case GST_FLOW_UNEXPECTED:  /* EOS */
1092       goto eos;
1093     case GST_FLOW_ERROR:
1094       goto error;
1095     default:
1096       break;
1097   }
1098
1099   if (buffer) {
1100     gst_mss_stream_advance_fragment (stream->manifest_stream);
1101   }
1102   GST_LOG_OBJECT (mssdemux, "download loop end %p", stream);
1103   return;
1104
1105 eos:
1106   {
1107     GST_DEBUG_OBJECT (mssdemux, "Storing EOS for pad %s:%s",
1108         GST_DEBUG_PAD_NAME (stream->pad));
1109     gst_mss_demux_stream_store_object (stream,
1110         GST_MINI_OBJECT_CAST (gst_event_new_eos ()));
1111     gst_task_stop (stream->download_task);
1112     return;
1113   }
1114 error:
1115   {
1116     GST_WARNING_OBJECT (mssdemux, "Error while pushing fragment");
1117     gst_task_stop (stream->download_task);
1118     return;
1119   }
1120 }
1121
1122 static GstFlowReturn
1123 gst_mss_demux_select_latest_stream (GstMssDemux * mssdemux,
1124     GstMssDemuxStream ** stream)
1125 {
1126   GstFlowReturn ret = GST_FLOW_OK;
1127   GstMssDemuxStream *current = NULL;
1128   GstClockTime cur_time = GST_CLOCK_TIME_NONE;
1129   GSList *iter;
1130
1131   if (!mssdemux->streams)
1132     return GST_FLOW_ERROR;
1133
1134   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
1135     GstClockTime time;
1136     GstMssDemuxStream *other;
1137     GstDataQueueItem *item;
1138
1139     other = iter->data;
1140     if (other->eos) {
1141       continue;
1142     }
1143
1144     if (gst_data_queue_peek (other->dataqueue, &item)) {
1145     } else {
1146       /* flushing */
1147       return GST_FLOW_WRONG_STATE;
1148     }
1149
1150     if (GST_IS_EVENT (item->object)) {
1151       /* events have higher priority */
1152       current = other;
1153       break;
1154     }
1155     time = GST_BUFFER_TIMESTAMP (GST_BUFFER_CAST (item->object));
1156     if (time < cur_time) {
1157       cur_time = time;
1158       current = other;
1159     }
1160   }
1161
1162   *stream = current;
1163   if (current == NULL)
1164     ret = GST_FLOW_UNEXPECTED;
1165   return ret;
1166 }
1167
1168 static void
1169 gst_mss_demux_stream_loop (GstMssDemux * mssdemux)
1170 {
1171   GstMssDemuxStream *stream = NULL;
1172   GstFlowReturn ret;
1173   GstMiniObject *object = NULL;
1174   GstDataQueueItem *item = NULL;
1175
1176   GST_LOG_OBJECT (mssdemux, "Starting stream loop");
1177
1178   GST_OBJECT_LOCK (mssdemux);
1179   if (mssdemux->update_bitrates) {
1180     mssdemux->update_bitrates = FALSE;
1181     GST_OBJECT_UNLOCK (mssdemux);
1182
1183     GST_DEBUG_OBJECT (mssdemux,
1184         "Starting streams reconfiguration due to bitrate changes");
1185     gst_mss_demux_reconfigure (mssdemux);
1186     GST_DEBUG_OBJECT (mssdemux, "Finished streams reconfiguration");
1187   } else {
1188     GST_OBJECT_UNLOCK (mssdemux);
1189   }
1190
1191   ret = gst_mss_demux_select_latest_stream (mssdemux, &stream);
1192
1193   if (stream)
1194     GST_DEBUG_OBJECT (mssdemux,
1195         "Stream loop selected %p stream of pad %s. %d - %s", stream,
1196         GST_PAD_NAME (stream->pad), ret, gst_flow_get_name (ret));
1197   else
1198     GST_DEBUG_OBJECT (mssdemux, "No streams selected -> %d - %s", ret,
1199         gst_flow_get_name (ret));
1200
1201   switch (ret) {
1202     case GST_FLOW_OK:
1203       break;
1204     case GST_FLOW_ERROR:
1205       goto error;
1206     case GST_FLOW_UNEXPECTED:
1207       goto eos;
1208     case GST_FLOW_WRONG_STATE:
1209       GST_DEBUG_OBJECT (mssdemux, "Wrong state, stopping task");
1210       goto stop;
1211     default:
1212       g_assert_not_reached ();
1213   }
1214
1215   GST_LOG_OBJECT (mssdemux, "popping next item from queue for stream %p %s",
1216       stream, GST_PAD_NAME (stream->pad));
1217   if (gst_data_queue_pop (stream->dataqueue, &item)) {
1218     if (item->object)
1219       object = gst_mini_object_ref (item->object);
1220     item->destroy (item);
1221   } else {
1222     GST_DEBUG_OBJECT (mssdemux,
1223         "Failed to get object from dataqueue on stream %p %s", stream,
1224         GST_PAD_NAME (stream->pad));
1225     goto stop;
1226   }
1227
1228   if (G_UNLIKELY (stream->pending_newsegment)) {
1229     gst_pad_push_event (stream->pad, stream->pending_newsegment);
1230     stream->pending_newsegment = NULL;
1231   }
1232
1233   if (G_LIKELY (GST_IS_BUFFER (object))) {
1234     if (GST_BUFFER_TIMESTAMP (object) != stream->next_timestamp) {
1235       GST_ERROR_OBJECT (mssdemux, "Marking buffer %p as discont buffer:%"
1236           GST_TIME_FORMAT " != expected:%" GST_TIME_FORMAT, object,
1237           GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (object)),
1238           GST_TIME_ARGS (stream->next_timestamp));
1239       GST_BUFFER_FLAG_SET (object, GST_BUFFER_FLAG_DISCONT);
1240     }
1241
1242     GST_DEBUG_OBJECT (mssdemux,
1243         "Pushing buffer %p %" GST_TIME_FORMAT ", duration %" GST_TIME_FORMAT
1244         " discont:%d on pad %s", object,
1245         GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (object)),
1246         GST_TIME_ARGS (GST_BUFFER_DURATION (object)),
1247         GST_BUFFER_FLAG_IS_SET (object, GST_BUFFER_FLAG_DISCONT),
1248         GST_PAD_NAME (stream->pad));
1249
1250     stream->next_timestamp =
1251         GST_BUFFER_TIMESTAMP (object) + GST_BUFFER_DURATION (object);
1252
1253     ret = gst_pad_push (stream->pad, GST_BUFFER_CAST (object));
1254   } else if (GST_IS_EVENT (object)) {
1255     if (GST_EVENT_TYPE (object) == GST_EVENT_EOS)
1256       stream->eos = TRUE;
1257     GST_DEBUG_OBJECT (mssdemux, "Pushing event %p on pad %s", object,
1258         GST_PAD_NAME (stream->pad));
1259     gst_pad_push_event (stream->pad, GST_EVENT_CAST (object));
1260   } else {
1261     g_return_if_reached ();
1262   }
1263
1264   switch (ret) {
1265     case GST_FLOW_UNEXPECTED:
1266       goto eos;                 /* EOS ? */
1267     case GST_FLOW_ERROR:
1268       goto error;
1269     case GST_FLOW_NOT_LINKED:
1270       break;                    /* TODO what to do here? pause the task or just keep pushing? */
1271     case GST_FLOW_OK:
1272     default:
1273       break;
1274   }
1275
1276   GST_LOG_OBJECT (mssdemux, "Stream loop end");
1277   return;
1278
1279 eos:
1280   {
1281     GST_DEBUG_OBJECT (mssdemux, "EOS on all pads");
1282     gst_task_stop (mssdemux->stream_task);
1283     return;
1284   }
1285 error:
1286   {
1287     GST_WARNING_OBJECT (mssdemux, "Error while pushing fragment");
1288     gst_task_stop (mssdemux->stream_task);
1289     return;
1290   }
1291 stop:
1292   {
1293     GST_DEBUG_OBJECT (mssdemux, "Stopping streaming task");
1294     gst_task_stop (mssdemux->stream_task);
1295     return;
1296   }
1297 }