ext/smoothstreaming/gstmssdemux.c

   1 /* GStreamer
   2  * Copyright (C) 2012 Smart TV Alliance
   3  *  Author: Thiago Sousa Santos <thiago.sousa.santos@collabora.com>, Collabora Ltd.
   4  *
   5  * gstmssdemux.c:
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Library General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Library General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Library General Public
  18  * License along with this library; if not, write to the
  19  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
  20  * Boston, MA 02111-1307, USA.
  21  */
  22
  23 /**
  24  * SECTION:element-mssdemux
  25  *
  26  * Demuxes a Microsoft's Smooth Streaming manifest into its audio and/or video streams.
  27  *
  28  * TODO
  29  */
  30
  31 #ifdef HAVE_CONFIG_H
  32 #include "config.h"
  33 #endif
  34
  35 #include "gst/gst-i18n-plugin.h"
  36
  37 #include <stdio.h>
  38 #include <stdlib.h>
  39 #include <string.h>
  40
  41 #include "gstmssdemux.h"
  42
  43 GST_DEBUG_CATEGORY (mssdemux_debug);
  44
  45 #define DEFAULT_CONNECTION_SPEED 0
  46
  47 enum
  48 {
  49   PROP_0,
  50
  51   PROP_CONNECTION_SPEED,
  52   PROP_LAST
  53 };
  54
  55 static GstStaticPadTemplate gst_mss_demux_sink_template =
  56 GST_STATIC_PAD_TEMPLATE ("sink",
  57     GST_PAD_SINK,
  58     GST_PAD_ALWAYS,
  59     GST_STATIC_CAPS ("application/vnd.ms-sstr+xml")
  60     );
  61
  62 static GstStaticPadTemplate gst_mss_demux_videosrc_template =
  63 GST_STATIC_PAD_TEMPLATE ("video_%02u",
  64     GST_PAD_SRC,
  65     GST_PAD_SOMETIMES,
  66     GST_STATIC_CAPS_ANY);
  67
  68 static GstStaticPadTemplate gst_mss_demux_audiosrc_template =
  69 GST_STATIC_PAD_TEMPLATE ("audio_%02u",
  70     GST_PAD_SRC,
  71     GST_PAD_SOMETIMES,
  72     GST_STATIC_CAPS_ANY);
  73
  74 GST_BOILERPLATE (GstMssDemux, gst_mss_demux, GstMssDemux, GST_TYPE_ELEMENT);
  75
  76 static void gst_mss_demux_dispose (GObject * object);
  77 static void gst_mss_demux_set_property (GObject * object, guint prop_id,
  78     const GValue * value, GParamSpec * pspec);
  79 static void gst_mss_demux_get_property (GObject * object, guint prop_id,
  80     GValue * value, GParamSpec * pspec);
  81 static GstStateChangeReturn gst_mss_demux_change_state (GstElement * element,
  82     GstStateChange transition);
  83 static GstFlowReturn gst_mss_demux_chain (GstPad * pad, GstBuffer * buffer);
  84 static GstFlowReturn gst_mss_demux_event (GstPad * pad, GstEvent * event);
  85
  86 static gboolean gst_mss_demux_src_query (GstPad * pad, GstQuery * query);
  87
  88 static void gst_mss_demux_download_loop (GstMssDemuxStream * stream);
  89 static void gst_mss_demux_stream_loop (GstMssDemux * mssdemux);
  90
  91 static void gst_mss_demux_process_manifest (GstMssDemux * mssdemux);
  92
  93 static void
  94 gst_mss_demux_base_init (gpointer klass)
  95 {
  96   GstElementClass *element_class = GST_ELEMENT_CLASS (klass);
  97
  98   gst_element_class_add_static_pad_template (element_class,
  99       &gst_mss_demux_sink_template);
 100   gst_element_class_add_static_pad_template (element_class,
 101       &gst_mss_demux_videosrc_template);
 102   gst_element_class_add_static_pad_template (element_class,
 103       &gst_mss_demux_audiosrc_template);
 104   gst_element_class_set_details_simple (element_class, "Smooth Streaming "
 105       "demuxer", "Demuxer",
 106       "Parse and demultiplex a Smooth Streaming manifest into audio and video "
 107       "streams", "Thiago Santos <thiago.sousa.santos@collabora.com>");
 108
 109   GST_DEBUG_CATEGORY_INIT (mssdemux_debug, "mssdemux", 0, "mssdemux plugin");
 110 }
 111
 112 static void
 113 gst_mss_demux_class_init (GstMssDemuxClass * klass)
 114 {
 115   GObjectClass *gobject_class;
 116   GstElementClass *gstelement_class;
 117
 118   gobject_class = (GObjectClass *) klass;
 119   gstelement_class = (GstElementClass *) klass;
 120
 121   parent_class = g_type_class_peek_parent (klass);
 122
 123   gobject_class->dispose = gst_mss_demux_dispose;
 124   gobject_class->set_property = gst_mss_demux_set_property;
 125   gobject_class->get_property = gst_mss_demux_get_property;
 126
 127   g_object_class_install_property (gobject_class, PROP_CONNECTION_SPEED,
 128       g_param_spec_uint ("connection-speed", "Connection Speed",
 129           "Network connection speed in kbps (0 = unknown)",
 130           0, G_MAXUINT / 1000, DEFAULT_CONNECTION_SPEED,
 131           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
 132
 133   gstelement_class->change_state =
 134       GST_DEBUG_FUNCPTR (gst_mss_demux_change_state);
 135 }
 136
 137 static void
 138 gst_mss_demux_init (GstMssDemux * mssdemux, GstMssDemuxClass * klass)
 139 {
 140   mssdemux->sinkpad =
 141       gst_pad_new_from_static_template (&gst_mss_demux_sink_template, "sink");
 142   gst_pad_set_chain_function (mssdemux->sinkpad,
 143       GST_DEBUG_FUNCPTR (gst_mss_demux_chain));
 144   gst_pad_set_event_function (mssdemux->sinkpad,
 145       GST_DEBUG_FUNCPTR (gst_mss_demux_event));
 146   gst_element_add_pad (GST_ELEMENT_CAST (mssdemux), mssdemux->sinkpad);
 147
 148   g_static_rec_mutex_init (&mssdemux->stream_lock);
 149   mssdemux->stream_task =
 150       gst_task_create ((GstTaskFunction) gst_mss_demux_stream_loop, mssdemux);
 151   gst_task_set_lock (mssdemux->stream_task, &mssdemux->stream_lock);
 152 }
 153
 154 static gboolean
 155 _data_queue_check_full (GstDataQueue * queue, guint visible, guint bytes,
 156     guint64 time, gpointer checkdata)
 157 {
 158   GstMssDemuxStream *stream = checkdata;
 159   GstMssDemux *mssdemux = stream->parent;
 160
 161   if (mssdemux->data_queue_max_size == 0)
 162     return FALSE;               /* never full */
 163   return visible >= mssdemux->data_queue_max_size;
 164 }
 165
 166 static GstMssDemuxStream *
 167 gst_mss_demux_stream_new (GstMssDemux * mssdemux,
 168     GstMssStream * manifeststream, GstPad * srcpad)
 169 {
 170   GstMssDemuxStream *stream;
 171
 172   stream = g_new0 (GstMssDemuxStream, 1);
 173   stream->downloader = gst_uri_downloader_new ();
 174   stream->dataqueue = gst_data_queue_new (_data_queue_check_full, stream);
 175
 176   /* Downloading task */
 177   g_static_rec_mutex_init (&stream->download_lock);
 178   stream->download_task =
 179       gst_task_create ((GstTaskFunction) gst_mss_demux_download_loop, stream);
 180   gst_task_set_lock (stream->download_task, &stream->download_lock);
 181
 182   stream->pad = srcpad;
 183   stream->manifest_stream = manifeststream;
 184   stream->parent = mssdemux;
 185
 186   return stream;
 187 }
 188
 189 static void
 190 gst_mss_demux_stream_free (GstMssDemuxStream * stream)
 191 {
 192   if (stream->download_task) {
 193     if (GST_TASK_STATE (stream->download_task) != GST_TASK_STOPPED) {
 194       GST_DEBUG_OBJECT (stream->parent, "Leaving streaming task %s:%s",
 195           GST_DEBUG_PAD_NAME (stream->pad));
 196       gst_task_stop (stream->download_task);
 197       g_static_rec_mutex_lock (&stream->download_lock);
 198       g_static_rec_mutex_unlock (&stream->download_lock);
 199       GST_LOG_OBJECT (stream->parent, "Waiting for task to finish");
 200       gst_task_join (stream->download_task);
 201       GST_LOG_OBJECT (stream->parent, "Finished");
 202     }
 203     gst_object_unref (stream->download_task);
 204     g_static_rec_mutex_free (&stream->download_lock);
 205     stream->download_task = NULL;
 206   }
 207
 208   if (stream->pending_newsegment) {
 209     gst_event_unref (stream->pending_newsegment);
 210     stream->pending_newsegment = NULL;
 211   }
 212
 213
 214   if (stream->downloader != NULL) {
 215     g_object_unref (stream->downloader);
 216     stream->downloader = NULL;
 217   }
 218   if (stream->dataqueue) {
 219     g_object_unref (stream->dataqueue);
 220     stream->dataqueue = NULL;
 221   }
 222   if (stream->pad) {
 223     gst_object_unref (stream->pad);
 224     stream->pad = NULL;
 225   }
 226   g_free (stream);
 227 }
 228
 229 static void
 230 gst_mss_demux_reset (GstMssDemux * mssdemux)
 231 {
 232   GSList *iter;
 233
 234   if (GST_TASK_STATE (mssdemux->stream_task) != GST_TASK_STOPPED) {
 235     gst_task_stop (mssdemux->stream_task);
 236     g_static_rec_mutex_lock (&mssdemux->stream_lock);
 237     g_static_rec_mutex_unlock (&mssdemux->stream_lock);
 238     gst_task_join (mssdemux->stream_task);
 239   }
 240
 241   if (mssdemux->manifest_buffer) {
 242     gst_buffer_unref (mssdemux->manifest_buffer);
 243     mssdemux->manifest_buffer = NULL;
 244   }
 245
 246   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 247     GstMssDemuxStream *stream = iter->data;
 248     gst_element_remove_pad (GST_ELEMENT_CAST (mssdemux), stream->pad);
 249     gst_mss_demux_stream_free (stream);
 250   }
 251   g_slist_free (mssdemux->streams);
 252   mssdemux->streams = NULL;
 253
 254   if (mssdemux->manifest) {
 255     gst_mss_manifest_free (mssdemux->manifest);
 256     mssdemux->manifest = NULL;
 257   }
 258
 259   mssdemux->n_videos = mssdemux->n_audios = 0;
 260   g_free (mssdemux->base_url);
 261   mssdemux->base_url = NULL;
 262 }
 263
 264 static void
 265 gst_mss_demux_dispose (GObject * object)
 266 {
 267   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (object);
 268
 269   if (mssdemux->stream_task) {
 270     gst_object_unref (mssdemux->stream_task);
 271     g_static_rec_mutex_free (&mssdemux->stream_lock);
 272     mssdemux->stream_task = NULL;
 273   }
 274
 275   G_OBJECT_CLASS (parent_class)->dispose (object);
 276 }
 277
 278 static void
 279 gst_mss_demux_set_property (GObject * object, guint prop_id,
 280     const GValue * value, GParamSpec * pspec)
 281 {
 282   GstMssDemux *mssdemux = GST_MSS_DEMUX (object);
 283
 284   switch (prop_id) {
 285     case PROP_CONNECTION_SPEED:
 286       GST_OBJECT_LOCK (mssdemux);
 287       mssdemux->connection_speed = g_value_get_uint (value) * 1000;
 288       mssdemux->update_bitrates = TRUE;
 289       GST_DEBUG_OBJECT (mssdemux, "Connection speed set to %llu",
 290           mssdemux->connection_speed);
 291       GST_OBJECT_UNLOCK (mssdemux);
 292       break;
 293     default:
 294       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 295       break;
 296   }
 297 }
 298
 299 static void
 300 gst_mss_demux_get_property (GObject * object, guint prop_id, GValue * value,
 301     GParamSpec * pspec)
 302 {
 303   GstMssDemux *mssdemux = GST_MSS_DEMUX (object);
 304
 305   switch (prop_id) {
 306     case PROP_CONNECTION_SPEED:
 307       g_value_set_uint (value, mssdemux->connection_speed / 1000);
 308       break;
 309     default:
 310       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
 311       break;
 312   }
 313 }
 314
 315 static GstStateChangeReturn
 316 gst_mss_demux_change_state (GstElement * element, GstStateChange transition)
 317 {
 318   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (element);
 319   GstStateChangeReturn result = GST_STATE_CHANGE_FAILURE;
 320
 321   switch (transition) {
 322     case GST_STATE_CHANGE_PAUSED_TO_READY:
 323       gst_mss_demux_reset (mssdemux);
 324       break;
 325     case GST_STATE_CHANGE_READY_TO_NULL:
 326       break;
 327     default:
 328       break;
 329   }
 330
 331   result = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
 332
 333   switch (transition) {
 334     case GST_STATE_CHANGE_PAUSED_TO_READY:{
 335       break;
 336     }
 337     default:
 338       break;
 339   }
 340
 341   return result;
 342 }
 343
 344 static GstFlowReturn
 345 gst_mss_demux_chain (GstPad * pad, GstBuffer * buffer)
 346 {
 347   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (GST_PAD_PARENT (pad));
 348   if (mssdemux->manifest_buffer == NULL)
 349     mssdemux->manifest_buffer = buffer;
 350   else
 351     mssdemux->manifest_buffer =
 352         gst_buffer_join (mssdemux->manifest_buffer, buffer);
 353
 354   return GST_FLOW_OK;
 355 }
 356
 357 static void
 358 gst_mss_demux_start (GstMssDemux * mssdemux)
 359 {
 360   GSList *iter;
 361
 362   GST_INFO_OBJECT (mssdemux, "Starting streams' tasks");
 363   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 364     GstMssDemuxStream *stream = iter->data;
 365     gst_task_start (stream->download_task);
 366   }
 367
 368   gst_task_start (mssdemux->stream_task);
 369 }
 370
 371 static gboolean
 372 gst_mss_demux_push_src_event (GstMssDemux * mssdemux, GstEvent * event)
 373 {
 374   GSList *iter;
 375   gboolean ret = TRUE;
 376
 377   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 378     GstMssDemuxStream *stream = iter->data;
 379     gst_event_ref (event);
 380     ret = ret & gst_pad_push_event (stream->pad, event);
 381   }
 382   return ret;
 383 }
 384
 385 static gboolean
 386 gst_mss_demux_event (GstPad * pad, GstEvent * event)
 387 {
 388   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (GST_PAD_PARENT (pad));
 389   gboolean forward = TRUE;
 390   gboolean ret = TRUE;
 391
 392   switch (GST_EVENT_TYPE (event)) {
 393     case GST_EVENT_EOS:
 394       if (mssdemux->manifest_buffer == NULL) {
 395         GST_WARNING_OBJECT (mssdemux, "Received EOS without a manifest.");
 396         break;
 397       }
 398
 399       gst_mss_demux_process_manifest (mssdemux);
 400       gst_mss_demux_start (mssdemux);
 401       forward = FALSE;
 402       break;
 403     default:
 404       break;
 405   }
 406
 407   if (forward) {
 408     ret = gst_pad_event_default (pad, event);
 409   } else {
 410     gst_event_unref (event);
 411   }
 412
 413   return ret;
 414 }
 415
 416 static void
 417 gst_mss_demux_stop_tasks (GstMssDemux * mssdemux, gboolean immediate)
 418 {
 419   GSList *iter;
 420
 421   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 422     GstMssDemuxStream *stream = iter->data;
 423
 424     gst_data_queue_set_flushing (stream->dataqueue, TRUE);
 425
 426     if (immediate)
 427       gst_uri_downloader_cancel (stream->downloader);
 428     gst_task_pause (stream->download_task);
 429   }
 430   gst_task_pause (mssdemux->stream_task);
 431
 432   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 433     GstMssDemuxStream *stream = iter->data;
 434     g_static_rec_mutex_lock (&stream->download_lock);
 435   }
 436   g_static_rec_mutex_lock (&mssdemux->stream_lock);
 437 }
 438
 439 static void
 440 gst_mss_demux_restart_tasks (GstMssDemux * mssdemux)
 441 {
 442   GSList *iter;
 443   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 444     GstMssDemuxStream *stream = iter->data;
 445     g_static_rec_mutex_unlock (&stream->download_lock);
 446   }
 447   g_static_rec_mutex_unlock (&mssdemux->stream_lock);
 448   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 449     GstMssDemuxStream *stream = iter->data;
 450
 451     gst_data_queue_set_flushing (stream->dataqueue, FALSE);
 452     gst_task_start (stream->download_task);
 453   }
 454   gst_task_start (mssdemux->stream_task);
 455 }
 456
 457 static gboolean
 458 gst_mss_demux_src_event (GstPad * pad, GstEvent * event)
 459 {
 460   GstMssDemux *mssdemux;
 461
 462   mssdemux = GST_MSS_DEMUX (GST_PAD_PARENT (pad));
 463
 464   switch (event->type) {
 465     case GST_EVENT_SEEK:
 466     {
 467       gdouble rate;
 468       GstFormat format;
 469       GstSeekFlags flags;
 470       GstSeekType start_type, stop_type;
 471       gint64 start, stop;
 472       GstEvent *newsegment;
 473       GSList *iter;
 474
 475       GST_INFO_OBJECT (mssdemux, "Received GST_EVENT_SEEK");
 476
 477       gst_event_parse_seek (event, &rate, &format, &flags, &start_type, &start,
 478           &stop_type, &stop);
 479
 480       if (format != GST_FORMAT_TIME)
 481         return FALSE;
 482
 483       GST_DEBUG_OBJECT (mssdemux,
 484           "seek event, rate: %f start: %" GST_TIME_FORMAT " stop: %"
 485           GST_TIME_FORMAT, rate, GST_TIME_ARGS (start), GST_TIME_ARGS (stop));
 486
 487       if (flags & GST_SEEK_FLAG_FLUSH) {
 488         GstEvent *flush = gst_event_new_flush_start ();
 489         GST_DEBUG_OBJECT (mssdemux, "sending flush start");
 490
 491         gst_event_set_seqnum (flush, gst_event_get_seqnum (event));
 492         gst_mss_demux_push_src_event (mssdemux, flush);
 493         gst_event_unref (flush);
 494       }
 495
 496       gst_mss_demux_stop_tasks (mssdemux, TRUE);
 497
 498       if (!gst_mss_manifest_seek (mssdemux->manifest, start)) {;
 499         GST_WARNING_OBJECT (mssdemux, "Could not find seeked fragment");
 500         return FALSE;
 501       }
 502
 503       newsegment =
 504           gst_event_new_new_segment (FALSE, rate, format, start, stop, start);
 505       gst_event_set_seqnum (newsegment, gst_event_get_seqnum (event));
 506       for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 507         GstMssDemuxStream *stream = iter->data;
 508
 509         stream->eos = FALSE;
 510         gst_data_queue_flush (stream->dataqueue);
 511         stream->pending_newsegment = gst_event_ref (newsegment);
 512       }
 513       gst_event_unref (newsegment);
 514
 515       if (flags & GST_SEEK_FLAG_FLUSH) {
 516         GstEvent *flush = gst_event_new_flush_stop ();
 517         GST_DEBUG_OBJECT (mssdemux, "sending flush stop");
 518
 519         gst_event_set_seqnum (flush, gst_event_get_seqnum (event));
 520         gst_mss_demux_push_src_event (mssdemux, flush);
 521         gst_event_unref (flush);
 522       }
 523
 524       gst_mss_demux_restart_tasks (mssdemux);
 525
 526       return TRUE;
 527     }
 528     default:
 529       break;
 530   }
 531
 532   return gst_pad_event_default (pad, event);
 533 }
 534
 535 static gboolean
 536 gst_mss_demux_src_query (GstPad * pad, GstQuery * query)
 537 {
 538   GstMssDemux *mssdemux;
 539   gboolean ret = FALSE;
 540
 541   if (query == NULL)
 542     return FALSE;
 543
 544   mssdemux = GST_MSS_DEMUX (GST_PAD_PARENT (pad));
 545
 546   switch (query->type) {
 547     case GST_QUERY_DURATION:{
 548       GstClockTime duration = -1;
 549       GstFormat fmt;
 550
 551       gst_query_parse_duration (query, &fmt, NULL);
 552       if (fmt == GST_FORMAT_TIME && mssdemux->manifest) {
 553         /* TODO should we use the streams accumulated duration or the main manifest duration? */
 554         duration = gst_mss_manifest_get_gst_duration (mssdemux->manifest);
 555
 556         if (GST_CLOCK_TIME_IS_VALID (duration) && duration > 0) {
 557           gst_query_set_duration (query, GST_FORMAT_TIME, duration);
 558           ret = TRUE;
 559         }
 560       }
 561       GST_INFO_OBJECT (mssdemux, "GST_QUERY_DURATION returns %s with duration %"
 562           GST_TIME_FORMAT, ret ? "TRUE" : "FALSE", GST_TIME_ARGS (duration));
 563       break;
 564     }
 565     case GST_QUERY_LATENCY:
 566       gst_query_set_latency (query, FALSE, 0, -1);
 567       ret = TRUE;
 568       break;
 569     case GST_QUERY_SEEKING:{
 570       GstFormat fmt;
 571       gint64 stop = -1;
 572
 573       gst_query_parse_seeking (query, &fmt, NULL, NULL, NULL);
 574       GST_INFO_OBJECT (mssdemux, "Received GST_QUERY_SEEKING with format %d",
 575           fmt);
 576       if (fmt == GST_FORMAT_TIME) {
 577         GstClockTime duration;
 578         duration = gst_mss_manifest_get_gst_duration (mssdemux->manifest);
 579         if (GST_CLOCK_TIME_IS_VALID (duration) && duration > 0)
 580           stop = duration;
 581         gst_query_set_seeking (query, fmt, TRUE, 0, stop);
 582         ret = TRUE;
 583         GST_INFO_OBJECT (mssdemux, "GST_QUERY_SEEKING returning with stop : %"
 584             GST_TIME_FORMAT, GST_TIME_ARGS (stop));
 585       }
 586       break;
 587     }
 588     default:
 589       /* Don't fordward queries upstream because of the special nature of this
 590        *  "demuxer", which relies on the upstream element only to be fed
 591        *  the Manifest
 592        */
 593       break;
 594   }
 595
 596   return ret;
 597 }
 598
 599 static void
 600 _set_src_pad_functions (GstPad * pad)
 601 {
 602   gst_pad_set_query_function (pad, GST_DEBUG_FUNCPTR (gst_mss_demux_src_query));
 603   gst_pad_set_event_function (pad, GST_DEBUG_FUNCPTR (gst_mss_demux_src_event));
 604 }
 605
 606 static GstPad *
 607 _create_pad (GstMssDemux * mssdemux, GstMssStream * manifeststream)
 608 {
 609   gchar *name;
 610   GstPad *srcpad = NULL;
 611   GstMssStreamType streamtype;
 612
 613   streamtype = gst_mss_stream_get_type (manifeststream);
 614   GST_DEBUG_OBJECT (mssdemux, "Found stream of type: %s",
 615       gst_mss_stream_type_name (streamtype));
 616
 617   /* TODO use stream's name/bitrate/index as the pad name? */
 618   if (streamtype == MSS_STREAM_TYPE_VIDEO) {
 619     name = g_strdup_printf ("video_%02u", mssdemux->n_videos++);
 620     srcpad =
 621         gst_pad_new_from_static_template (&gst_mss_demux_videosrc_template,
 622         name);
 623     g_free (name);
 624   } else if (streamtype == MSS_STREAM_TYPE_AUDIO) {
 625     name = g_strdup_printf ("audio_%02u", mssdemux->n_audios++);
 626     srcpad =
 627         gst_pad_new_from_static_template (&gst_mss_demux_audiosrc_template,
 628         name);
 629     g_free (name);
 630   }
 631
 632   if (!srcpad) {
 633     GST_WARNING_OBJECT (mssdemux, "Ignoring unknown type stream");
 634     return NULL;
 635   }
 636
 637   _set_src_pad_functions (srcpad);
 638   return srcpad;
 639 }
 640
 641 static void
 642 gst_mss_demux_create_streams (GstMssDemux * mssdemux)
 643 {
 644   GSList *streams = gst_mss_manifest_get_streams (mssdemux->manifest);
 645   GSList *iter;
 646
 647   if (streams == NULL) {
 648     GST_INFO_OBJECT (mssdemux, "No streams found in the manifest");
 649     GST_ELEMENT_ERROR (mssdemux, STREAM, DEMUX,
 650         (_("This file contains no playable streams.")),
 651         ("no streams found at the Manifest"));
 652     return;
 653   }
 654
 655   for (iter = streams; iter; iter = g_slist_next (iter)) {
 656     GstPad *srcpad = NULL;
 657     GstMssDemuxStream *stream = NULL;
 658     GstMssStream *manifeststream = iter->data;
 659
 660     srcpad = _create_pad (mssdemux, manifeststream);
 661
 662     if (!srcpad) {
 663       continue;
 664     }
 665
 666     stream = gst_mss_demux_stream_new (mssdemux, manifeststream, srcpad);
 667     gst_mss_stream_set_active (manifeststream, TRUE);
 668     mssdemux->streams = g_slist_append (mssdemux->streams, stream);
 669   }
 670
 671   /* select initial bitrates */
 672   GST_OBJECT_LOCK (mssdemux);
 673   GST_INFO_OBJECT (mssdemux, "Changing max bitrate to %llu",
 674       mssdemux->connection_speed);
 675   gst_mss_manifest_change_bitrate (mssdemux->manifest,
 676       mssdemux->connection_speed);
 677   mssdemux->update_bitrates = FALSE;
 678   GST_OBJECT_UNLOCK (mssdemux);
 679 }
 680
 681 static gboolean
 682 gst_mss_demux_expose_stream (GstMssDemux * mssdemux, GstMssDemuxStream * stream)
 683 {
 684   GstCaps *caps;
 685   GstCaps *media_caps;
 686   GstPad *pad = stream->pad;
 687
 688   media_caps = gst_mss_stream_get_caps (stream->manifest_stream);
 689
 690   if (media_caps) {
 691     caps = gst_caps_new_simple ("video/quicktime", "variant", G_TYPE_STRING,
 692         "mss-fragmented", "timescale", G_TYPE_UINT64,
 693         gst_mss_stream_get_timescale (stream->manifest_stream), "media-caps",
 694         GST_TYPE_CAPS, media_caps, NULL);
 695     gst_caps_unref (media_caps);
 696     gst_pad_set_caps (pad, caps);
 697     gst_caps_unref (caps);
 698
 699     gst_pad_set_active (pad, TRUE);
 700     GST_INFO_OBJECT (mssdemux, "Adding srcpad %s:%s with caps %" GST_PTR_FORMAT,
 701         GST_DEBUG_PAD_NAME (pad), caps);
 702     gst_object_ref (pad);
 703     gst_element_add_pad (GST_ELEMENT_CAST (mssdemux), pad);
 704   } else {
 705     GST_WARNING_OBJECT (mssdemux,
 706         "Couldn't get caps from manifest stream %p %s, not exposing it", stream,
 707         GST_PAD_NAME (stream->pad));
 708     return FALSE;
 709   }
 710   return TRUE;
 711 }
 712
 713 static void
 714 gst_mss_demux_process_manifest (GstMssDemux * mssdemux)
 715 {
 716   GstQuery *query;
 717   gchar *uri = NULL;
 718   gboolean ret;
 719   GSList *iter;
 720
 721   g_return_if_fail (mssdemux->manifest_buffer != NULL);
 722   g_return_if_fail (mssdemux->manifest == NULL);
 723
 724   query = gst_query_new_uri ();
 725   ret = gst_pad_peer_query (mssdemux->sinkpad, query);
 726   if (ret) {
 727     gchar *baseurl_end;
 728     gst_query_parse_uri (query, &uri);
 729     GST_INFO_OBJECT (mssdemux, "Upstream is using URI: %s", uri);
 730
 731     baseurl_end = g_strrstr (uri, "/Manifest");
 732     if (baseurl_end) {
 733       /* set the new end of the string */
 734       baseurl_end[0] = '\0';
 735     } else {
 736       GST_WARNING_OBJECT (mssdemux, "Stream's URI didn't end with /manifest");
 737     }
 738
 739     mssdemux->base_url = uri;
 740   }
 741   gst_query_unref (query);
 742
 743   mssdemux->manifest = gst_mss_manifest_new (mssdemux->manifest_buffer);
 744   if (!mssdemux->manifest) {
 745     GST_ELEMENT_ERROR (mssdemux, STREAM, FORMAT, ("Bad manifest file"),
 746         ("Xml manifest file couldn't be parsed"));
 747     return;
 748   }
 749
 750   gst_mss_demux_create_streams (mssdemux);
 751   for (iter = mssdemux->streams; iter;) {
 752     GSList *current = iter;
 753     GstMssDemuxStream *stream = iter->data;
 754     iter = g_slist_next (iter); /* do it ourselves as we want it done in the beginning of the loop */
 755     if (!gst_mss_demux_expose_stream (mssdemux, stream)) {
 756       gst_mss_demux_stream_free (stream);
 757       mssdemux->streams = g_slist_delete_link (mssdemux->streams, current);
 758     }
 759   }
 760
 761   if (!mssdemux->streams) {
 762     /* no streams */
 763     GST_WARNING_OBJECT (mssdemux, "Couldn't identify the caps for any of the "
 764         "streams found in the manifest");
 765     GST_ELEMENT_ERROR (mssdemux, STREAM, DEMUX,
 766         (_("This file contains no playable streams.")),
 767         ("No known stream formats found at the Manifest"));
 768     return;
 769   }
 770
 771   gst_element_no_more_pads (GST_ELEMENT_CAST (mssdemux));
 772 }
 773
 774 static void
 775 gst_mss_demux_reconfigure (GstMssDemux * mssdemux)
 776 {
 777   GSList *oldpads = NULL;
 778   GSList *iter;
 779
 780   gst_mss_demux_stop_tasks (mssdemux, TRUE);
 781   if (gst_mss_manifest_change_bitrate (mssdemux->manifest,
 782           mssdemux->connection_speed)) {
 783     GstClockTime newseg_ts = GST_CLOCK_TIME_NONE;
 784
 785     GST_DEBUG_OBJECT (mssdemux, "Creating new pad group");
 786     /* if we changed the bitrate, we need to add new pads */
 787     for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 788       GstMssDemuxStream *stream = iter->data;
 789       GstPad *oldpad = stream->pad;
 790       GstClockTime ts = GST_CLOCK_TIME_NONE;
 791
 792       oldpads = g_slist_prepend (oldpads, oldpad);
 793
 794       /* since we are flushing the queue, get the next un-pushed timestamp to seek
 795        * and avoid gaps */
 796       gst_data_queue_set_flushing (stream->dataqueue, FALSE);
 797       if (!gst_data_queue_is_empty (stream->dataqueue)) {
 798         GstDataQueueItem *item = NULL;
 799
 800         while (!gst_data_queue_is_empty (stream->dataqueue)
 801             && !GST_CLOCK_TIME_IS_VALID (ts)) {
 802           gst_data_queue_pop (stream->dataqueue, &item);
 803
 804           if (!item) {
 805             g_assert_not_reached ();
 806             break;
 807           }
 808
 809           if (GST_IS_BUFFER (item->object)) {
 810             GstBuffer *buffer = GST_BUFFER_CAST (item->object);
 811
 812             ts = GST_BUFFER_TIMESTAMP (buffer);
 813           }
 814           item->destroy (item);
 815         }
 816
 817       }
 818       if (!GST_CLOCK_TIME_IS_VALID (ts)) {
 819         ts = gst_mss_stream_get_fragment_gst_timestamp
 820             (stream->manifest_stream);
 821       }
 822
 823       if (ts < newseg_ts)
 824         newseg_ts = ts;
 825
 826       GST_DEBUG_OBJECT (mssdemux,
 827           "Seeking stream %p %s to ts %" GST_TIME_FORMAT, stream,
 828           GST_PAD_NAME (stream->pad), GST_TIME_ARGS (ts));
 829       gst_mss_stream_seek (stream->manifest_stream, ts);
 830       gst_data_queue_flush (stream->dataqueue);
 831
 832       stream->pad = _create_pad (mssdemux, stream->manifest_stream);
 833       gst_mss_demux_expose_stream (mssdemux, stream);
 834
 835       gst_pad_push_event (oldpad, gst_event_new_eos ());
 836     }
 837
 838     gst_element_no_more_pads (GST_ELEMENT (mssdemux));
 839
 840     for (iter = oldpads; iter; iter = g_slist_next (iter)) {
 841       GstPad *oldpad = iter->data;
 842
 843       gst_pad_set_active (oldpad, FALSE);
 844       gst_element_remove_pad (GST_ELEMENT (mssdemux), oldpad);
 845       gst_object_unref (oldpad);
 846     }
 847     for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
 848       GstMssDemuxStream *stream = iter->data;
 849
 850       stream->pending_newsegment =
 851           gst_event_new_new_segment (TRUE, 1.0, GST_FORMAT_TIME, newseg_ts, -1,
 852           newseg_ts);
 853     }
 854   }
 855   gst_mss_demux_restart_tasks (mssdemux);
 856 }
 857
 858 static void
 859 _free_data_queue_item (gpointer obj)
 860 {
 861   GstDataQueueItem *item = obj;
 862
 863   gst_mini_object_unref (item->object);
 864   g_slice_free (GstDataQueueItem, item);
 865 }
 866
 867 static void
 868 gst_mss_demux_stream_store_object (GstMssDemuxStream * stream,
 869     GstMiniObject * obj)
 870 {
 871   GstDataQueueItem *item;
 872
 873   item = g_slice_new (GstDataQueueItem);
 874   item->object = (GstMiniObject *) obj;
 875
 876   item->duration = 0;           /* we don't care */
 877   item->size = 0;
 878   item->visible = TRUE;
 879
 880   item->destroy = (GDestroyNotify) _free_data_queue_item;
 881
 882   if (!gst_data_queue_push (stream->dataqueue, item)) {
 883     GST_DEBUG_OBJECT (stream->parent, "Failed to store object %p", obj);
 884     gst_mini_object_unref (obj);
 885     g_slice_free (GstDataQueueItem, item);
 886   }
 887 }
 888
 889 static GstFlowReturn
 890 gst_mss_demux_stream_download_fragment (GstMssDemuxStream * stream,
 891     GstBuffer ** buffer)
 892 {
 893   GstMssDemux *mssdemux = stream->parent;
 894   gchar *path;
 895   gchar *url;
 896   GstFragment *fragment;
 897   GstBuffer *_buffer;
 898   GstFlowReturn ret = GST_FLOW_OK;
 899
 900   GST_DEBUG_OBJECT (mssdemux, "Getting url for stream %p", stream);
 901   ret = gst_mss_stream_get_fragment_url (stream->manifest_stream, &path);
 902   switch (ret) {
 903     case GST_FLOW_OK:
 904       break;                    /* all is good, let's go */
 905     case GST_FLOW_UNEXPECTED:  /* EOS */
 906       return GST_FLOW_UNEXPECTED;
 907     case GST_FLOW_ERROR:
 908       goto error;
 909     default:
 910       break;
 911   }
 912   if (!path) {
 913     goto no_url_error;
 914   }
 915   GST_DEBUG_OBJECT (mssdemux, "Got url path '%s' for stream %p", path, stream);
 916
 917   url = g_strdup_printf ("%s/%s", mssdemux->base_url, path);
 918
 919   fragment = gst_uri_downloader_fetch_uri (stream->downloader, url);
 920   g_free (path);
 921   g_free (url);
 922
 923   if (!fragment) {
 924     GST_INFO_OBJECT (mssdemux, "No fragment downloaded");
 925     /* TODO check if we are truly stoping */
 926     return GST_FLOW_ERROR;
 927   }
 928
 929   _buffer = gst_fragment_get_buffer (fragment);
 930   _buffer = gst_buffer_make_metadata_writable (_buffer);
 931   gst_buffer_set_caps (_buffer, GST_PAD_CAPS (stream->pad));
 932   GST_BUFFER_TIMESTAMP (_buffer) =
 933       gst_mss_stream_get_fragment_gst_timestamp (stream->manifest_stream);
 934   GST_BUFFER_DURATION (_buffer) =
 935       gst_mss_stream_get_fragment_gst_duration (stream->manifest_stream);
 936
 937   if (buffer)
 938     *buffer = _buffer;
 939
 940   if (_buffer) {
 941     GST_DEBUG_OBJECT (mssdemux,
 942         "Storing buffer for stream %p - %s. Timestamp: %" GST_TIME_FORMAT,
 943         stream, GST_PAD_NAME (stream->pad),
 944         GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (_buffer)));
 945     gst_mss_demux_stream_store_object (stream, GST_MINI_OBJECT_CAST (_buffer));
 946   }
 947
 948   return ret;
 949
 950 no_url_error:
 951   {
 952     GST_ELEMENT_ERROR (mssdemux, STREAM, DEMUX,
 953         (_("Failed to get fragment URL.")),
 954         ("An error happened when getting fragment URL"));
 955     gst_task_stop (stream->download_task);
 956     return GST_FLOW_ERROR;
 957   }
 958 error:
 959   {
 960     GST_WARNING_OBJECT (mssdemux, "Error while pushing fragment");
 961     gst_task_stop (stream->download_task);
 962     return GST_FLOW_ERROR;
 963   }
 964 }
 965
 966 static void
 967 gst_mss_demux_download_loop (GstMssDemuxStream * stream)
 968 {
 969   GstMssDemux *mssdemux = stream->parent;
 970   GstBuffer *buffer = NULL;
 971   GstFlowReturn ret;
 972
 973   GST_LOG_OBJECT (mssdemux, "download loop start %p", stream);
 974
 975
 976   ret = gst_mss_demux_stream_download_fragment (stream, &buffer);
 977   switch (ret) {
 978     case GST_FLOW_OK:
 979       break;                    /* all is good, let's go */
 980     case GST_FLOW_UNEXPECTED:  /* EOS */
 981       goto eos;
 982     case GST_FLOW_ERROR:
 983       goto error;
 984     default:
 985       break;
 986   }
 987
 988   g_assert (buffer != NULL);
 989
 990   gst_mss_stream_advance_fragment (stream->manifest_stream);
 991   GST_LOG_OBJECT (mssdemux, "download loop end %p", stream);
 992   return;
 993
 994 eos:
 995   {
 996     GST_DEBUG_OBJECT (mssdemux, "Storing EOS for pad %s:%s",
 997         GST_DEBUG_PAD_NAME (stream->pad));
 998     gst_mss_demux_stream_store_object (stream,
 999         GST_MINI_OBJECT_CAST (gst_event_new_eos ()));
1000     gst_task_stop (stream->download_task);
1001     return;
1002   }
1003 error:
1004   {
1005     GST_WARNING_OBJECT (mssdemux, "Error while pushing fragment");
1006     gst_task_stop (stream->download_task);
1007     return;
1008   }
1009 }
1010
1011 static GstFlowReturn
1012 gst_mss_demux_select_latest_stream (GstMssDemux * mssdemux,
1013     GstMssDemuxStream ** stream)
1014 {
1015   GstFlowReturn ret = GST_FLOW_OK;
1016   GstMssDemuxStream *current = NULL;
1017   GstClockTime cur_time = GST_CLOCK_TIME_NONE;
1018   GSList *iter;
1019
1020   if (!mssdemux->streams)
1021     return GST_FLOW_ERROR;
1022
1023   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
1024     GstClockTime time;
1025     GstMssDemuxStream *other;
1026     GstDataQueueItem *item;
1027
1028     other = iter->data;
1029     if (other->eos) {
1030       continue;
1031     }
1032
1033     if (gst_data_queue_peek (other->dataqueue, &item)) {
1034     } else {
1035       /* flushing */
1036       return GST_FLOW_WRONG_STATE;
1037     }
1038
1039     if (GST_IS_EVENT (item->object)) {
1040       /* events have higher priority */
1041       current = other;
1042       break;
1043     }
1044     time = GST_BUFFER_TIMESTAMP (GST_BUFFER_CAST (item->object));
1045     if (time < cur_time) {
1046       cur_time = time;
1047       current = other;
1048     }
1049   }
1050
1051   *stream = current;
1052   if (current == NULL)
1053     ret = GST_FLOW_UNEXPECTED;
1054   return ret;
1055 }
1056
1057 static void
1058 gst_mss_demux_stream_loop (GstMssDemux * mssdemux)
1059 {
1060   GstMssDemuxStream *stream = NULL;
1061   GstFlowReturn ret;
1062   GstMiniObject *object = NULL;
1063   GstDataQueueItem *item = NULL;
1064
1065   GST_LOG_OBJECT (mssdemux, "Starting stream loop");
1066
1067   GST_OBJECT_LOCK (mssdemux);
1068   if (mssdemux->update_bitrates) {
1069     mssdemux->update_bitrates = FALSE;
1070     GST_OBJECT_UNLOCK (mssdemux);
1071
1072     GST_DEBUG_OBJECT (mssdemux,
1073         "Starting streams reconfiguration due to bitrate changes");
1074     gst_mss_demux_reconfigure (mssdemux);
1075     GST_DEBUG_OBJECT (mssdemux, "Finished streams reconfiguration");
1076   } else {
1077     GST_OBJECT_UNLOCK (mssdemux);
1078   }
1079
1080   ret = gst_mss_demux_select_latest_stream (mssdemux, &stream);
1081
1082   if (stream)
1083     GST_DEBUG_OBJECT (mssdemux,
1084         "Stream loop selected %p stream of pad %s. %d - %s", stream,
1085         GST_PAD_NAME (stream->pad), ret, gst_flow_get_name (ret));
1086   else
1087     GST_DEBUG_OBJECT (mssdemux, "No streams selected -> %d - %s", ret,
1088         gst_flow_get_name (ret));
1089
1090   switch (ret) {
1091     case GST_FLOW_OK:
1092       break;
1093     case GST_FLOW_ERROR:
1094       goto error;
1095     case GST_FLOW_UNEXPECTED:
1096       goto eos;
1097     case GST_FLOW_WRONG_STATE:
1098       GST_DEBUG_OBJECT (mssdemux, "Wrong state, stopping task");
1099       goto stop;
1100     default:
1101       g_assert_not_reached ();
1102   }
1103
1104   GST_LOG_OBJECT (mssdemux, "popping next item from queue for stream %p %s",
1105       stream, GST_PAD_NAME (stream->pad));
1106   if (gst_data_queue_pop (stream->dataqueue, &item)) {
1107     if (item->object)
1108       object = gst_mini_object_ref (item->object);
1109     item->destroy (item);
1110   } else {
1111     GST_DEBUG_OBJECT (mssdemux,
1112         "Failed to get object from dataqueue on stream %p %s", stream,
1113         GST_PAD_NAME (stream->pad));
1114     goto stop;
1115   }
1116
1117   if (G_UNLIKELY (stream->pending_newsegment)) {
1118     gst_pad_push_event (stream->pad, stream->pending_newsegment);
1119     stream->pending_newsegment = NULL;
1120   }
1121
1122   if (G_LIKELY (GST_IS_BUFFER (object))) {
1123     GST_DEBUG_OBJECT (mssdemux,
1124         "Pushing buffer %p %" GST_TIME_FORMAT " on pad %s", object,
1125         GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (object)),
1126         GST_PAD_NAME (stream->pad));
1127     ret = gst_pad_push (stream->pad, GST_BUFFER_CAST (object));
1128   } else if (GST_IS_EVENT (object)) {
1129     if (GST_EVENT_TYPE (object) == GST_EVENT_EOS)
1130       stream->eos = TRUE;
1131     GST_DEBUG_OBJECT (mssdemux, "Pushing event %p on pad %s", object,
1132         GST_PAD_NAME (stream->pad));
1133     gst_pad_push_event (stream->pad, GST_EVENT_CAST (object));
1134   } else {
1135     g_return_if_reached ();
1136   }
1137
1138   switch (ret) {
1139     case GST_FLOW_UNEXPECTED:
1140       goto eos;                 /* EOS ? */
1141     case GST_FLOW_ERROR:
1142       goto error;
1143     case GST_FLOW_NOT_LINKED:
1144       break;                    /* TODO what to do here? pause the task or just keep pushing? */
1145     case GST_FLOW_OK:
1146     default:
1147       break;
1148   }
1149
1150   GST_LOG_OBJECT (mssdemux, "Stream loop end");
1151   return;
1152
1153 eos:
1154   {
1155     GST_DEBUG_OBJECT (mssdemux, "EOS on all pads");
1156     gst_task_stop (mssdemux->stream_task);
1157     return;
1158   }
1159 error:
1160   {
1161     GST_WARNING_OBJECT (mssdemux, "Error while pushing fragment");
1162     gst_task_stop (mssdemux->stream_task);
1163     return;
1164   }
1165 stop:
1166   {
1167     GST_DEBUG_OBJECT (mssdemux, "Stopping streaming task");
1168     gst_task_stop (mssdemux->stream_task);
1169     return;
1170   }
1171 }