mssdemux: add a maximum error count for downloads
[platform/upstream/gstreamer.git] / ext / smoothstreaming / gstmssdemux.c
1 /* GStreamer
2  * Copyright (C) 2012 Smart TV Alliance
3  *  Author: Thiago Sousa Santos <thiago.sousa.santos@collabora.com>, Collabora Ltd.
4  *
5  * gstmssdemux.c:
6  *
7  * This library is free software; you can redistribute it and/or
8  * modify it under the terms of the GNU Library General Public
9  * License as published by the Free Software Foundation; either
10  * version 2 of the License, or (at your option) any later version.
11  *
12  * This library is distributed in the hope that it will be useful,
13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
15  * Library General Public License for more details.
16  *
17  * You should have received a copy of the GNU Library General Public
18  * License along with this library; if not, write to the
19  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
20  * Boston, MA 02111-1307, USA.
21  */
22
23 /**
24  * SECTION:element-mssdemux
25  *
26  * Demuxes a Microsoft's Smooth Streaming manifest into its audio and/or video streams.
27  *
28  *
29  */
30
31 /*
32  * == Internals
33  *
34  * = Smooth streaming in a few lines
35  * A SS stream is defined by a xml manifest file. This file has a list of
36  * tracks (StreamIndex), each one can have multiple QualityLevels, that define
37  * different encoding/bitrates. When playing a track, only one of those
38  * QualityLevels can be active at a time (per stream).
39  *
40  * The StreamIndex defines a URL with {time} and {bitrate} tags that are
41  * replaced by values indicated by the fragment start times and the selected
42  * QualityLevel, that generates the fragments URLs.
43  *
44  * Another relevant detail is that the Isomedia fragments for smoothstreaming
45  * won't contains a 'moov' atom, nor a 'stsd', so there is no information
46  * about the media type/configuration on the fragments, it must be extracted
47  * from the Manifest and passed downstream. mssdemux does this via GstCaps.
48  *
49  * = How mssdemux works
50  * There is a gstmssmanifest.c utility that holds the manifest and parses
51  * and has functions to extract information from it. mssdemux received the
52  * manifest from its sink pad and starts processing it when it gets EOS.
53  *
54  * The Manifest is parsed and the streams are exposed, 1 pad for each, with
55  * a initially selected QualityLevel. Each stream starts its own GstTaks that
56  * is responsible for downloading fragments and storing in its own GstDataQueue.
57  *
58  * The mssdemux starts another GstTask, this one iterates through the streams
59  * and selects the fragment with the smaller timestamp to push and repeats this.
60  *
61  * When a new connection-speed is set, mssdemux evaluates the available
62  * QualityLevels and might decide to switch to another one. In this case it
63  * exposes new pads for each stream, pushes EOS to the old ones and removes
64  * them. This should make decodebin2 pad switching mechanism act and the
65  * switch would be smooth for the final user.
66  */
67
68 #ifdef HAVE_CONFIG_H
69 #include "config.h"
70 #endif
71
72 #include "gst/gst-i18n-plugin.h"
73
74 #include <stdio.h>
75 #include <stdlib.h>
76 #include <string.h>
77
78 #include "gstmssdemux.h"
79
80 GST_DEBUG_CATEGORY (mssdemux_debug);
81
82 #define DEFAULT_CONNECTION_SPEED 0
83 #define DEFAULT_MAX_QUEUE_SIZE_BUFFERS 0
84 #define DEFAULT_BITRATE_LIMIT 0.8
85
86 #define DOWNLOAD_RATE_MAX_HISTORY_LENGTH 5
87 #define MAX_DOWNLOAD_ERROR_COUNT 3
88
89 enum
90 {
91   PROP_0,
92
93   PROP_CONNECTION_SPEED,
94   PROP_MAX_QUEUE_SIZE_BUFFERS,
95   PROP_BITRATE_LIMIT,
96   PROP_LAST
97 };
98
99 static GstStaticPadTemplate gst_mss_demux_sink_template =
100 GST_STATIC_PAD_TEMPLATE ("sink",
101     GST_PAD_SINK,
102     GST_PAD_ALWAYS,
103     GST_STATIC_CAPS ("application/vnd.ms-sstr+xml")
104     );
105
106 static GstStaticPadTemplate gst_mss_demux_videosrc_template =
107 GST_STATIC_PAD_TEMPLATE ("video_%02u",
108     GST_PAD_SRC,
109     GST_PAD_SOMETIMES,
110     GST_STATIC_CAPS_ANY);
111
112 static GstStaticPadTemplate gst_mss_demux_audiosrc_template =
113 GST_STATIC_PAD_TEMPLATE ("audio_%02u",
114     GST_PAD_SRC,
115     GST_PAD_SOMETIMES,
116     GST_STATIC_CAPS_ANY);
117
118 GST_BOILERPLATE (GstMssDemux, gst_mss_demux, GstMssDemux, GST_TYPE_ELEMENT);
119
120 static void gst_mss_demux_dispose (GObject * object);
121 static void gst_mss_demux_set_property (GObject * object, guint prop_id,
122     const GValue * value, GParamSpec * pspec);
123 static void gst_mss_demux_get_property (GObject * object, guint prop_id,
124     GValue * value, GParamSpec * pspec);
125 static GstStateChangeReturn gst_mss_demux_change_state (GstElement * element,
126     GstStateChange transition);
127 static GstFlowReturn gst_mss_demux_chain (GstPad * pad, GstBuffer * buffer);
128 static GstFlowReturn gst_mss_demux_event (GstPad * pad, GstEvent * event);
129
130 static gboolean gst_mss_demux_src_query (GstPad * pad, GstQuery * query);
131
132 static void gst_mss_demux_download_loop (GstMssDemuxStream * stream);
133 static void gst_mss_demux_stream_loop (GstMssDemux * mssdemux);
134
135 static gboolean gst_mss_demux_process_manifest (GstMssDemux * mssdemux);
136
137 static void
138 gst_mss_demux_base_init (gpointer klass)
139 {
140   GstElementClass *element_class = GST_ELEMENT_CLASS (klass);
141
142   gst_element_class_add_static_pad_template (element_class,
143       &gst_mss_demux_sink_template);
144   gst_element_class_add_static_pad_template (element_class,
145       &gst_mss_demux_videosrc_template);
146   gst_element_class_add_static_pad_template (element_class,
147       &gst_mss_demux_audiosrc_template);
148   gst_element_class_set_details_simple (element_class, "Smooth Streaming "
149       "demuxer", "Demuxer",
150       "Parse and demultiplex a Smooth Streaming manifest into audio and video "
151       "streams", "Thiago Santos <thiago.sousa.santos@collabora.com>");
152
153   GST_DEBUG_CATEGORY_INIT (mssdemux_debug, "mssdemux", 0, "mssdemux plugin");
154 }
155
156 static void
157 gst_mss_demux_class_init (GstMssDemuxClass * klass)
158 {
159   GObjectClass *gobject_class;
160   GstElementClass *gstelement_class;
161
162   gobject_class = (GObjectClass *) klass;
163   gstelement_class = (GstElementClass *) klass;
164
165   gobject_class->dispose = gst_mss_demux_dispose;
166   gobject_class->set_property = gst_mss_demux_set_property;
167   gobject_class->get_property = gst_mss_demux_get_property;
168
169   g_object_class_install_property (gobject_class, PROP_CONNECTION_SPEED,
170       g_param_spec_uint ("connection-speed", "Connection Speed",
171           "Network connection speed in kbps (0 = unknown)",
172           0, G_MAXUINT / 1000, DEFAULT_CONNECTION_SPEED,
173           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
174
175   g_object_class_install_property (gobject_class, PROP_MAX_QUEUE_SIZE_BUFFERS,
176       g_param_spec_uint ("max-queue-size-buffers", "Max queue size in buffers",
177           "Maximum buffers that can be stored in each internal stream queue "
178           "(0 = infinite)", 0, G_MAXUINT, DEFAULT_MAX_QUEUE_SIZE_BUFFERS,
179           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
180
181   g_object_class_install_property (gobject_class, PROP_BITRATE_LIMIT,
182       g_param_spec_float ("bitrate-limit",
183           "Bitrate limit in %",
184           "Limit of the available bitrate to use when switching to alternates.",
185           0, 1, DEFAULT_BITRATE_LIMIT,
186           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
187
188   gstelement_class->change_state =
189       GST_DEBUG_FUNCPTR (gst_mss_demux_change_state);
190 }
191
192 static void
193 gst_mss_demux_init (GstMssDemux * mssdemux, GstMssDemuxClass * klass)
194 {
195   mssdemux->sinkpad =
196       gst_pad_new_from_static_template (&gst_mss_demux_sink_template, "sink");
197   gst_pad_set_chain_function (mssdemux->sinkpad,
198       GST_DEBUG_FUNCPTR (gst_mss_demux_chain));
199   gst_pad_set_event_function (mssdemux->sinkpad,
200       GST_DEBUG_FUNCPTR (gst_mss_demux_event));
201   gst_element_add_pad (GST_ELEMENT_CAST (mssdemux), mssdemux->sinkpad);
202
203   g_static_rec_mutex_init (&mssdemux->stream_lock);
204   mssdemux->stream_task =
205       gst_task_create ((GstTaskFunction) gst_mss_demux_stream_loop, mssdemux);
206   gst_task_set_lock (mssdemux->stream_task, &mssdemux->stream_lock);
207
208   mssdemux->data_queue_max_size = DEFAULT_MAX_QUEUE_SIZE_BUFFERS;
209   mssdemux->bitrate_limit = DEFAULT_BITRATE_LIMIT;
210 }
211
212 static gboolean
213 _data_queue_check_full (GstDataQueue * queue, guint visible, guint bytes,
214     guint64 time, gpointer checkdata)
215 {
216   GstMssDemuxStream *stream = checkdata;
217   GstMssDemux *mssdemux = stream->parent;
218
219   if (mssdemux->data_queue_max_size == 0)
220     return FALSE;               /* never full */
221   return visible >= mssdemux->data_queue_max_size;
222 }
223
224 static GstMssDemuxStream *
225 gst_mss_demux_stream_new (GstMssDemux * mssdemux,
226     GstMssStream * manifeststream, GstPad * srcpad)
227 {
228   GstMssDemuxStream *stream;
229
230   stream = g_new0 (GstMssDemuxStream, 1);
231   stream->downloader = gst_uri_downloader_new ();
232   stream->dataqueue = gst_data_queue_new (_data_queue_check_full, stream);
233
234   /* Downloading task */
235   g_static_rec_mutex_init (&stream->download_lock);
236   stream->download_task =
237       gst_task_create ((GstTaskFunction) gst_mss_demux_download_loop, stream);
238   gst_task_set_lock (stream->download_task, &stream->download_lock);
239
240   stream->pad = srcpad;
241   stream->manifest_stream = manifeststream;
242   stream->parent = mssdemux;
243   gst_download_rate_init (&stream->download_rate);
244   gst_download_rate_set_max_length (&stream->download_rate,
245       DOWNLOAD_RATE_MAX_HISTORY_LENGTH);
246
247   return stream;
248 }
249
250 static void
251 gst_mss_demux_stream_free (GstMssDemuxStream * stream)
252 {
253   gst_download_rate_deinit (&stream->download_rate);
254   if (stream->download_task) {
255     if (GST_TASK_STATE (stream->download_task) != GST_TASK_STOPPED) {
256       GST_DEBUG_OBJECT (stream->parent, "Leaving streaming task %s:%s",
257           GST_DEBUG_PAD_NAME (stream->pad));
258       gst_uri_downloader_cancel (stream->downloader);
259       gst_task_stop (stream->download_task);
260       g_static_rec_mutex_lock (&stream->download_lock);
261       g_static_rec_mutex_unlock (&stream->download_lock);
262       GST_LOG_OBJECT (stream->parent, "Waiting for task to finish");
263       gst_task_join (stream->download_task);
264       GST_LOG_OBJECT (stream->parent, "Finished");
265     }
266     gst_object_unref (stream->download_task);
267     g_static_rec_mutex_free (&stream->download_lock);
268     stream->download_task = NULL;
269   }
270
271   if (stream->pending_newsegment) {
272     gst_event_unref (stream->pending_newsegment);
273     stream->pending_newsegment = NULL;
274   }
275
276
277   if (stream->downloader != NULL) {
278     g_object_unref (stream->downloader);
279     stream->downloader = NULL;
280   }
281   if (stream->dataqueue) {
282     g_object_unref (stream->dataqueue);
283     stream->dataqueue = NULL;
284   }
285   if (stream->pad) {
286     gst_object_unref (stream->pad);
287     stream->pad = NULL;
288   }
289   g_free (stream);
290 }
291
292 static void
293 gst_mss_demux_reset (GstMssDemux * mssdemux)
294 {
295   GSList *iter;
296
297   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
298     GstMssDemuxStream *stream = iter->data;
299     if (stream->downloader)
300       gst_uri_downloader_cancel (stream->downloader);
301
302     gst_data_queue_set_flushing (stream->dataqueue, TRUE);
303   }
304
305   if (GST_TASK_STATE (mssdemux->stream_task) != GST_TASK_STOPPED) {
306     gst_task_stop (mssdemux->stream_task);
307     g_static_rec_mutex_lock (&mssdemux->stream_lock);
308     g_static_rec_mutex_unlock (&mssdemux->stream_lock);
309     gst_task_join (mssdemux->stream_task);
310   }
311
312   if (mssdemux->manifest_buffer) {
313     gst_buffer_unref (mssdemux->manifest_buffer);
314     mssdemux->manifest_buffer = NULL;
315   }
316
317   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
318     GstMssDemuxStream *stream = iter->data;
319     gst_element_remove_pad (GST_ELEMENT_CAST (mssdemux), stream->pad);
320     gst_mss_demux_stream_free (stream);
321   }
322   g_slist_free (mssdemux->streams);
323   mssdemux->streams = NULL;
324
325   if (mssdemux->manifest) {
326     gst_mss_manifest_free (mssdemux->manifest);
327     mssdemux->manifest = NULL;
328   }
329
330   mssdemux->n_videos = mssdemux->n_audios = 0;
331   g_free (mssdemux->base_url);
332   mssdemux->base_url = NULL;
333   g_free (mssdemux->manifest_uri);
334   mssdemux->manifest_uri = NULL;
335 }
336
337 static void
338 gst_mss_demux_dispose (GObject * object)
339 {
340   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (object);
341
342   gst_mss_demux_reset (mssdemux);
343
344   if (mssdemux->stream_task) {
345     gst_object_unref (mssdemux->stream_task);
346     g_static_rec_mutex_free (&mssdemux->stream_lock);
347     mssdemux->stream_task = NULL;
348   }
349
350   G_OBJECT_CLASS (parent_class)->dispose (object);
351 }
352
353 static void
354 gst_mss_demux_set_property (GObject * object, guint prop_id,
355     const GValue * value, GParamSpec * pspec)
356 {
357   GstMssDemux *mssdemux = GST_MSS_DEMUX (object);
358
359   switch (prop_id) {
360     case PROP_CONNECTION_SPEED:
361       GST_OBJECT_LOCK (mssdemux);
362       mssdemux->connection_speed = g_value_get_uint (value) * 1000;
363       mssdemux->update_bitrates = TRUE;
364       GST_DEBUG_OBJECT (mssdemux, "Connection speed set to %llu",
365           mssdemux->connection_speed);
366       GST_OBJECT_UNLOCK (mssdemux);
367       break;
368     case PROP_MAX_QUEUE_SIZE_BUFFERS:
369       mssdemux->data_queue_max_size = g_value_get_uint (value);
370       break;
371     case PROP_BITRATE_LIMIT:
372       mssdemux->bitrate_limit = g_value_get_float (value);
373       break;
374     default:
375       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
376       break;
377   }
378 }
379
380 static void
381 gst_mss_demux_get_property (GObject * object, guint prop_id, GValue * value,
382     GParamSpec * pspec)
383 {
384   GstMssDemux *mssdemux = GST_MSS_DEMUX (object);
385
386   switch (prop_id) {
387     case PROP_CONNECTION_SPEED:
388       g_value_set_uint (value, mssdemux->connection_speed / 1000);
389       break;
390     case PROP_MAX_QUEUE_SIZE_BUFFERS:
391       g_value_set_uint (value, mssdemux->data_queue_max_size);
392       break;
393     case PROP_BITRATE_LIMIT:
394       g_value_set_float (value, mssdemux->bitrate_limit);
395       break;
396     default:
397       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
398       break;
399   }
400 }
401
402 static GstStateChangeReturn
403 gst_mss_demux_change_state (GstElement * element, GstStateChange transition)
404 {
405   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (element);
406   GstStateChangeReturn result = GST_STATE_CHANGE_FAILURE;
407
408   switch (transition) {
409     case GST_STATE_CHANGE_PAUSED_TO_READY:
410       gst_mss_demux_reset (mssdemux);
411       break;
412     case GST_STATE_CHANGE_READY_TO_NULL:
413       break;
414     default:
415       break;
416   }
417
418   result = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
419
420   switch (transition) {
421     case GST_STATE_CHANGE_PAUSED_TO_READY:{
422       break;
423     }
424     default:
425       break;
426   }
427
428   return result;
429 }
430
431 static GstFlowReturn
432 gst_mss_demux_chain (GstPad * pad, GstBuffer * buffer)
433 {
434   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (GST_PAD_PARENT (pad));
435   if (mssdemux->manifest_buffer == NULL)
436     mssdemux->manifest_buffer = buffer;
437   else
438     mssdemux->manifest_buffer =
439         gst_buffer_join (mssdemux->manifest_buffer, buffer);
440
441   GST_INFO_OBJECT (mssdemux, "Received manifest buffer, total size is %i bytes",
442       GST_BUFFER_SIZE (mssdemux->manifest_buffer));
443
444   return GST_FLOW_OK;
445 }
446
447 static void
448 gst_mss_demux_start (GstMssDemux * mssdemux)
449 {
450   GSList *iter;
451
452   GST_INFO_OBJECT (mssdemux, "Starting streams' tasks");
453   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
454     GstMssDemuxStream *stream = iter->data;
455     gst_task_start (stream->download_task);
456   }
457
458   gst_task_start (mssdemux->stream_task);
459 }
460
461 static gboolean
462 gst_mss_demux_push_src_event (GstMssDemux * mssdemux, GstEvent * event)
463 {
464   GSList *iter;
465   gboolean ret = TRUE;
466
467   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
468     GstMssDemuxStream *stream = iter->data;
469     gst_event_ref (event);
470     ret = ret & gst_pad_push_event (stream->pad, event);
471   }
472   gst_event_unref (event);
473   return ret;
474 }
475
476 static gboolean
477 gst_mss_demux_event (GstPad * pad, GstEvent * event)
478 {
479   GstMssDemux *mssdemux = GST_MSS_DEMUX_CAST (GST_PAD_PARENT (pad));
480   gboolean forward = TRUE;
481   gboolean ret = TRUE;
482
483   switch (GST_EVENT_TYPE (event)) {
484     case GST_EVENT_FLUSH_STOP:
485       gst_mss_demux_reset (mssdemux);
486       break;
487     case GST_EVENT_EOS:
488       if (mssdemux->manifest_buffer == NULL) {
489         GST_WARNING_OBJECT (mssdemux, "Received EOS without a manifest.");
490         break;
491       }
492       GST_INFO_OBJECT (mssdemux, "Received EOS");
493
494       if (gst_mss_demux_process_manifest (mssdemux))
495         gst_mss_demux_start (mssdemux);
496       forward = FALSE;
497       break;
498     default:
499       break;
500   }
501
502   if (forward) {
503     ret = gst_pad_event_default (pad, event);
504   } else {
505     gst_event_unref (event);
506   }
507
508   return ret;
509 }
510
511 static void
512 gst_mss_demux_stop_tasks (GstMssDemux * mssdemux, gboolean immediate)
513 {
514   GSList *iter;
515
516   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
517     GstMssDemuxStream *stream = iter->data;
518
519     gst_data_queue_set_flushing (stream->dataqueue, TRUE);
520
521     if (immediate)
522       gst_uri_downloader_cancel (stream->downloader);
523     gst_task_pause (stream->download_task);
524   }
525   gst_task_pause (mssdemux->stream_task);
526
527   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
528     GstMssDemuxStream *stream = iter->data;
529     g_static_rec_mutex_lock (&stream->download_lock);
530   }
531   g_static_rec_mutex_lock (&mssdemux->stream_lock);
532 }
533
534 static void
535 gst_mss_demux_restart_tasks (GstMssDemux * mssdemux)
536 {
537   GSList *iter;
538   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
539     GstMssDemuxStream *stream = iter->data;
540     gst_uri_downloader_reset (stream->downloader);
541     g_static_rec_mutex_unlock (&stream->download_lock);
542   }
543   g_static_rec_mutex_unlock (&mssdemux->stream_lock);
544   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
545     GstMssDemuxStream *stream = iter->data;
546
547     gst_data_queue_set_flushing (stream->dataqueue, FALSE);
548     gst_task_start (stream->download_task);
549   }
550   gst_task_start (mssdemux->stream_task);
551 }
552
553 static gboolean
554 gst_mss_demux_src_event (GstPad * pad, GstEvent * event)
555 {
556   GstMssDemux *mssdemux;
557
558   mssdemux = GST_MSS_DEMUX (GST_PAD_PARENT (pad));
559
560   switch (event->type) {
561     case GST_EVENT_SEEK:
562     {
563       gdouble rate;
564       GstFormat format;
565       GstSeekFlags flags;
566       GstSeekType start_type, stop_type;
567       gint64 start, stop;
568       GstEvent *newsegment;
569       GSList *iter;
570
571       GST_INFO_OBJECT (mssdemux, "Received GST_EVENT_SEEK");
572
573       gst_event_parse_seek (event, &rate, &format, &flags, &start_type, &start,
574           &stop_type, &stop);
575
576       if (format != GST_FORMAT_TIME)
577         goto not_supported;
578
579       GST_DEBUG_OBJECT (mssdemux,
580           "seek event, rate: %f start: %" GST_TIME_FORMAT " stop: %"
581           GST_TIME_FORMAT, rate, GST_TIME_ARGS (start), GST_TIME_ARGS (stop));
582
583       if (flags & GST_SEEK_FLAG_FLUSH) {
584         GstEvent *flush = gst_event_new_flush_start ();
585         GST_DEBUG_OBJECT (mssdemux, "sending flush start");
586
587         gst_event_set_seqnum (flush, gst_event_get_seqnum (event));
588         gst_mss_demux_push_src_event (mssdemux, flush);
589       }
590
591       gst_mss_demux_stop_tasks (mssdemux, TRUE);
592
593       if (!gst_mss_manifest_seek (mssdemux->manifest, start)) {;
594         GST_WARNING_OBJECT (mssdemux, "Could not find seeked fragment");
595         goto not_supported;
596       }
597
598       newsegment =
599           gst_event_new_new_segment (FALSE, rate, format, start, stop, start);
600       gst_event_set_seqnum (newsegment, gst_event_get_seqnum (event));
601       for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
602         GstMssDemuxStream *stream = iter->data;
603
604         stream->eos = FALSE;
605         gst_data_queue_flush (stream->dataqueue);
606         gst_event_ref (newsegment);
607         gst_event_replace (&stream->pending_newsegment, newsegment);
608       }
609       gst_event_unref (newsegment);
610
611       if (flags & GST_SEEK_FLAG_FLUSH) {
612         GstEvent *flush = gst_event_new_flush_stop ();
613         GST_DEBUG_OBJECT (mssdemux, "sending flush stop");
614
615         gst_event_set_seqnum (flush, gst_event_get_seqnum (event));
616         gst_mss_demux_push_src_event (mssdemux, flush);
617       }
618
619       gst_mss_demux_restart_tasks (mssdemux);
620
621       gst_event_unref (event);
622       return TRUE;
623     }
624     default:
625       break;
626   }
627
628   return gst_pad_event_default (pad, event);
629
630 not_supported:
631   gst_event_unref (event);
632   return FALSE;
633 }
634
635 static gboolean
636 gst_mss_demux_src_query (GstPad * pad, GstQuery * query)
637 {
638   GstMssDemux *mssdemux;
639   gboolean ret = FALSE;
640
641   if (query == NULL)
642     return FALSE;
643
644   mssdemux = GST_MSS_DEMUX (GST_PAD_PARENT (pad));
645
646   switch (query->type) {
647     case GST_QUERY_DURATION:{
648       GstClockTime duration = -1;
649       GstFormat fmt;
650
651       gst_query_parse_duration (query, &fmt, NULL);
652       if (fmt == GST_FORMAT_TIME && mssdemux->manifest) {
653         /* TODO should we use the streams accumulated duration or the main manifest duration? */
654         duration = gst_mss_manifest_get_gst_duration (mssdemux->manifest);
655
656         if (GST_CLOCK_TIME_IS_VALID (duration) && duration > 0) {
657           gst_query_set_duration (query, GST_FORMAT_TIME, duration);
658           ret = TRUE;
659         }
660       }
661       GST_INFO_OBJECT (mssdemux, "GST_QUERY_DURATION returns %s with duration %"
662           GST_TIME_FORMAT, ret ? "TRUE" : "FALSE", GST_TIME_ARGS (duration));
663       break;
664     }
665     case GST_QUERY_LATENCY:{
666       gboolean live = FALSE;
667
668       live = mssdemux->manifest
669           && gst_mss_manifest_is_live (mssdemux->manifest);
670
671       gst_query_set_latency (query, live, 0, -1);
672       ret = TRUE;
673       break;
674     }
675     case GST_QUERY_SEEKING:{
676       GstFormat fmt;
677       gint64 stop = -1;
678
679       if (mssdemux->manifest && gst_mss_manifest_is_live (mssdemux->manifest)) {
680         return FALSE;           /* no live seeking */
681       }
682
683       gst_query_parse_seeking (query, &fmt, NULL, NULL, NULL);
684       GST_INFO_OBJECT (mssdemux, "Received GST_QUERY_SEEKING with format %d",
685           fmt);
686       if (fmt == GST_FORMAT_TIME) {
687         GstClockTime duration;
688         duration = gst_mss_manifest_get_gst_duration (mssdemux->manifest);
689         if (GST_CLOCK_TIME_IS_VALID (duration) && duration > 0)
690           stop = duration;
691         gst_query_set_seeking (query, fmt, TRUE, 0, stop);
692         ret = TRUE;
693         GST_INFO_OBJECT (mssdemux, "GST_QUERY_SEEKING returning with stop : %"
694             GST_TIME_FORMAT, GST_TIME_ARGS (stop));
695       }
696       break;
697     }
698     default:
699       /* Don't fordward queries upstream because of the special nature of this
700        *  "demuxer", which relies on the upstream element only to be fed
701        *  the Manifest
702        */
703       break;
704   }
705
706   return ret;
707 }
708
709 static void
710 _set_src_pad_functions (GstPad * pad)
711 {
712   gst_pad_set_query_function (pad, GST_DEBUG_FUNCPTR (gst_mss_demux_src_query));
713   gst_pad_set_event_function (pad, GST_DEBUG_FUNCPTR (gst_mss_demux_src_event));
714 }
715
716 static GstPad *
717 _create_pad (GstMssDemux * mssdemux, GstMssStream * manifeststream)
718 {
719   gchar *name;
720   GstPad *srcpad = NULL;
721   GstMssStreamType streamtype;
722
723   streamtype = gst_mss_stream_get_type (manifeststream);
724   GST_DEBUG_OBJECT (mssdemux, "Found stream of type: %s",
725       gst_mss_stream_type_name (streamtype));
726
727   /* TODO use stream's name/bitrate/index as the pad name? */
728   if (streamtype == MSS_STREAM_TYPE_VIDEO) {
729     name = g_strdup_printf ("video_%02u", mssdemux->n_videos++);
730     srcpad =
731         gst_pad_new_from_static_template (&gst_mss_demux_videosrc_template,
732         name);
733     g_free (name);
734   } else if (streamtype == MSS_STREAM_TYPE_AUDIO) {
735     name = g_strdup_printf ("audio_%02u", mssdemux->n_audios++);
736     srcpad =
737         gst_pad_new_from_static_template (&gst_mss_demux_audiosrc_template,
738         name);
739     g_free (name);
740   }
741
742   if (!srcpad) {
743     GST_WARNING_OBJECT (mssdemux, "Ignoring unknown type stream");
744     return NULL;
745   }
746
747   _set_src_pad_functions (srcpad);
748   return srcpad;
749 }
750
751 static void
752 gst_mss_demux_create_streams (GstMssDemux * mssdemux)
753 {
754   GSList *streams = gst_mss_manifest_get_streams (mssdemux->manifest);
755   GSList *iter;
756
757   if (streams == NULL) {
758     GST_INFO_OBJECT (mssdemux, "No streams found in the manifest");
759     GST_ELEMENT_ERROR (mssdemux, STREAM, DEMUX,
760         (_("This file contains no playable streams.")),
761         ("no streams found at the Manifest"));
762     return;
763   }
764
765   for (iter = streams; iter; iter = g_slist_next (iter)) {
766     GstPad *srcpad = NULL;
767     GstMssDemuxStream *stream = NULL;
768     GstMssStream *manifeststream = iter->data;
769
770     srcpad = _create_pad (mssdemux, manifeststream);
771
772     if (!srcpad) {
773       continue;
774     }
775
776     stream = gst_mss_demux_stream_new (mssdemux, manifeststream, srcpad);
777     gst_mss_stream_set_active (manifeststream, TRUE);
778     mssdemux->streams = g_slist_append (mssdemux->streams, stream);
779   }
780
781   /* select initial bitrates */
782   GST_OBJECT_LOCK (mssdemux);
783   GST_INFO_OBJECT (mssdemux, "Changing max bitrate to %llu",
784       mssdemux->connection_speed);
785   gst_mss_manifest_change_bitrate (mssdemux->manifest,
786       mssdemux->connection_speed);
787   mssdemux->update_bitrates = FALSE;
788   GST_OBJECT_UNLOCK (mssdemux);
789 }
790
791 static gboolean
792 gst_mss_demux_expose_stream (GstMssDemux * mssdemux, GstMssDemuxStream * stream)
793 {
794   GstCaps *caps;
795   GstCaps *media_caps;
796   GstPad *pad = stream->pad;
797
798   media_caps = gst_mss_stream_get_caps (stream->manifest_stream);
799
800   if (media_caps) {
801     caps = gst_caps_new_simple ("video/quicktime", "variant", G_TYPE_STRING,
802         "mss-fragmented", "timescale", G_TYPE_UINT64,
803         gst_mss_stream_get_timescale (stream->manifest_stream), "media-caps",
804         GST_TYPE_CAPS, media_caps, NULL);
805     gst_caps_unref (media_caps);
806     gst_pad_set_caps (pad, caps);
807     gst_caps_unref (caps);
808
809     gst_pad_set_active (pad, TRUE);
810     GST_INFO_OBJECT (mssdemux, "Adding srcpad %s:%s with caps %" GST_PTR_FORMAT,
811         GST_DEBUG_PAD_NAME (pad), caps);
812     gst_object_ref (pad);
813     gst_element_add_pad (GST_ELEMENT_CAST (mssdemux), pad);
814   } else {
815     GST_WARNING_OBJECT (mssdemux,
816         "Couldn't get caps from manifest stream %p %s, not exposing it", stream,
817         GST_PAD_NAME (stream->pad));
818     return FALSE;
819   }
820   return TRUE;
821 }
822
823 static gboolean
824 gst_mss_demux_process_manifest (GstMssDemux * mssdemux)
825 {
826   GstQuery *query;
827   gchar *uri = NULL;
828   gboolean ret;
829   GSList *iter;
830
831   g_return_val_if_fail (mssdemux->manifest_buffer != NULL, FALSE);
832   g_return_val_if_fail (mssdemux->manifest == NULL, FALSE);
833
834   query = gst_query_new_uri ();
835   ret = gst_pad_peer_query (mssdemux->sinkpad, query);
836   if (ret) {
837     gchar *baseurl_end;
838     gst_query_parse_uri (query, &uri);
839     GST_INFO_OBJECT (mssdemux, "Upstream is using URI: %s", uri);
840
841     mssdemux->manifest_uri = g_strdup (uri);
842     baseurl_end = g_strrstr (uri, "/Manifest");
843     if (baseurl_end) {
844       /* set the new end of the string */
845       baseurl_end[0] = '\0';
846     } else {
847       GST_WARNING_OBJECT (mssdemux, "Stream's URI didn't end with /manifest");
848     }
849
850     mssdemux->base_url = uri;
851   }
852   gst_query_unref (query);
853
854   if (mssdemux->base_url == NULL) {
855     GST_ELEMENT_ERROR (mssdemux, RESOURCE, NOT_FOUND,
856         (_("Couldn't get the Manifest's URI")),
857         ("need to get the manifest's URI from upstream elements"));
858     return FALSE;
859   }
860
861   GST_INFO_OBJECT (mssdemux, "Received manifest: %i bytes",
862       GST_BUFFER_SIZE (mssdemux->manifest_buffer));
863
864   mssdemux->manifest = gst_mss_manifest_new (mssdemux->manifest_buffer);
865   if (!mssdemux->manifest) {
866     GST_ELEMENT_ERROR (mssdemux, STREAM, FORMAT, ("Bad manifest file"),
867         ("Xml manifest file couldn't be parsed"));
868     return FALSE;
869   }
870
871   GST_INFO_OBJECT (mssdemux, "Live stream: %d",
872       gst_mss_manifest_is_live (mssdemux->manifest));
873
874   gst_mss_demux_create_streams (mssdemux);
875   for (iter = mssdemux->streams; iter;) {
876     GSList *current = iter;
877     GstMssDemuxStream *stream = iter->data;
878     iter = g_slist_next (iter); /* do it ourselves as we want it done in the beginning of the loop */
879     if (!gst_mss_demux_expose_stream (mssdemux, stream)) {
880       gst_mss_demux_stream_free (stream);
881       mssdemux->streams = g_slist_delete_link (mssdemux->streams, current);
882     }
883   }
884
885   if (!mssdemux->streams) {
886     /* no streams */
887     GST_WARNING_OBJECT (mssdemux, "Couldn't identify the caps for any of the "
888         "streams found in the manifest");
889     GST_ELEMENT_ERROR (mssdemux, STREAM, DEMUX,
890         (_("This file contains no playable streams.")),
891         ("No known stream formats found at the Manifest"));
892     return FALSE;
893   }
894
895   gst_element_no_more_pads (GST_ELEMENT_CAST (mssdemux));
896   return TRUE;
897 }
898
899 static void
900 gst_mss_demux_reload_manifest (GstMssDemux * mssdemux)
901 {
902   GstUriDownloader *downloader;
903   GstFragment *manifest_data;
904   GstBuffer *manifest_buffer;
905
906   downloader = gst_uri_downloader_new ();
907
908   manifest_data =
909       gst_uri_downloader_fetch_uri (downloader, mssdemux->manifest_uri);
910   manifest_buffer = gst_fragment_get_buffer (manifest_data);
911   g_object_unref (manifest_data);
912
913   gst_mss_manifest_reload_fragments (mssdemux->manifest, manifest_buffer);
914   gst_buffer_replace (&mssdemux->manifest_buffer, manifest_buffer);
915   gst_buffer_unref (manifest_buffer);
916
917   g_object_unref (downloader);
918 }
919
920 static guint64
921 gst_mss_demux_get_download_bitrate (GstMssDemux * mssdemux)
922 {
923   GSList *iter;
924   guint64 total = 0;
925   guint64 count = 0;
926
927   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
928     GstMssDemuxStream *stream = iter->data;
929
930     total += gst_download_rate_get_current_rate (&stream->download_rate);
931     count++;
932   }
933
934   return total / count;
935 }
936
937 static gboolean
938 gst_mss_demux_all_streams_have_data (GstMssDemux * mssdemux)
939 {
940   GSList *iter;
941
942   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
943     GstMssDemuxStream *stream = iter->data;
944
945     if (!stream->have_data)
946       return FALSE;
947   }
948
949   return TRUE;
950 }
951
952 static void
953 gst_mss_demux_reconfigure (GstMssDemux * mssdemux)
954 {
955   GSList *oldpads = NULL;
956   GSList *iter;
957   guint64 new_bitrate;
958   gboolean changed = FALSE;
959
960   /* TODO lock? */
961
962   if (!gst_mss_demux_all_streams_have_data (mssdemux))
963     return;
964
965   gst_mss_demux_stop_tasks (mssdemux, TRUE);
966   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
967     GstMssDemuxStream *stream;
968
969     stream = iter->data;
970
971     new_bitrate =
972         mssdemux->bitrate_limit *
973         gst_download_rate_get_current_rate (&stream->download_rate);
974     if (mssdemux->connection_speed) {
975       new_bitrate = MIN (mssdemux->connection_speed, new_bitrate);
976     }
977
978     GST_DEBUG_OBJECT (mssdemux, "Current stream %s download bitrate %llu",
979         GST_PAD_NAME (stream->pad), new_bitrate);
980
981     if (gst_mss_stream_select_bitrate (stream->manifest_stream, new_bitrate)) {
982       changed = TRUE;
983       GST_INFO_OBJECT (mssdemux, "Stream %s changed bitrate to %llu",
984           GST_PAD_NAME (stream->pad),
985           gst_mss_stream_get_current_bitrate (stream->manifest_stream));
986     }
987   }
988
989   if (changed) {
990     GstClockTime newseg_ts = GST_CLOCK_TIME_NONE;
991
992     GST_DEBUG_OBJECT (mssdemux,
993         "Bitrates have changed, creating new pad group");
994     /* if we changed the bitrate, we need to add new pads */
995     for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
996       GstMssDemuxStream *stream = iter->data;
997       GstPad *oldpad = stream->pad;
998       GstClockTime ts = GST_CLOCK_TIME_NONE;
999
1000       oldpads = g_slist_prepend (oldpads, oldpad);
1001
1002       /* since we are flushing the queue, get the next un-pushed timestamp to seek
1003        * and avoid gaps */
1004       gst_data_queue_set_flushing (stream->dataqueue, FALSE);
1005       if (!gst_data_queue_is_empty (stream->dataqueue)) {
1006         GstDataQueueItem *item = NULL;
1007
1008         while (!gst_data_queue_is_empty (stream->dataqueue)
1009             && !GST_CLOCK_TIME_IS_VALID (ts)) {
1010           gst_data_queue_pop (stream->dataqueue, &item);
1011
1012           if (!item) {
1013             g_assert_not_reached ();
1014             break;
1015           }
1016
1017           if (GST_IS_BUFFER (item->object)) {
1018             GstBuffer *buffer = GST_BUFFER_CAST (item->object);
1019
1020             ts = GST_BUFFER_TIMESTAMP (buffer);
1021           }
1022           item->destroy (item);
1023         }
1024
1025       }
1026       if (!GST_CLOCK_TIME_IS_VALID (ts)) {
1027         ts = gst_mss_stream_get_fragment_gst_timestamp
1028             (stream->manifest_stream);
1029       }
1030
1031       if (ts < newseg_ts)
1032         newseg_ts = ts;
1033
1034       GST_DEBUG_OBJECT (mssdemux,
1035           "Seeking stream %p %s to ts %" GST_TIME_FORMAT, stream,
1036           GST_PAD_NAME (stream->pad), GST_TIME_ARGS (ts));
1037       gst_mss_stream_seek (stream->manifest_stream, ts);
1038       gst_data_queue_flush (stream->dataqueue);
1039
1040       stream->pad = _create_pad (mssdemux, stream->manifest_stream);
1041       gst_mss_demux_expose_stream (mssdemux, stream);
1042
1043       gst_pad_push_event (oldpad, gst_event_new_eos ());
1044       stream->have_data = FALSE;
1045     }
1046
1047     gst_element_no_more_pads (GST_ELEMENT (mssdemux));
1048
1049     for (iter = oldpads; iter; iter = g_slist_next (iter)) {
1050       GstPad *oldpad = iter->data;
1051
1052       gst_pad_set_active (oldpad, FALSE);
1053       gst_element_remove_pad (GST_ELEMENT (mssdemux), oldpad);
1054       gst_object_unref (oldpad);
1055     }
1056     for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
1057       GstMssDemuxStream *stream = iter->data;
1058
1059       stream->pending_newsegment =
1060           gst_event_new_new_segment (TRUE, 1.0, GST_FORMAT_TIME, newseg_ts, -1,
1061           newseg_ts);
1062     }
1063   }
1064   gst_mss_demux_restart_tasks (mssdemux);
1065 }
1066
1067 static void
1068 _free_data_queue_item (gpointer obj)
1069 {
1070   GstDataQueueItem *item = obj;
1071
1072   gst_mini_object_unref (item->object);
1073   g_slice_free (GstDataQueueItem, item);
1074 }
1075
1076 static void
1077 gst_mss_demux_stream_store_object (GstMssDemuxStream * stream,
1078     GstMiniObject * obj)
1079 {
1080   GstDataQueueItem *item;
1081
1082   item = g_slice_new (GstDataQueueItem);
1083   item->object = (GstMiniObject *) obj;
1084
1085   item->duration = 0;           /* we don't care */
1086   item->size = 0;
1087   item->visible = TRUE;
1088
1089   item->destroy = (GDestroyNotify) _free_data_queue_item;
1090
1091   if (!gst_data_queue_push (stream->dataqueue, item)) {
1092     GST_DEBUG_OBJECT (stream->parent, "Failed to store object %p", obj);
1093     item->destroy (item);
1094   }
1095 }
1096
1097 static GstFlowReturn
1098 gst_mss_demux_stream_download_fragment (GstMssDemuxStream * stream,
1099     GstBuffer ** buffer)
1100 {
1101   GstMssDemux *mssdemux = stream->parent;
1102   gchar *path;
1103   gchar *url;
1104   GstFragment *fragment;
1105   GstBuffer *_buffer;
1106   GstFlowReturn ret = GST_FLOW_OK;
1107   guint64 before_download, after_download;
1108
1109   before_download = g_get_real_time ();
1110
1111   GST_DEBUG_OBJECT (mssdemux, "Getting url for stream %p", stream);
1112   ret = gst_mss_stream_get_fragment_url (stream->manifest_stream, &path);
1113   switch (ret) {
1114     case GST_FLOW_OK:
1115       break;                    /* all is good, let's go */
1116     case GST_FLOW_UNEXPECTED:  /* EOS */
1117       if (gst_mss_manifest_is_live (mssdemux->manifest)) {
1118         gst_mss_demux_reload_manifest (mssdemux);
1119         return GST_FLOW_OK;
1120       }
1121       return GST_FLOW_UNEXPECTED;
1122     case GST_FLOW_ERROR:
1123       goto error;
1124     default:
1125       break;
1126   }
1127   if (!path) {
1128     goto no_url_error;
1129   }
1130   GST_DEBUG_OBJECT (mssdemux, "Got url path '%s' for stream %p", path, stream);
1131
1132   url = g_strdup_printf ("%s/%s", mssdemux->base_url, path);
1133
1134   GST_DEBUG_OBJECT (mssdemux, "Got url '%s' for stream %p", url, stream);
1135
1136   fragment = gst_uri_downloader_fetch_uri (stream->downloader, url);
1137   g_free (path);
1138   g_free (url);
1139
1140   if (!fragment) {
1141     GST_INFO_OBJECT (mssdemux, "No fragment downloaded");
1142     /* TODO check if we are truly stoping */
1143     if (gst_mss_manifest_is_live (mssdemux->manifest)) {
1144       /* looks like there is no way of knowing when a live stream has ended
1145        * Have to assume we are falling behind and cause a manifest reload */
1146       return GST_FLOW_OK;
1147     }
1148     return GST_FLOW_ERROR;
1149   }
1150
1151   _buffer = gst_fragment_get_buffer (fragment);
1152   _buffer = gst_buffer_make_metadata_writable (_buffer);
1153   gst_buffer_set_caps (_buffer, GST_PAD_CAPS (stream->pad));
1154   GST_BUFFER_TIMESTAMP (_buffer) =
1155       gst_mss_stream_get_fragment_gst_timestamp (stream->manifest_stream);
1156   GST_BUFFER_DURATION (_buffer) =
1157       gst_mss_stream_get_fragment_gst_duration (stream->manifest_stream);
1158
1159   g_object_unref (fragment);
1160
1161   if (buffer)
1162     *buffer = _buffer;
1163
1164   after_download = g_get_real_time ();
1165   if (_buffer) {
1166     guint64 bitrate = (8 * GST_BUFFER_SIZE (_buffer) * 1000000LLU) /
1167         (after_download - before_download);
1168
1169     GST_DEBUG_OBJECT (mssdemux, "Measured download bitrate: %s %llu bps",
1170         GST_PAD_NAME (stream->pad), bitrate);
1171     gst_download_rate_add_rate (&stream->download_rate,
1172         GST_BUFFER_SIZE (_buffer), 1000 * (after_download - before_download));
1173
1174     GST_DEBUG_OBJECT (mssdemux,
1175         "Storing buffer for stream %p - %s. Timestamp: %" GST_TIME_FORMAT
1176         " Duration: %" GST_TIME_FORMAT,
1177         stream, GST_PAD_NAME (stream->pad),
1178         GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (_buffer)),
1179         GST_TIME_ARGS (GST_BUFFER_DURATION (_buffer)));
1180     gst_mss_demux_stream_store_object (stream, GST_MINI_OBJECT_CAST (_buffer));
1181   }
1182
1183
1184   GST_OBJECT_LOCK (mssdemux);
1185   mssdemux->update_bitrates = TRUE;
1186   GST_OBJECT_UNLOCK (mssdemux);
1187
1188   return ret;
1189
1190 no_url_error:
1191   {
1192     GST_ELEMENT_ERROR (mssdemux, STREAM, DEMUX,
1193         (_("Failed to get fragment URL.")),
1194         ("An error happened when getting fragment URL"));
1195     gst_task_pause (stream->download_task);
1196     return GST_FLOW_ERROR;
1197   }
1198 error:
1199   {
1200     GST_WARNING_OBJECT (mssdemux, "Error while pushing fragment");
1201     gst_task_pause (stream->download_task);
1202     return GST_FLOW_ERROR;
1203   }
1204 }
1205
1206 static void
1207 gst_mss_demux_download_loop (GstMssDemuxStream * stream)
1208 {
1209   GstMssDemux *mssdemux = stream->parent;
1210   GstBuffer *buffer = NULL;
1211   GstFlowReturn ret;
1212
1213   GST_LOG_OBJECT (mssdemux, "download loop start %p", stream);
1214
1215   ret = gst_mss_demux_stream_download_fragment (stream, &buffer);
1216   switch (ret) {
1217     case GST_FLOW_OK:
1218       break;                    /* all is good, let's go */
1219     case GST_FLOW_UNEXPECTED:  /* EOS */
1220       goto eos;
1221     case GST_FLOW_ERROR:
1222       goto error;
1223     default:
1224       break;
1225   }
1226
1227   stream->download_error_count = 0;
1228
1229   if (buffer) {
1230     gst_mss_stream_advance_fragment (stream->manifest_stream);
1231   }
1232   GST_LOG_OBJECT (mssdemux, "download loop end %p", stream);
1233   return;
1234
1235 eos:
1236   {
1237     GST_DEBUG_OBJECT (mssdemux, "Storing EOS for pad %s:%s",
1238         GST_DEBUG_PAD_NAME (stream->pad));
1239     gst_mss_demux_stream_store_object (stream,
1240         GST_MINI_OBJECT_CAST (gst_event_new_eos ()));
1241     gst_task_pause (stream->download_task);
1242     return;
1243   }
1244 error:
1245   {
1246     GST_WARNING_OBJECT (mssdemux, "Error while pushing fragment");
1247     if (++stream->download_error_count >= DOWNLOAD_RATE_MAX_HISTORY_LENGTH) {
1248       GST_ELEMENT_ERROR (mssdemux, RESOURCE, NOT_FOUND,
1249           (_("Couldn't download fragments")),
1250           ("fragment downloading has failed too much consecutive times"));
1251     }
1252     return;
1253   }
1254 }
1255
1256 static GstFlowReturn
1257 gst_mss_demux_select_latest_stream (GstMssDemux * mssdemux,
1258     GstMssDemuxStream ** stream)
1259 {
1260   GstFlowReturn ret = GST_FLOW_OK;
1261   GstMssDemuxStream *current = NULL;
1262   GstClockTime cur_time = GST_CLOCK_TIME_NONE;
1263   GSList *iter;
1264
1265   if (!mssdemux->streams)
1266     return GST_FLOW_ERROR;
1267
1268   for (iter = mssdemux->streams; iter; iter = g_slist_next (iter)) {
1269     GstClockTime time;
1270     GstMssDemuxStream *other;
1271     GstDataQueueItem *item;
1272
1273     other = iter->data;
1274     if (other->eos) {
1275       continue;
1276     }
1277
1278     if (!gst_data_queue_peek (other->dataqueue, &item)) {
1279       /* flushing */
1280       return GST_FLOW_WRONG_STATE;
1281     }
1282
1283     if (GST_IS_EVENT (item->object)) {
1284       /* events have higher priority */
1285       current = other;
1286       break;
1287     }
1288     time = GST_BUFFER_TIMESTAMP (GST_BUFFER_CAST (item->object));
1289     if (time < cur_time) {
1290       cur_time = time;
1291       current = other;
1292     }
1293   }
1294
1295   *stream = current;
1296   if (current == NULL)
1297     ret = GST_FLOW_UNEXPECTED;
1298   return ret;
1299 }
1300
1301 static void
1302 gst_mss_demux_stream_loop (GstMssDemux * mssdemux)
1303 {
1304   GstMssDemuxStream *stream = NULL;
1305   GstFlowReturn ret;
1306   GstMiniObject *object = NULL;
1307   GstDataQueueItem *item = NULL;
1308
1309   GST_LOG_OBJECT (mssdemux, "Starting stream loop");
1310
1311   GST_OBJECT_LOCK (mssdemux);
1312   if (mssdemux->update_bitrates) {
1313     mssdemux->update_bitrates = FALSE;
1314     GST_OBJECT_UNLOCK (mssdemux);
1315
1316     GST_DEBUG_OBJECT (mssdemux,
1317         "Starting streams reconfiguration due to bitrate changes");
1318     gst_mss_demux_reconfigure (mssdemux);
1319     GST_DEBUG_OBJECT (mssdemux, "Finished streams reconfiguration");
1320   } else {
1321     GST_OBJECT_UNLOCK (mssdemux);
1322   }
1323
1324   ret = gst_mss_demux_select_latest_stream (mssdemux, &stream);
1325
1326   if (stream)
1327     GST_DEBUG_OBJECT (mssdemux,
1328         "Stream loop selected %p stream of pad %s. %d - %s", stream,
1329         GST_PAD_NAME (stream->pad), ret, gst_flow_get_name (ret));
1330   else
1331     GST_DEBUG_OBJECT (mssdemux, "No streams selected -> %d - %s", ret,
1332         gst_flow_get_name (ret));
1333
1334   switch (ret) {
1335     case GST_FLOW_OK:
1336       break;
1337     case GST_FLOW_ERROR:
1338       goto error;
1339     case GST_FLOW_UNEXPECTED:
1340       goto eos;
1341     case GST_FLOW_WRONG_STATE:
1342       GST_DEBUG_OBJECT (mssdemux, "Wrong state, stopping task");
1343       goto stop;
1344     default:
1345       g_assert_not_reached ();
1346   }
1347
1348   GST_LOG_OBJECT (mssdemux, "popping next item from queue for stream %p %s",
1349       stream, GST_PAD_NAME (stream->pad));
1350   if (gst_data_queue_pop (stream->dataqueue, &item)) {
1351     if (item->object)
1352       object = gst_mini_object_ref (item->object);
1353     item->destroy (item);
1354   } else {
1355     GST_DEBUG_OBJECT (mssdemux,
1356         "Failed to get object from dataqueue on stream %p %s", stream,
1357         GST_PAD_NAME (stream->pad));
1358     goto stop;
1359   }
1360
1361   if (G_UNLIKELY (stream->pending_newsegment)) {
1362     gst_pad_push_event (stream->pad, stream->pending_newsegment);
1363     stream->pending_newsegment = NULL;
1364   }
1365
1366   if (G_LIKELY (GST_IS_BUFFER (object))) {
1367     if (GST_BUFFER_TIMESTAMP (object) != stream->next_timestamp) {
1368       GST_ERROR_OBJECT (mssdemux, "Marking buffer %p as discont buffer:%"
1369           GST_TIME_FORMAT " != expected:%" GST_TIME_FORMAT, object,
1370           GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (object)),
1371           GST_TIME_ARGS (stream->next_timestamp));
1372       GST_BUFFER_FLAG_SET (object, GST_BUFFER_FLAG_DISCONT);
1373     }
1374
1375     GST_DEBUG_OBJECT (mssdemux,
1376         "Pushing buffer %p %" GST_TIME_FORMAT ", duration %" GST_TIME_FORMAT
1377         " discont:%d on pad %s", object,
1378         GST_TIME_ARGS (GST_BUFFER_TIMESTAMP (object)),
1379         GST_TIME_ARGS (GST_BUFFER_DURATION (object)),
1380         GST_BUFFER_FLAG_IS_SET (object, GST_BUFFER_FLAG_DISCONT),
1381         GST_PAD_NAME (stream->pad));
1382
1383     stream->next_timestamp =
1384         GST_BUFFER_TIMESTAMP (object) + GST_BUFFER_DURATION (object);
1385
1386     stream->have_data = TRUE;
1387     ret = gst_pad_push (stream->pad, GST_BUFFER_CAST (object));
1388   } else if (GST_IS_EVENT (object)) {
1389     if (GST_EVENT_TYPE (object) == GST_EVENT_EOS)
1390       stream->eos = TRUE;
1391     GST_DEBUG_OBJECT (mssdemux, "Pushing event %p on pad %s", object,
1392         GST_PAD_NAME (stream->pad));
1393     gst_pad_push_event (stream->pad, GST_EVENT_CAST (object));
1394   } else {
1395     g_return_if_reached ();
1396   }
1397
1398   switch (ret) {
1399     case GST_FLOW_UNEXPECTED:
1400       goto eos;                 /* EOS ? */
1401     case GST_FLOW_ERROR:
1402       goto error;
1403     case GST_FLOW_NOT_LINKED:
1404       break;                    /* TODO what to do here? pause the task or just keep pushing? */
1405     case GST_FLOW_OK:
1406     default:
1407       break;
1408   }
1409
1410   GST_LOG_OBJECT (mssdemux, "Stream loop end");
1411   return;
1412
1413 eos:
1414   {
1415     GST_DEBUG_OBJECT (mssdemux, "EOS on all pads");
1416     gst_task_pause (mssdemux->stream_task);
1417     return;
1418   }
1419 error:
1420   {
1421     GST_WARNING_OBJECT (mssdemux, "Error while pushing fragment");
1422     gst_task_pause (mssdemux->stream_task);
1423     return;
1424   }
1425 stop:
1426   {
1427     GST_DEBUG_OBJECT (mssdemux, "Pausing streaming task");
1428     gst_task_pause (mssdemux->stream_task);
1429     return;
1430   }
1431 }