baseparse: Don't add calculated bitrates until threshold
[platform/upstream/gstreamer.git] / libs / gst / base / gstbaseparse.c
1 /* GStreamer
2  * Copyright (C) 2008 Nokia Corporation. All rights reserved.
3  *   Contact: Stefan Kost <stefan.kost@nokia.com>
4  * Copyright (C) 2008 Sebastian Dröge <sebastian.droege@collabora.co.uk>.
5  * Copyright (C) 2011, Hewlett-Packard Development Company, L.P.
6  *   Author: Sebastian Dröge <sebastian.droege@collabora.co.uk>, Collabora Ltd.
7  *
8  * This library is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Library General Public
10  * License as published by the Free Software Foundation; either
11  * version 2 of the License, or (at your option) any later version.
12  *
13  * This library is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Library General Public License for more details.
17  *
18  * You should have received a copy of the GNU Library General Public
19  * License along with this library; if not, write to the
20  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
21  * Boston, MA 02110-1301, USA.
22  */
23
24 /**
25  * SECTION:gstbaseparse
26  * @short_description: Base class for stream parsers
27  * @see_also: #GstBaseTransform
28  *
29  * This base class is for parser elements that process data and splits it
30  * into separate audio/video/whatever frames.
31  *
32  * It provides for:
33  * <itemizedlist>
34  *   <listitem><para>provides one sink pad and one source pad</para></listitem>
35  *   <listitem><para>handles state changes</para></listitem>
36  *   <listitem><para>can operate in pull mode or push mode</para></listitem>
37  *   <listitem><para>handles seeking in both modes</para></listitem>
38  *   <listitem><para>handles events (SEGMENT/EOS/FLUSH)</para></listitem>
39  *   <listitem><para>
40  *        handles queries (POSITION/DURATION/SEEKING/FORMAT/CONVERT)
41  *   </para></listitem>
42  *   <listitem><para>handles flushing</para></listitem>
43  * </itemizedlist>
44  *
45  * The purpose of this base class is to provide the basic functionality of
46  * a parser and share a lot of rather complex code.
47  *
48  * Description of the parsing mechanism:
49  * <orderedlist>
50  * <listitem>
51  *   <itemizedlist><title>Set-up phase</title>
52  *   <listitem><para>
53  *     #GstBaseParse calls @start to inform subclass that data processing is
54  *     about to start now.
55  *   </para></listitem>
56  *   <listitem><para>
57  *     #GstBaseParse class calls @set_sink_caps to inform the subclass about
58  *     incoming sinkpad caps. Subclass could already set the srcpad caps
59  *     accordingly, but this might be delayed until calling
60  *     gst_base_parse_finish_frame() with a non-queued frame.
61  *   </para></listitem>
62  *   <listitem><para>
63  *      At least at this point subclass needs to tell the #GstBaseParse class
64  *      how big data chunks it wants to receive (min_frame_size). It can do
65  *      this with gst_base_parse_set_min_frame_size().
66  *   </para></listitem>
67  *   <listitem><para>
68  *      #GstBaseParse class sets up appropriate data passing mode (pull/push)
69  *      and starts to process the data.
70  *   </para></listitem>
71  *   </itemizedlist>
72  * </listitem>
73  * <listitem>
74  *   <itemizedlist>
75  *   <title>Parsing phase</title>
76  *     <listitem><para>
77  *       #GstBaseParse gathers at least min_frame_size bytes of data either
78  *       by pulling it from upstream or collecting buffers in an internal
79  *       #GstAdapter.
80  *     </para></listitem>
81  *     <listitem><para>
82  *       A buffer of (at least) min_frame_size bytes is passed to subclass with
83  *       @handle_frame. Subclass checks the contents and can optionally
84  *       return GST_FLOW_OK along with an amount of data to be skipped to find
85  *       a valid frame (which will result in a subsequent DISCONT).
86  *       If, otherwise, the buffer does not hold a complete frame,
87  *       @handle_frame can merely return and will be called again when additional
88  *       data is available.  In push mode this amounts to an
89  *       additional input buffer (thus minimal additional latency), in pull mode
90  *       this amounts to some arbitrary reasonable buffer size increase.
91  *       Of course, gst_base_parse_set_min_frame_size() could also be used if a
92  *       very specific known amount of additional data is required.
93  *       If, however, the buffer holds a complete valid frame, it can pass
94  *       the size of this frame to gst_base_parse_finish_frame().
95  *       If acting as a converter, it can also merely indicate consumed input data
96  *       while simultaneously providing custom output data.
97  *       Note that baseclass performs some processing (such as tracking
98  *       overall consumed data rate versus duration) for each finished frame,
99  *       but other state is only updated upon each call to @handle_frame
100  *       (such as tracking upstream input timestamp).
101  *       </para><para>
102  *       Subclass is also responsible for setting the buffer metadata
103  *       (e.g. buffer timestamp and duration, or keyframe if applicable).
104  *       (although the latter can also be done by #GstBaseParse if it is
105  *       appropriately configured, see below).  Frame is provided with
106  *       timestamp derived from upstream (as much as generally possible),
107  *       duration obtained from configuration (see below), and offset
108  *       if meaningful (in pull mode).
109  *       </para><para>
110  *       Note that @check_valid_frame might receive any small
111  *       amount of input data when leftover data is being drained (e.g. at EOS).
112  *     </para></listitem>
113  *     <listitem><para>
114  *       As part of finish frame processing,
115  *       just prior to actually pushing the buffer in question,
116  *       it is passed to @pre_push_frame which gives subclass yet one
117  *       last chance to examine buffer metadata, or to send some custom (tag)
118  *       events, or to perform custom (segment) filtering.
119  *     </para></listitem>
120  *     <listitem><para>
121  *       During the parsing process #GstBaseParseClass will handle both srcpad
122  *       and sinkpad events. They will be passed to subclass if @event or
123  *       @src_event callbacks have been provided.
124  *     </para></listitem>
125  *   </itemizedlist>
126  * </listitem>
127  * <listitem>
128  *   <itemizedlist><title>Shutdown phase</title>
129  *   <listitem><para>
130  *     #GstBaseParse class calls @stop to inform the subclass that data
131  *     parsing will be stopped.
132  *   </para></listitem>
133  *   </itemizedlist>
134  * </listitem>
135  * </orderedlist>
136  *
137  * Subclass is responsible for providing pad template caps for
138  * source and sink pads. The pads need to be named "sink" and "src". It also
139  * needs to set the fixed caps on srcpad, when the format is ensured (e.g.
140  * when base class calls subclass' @set_sink_caps function).
141  *
142  * This base class uses %GST_FORMAT_DEFAULT as a meaning of frames. So,
143  * subclass conversion routine needs to know that conversion from
144  * %GST_FORMAT_TIME to %GST_FORMAT_DEFAULT must return the
145  * frame number that can be found from the given byte position.
146  *
147  * #GstBaseParse uses subclasses conversion methods also for seeking (or
148  * otherwise uses its own default one, see also below).
149  *
150  * Subclass @start and @stop functions will be called to inform the beginning
151  * and end of data processing.
152  *
153  * Things that subclass need to take care of:
154  * <itemizedlist>
155  *   <listitem><para>Provide pad templates</para></listitem>
156  *   <listitem><para>
157  *      Fixate the source pad caps when appropriate
158  *   </para></listitem>
159  *   <listitem><para>
160  *      Inform base class how big data chunks should be retrieved. This is
161  *      done with gst_base_parse_set_min_frame_size() function.
162  *   </para></listitem>
163  *   <listitem><para>
164  *      Examine data chunks passed to subclass with @handle_frame and pass
165  *      proper frame(s) to gst_base_parse_finish_frame(), and setting src pad
166  *      caps and timestamps on frame.
167  *   </para></listitem>
168  *   <listitem><para>Provide conversion functions</para></listitem>
169  *   <listitem><para>
170  *      Update the duration information with gst_base_parse_set_duration()
171  *   </para></listitem>
172  *   <listitem><para>
173  *      Optionally passthrough using gst_base_parse_set_passthrough()
174  *   </para></listitem>
175  *   <listitem><para>
176  *      Configure various baseparse parameters using
177  *      gst_base_parse_set_average_bitrate(), gst_base_parse_set_syncable()
178  *      and gst_base_parse_set_frame_rate().
179  *   </para></listitem>
180  *   <listitem><para>
181  *      In particular, if subclass is unable to determine a duration, but
182  *      parsing (or specs) yields a frames per seconds rate, then this can be
183  *      provided to #GstBaseParse to enable it to cater for
184  *      buffer time metadata (which will be taken from upstream as much as
185  *      possible). Internally keeping track of frame durations and respective
186  *      sizes that have been pushed provides #GstBaseParse with an estimated
187  *      bitrate. A default @convert (used if not overridden) will then use these
188  *      rates to perform obvious conversions.  These rates are also used to
189  *      update (estimated) duration at regular frame intervals.
190  *   </para></listitem>
191  * </itemizedlist>
192  *
193  */
194
195 /* TODO:
196  *  - In push mode provide a queue of adapter-"queued" buffers for upstream
197  *    buffer metadata
198  *  - Queue buffers/events until caps are set
199  */
200
201 #ifdef HAVE_CONFIG_H
202 #  include "config.h"
203 #endif
204
205 #include <stdlib.h>
206 #include <string.h>
207
208 #include <gst/base/gstadapter.h>
209
210 #include "gstbaseparse.h"
211
212 /* FIXME: get rid of old GstIndex code */
213 #include "gstindex.h"
214 #include "gstindex.c"
215 #include "gstmemindex.c"
216
217 #define GST_BASE_PARSE_FRAME_PRIVATE_FLAG_NOALLOC  (1 << 0)
218
219 #define MIN_FRAMES_TO_POST_BITRATE 10
220 #define TARGET_DIFFERENCE          (20 * GST_SECOND)
221 #define MAX_INDEX_ENTRIES          4096
222 #define UPDATE_THRESHOLD           2
223
224 #define ABSDIFF(a,b) (((a) > (b)) ? ((a) - (b)) : ((b) - (a)))
225
226 GST_DEBUG_CATEGORY_STATIC (gst_base_parse_debug);
227 #define GST_CAT_DEFAULT gst_base_parse_debug
228
229 /* Supported formats */
230 static const GstFormat fmtlist[] = {
231   GST_FORMAT_DEFAULT,
232   GST_FORMAT_BYTES,
233   GST_FORMAT_TIME,
234   GST_FORMAT_UNDEFINED
235 };
236
237 #define GST_BASE_PARSE_GET_PRIVATE(obj)  \
238     (G_TYPE_INSTANCE_GET_PRIVATE ((obj), GST_TYPE_BASE_PARSE, GstBaseParsePrivate))
239
240 struct _GstBaseParsePrivate
241 {
242   GstPadMode pad_mode;
243
244   GstAdapter *adapter;
245
246   gint64 duration;
247   GstFormat duration_fmt;
248   gint64 estimated_duration;
249   gint64 estimated_drift;
250
251   guint min_frame_size;
252   gboolean disable_passthrough;
253   gboolean passthrough;
254   gboolean pts_interpolate;
255   gboolean infer_ts;
256   gboolean syncable;
257   gboolean has_timing_info;
258   guint fps_num, fps_den;
259   gint update_interval;
260   guint bitrate;
261   guint lead_in, lead_out;
262   GstClockTime lead_in_ts, lead_out_ts;
263   GstClockTime min_latency, max_latency;
264
265   gboolean discont;
266   gboolean flushing;
267   gboolean drain;
268   gboolean saw_gaps;
269
270   gint64 offset;
271   gint64 sync_offset;
272   GstClockTime next_pts;
273   GstClockTime next_dts;
274   GstClockTime prev_pts;
275   GstClockTime prev_dts;
276   gboolean prev_dts_from_pts;
277   GstClockTime frame_duration;
278   gboolean seen_keyframe;
279   gboolean is_video;
280   gint flushed;
281
282   guint64 framecount;
283   guint64 bytecount;
284   guint64 data_bytecount;
285   guint64 acc_duration;
286   GstClockTime first_frame_pts;
287   GstClockTime first_frame_dts;
288   gint64 first_frame_offset;
289
290   gboolean post_min_bitrate;
291   gboolean post_avg_bitrate;
292   gboolean post_max_bitrate;
293
294   guint min_bitrate;
295   guint avg_bitrate;
296   guint max_bitrate;
297   guint posted_avg_bitrate;
298
299   /* frames/buffers that are queued and ready to go on OK */
300   GQueue queued_frames;
301
302   GstBuffer *cache;
303
304   /* index entry storage, either ours or provided */
305   GstIndex *index;
306   gint index_id;
307   gboolean own_index;
308   GMutex index_lock;
309
310   /* seek table entries only maintained if upstream is BYTE seekable */
311   gboolean upstream_seekable;
312   gboolean upstream_has_duration;
313   gint64 upstream_size;
314   GstFormat upstream_format;
315   /* minimum distance between two index entries */
316   GstClockTimeDiff idx_interval;
317   guint64 idx_byte_interval;
318   /* ts and offset of last entry added */
319   GstClockTime index_last_ts;
320   gint64 index_last_offset;
321   gboolean index_last_valid;
322
323   /* timestamps currently produced are accurate, e.g. started from 0 onwards */
324   gboolean exact_position;
325   /* seek events are temporarily kept to match them with newsegments */
326   GSList *pending_seeks;
327
328   /* reverse playback */
329   GSList *buffers_pending;
330   GSList *buffers_head;
331   GSList *buffers_queued;
332   GSList *buffers_send;
333   GstClockTime last_pts;
334   GstClockTime last_dts;
335   gint64 last_offset;
336
337   /* Pending serialized events */
338   GList *pending_events;
339
340   /* If baseparse has checked the caps to identify if it is
341    * handling video or audio */
342   gboolean checked_media;
343
344   /* offset of last parsed frame/data */
345   gint64 prev_offset;
346   /* force a new frame, regardless of offset */
347   gboolean new_frame;
348   /* whether we are merely scanning for a frame */
349   gboolean scanning;
350   /* ... and resulting frame, if any */
351   GstBaseParseFrame *scanned_frame;
352
353   /* TRUE if we're still detecting the format, i.e.
354    * if ::detect() is still called for future buffers */
355   gboolean detecting;
356   GList *detect_buffers;
357   guint detect_buffers_size;
358
359   /* True when no buffers have been received yet */
360   gboolean first_buffer;
361
362   /* if TRUE, a STREAM_START event needs to be pushed */
363   gboolean push_stream_start;
364
365   /* When we need to skip more data than we have currently */
366   guint skip;
367
368   /* Tag handling (stream tags only, global tags are passed through as-is) */
369   GstTagList *upstream_tags;
370   GstTagList *parser_tags;
371   GstTagMergeMode parser_tags_merge_mode;
372   gboolean tags_changed;
373 };
374
375 typedef struct _GstBaseParseSeek
376 {
377   GstSegment segment;
378   gboolean accurate;
379   gint64 offset;
380   GstClockTime start_ts;
381 } GstBaseParseSeek;
382
383 #define DEFAULT_DISABLE_PASSTHROUGH        FALSE
384
385 enum
386 {
387   PROP_0,
388   PROP_DISABLE_PASSTHROUGH,
389   PROP_LAST
390 };
391
392 #define GST_BASE_PARSE_INDEX_LOCK(parse) \
393   g_mutex_lock (&parse->priv->index_lock);
394 #define GST_BASE_PARSE_INDEX_UNLOCK(parse) \
395   g_mutex_unlock (&parse->priv->index_lock);
396
397 static GstElementClass *parent_class = NULL;
398
399 static void gst_base_parse_class_init (GstBaseParseClass * klass);
400 static void gst_base_parse_init (GstBaseParse * parse,
401     GstBaseParseClass * klass);
402
403 GType
404 gst_base_parse_get_type (void)
405 {
406   static volatile gsize base_parse_type = 0;
407
408   if (g_once_init_enter (&base_parse_type)) {
409     static const GTypeInfo base_parse_info = {
410       sizeof (GstBaseParseClass),
411       (GBaseInitFunc) NULL,
412       (GBaseFinalizeFunc) NULL,
413       (GClassInitFunc) gst_base_parse_class_init,
414       NULL,
415       NULL,
416       sizeof (GstBaseParse),
417       0,
418       (GInstanceInitFunc) gst_base_parse_init,
419     };
420     GType _type;
421
422     _type = g_type_register_static (GST_TYPE_ELEMENT,
423         "GstBaseParse", &base_parse_info, G_TYPE_FLAG_ABSTRACT);
424     g_once_init_leave (&base_parse_type, _type);
425   }
426   return (GType) base_parse_type;
427 }
428
429 static void gst_base_parse_finalize (GObject * object);
430
431 static GstStateChangeReturn gst_base_parse_change_state (GstElement * element,
432     GstStateChange transition);
433 static void gst_base_parse_reset (GstBaseParse * parse);
434
435 #if 0
436 static void gst_base_parse_set_index (GstElement * element, GstIndex * index);
437 static GstIndex *gst_base_parse_get_index (GstElement * element);
438 #endif
439
440 static gboolean gst_base_parse_sink_activate (GstPad * sinkpad,
441     GstObject * parent);
442 static gboolean gst_base_parse_sink_activate_mode (GstPad * pad,
443     GstObject * parent, GstPadMode mode, gboolean active);
444 static gboolean gst_base_parse_handle_seek (GstBaseParse * parse,
445     GstEvent * event);
446 static void gst_base_parse_set_upstream_tags (GstBaseParse * parse,
447     GstTagList * taglist);
448
449 static void gst_base_parse_set_property (GObject * object, guint prop_id,
450     const GValue * value, GParamSpec * pspec);
451 static void gst_base_parse_get_property (GObject * object, guint prop_id,
452     GValue * value, GParamSpec * pspec);
453
454 static gboolean gst_base_parse_src_event (GstPad * pad, GstObject * parent,
455     GstEvent * event);
456 static gboolean gst_base_parse_src_query (GstPad * pad, GstObject * parent,
457     GstQuery * query);
458
459 static gboolean gst_base_parse_sink_event (GstPad * pad, GstObject * parent,
460     GstEvent * event);
461 static gboolean gst_base_parse_sink_query (GstPad * pad, GstObject * parent,
462     GstQuery * query);
463
464 static GstFlowReturn gst_base_parse_chain (GstPad * pad, GstObject * parent,
465     GstBuffer * buffer);
466 static void gst_base_parse_loop (GstPad * pad);
467
468 static GstFlowReturn gst_base_parse_parse_frame (GstBaseParse * parse,
469     GstBaseParseFrame * frame);
470
471 static gboolean gst_base_parse_sink_event_default (GstBaseParse * parse,
472     GstEvent * event);
473
474 static gboolean gst_base_parse_src_event_default (GstBaseParse * parse,
475     GstEvent * event);
476
477 static gboolean gst_base_parse_sink_query_default (GstBaseParse * parse,
478     GstQuery * query);
479 static gboolean gst_base_parse_src_query_default (GstBaseParse * parse,
480     GstQuery * query);
481
482 static void gst_base_parse_drain (GstBaseParse * parse);
483
484 static gint64 gst_base_parse_find_offset (GstBaseParse * parse,
485     GstClockTime time, gboolean before, GstClockTime * _ts);
486 static GstFlowReturn gst_base_parse_locate_time (GstBaseParse * parse,
487     GstClockTime * _time, gint64 * _offset);
488
489 static GstFlowReturn gst_base_parse_start_fragment (GstBaseParse * parse);
490 static GstFlowReturn gst_base_parse_finish_fragment (GstBaseParse * parse,
491     gboolean prev_head);
492 static GstFlowReturn gst_base_parse_send_buffers (GstBaseParse * parse);
493
494 static inline GstFlowReturn gst_base_parse_check_sync (GstBaseParse * parse);
495
496 static gboolean gst_base_parse_is_seekable (GstBaseParse * parse);
497
498 static void gst_base_parse_push_pending_events (GstBaseParse * parse);
499
500 static void
501 gst_base_parse_clear_queues (GstBaseParse * parse)
502 {
503   g_slist_foreach (parse->priv->buffers_queued, (GFunc) gst_buffer_unref, NULL);
504   g_slist_free (parse->priv->buffers_queued);
505   parse->priv->buffers_queued = NULL;
506   g_slist_foreach (parse->priv->buffers_pending, (GFunc) gst_buffer_unref,
507       NULL);
508   g_slist_free (parse->priv->buffers_pending);
509   parse->priv->buffers_pending = NULL;
510   g_slist_foreach (parse->priv->buffers_head, (GFunc) gst_buffer_unref, NULL);
511   g_slist_free (parse->priv->buffers_head);
512   parse->priv->buffers_head = NULL;
513   g_slist_foreach (parse->priv->buffers_send, (GFunc) gst_buffer_unref, NULL);
514   g_slist_free (parse->priv->buffers_send);
515   parse->priv->buffers_send = NULL;
516
517   g_list_foreach (parse->priv->detect_buffers, (GFunc) gst_buffer_unref, NULL);
518   g_list_free (parse->priv->detect_buffers);
519   parse->priv->detect_buffers = NULL;
520   parse->priv->detect_buffers_size = 0;
521
522   g_queue_foreach (&parse->priv->queued_frames,
523       (GFunc) gst_base_parse_frame_free, NULL);
524   g_queue_clear (&parse->priv->queued_frames);
525
526   gst_buffer_replace (&parse->priv->cache, NULL);
527
528   g_list_foreach (parse->priv->pending_events, (GFunc) gst_event_unref, NULL);
529   g_list_free (parse->priv->pending_events);
530   parse->priv->pending_events = NULL;
531
532   parse->priv->checked_media = FALSE;
533 }
534
535 static void
536 gst_base_parse_finalize (GObject * object)
537 {
538   GstBaseParse *parse = GST_BASE_PARSE (object);
539
540   g_object_unref (parse->priv->adapter);
541
542   if (parse->priv->index) {
543     gst_object_unref (parse->priv->index);
544     parse->priv->index = NULL;
545   }
546   g_mutex_clear (&parse->priv->index_lock);
547
548   gst_base_parse_clear_queues (parse);
549
550   G_OBJECT_CLASS (parent_class)->finalize (object);
551 }
552
553 static void
554 gst_base_parse_class_init (GstBaseParseClass * klass)
555 {
556   GObjectClass *gobject_class;
557   GstElementClass *gstelement_class;
558
559   gobject_class = G_OBJECT_CLASS (klass);
560   g_type_class_add_private (klass, sizeof (GstBaseParsePrivate));
561   parent_class = g_type_class_peek_parent (klass);
562
563   gobject_class->finalize = GST_DEBUG_FUNCPTR (gst_base_parse_finalize);
564   gobject_class->set_property = GST_DEBUG_FUNCPTR (gst_base_parse_set_property);
565   gobject_class->get_property = GST_DEBUG_FUNCPTR (gst_base_parse_get_property);
566
567   /**
568    * GstBaseParse:disable-passthrough:
569    *
570    * If set to %TRUE, baseparse will unconditionally force parsing of the
571    * incoming data. This can be required in the rare cases where the incoming
572    * side-data (caps, pts, dts, ...) is not trusted by the user and wants to
573    * force validation and parsing of the incoming data.
574    * If set to %FALSE, decision of whether to parse the data or not is up to
575    * the implementation (standard behaviour).
576    */
577   g_object_class_install_property (gobject_class, PROP_DISABLE_PASSTHROUGH,
578       g_param_spec_boolean ("disable-passthrough", "Disable passthrough",
579           "Force processing (disables passthrough)",
580           DEFAULT_DISABLE_PASSTHROUGH,
581           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
582
583   gstelement_class = (GstElementClass *) klass;
584   gstelement_class->change_state =
585       GST_DEBUG_FUNCPTR (gst_base_parse_change_state);
586
587 #if 0
588   gstelement_class->set_index = GST_DEBUG_FUNCPTR (gst_base_parse_set_index);
589   gstelement_class->get_index = GST_DEBUG_FUNCPTR (gst_base_parse_get_index);
590 #endif
591
592   /* Default handlers */
593   klass->sink_event = gst_base_parse_sink_event_default;
594   klass->src_event = gst_base_parse_src_event_default;
595   klass->sink_query = gst_base_parse_sink_query_default;
596   klass->src_query = gst_base_parse_src_query_default;
597   klass->convert = gst_base_parse_convert_default;
598
599   GST_DEBUG_CATEGORY_INIT (gst_base_parse_debug, "baseparse", 0,
600       "baseparse element");
601 }
602
603 static void
604 gst_base_parse_init (GstBaseParse * parse, GstBaseParseClass * bclass)
605 {
606   GstPadTemplate *pad_template;
607
608   GST_DEBUG_OBJECT (parse, "gst_base_parse_init");
609
610   parse->priv = GST_BASE_PARSE_GET_PRIVATE (parse);
611
612   pad_template =
613       gst_element_class_get_pad_template (GST_ELEMENT_CLASS (bclass), "sink");
614   g_return_if_fail (pad_template != NULL);
615   parse->sinkpad = gst_pad_new_from_template (pad_template, "sink");
616   gst_pad_set_event_function (parse->sinkpad,
617       GST_DEBUG_FUNCPTR (gst_base_parse_sink_event));
618   gst_pad_set_query_function (parse->sinkpad,
619       GST_DEBUG_FUNCPTR (gst_base_parse_sink_query));
620   gst_pad_set_chain_function (parse->sinkpad,
621       GST_DEBUG_FUNCPTR (gst_base_parse_chain));
622   gst_pad_set_activate_function (parse->sinkpad,
623       GST_DEBUG_FUNCPTR (gst_base_parse_sink_activate));
624   gst_pad_set_activatemode_function (parse->sinkpad,
625       GST_DEBUG_FUNCPTR (gst_base_parse_sink_activate_mode));
626   GST_PAD_SET_PROXY_ALLOCATION (parse->sinkpad);
627   gst_element_add_pad (GST_ELEMENT (parse), parse->sinkpad);
628
629   GST_DEBUG_OBJECT (parse, "sinkpad created");
630
631   pad_template =
632       gst_element_class_get_pad_template (GST_ELEMENT_CLASS (bclass), "src");
633   g_return_if_fail (pad_template != NULL);
634   parse->srcpad = gst_pad_new_from_template (pad_template, "src");
635   gst_pad_set_event_function (parse->srcpad,
636       GST_DEBUG_FUNCPTR (gst_base_parse_src_event));
637   gst_pad_set_query_function (parse->srcpad,
638       GST_DEBUG_FUNCPTR (gst_base_parse_src_query));
639   gst_pad_use_fixed_caps (parse->srcpad);
640   gst_element_add_pad (GST_ELEMENT (parse), parse->srcpad);
641   GST_DEBUG_OBJECT (parse, "src created");
642
643   g_queue_init (&parse->priv->queued_frames);
644
645   parse->priv->adapter = gst_adapter_new ();
646
647   parse->priv->pad_mode = GST_PAD_MODE_NONE;
648
649   g_mutex_init (&parse->priv->index_lock);
650
651   /* init state */
652   gst_base_parse_reset (parse);
653   GST_DEBUG_OBJECT (parse, "init ok");
654
655   GST_OBJECT_FLAG_SET (parse, GST_ELEMENT_FLAG_INDEXABLE);
656
657   parse->priv->upstream_tags = NULL;
658   parse->priv->parser_tags = NULL;
659   parse->priv->parser_tags_merge_mode = GST_TAG_MERGE_APPEND;
660 }
661
662 static void
663 gst_base_parse_set_property (GObject * object, guint prop_id,
664     const GValue * value, GParamSpec * pspec)
665 {
666   GstBaseParse *parse = GST_BASE_PARSE (object);
667
668   switch (prop_id) {
669     case PROP_DISABLE_PASSTHROUGH:
670       parse->priv->disable_passthrough = g_value_get_boolean (value);
671       break;
672     default:
673       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
674       break;
675   }
676 }
677
678 static void
679 gst_base_parse_get_property (GObject * object, guint prop_id, GValue * value,
680     GParamSpec * pspec)
681 {
682   GstBaseParse *parse = GST_BASE_PARSE (object);
683
684   switch (prop_id) {
685     case PROP_DISABLE_PASSTHROUGH:
686       g_value_set_boolean (value, parse->priv->disable_passthrough);
687       break;
688     default:
689       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
690       break;
691   }
692 }
693
694 static GstBaseParseFrame *
695 gst_base_parse_frame_copy (GstBaseParseFrame * frame)
696 {
697   GstBaseParseFrame *copy;
698
699   copy = g_slice_dup (GstBaseParseFrame, frame);
700   copy->buffer = gst_buffer_ref (frame->buffer);
701   copy->_private_flags &= ~GST_BASE_PARSE_FRAME_PRIVATE_FLAG_NOALLOC;
702
703   GST_TRACE ("copied frame %p -> %p", frame, copy);
704
705   return copy;
706 }
707
708 void
709 gst_base_parse_frame_free (GstBaseParseFrame * frame)
710 {
711   GST_TRACE ("freeing frame %p", frame);
712
713   if (frame->buffer) {
714     gst_buffer_unref (frame->buffer);
715     frame->buffer = NULL;
716   }
717
718   if (!(frame->_private_flags & GST_BASE_PARSE_FRAME_PRIVATE_FLAG_NOALLOC)) {
719     g_slice_free (GstBaseParseFrame, frame);
720   } else {
721     memset (frame, 0, sizeof (*frame));
722   }
723 }
724
725 G_DEFINE_BOXED_TYPE (GstBaseParseFrame, gst_base_parse_frame,
726     (GBoxedCopyFunc) gst_base_parse_frame_copy,
727     (GBoxedFreeFunc) gst_base_parse_frame_free);
728
729 /**
730  * gst_base_parse_frame_init:
731  * @frame: #GstBaseParseFrame.
732  *
733  * Sets a #GstBaseParseFrame to initial state.  Currently this means
734  * all public fields are zero-ed and a private flag is set to make
735  * sure gst_base_parse_frame_free() only frees the contents but not
736  * the actual frame. Use this function to initialise a #GstBaseParseFrame
737  * allocated on the stack.
738  */
739 void
740 gst_base_parse_frame_init (GstBaseParseFrame * frame)
741 {
742   memset (frame, 0, sizeof (GstBaseParseFrame));
743   frame->_private_flags = GST_BASE_PARSE_FRAME_PRIVATE_FLAG_NOALLOC;
744   GST_TRACE ("inited frame %p", frame);
745 }
746
747 /**
748  * gst_base_parse_frame_new:
749  * @buffer: (transfer none): a #GstBuffer
750  * @flags: the flags
751  * @overhead: number of bytes in this frame which should be counted as
752  *     metadata overhead, ie. not used to calculate the average bitrate.
753  *     Set to -1 to mark the entire frame as metadata. If in doubt, set to 0.
754  *
755  * Allocates a new #GstBaseParseFrame. This function is mainly for bindings,
756  * elements written in C should usually allocate the frame on the stack and
757  * then use gst_base_parse_frame_init() to initialise it.
758  *
759  * Returns: a newly-allocated #GstBaseParseFrame. Free with
760  *     gst_base_parse_frame_free() when no longer needed.
761  */
762 GstBaseParseFrame *
763 gst_base_parse_frame_new (GstBuffer * buffer, GstBaseParseFrameFlags flags,
764     gint overhead)
765 {
766   GstBaseParseFrame *frame;
767
768   frame = g_slice_new0 (GstBaseParseFrame);
769   frame->buffer = gst_buffer_ref (buffer);
770
771   GST_TRACE ("created frame %p", frame);
772   return frame;
773 }
774
775 static inline void
776 gst_base_parse_update_flags (GstBaseParse * parse)
777 {
778   parse->flags = 0;
779
780   /* set flags one by one for clarity */
781   if (G_UNLIKELY (parse->priv->drain))
782     parse->flags |= GST_BASE_PARSE_FLAG_DRAINING;
783
784   /* losing sync is pretty much a discont (and vice versa), no ? */
785   if (G_UNLIKELY (parse->priv->discont))
786     parse->flags |= GST_BASE_PARSE_FLAG_LOST_SYNC;
787 }
788
789 static inline void
790 gst_base_parse_update_frame (GstBaseParse * parse, GstBaseParseFrame * frame)
791 {
792   if (G_UNLIKELY (parse->priv->discont)) {
793     GST_DEBUG_OBJECT (parse, "marking DISCONT");
794     GST_BUFFER_FLAG_SET (frame->buffer, GST_BUFFER_FLAG_DISCONT);
795   } else {
796     GST_BUFFER_FLAG_UNSET (frame->buffer, GST_BUFFER_FLAG_DISCONT);
797   }
798
799   if (parse->priv->prev_offset != parse->priv->offset || parse->priv->new_frame) {
800     GST_LOG_OBJECT (parse, "marking as new frame");
801     frame->flags |= GST_BASE_PARSE_FRAME_FLAG_NEW_FRAME;
802   }
803
804   frame->offset = parse->priv->prev_offset = parse->priv->offset;
805 }
806
807 static void
808 gst_base_parse_reset (GstBaseParse * parse)
809 {
810   GST_OBJECT_LOCK (parse);
811   gst_segment_init (&parse->segment, GST_FORMAT_TIME);
812   parse->priv->duration = -1;
813   parse->priv->min_frame_size = 1;
814   parse->priv->discont = TRUE;
815   parse->priv->flushing = FALSE;
816   parse->priv->saw_gaps = FALSE;
817   parse->priv->offset = 0;
818   parse->priv->sync_offset = 0;
819   parse->priv->update_interval = -1;
820   parse->priv->fps_num = parse->priv->fps_den = 0;
821   parse->priv->frame_duration = GST_CLOCK_TIME_NONE;
822   parse->priv->lead_in = parse->priv->lead_out = 0;
823   parse->priv->lead_in_ts = parse->priv->lead_out_ts = 0;
824   parse->priv->bitrate = 0;
825   parse->priv->framecount = 0;
826   parse->priv->bytecount = 0;
827   parse->priv->acc_duration = 0;
828   parse->priv->first_frame_pts = GST_CLOCK_TIME_NONE;
829   parse->priv->first_frame_dts = GST_CLOCK_TIME_NONE;
830   parse->priv->first_frame_offset = -1;
831   parse->priv->estimated_duration = -1;
832   parse->priv->estimated_drift = 0;
833   parse->priv->next_pts = GST_CLOCK_TIME_NONE;
834   parse->priv->next_dts = 0;
835   parse->priv->syncable = TRUE;
836   parse->priv->disable_passthrough = DEFAULT_DISABLE_PASSTHROUGH;
837   parse->priv->passthrough = FALSE;
838   parse->priv->pts_interpolate = TRUE;
839   parse->priv->infer_ts = TRUE;
840   parse->priv->has_timing_info = FALSE;
841   parse->priv->min_bitrate = G_MAXUINT;
842   parse->priv->max_bitrate = 0;
843   parse->priv->avg_bitrate = 0;
844   parse->priv->posted_avg_bitrate = 0;
845
846   parse->priv->index_last_ts = GST_CLOCK_TIME_NONE;
847   parse->priv->index_last_offset = -1;
848   parse->priv->index_last_valid = TRUE;
849   parse->priv->upstream_seekable = FALSE;
850   parse->priv->upstream_size = 0;
851   parse->priv->upstream_has_duration = FALSE;
852   parse->priv->upstream_format = GST_FORMAT_UNDEFINED;
853   parse->priv->idx_interval = 0;
854   parse->priv->idx_byte_interval = 0;
855   parse->priv->exact_position = TRUE;
856   parse->priv->seen_keyframe = FALSE;
857   parse->priv->checked_media = FALSE;
858
859   parse->priv->last_dts = GST_CLOCK_TIME_NONE;
860   parse->priv->last_pts = GST_CLOCK_TIME_NONE;
861   parse->priv->last_offset = 0;
862
863   parse->priv->skip = 0;
864
865   g_list_foreach (parse->priv->pending_events, (GFunc) gst_mini_object_unref,
866       NULL);
867   g_list_free (parse->priv->pending_events);
868   parse->priv->pending_events = NULL;
869
870   if (parse->priv->cache) {
871     gst_buffer_unref (parse->priv->cache);
872     parse->priv->cache = NULL;
873   }
874
875   g_slist_foreach (parse->priv->pending_seeks, (GFunc) g_free, NULL);
876   g_slist_free (parse->priv->pending_seeks);
877   parse->priv->pending_seeks = NULL;
878
879   if (parse->priv->adapter)
880     gst_adapter_clear (parse->priv->adapter);
881
882   gst_base_parse_set_upstream_tags (parse, NULL);
883
884   if (parse->priv->parser_tags) {
885     gst_tag_list_unref (parse->priv->parser_tags);
886     parse->priv->parser_tags = NULL;
887   }
888   parse->priv->parser_tags_merge_mode = GST_TAG_MERGE_APPEND;
889
890   parse->priv->new_frame = TRUE;
891
892   parse->priv->first_buffer = TRUE;
893
894   g_list_foreach (parse->priv->detect_buffers, (GFunc) gst_buffer_unref, NULL);
895   g_list_free (parse->priv->detect_buffers);
896   parse->priv->detect_buffers = NULL;
897   parse->priv->detect_buffers_size = 0;
898   GST_OBJECT_UNLOCK (parse);
899 }
900
901 static gboolean
902 gst_base_parse_check_bitrate_tag (GstBaseParse * parse, const gchar * tag)
903 {
904   gboolean got_tag = FALSE;
905   guint n = 0;
906
907   if (parse->priv->upstream_tags != NULL)
908     got_tag = gst_tag_list_get_uint (parse->priv->upstream_tags, tag, &n);
909
910   if (!got_tag && parse->priv->parser_tags != NULL)
911     got_tag = gst_tag_list_get_uint (parse->priv->parser_tags, tag, &n);
912
913   return got_tag;
914 }
915
916 /* check if upstream or subclass tags contain bitrates already */
917 static void
918 gst_base_parse_check_bitrate_tags (GstBaseParse * parse)
919 {
920   parse->priv->post_min_bitrate =
921       !gst_base_parse_check_bitrate_tag (parse, GST_TAG_MINIMUM_BITRATE);
922   parse->priv->post_avg_bitrate =
923       !gst_base_parse_check_bitrate_tag (parse, GST_TAG_BITRATE);
924   parse->priv->post_max_bitrate =
925       !gst_base_parse_check_bitrate_tag (parse, GST_TAG_MAXIMUM_BITRATE);
926 }
927
928 /* Queues new tag event with the current combined state of the stream tags
929  * (i.e. upstream tags merged with subclass tags and current baseparse tags) */
930 static void
931 gst_base_parse_queue_tag_event_update (GstBaseParse * parse)
932 {
933   GstTagList *merged_tags;
934
935   GST_LOG_OBJECT (parse, "upstream : %" GST_PTR_FORMAT,
936       parse->priv->upstream_tags);
937   GST_LOG_OBJECT (parse, "parser   : %" GST_PTR_FORMAT,
938       parse->priv->parser_tags);
939   GST_LOG_OBJECT (parse, "mode     : %d", parse->priv->parser_tags_merge_mode);
940
941   merged_tags =
942       gst_tag_list_merge (parse->priv->upstream_tags, parse->priv->parser_tags,
943       parse->priv->parser_tags_merge_mode);
944
945   GST_DEBUG_OBJECT (parse, "merged   : %" GST_PTR_FORMAT, merged_tags);
946
947   if (merged_tags == NULL)
948     return;
949
950   if (gst_tag_list_is_empty (merged_tags)) {
951     gst_tag_list_unref (merged_tags);
952     return;
953   }
954
955   if (parse->priv->framecount >= MIN_FRAMES_TO_POST_BITRATE) {
956     /* only add bitrate tags to non-empty taglists for now, and only if neither
957      * upstream tags nor the subclass sets the bitrate tag in question already */
958     if (parse->priv->min_bitrate != G_MAXUINT && parse->priv->post_min_bitrate) {
959       GST_LOG_OBJECT (parse, "adding min bitrate %u", parse->priv->min_bitrate);
960       gst_tag_list_add (merged_tags, GST_TAG_MERGE_KEEP,
961           GST_TAG_MINIMUM_BITRATE, parse->priv->min_bitrate, NULL);
962     }
963     if (parse->priv->max_bitrate != 0 && parse->priv->post_max_bitrate) {
964       GST_LOG_OBJECT (parse, "adding max bitrate %u", parse->priv->max_bitrate);
965       gst_tag_list_add (merged_tags, GST_TAG_MERGE_KEEP,
966           GST_TAG_MAXIMUM_BITRATE, parse->priv->max_bitrate, NULL);
967     }
968     if (parse->priv->avg_bitrate != 0 && parse->priv->post_avg_bitrate) {
969       parse->priv->posted_avg_bitrate = parse->priv->avg_bitrate;
970       GST_LOG_OBJECT (parse, "adding avg bitrate %u", parse->priv->avg_bitrate);
971       gst_tag_list_add (merged_tags, GST_TAG_MERGE_KEEP,
972           GST_TAG_BITRATE, parse->priv->avg_bitrate, NULL);
973     }
974   }
975
976   parse->priv->pending_events =
977       g_list_prepend (parse->priv->pending_events,
978       gst_event_new_tag (merged_tags));
979 }
980
981 /* gst_base_parse_parse_frame:
982  * @parse: #GstBaseParse.
983  * @buffer: #GstBuffer.
984  *
985  * Default callback for parse_frame.
986  */
987 static GstFlowReturn
988 gst_base_parse_parse_frame (GstBaseParse * parse, GstBaseParseFrame * frame)
989 {
990   GstBuffer *buffer = frame->buffer;
991
992   if (!GST_BUFFER_PTS_IS_VALID (buffer) &&
993       GST_CLOCK_TIME_IS_VALID (parse->priv->next_pts)) {
994     GST_BUFFER_PTS (buffer) = parse->priv->next_pts;
995   }
996   if (!GST_BUFFER_DTS_IS_VALID (buffer) &&
997       GST_CLOCK_TIME_IS_VALID (parse->priv->next_dts)) {
998     GST_BUFFER_DTS (buffer) = parse->priv->next_dts;
999   }
1000   if (!GST_BUFFER_DURATION_IS_VALID (buffer) &&
1001       GST_CLOCK_TIME_IS_VALID (parse->priv->frame_duration)) {
1002     GST_BUFFER_DURATION (buffer) = parse->priv->frame_duration;
1003   }
1004   return GST_FLOW_OK;
1005 }
1006
1007 /* gst_base_parse_convert:
1008  * @parse: #GstBaseParse.
1009  * @src_format: #GstFormat describing the source format.
1010  * @src_value: Source value to be converted.
1011  * @dest_format: #GstFormat defining the converted format.
1012  * @dest_value: Pointer where the conversion result will be put.
1013  *
1014  * Converts using configured "convert" vmethod in #GstBaseParse class.
1015  *
1016  * Returns: %TRUE if conversion was successful.
1017  */
1018 static gboolean
1019 gst_base_parse_convert (GstBaseParse * parse,
1020     GstFormat src_format,
1021     gint64 src_value, GstFormat dest_format, gint64 * dest_value)
1022 {
1023   GstBaseParseClass *klass = GST_BASE_PARSE_GET_CLASS (parse);
1024   gboolean ret;
1025
1026   g_return_val_if_fail (dest_value != NULL, FALSE);
1027
1028   if (!klass->convert)
1029     return FALSE;
1030
1031   ret = klass->convert (parse, src_format, src_value, dest_format, dest_value);
1032
1033 #ifndef GST_DISABLE_GST_DEBUG
1034   {
1035     if (ret) {
1036       if (src_format == GST_FORMAT_TIME && dest_format == GST_FORMAT_BYTES) {
1037         GST_LOG_OBJECT (parse,
1038             "TIME -> BYTES: %" GST_TIME_FORMAT " -> %" G_GINT64_FORMAT,
1039             GST_TIME_ARGS (src_value), *dest_value);
1040       } else if (dest_format == GST_FORMAT_TIME &&
1041           src_format == GST_FORMAT_BYTES) {
1042         GST_LOG_OBJECT (parse,
1043             "BYTES -> TIME: %" G_GINT64_FORMAT " -> %" GST_TIME_FORMAT,
1044             src_value, GST_TIME_ARGS (*dest_value));
1045       } else {
1046         GST_LOG_OBJECT (parse,
1047             "%s -> %s: %" G_GINT64_FORMAT " -> %" G_GINT64_FORMAT,
1048             GST_STR_NULL (gst_format_get_name (src_format)),
1049             GST_STR_NULL (gst_format_get_name (dest_format)),
1050             src_value, *dest_value);
1051       }
1052     } else {
1053       GST_DEBUG_OBJECT (parse, "conversion failed");
1054     }
1055   }
1056 #endif
1057
1058   return ret;
1059 }
1060
1061 static gboolean
1062 update_upstream_provided (GQuark field_id, const GValue * value,
1063     gpointer user_data)
1064 {
1065   GstCaps *default_caps = user_data;
1066   gint i;
1067   gint caps_size;
1068
1069   caps_size = gst_caps_get_size (default_caps);
1070   for (i = 0; i < caps_size; i++) {
1071     GstStructure *structure = gst_caps_get_structure (default_caps, i);
1072     if (gst_structure_id_has_field (structure, field_id))
1073       gst_structure_id_set_value (structure, field_id, value);
1074   }
1075
1076   return TRUE;
1077 }
1078
1079 static GstCaps *
1080 gst_base_parse_negotiate_default_caps (GstBaseParse * parse)
1081 {
1082   GstCaps *caps, *templcaps;
1083   GstCaps *sinkcaps = NULL;
1084   GstCaps *default_caps = NULL;
1085   GstStructure *structure;
1086
1087   templcaps = gst_pad_get_pad_template_caps (GST_BASE_PARSE_SRC_PAD (parse));
1088   caps = gst_pad_peer_query_caps (GST_BASE_PARSE_SRC_PAD (parse), templcaps);
1089   if (caps)
1090     gst_caps_unref (templcaps);
1091   else
1092     caps = templcaps;
1093   templcaps = NULL;
1094
1095   if (!caps || gst_caps_is_empty (caps) || gst_caps_is_any (caps)) {
1096     goto caps_error;
1097   }
1098
1099   GST_LOG_OBJECT (parse, "peer caps  %" GST_PTR_FORMAT, caps);
1100
1101   /* before fixating, try to use whatever upstream provided */
1102   default_caps = gst_caps_copy (caps);
1103   sinkcaps = gst_pad_get_current_caps (GST_BASE_PARSE_SINK_PAD (parse));
1104
1105   GST_LOG_OBJECT (parse, "current caps %" GST_PTR_FORMAT " for sinkpad",
1106       sinkcaps);
1107
1108   if (sinkcaps) {
1109     structure = gst_caps_get_structure (sinkcaps, 0);
1110     gst_structure_foreach (structure, update_upstream_provided, default_caps);
1111   }
1112
1113   default_caps = gst_caps_fixate (default_caps);
1114
1115   if (!default_caps) {
1116     GST_WARNING_OBJECT (parse, "Failed to create default caps !");
1117     goto caps_error;
1118   }
1119
1120   GST_INFO_OBJECT (parse,
1121       "Chose default caps %" GST_PTR_FORMAT " for initial gap", default_caps);
1122
1123   gst_caps_unref (sinkcaps);
1124   gst_caps_unref (caps);
1125
1126   return default_caps;
1127
1128 caps_error:
1129   {
1130     if (caps)
1131       gst_caps_unref (caps);
1132     if (sinkcaps)
1133       gst_caps_unref (sinkcaps);
1134     return NULL;
1135   }
1136 }
1137
1138 /* gst_base_parse_sink_event:
1139  * @pad: #GstPad that received the event.
1140  * @event: #GstEvent to be handled.
1141  *
1142  * Handler for sink pad events.
1143  *
1144  * Returns: %TRUE if the event was handled.
1145  */
1146 static gboolean
1147 gst_base_parse_sink_event (GstPad * pad, GstObject * parent, GstEvent * event)
1148 {
1149   GstBaseParse *parse = GST_BASE_PARSE (parent);
1150   GstBaseParseClass *bclass = GST_BASE_PARSE_GET_CLASS (parse);
1151   gboolean ret;
1152
1153   ret = bclass->sink_event (parse, event);
1154
1155   return ret;
1156 }
1157
1158 /* gst_base_parse_sink_event_default:
1159  * @parse: #GstBaseParse.
1160  * @event: #GstEvent to be handled.
1161  *
1162  * Element-level event handler function.
1163  *
1164  * The event will be unreffed only if it has been handled and this
1165  * function returns %TRUE
1166  *
1167  * Returns: %TRUE if the event was handled and not need forwarding.
1168  */
1169 static gboolean
1170 gst_base_parse_sink_event_default (GstBaseParse * parse, GstEvent * event)
1171 {
1172   GstBaseParseClass *klass = GST_BASE_PARSE_GET_CLASS (parse);
1173   gboolean ret = FALSE;
1174   gboolean forward_immediate = FALSE;
1175
1176   GST_DEBUG_OBJECT (parse, "handling event %d, %s", GST_EVENT_TYPE (event),
1177       GST_EVENT_TYPE_NAME (event));
1178
1179   switch (GST_EVENT_TYPE (event)) {
1180     case GST_EVENT_CAPS:
1181     {
1182       GstCaps *caps;
1183
1184       gst_event_parse_caps (event, &caps);
1185       GST_DEBUG_OBJECT (parse, "caps: %" GST_PTR_FORMAT, caps);
1186
1187       if (klass->set_sink_caps)
1188         ret = klass->set_sink_caps (parse, caps);
1189       else
1190         ret = TRUE;
1191
1192       /* will send our own caps downstream */
1193       gst_event_unref (event);
1194       event = NULL;
1195       break;
1196     }
1197     case GST_EVENT_SEGMENT:
1198     {
1199       const GstSegment *in_segment;
1200       GstSegment out_segment;
1201       gint64 offset = 0, next_dts;
1202       guint32 seqnum = gst_event_get_seqnum (event);
1203
1204       gst_event_parse_segment (event, &in_segment);
1205       gst_segment_init (&out_segment, GST_FORMAT_TIME);
1206       out_segment.rate = in_segment->rate;
1207       out_segment.applied_rate = in_segment->applied_rate;
1208
1209       GST_DEBUG_OBJECT (parse, "segment %" GST_SEGMENT_FORMAT, in_segment);
1210
1211       parse->priv->upstream_format = in_segment->format;
1212       if (in_segment->format == GST_FORMAT_BYTES) {
1213         GstBaseParseSeek *seek = NULL;
1214         GSList *node;
1215
1216         /* stop time is allowed to be open-ended, but not start & pos */
1217         offset = in_segment->time;
1218
1219         GST_OBJECT_LOCK (parse);
1220         for (node = parse->priv->pending_seeks; node; node = node->next) {
1221           GstBaseParseSeek *tmp = node->data;
1222
1223           if (tmp->offset == offset) {
1224             seek = tmp;
1225             break;
1226           }
1227         }
1228         parse->priv->pending_seeks =
1229             g_slist_remove (parse->priv->pending_seeks, seek);
1230         GST_OBJECT_UNLOCK (parse);
1231
1232         if (seek) {
1233           GST_DEBUG_OBJECT (parse,
1234               "Matched newsegment to%s seek: %" GST_SEGMENT_FORMAT,
1235               seek->accurate ? " accurate" : "", &seek->segment);
1236
1237           out_segment.start = seek->segment.start;
1238           out_segment.stop = seek->segment.stop;
1239           out_segment.time = seek->segment.start;
1240
1241           next_dts = seek->start_ts;
1242           parse->priv->exact_position = seek->accurate;
1243           g_free (seek);
1244         } else {
1245           /* best attempt convert */
1246           /* as these are only estimates, stop is kept open-ended to avoid
1247            * premature cutting */
1248           gst_base_parse_convert (parse, GST_FORMAT_BYTES, in_segment->start,
1249               GST_FORMAT_TIME, (gint64 *) & next_dts);
1250
1251           out_segment.start = next_dts;
1252           out_segment.stop = GST_CLOCK_TIME_NONE;
1253           out_segment.time = next_dts;
1254
1255           parse->priv->exact_position = (in_segment->start == 0);
1256         }
1257
1258         gst_event_unref (event);
1259
1260         event = gst_event_new_segment (&out_segment);
1261         gst_event_set_seqnum (event, seqnum);
1262
1263         GST_DEBUG_OBJECT (parse, "Converted incoming segment to TIME. %"
1264             GST_SEGMENT_FORMAT, in_segment);
1265
1266       } else if (in_segment->format != GST_FORMAT_TIME) {
1267         /* Unknown incoming segment format. Output a default open-ended
1268          * TIME segment */
1269         gst_event_unref (event);
1270
1271         out_segment.start = 0;
1272         out_segment.stop = GST_CLOCK_TIME_NONE;
1273         out_segment.time = 0;
1274
1275         event = gst_event_new_segment (&out_segment);
1276         gst_event_set_seqnum (event, seqnum);
1277
1278         next_dts = 0;
1279       } else {
1280         /* not considered BYTE seekable if it is talking to us in TIME,
1281          * whatever else it might claim */
1282         parse->priv->upstream_seekable = FALSE;
1283         next_dts = in_segment->start;
1284         gst_event_copy_segment (event, &out_segment);
1285       }
1286
1287       memcpy (&parse->segment, &out_segment, sizeof (GstSegment));
1288
1289       /*
1290          gst_segment_set_newsegment (&parse->segment, update, rate,
1291          applied_rate, format, start, stop, start);
1292        */
1293
1294       ret = TRUE;
1295
1296       /* save the segment for later, right before we push a new buffer so that
1297        * the caps are fixed and the next linked element can receive
1298        * the segment but finish the current segment */
1299       GST_DEBUG_OBJECT (parse, "draining current segment");
1300       if (in_segment->rate > 0.0)
1301         gst_base_parse_drain (parse);
1302       else
1303         gst_base_parse_finish_fragment (parse, FALSE);
1304       gst_adapter_clear (parse->priv->adapter);
1305
1306       parse->priv->offset = offset;
1307       parse->priv->sync_offset = offset;
1308       parse->priv->next_dts = next_dts;
1309       parse->priv->next_pts = GST_CLOCK_TIME_NONE;
1310       parse->priv->last_pts = GST_CLOCK_TIME_NONE;
1311       parse->priv->last_dts = GST_CLOCK_TIME_NONE;
1312       parse->priv->prev_pts = GST_CLOCK_TIME_NONE;
1313       parse->priv->prev_dts = GST_CLOCK_TIME_NONE;
1314       parse->priv->prev_dts_from_pts = FALSE;
1315       parse->priv->discont = TRUE;
1316       parse->priv->seen_keyframe = FALSE;
1317       parse->priv->skip = 0;
1318       break;
1319     }
1320
1321     case GST_EVENT_SEGMENT_DONE:
1322       /* need to drain now, rather than upon a new segment,
1323        * since that would have SEGMENT_DONE come before potential
1324        * delayed last part of the current segment */
1325       GST_DEBUG_OBJECT (parse, "draining current segment");
1326       if (parse->segment.rate > 0.0)
1327         gst_base_parse_drain (parse);
1328       else
1329         gst_base_parse_finish_fragment (parse, FALSE);
1330       /* Also forward event immediately, there might be no new data
1331        * coming afterwards that would allow us to forward it later */
1332       forward_immediate = TRUE;
1333       break;
1334
1335     case GST_EVENT_FLUSH_START:
1336       GST_OBJECT_LOCK (parse);
1337       parse->priv->flushing = TRUE;
1338       GST_OBJECT_UNLOCK (parse);
1339       break;
1340
1341     case GST_EVENT_FLUSH_STOP:
1342       gst_adapter_clear (parse->priv->adapter);
1343       gst_base_parse_clear_queues (parse);
1344       parse->priv->flushing = FALSE;
1345       parse->priv->discont = TRUE;
1346       parse->priv->last_pts = GST_CLOCK_TIME_NONE;
1347       parse->priv->last_dts = GST_CLOCK_TIME_NONE;
1348       parse->priv->new_frame = TRUE;
1349       parse->priv->skip = 0;
1350
1351       forward_immediate = TRUE;
1352       break;
1353
1354     case GST_EVENT_EOS:
1355       if (parse->segment.rate > 0.0)
1356         gst_base_parse_drain (parse);
1357       else
1358         gst_base_parse_finish_fragment (parse, TRUE);
1359
1360       /* If we STILL have zero frames processed, fire an error */
1361       if (parse->priv->framecount == 0 && !parse->priv->saw_gaps &&
1362           !parse->priv->first_buffer) {
1363         GST_ELEMENT_ERROR (parse, STREAM, WRONG_TYPE,
1364             ("No valid frames found before end of stream"), (NULL));
1365       }
1366
1367       if (!parse->priv->saw_gaps
1368           && parse->priv->framecount < MIN_FRAMES_TO_POST_BITRATE) {
1369         /* We've not posted bitrate tags yet - do so now */
1370         gst_base_parse_queue_tag_event_update (parse);
1371       }
1372
1373       /* newsegment and other serialized events before eos */
1374       gst_base_parse_push_pending_events (parse);
1375
1376       forward_immediate = TRUE;
1377       break;
1378     case GST_EVENT_CUSTOM_DOWNSTREAM:{
1379       /* FIXME: Code duplicated from libgstvideo because core can't depend on -base */
1380 #ifndef GST_VIDEO_EVENT_STILL_STATE_NAME
1381 #define GST_VIDEO_EVENT_STILL_STATE_NAME "GstEventStillFrame"
1382 #endif
1383
1384       const GstStructure *s;
1385       gboolean ev_still_state;
1386
1387       s = gst_event_get_structure (event);
1388       if (s != NULL &&
1389           gst_structure_has_name (s, GST_VIDEO_EVENT_STILL_STATE_NAME) &&
1390           gst_structure_get_boolean (s, "still-state", &ev_still_state)) {
1391         if (ev_still_state) {
1392           GST_DEBUG_OBJECT (parse, "draining current data for still-frame");
1393           if (parse->segment.rate > 0.0)
1394             gst_base_parse_drain (parse);
1395           else
1396             gst_base_parse_finish_fragment (parse, TRUE);
1397         }
1398         forward_immediate = TRUE;
1399       }
1400       break;
1401     }
1402     case GST_EVENT_GAP:
1403     {
1404       GST_DEBUG_OBJECT (parse, "draining current data due to gap event");
1405
1406       /* Ensure we have caps before forwarding the event */
1407       if (!gst_pad_has_current_caps (GST_BASE_PARSE_SRC_PAD (parse))) {
1408         GstCaps *default_caps = NULL;
1409         if ((default_caps = gst_base_parse_negotiate_default_caps (parse))) {
1410           GList *l;
1411           GstEvent *caps_event = gst_event_new_caps (default_caps);
1412
1413           GST_DEBUG_OBJECT (parse,
1414               "Store caps event to pending list for initial pre-rolling");
1415
1416           /* Events are in decreasing order. Go down the list until we
1417            * find the first pre-CAPS event and insert our CAPS event there.
1418            *
1419            * There should be a SEGMENT event already, which is > CAPS */
1420           for (l = parse->priv->pending_events; l; l = l->next) {
1421             GstEvent *e = l->data;
1422
1423             if (GST_EVENT_TYPE (e) < GST_EVENT_CAPS) {
1424               parse->priv->pending_events =
1425                   g_list_insert_before (parse->priv->pending_events, l,
1426                   caps_event);
1427               break;
1428             }
1429           }
1430           /* No pending event that is < CAPS, so we have to add it at the very
1431            * end of the list */
1432           if (!l) {
1433             parse->priv->pending_events =
1434                 g_list_append (parse->priv->pending_events, caps_event);
1435           }
1436           gst_caps_unref (default_caps);
1437         } else {
1438           gst_event_unref (event);
1439           event = NULL;
1440           ret = FALSE;
1441           GST_ELEMENT_ERROR (parse, STREAM, FORMAT, (NULL),
1442               ("Parser output not negotiated before GAP event."));
1443           break;
1444         }
1445       }
1446
1447       gst_base_parse_push_pending_events (parse);
1448
1449       if (parse->segment.rate > 0.0)
1450         gst_base_parse_drain (parse);
1451       else
1452         gst_base_parse_finish_fragment (parse, TRUE);
1453       forward_immediate = TRUE;
1454       parse->priv->saw_gaps = TRUE;
1455       break;
1456     }
1457     case GST_EVENT_TAG:
1458     {
1459       GstTagList *tags = NULL;
1460
1461       gst_event_parse_tag (event, &tags);
1462
1463       /* We only care about stream tags here, global tags we just forward */
1464       if (gst_tag_list_get_scope (tags) != GST_TAG_SCOPE_STREAM)
1465         break;
1466
1467       gst_base_parse_set_upstream_tags (parse, tags);
1468       gst_base_parse_queue_tag_event_update (parse);
1469       parse->priv->tags_changed = FALSE;
1470       gst_event_unref (event);
1471       event = NULL;
1472       ret = TRUE;
1473       break;
1474     }
1475     case GST_EVENT_STREAM_START:
1476     {
1477       if (parse->priv->pad_mode != GST_PAD_MODE_PULL)
1478         forward_immediate = TRUE;
1479
1480       gst_base_parse_set_upstream_tags (parse, NULL);
1481       parse->priv->tags_changed = TRUE;
1482       break;
1483     }
1484     default:
1485       break;
1486   }
1487
1488   /* Forward non-serialized events and EOS/FLUSH_STOP immediately.
1489    * For EOS this is required because no buffer or serialized event
1490    * will come after EOS and nothing could trigger another
1491    * _finish_frame() call.   *
1492    * If the subclass handles sending of EOS manually it can return
1493    * _DROPPED from ::finish() and all other subclasses should have
1494    * decoded/flushed all remaining data before this
1495    *
1496    * For FLUSH_STOP this is required because it is expected
1497    * to be forwarded immediately and no buffers are queued anyway.
1498    */
1499   if (event) {
1500     if (!GST_EVENT_IS_SERIALIZED (event) || forward_immediate) {
1501       ret = gst_pad_push_event (parse->srcpad, event);
1502     } else {
1503       parse->priv->pending_events =
1504           g_list_prepend (parse->priv->pending_events, event);
1505       ret = TRUE;
1506     }
1507   }
1508
1509   GST_DEBUG_OBJECT (parse, "event handled");
1510
1511   return ret;
1512 }
1513
1514 static gboolean
1515 gst_base_parse_sink_query_default (GstBaseParse * parse, GstQuery * query)
1516 {
1517   GstPad *pad;
1518   gboolean res;
1519
1520   pad = GST_BASE_PARSE_SINK_PAD (parse);
1521
1522   switch (GST_QUERY_TYPE (query)) {
1523     case GST_QUERY_CAPS:
1524     {
1525       GstBaseParseClass *bclass;
1526
1527       bclass = GST_BASE_PARSE_GET_CLASS (parse);
1528
1529       if (bclass->get_sink_caps) {
1530         GstCaps *caps, *filter;
1531
1532         gst_query_parse_caps (query, &filter);
1533         caps = bclass->get_sink_caps (parse, filter);
1534         GST_LOG_OBJECT (parse, "sink getcaps returning caps %" GST_PTR_FORMAT,
1535             caps);
1536         gst_query_set_caps_result (query, caps);
1537         gst_caps_unref (caps);
1538
1539         res = TRUE;
1540       } else {
1541         GstCaps *caps, *template_caps, *filter;
1542
1543         gst_query_parse_caps (query, &filter);
1544         template_caps = gst_pad_get_pad_template_caps (pad);
1545         if (filter != NULL) {
1546           caps =
1547               gst_caps_intersect_full (filter, template_caps,
1548               GST_CAPS_INTERSECT_FIRST);
1549           gst_caps_unref (template_caps);
1550         } else {
1551           caps = template_caps;
1552         }
1553         gst_query_set_caps_result (query, caps);
1554         gst_caps_unref (caps);
1555
1556         res = TRUE;
1557       }
1558       break;
1559     }
1560     default:
1561     {
1562       res = gst_pad_query_default (pad, GST_OBJECT_CAST (parse), query);
1563       break;
1564     }
1565   }
1566
1567   return res;
1568 }
1569
1570 static gboolean
1571 gst_base_parse_sink_query (GstPad * pad, GstObject * parent, GstQuery * query)
1572 {
1573   GstBaseParseClass *bclass;
1574   GstBaseParse *parse;
1575   gboolean ret;
1576
1577   parse = GST_BASE_PARSE (parent);
1578   bclass = GST_BASE_PARSE_GET_CLASS (parse);
1579
1580   GST_DEBUG_OBJECT (parse, "%s query", GST_QUERY_TYPE_NAME (query));
1581
1582   if (bclass->sink_query)
1583     ret = bclass->sink_query (parse, query);
1584   else
1585     ret = FALSE;
1586
1587   GST_LOG_OBJECT (parse, "%s query result: %d %" GST_PTR_FORMAT,
1588       GST_QUERY_TYPE_NAME (query), ret, query);
1589
1590   return ret;
1591 }
1592
1593 static gboolean
1594 gst_base_parse_src_query (GstPad * pad, GstObject * parent, GstQuery * query)
1595 {
1596   GstBaseParseClass *bclass;
1597   GstBaseParse *parse;
1598   gboolean ret;
1599
1600   parse = GST_BASE_PARSE (parent);
1601   bclass = GST_BASE_PARSE_GET_CLASS (parse);
1602
1603   GST_DEBUG_OBJECT (parse, "%s query: %" GST_PTR_FORMAT,
1604       GST_QUERY_TYPE_NAME (query), query);
1605
1606   if (bclass->src_query)
1607     ret = bclass->src_query (parse, query);
1608   else
1609     ret = FALSE;
1610
1611   GST_LOG_OBJECT (parse, "%s query result: %d %" GST_PTR_FORMAT,
1612       GST_QUERY_TYPE_NAME (query), ret, query);
1613
1614   return ret;
1615 }
1616
1617 /* gst_base_parse_src_event:
1618  * @pad: #GstPad that received the event.
1619  * @event: #GstEvent that was received.
1620  *
1621  * Handler for source pad events.
1622  *
1623  * Returns: %TRUE if the event was handled.
1624  */
1625 static gboolean
1626 gst_base_parse_src_event (GstPad * pad, GstObject * parent, GstEvent * event)
1627 {
1628   GstBaseParse *parse;
1629   GstBaseParseClass *bclass;
1630   gboolean ret = TRUE;
1631
1632   parse = GST_BASE_PARSE (parent);
1633   bclass = GST_BASE_PARSE_GET_CLASS (parse);
1634
1635   GST_DEBUG_OBJECT (parse, "event %d, %s", GST_EVENT_TYPE (event),
1636       GST_EVENT_TYPE_NAME (event));
1637
1638   if (bclass->src_event)
1639     ret = bclass->src_event (parse, event);
1640   else
1641     gst_event_unref (event);
1642
1643   return ret;
1644 }
1645
1646 static gboolean
1647 gst_base_parse_is_seekable (GstBaseParse * parse)
1648 {
1649   /* FIXME: could do more here, e.g. check index or just send data from 0
1650    * in pull mode and let decoder/sink clip */
1651   return parse->priv->syncable;
1652 }
1653
1654 /* gst_base_parse_src_event_default:
1655  * @parse: #GstBaseParse.
1656  * @event: #GstEvent that was received.
1657  *
1658  * Default srcpad event handler.
1659  *
1660  * Returns: %TRUE if the event was handled and can be dropped.
1661  */
1662 static gboolean
1663 gst_base_parse_src_event_default (GstBaseParse * parse, GstEvent * event)
1664 {
1665   gboolean res = FALSE;
1666
1667   switch (GST_EVENT_TYPE (event)) {
1668     case GST_EVENT_SEEK:
1669       if (gst_base_parse_is_seekable (parse))
1670         res = gst_base_parse_handle_seek (parse, event);
1671       break;
1672     default:
1673       res = gst_pad_event_default (parse->srcpad, GST_OBJECT_CAST (parse),
1674           event);
1675       break;
1676   }
1677   return res;
1678 }
1679
1680
1681 /**
1682  * gst_base_parse_convert_default:
1683  * @parse: #GstBaseParse.
1684  * @src_format: #GstFormat describing the source format.
1685  * @src_value: Source value to be converted.
1686  * @dest_format: #GstFormat defining the converted format.
1687  * @dest_value: Pointer where the conversion result will be put.
1688  *
1689  * Default implementation of "convert" vmethod in #GstBaseParse class.
1690  *
1691  * Returns: %TRUE if conversion was successful.
1692  */
1693 gboolean
1694 gst_base_parse_convert_default (GstBaseParse * parse,
1695     GstFormat src_format,
1696     gint64 src_value, GstFormat dest_format, gint64 * dest_value)
1697 {
1698   gboolean ret = FALSE;
1699   guint64 bytes, duration;
1700
1701   if (G_UNLIKELY (src_format == dest_format)) {
1702     *dest_value = src_value;
1703     return TRUE;
1704   }
1705
1706   if (G_UNLIKELY (src_value == -1)) {
1707     *dest_value = -1;
1708     return TRUE;
1709   }
1710
1711   if (G_UNLIKELY (src_value == 0)) {
1712     *dest_value = 0;
1713     return TRUE;
1714   }
1715
1716   /* need at least some frames */
1717   if (!parse->priv->framecount)
1718     goto no_framecount;
1719
1720   duration = parse->priv->acc_duration / GST_MSECOND;
1721   bytes = parse->priv->bytecount;
1722
1723   if (G_UNLIKELY (!duration || !bytes))
1724     goto no_duration_bytes;
1725
1726   if (src_format == GST_FORMAT_BYTES) {
1727     if (dest_format == GST_FORMAT_TIME) {
1728       /* BYTES -> TIME conversion */
1729       GST_DEBUG_OBJECT (parse, "converting bytes -> time");
1730       *dest_value = gst_util_uint64_scale (src_value, duration, bytes);
1731       *dest_value *= GST_MSECOND;
1732       GST_DEBUG_OBJECT (parse, "conversion result: %" G_GINT64_FORMAT " ms",
1733           *dest_value / GST_MSECOND);
1734       ret = TRUE;
1735     } else {
1736       GST_DEBUG_OBJECT (parse, "converting bytes -> other not implemented");
1737     }
1738   } else if (src_format == GST_FORMAT_TIME) {
1739     if (dest_format == GST_FORMAT_BYTES) {
1740       GST_DEBUG_OBJECT (parse, "converting time -> bytes");
1741       *dest_value = gst_util_uint64_scale (src_value / GST_MSECOND, bytes,
1742           duration);
1743       GST_DEBUG_OBJECT (parse,
1744           "time %" G_GINT64_FORMAT " ms in bytes = %" G_GINT64_FORMAT,
1745           src_value / GST_MSECOND, *dest_value);
1746       ret = TRUE;
1747     } else {
1748       GST_DEBUG_OBJECT (parse, "converting time -> other not implemented");
1749     }
1750   } else if (src_format == GST_FORMAT_DEFAULT) {
1751     /* DEFAULT == frame-based */
1752     if (dest_format == GST_FORMAT_TIME) {
1753       GST_DEBUG_OBJECT (parse, "converting default -> time");
1754       if (parse->priv->fps_den) {
1755         *dest_value = gst_util_uint64_scale (src_value,
1756             GST_SECOND * parse->priv->fps_den, parse->priv->fps_num);
1757         ret = TRUE;
1758       }
1759     } else {
1760       GST_DEBUG_OBJECT (parse, "converting default -> other not implemented");
1761     }
1762   } else {
1763     GST_DEBUG_OBJECT (parse, "conversion not implemented");
1764   }
1765   return ret;
1766
1767   /* ERRORS */
1768 no_framecount:
1769   {
1770     GST_DEBUG_OBJECT (parse, "no framecount");
1771     return FALSE;
1772   }
1773 no_duration_bytes:
1774   {
1775     GST_DEBUG_OBJECT (parse, "no duration %" G_GUINT64_FORMAT ", bytes %"
1776         G_GUINT64_FORMAT, duration, bytes);
1777     return FALSE;
1778   }
1779
1780 }
1781
1782 static void
1783 gst_base_parse_update_duration (GstBaseParse * parse)
1784 {
1785   gint64 ptot, dest_value;
1786
1787   if (!gst_pad_peer_query_duration (parse->sinkpad, GST_FORMAT_BYTES, &ptot))
1788     return;
1789
1790   if (!gst_base_parse_convert (parse, GST_FORMAT_BYTES, ptot,
1791           GST_FORMAT_TIME, &dest_value))
1792     return;
1793
1794   /* inform if duration changed, but try to avoid spamming */
1795   parse->priv->estimated_drift += dest_value - parse->priv->estimated_duration;
1796
1797   parse->priv->estimated_duration = dest_value;
1798   GST_LOG_OBJECT (parse,
1799       "updated estimated duration to %" GST_TIME_FORMAT,
1800       GST_TIME_ARGS (dest_value));
1801
1802   if (parse->priv->estimated_drift > GST_SECOND ||
1803       parse->priv->estimated_drift < -GST_SECOND) {
1804     gst_element_post_message (GST_ELEMENT (parse),
1805         gst_message_new_duration_changed (GST_OBJECT (parse)));
1806     parse->priv->estimated_drift = 0;
1807   }
1808 }
1809
1810 /* gst_base_parse_update_bitrates:
1811  * @parse: #GstBaseParse.
1812  * @buffer: Current frame as a #GstBuffer
1813  *
1814  * Keeps track of the minimum and maximum bitrates, and also maintains a
1815  * running average bitrate of the stream so far.
1816  */
1817 static void
1818 gst_base_parse_update_bitrates (GstBaseParse * parse, GstBaseParseFrame * frame)
1819 {
1820   guint64 data_len, frame_dur;
1821   gint overhead, frame_bitrate;
1822   GstBuffer *buffer = frame->buffer;
1823
1824   overhead = frame->overhead;
1825   if (overhead == -1)
1826     return;
1827
1828   data_len = gst_buffer_get_size (buffer) - overhead;
1829   parse->priv->data_bytecount += data_len;
1830
1831   /* duration should be valid by now,
1832    * either set by subclass or maybe based on fps settings */
1833   if (GST_BUFFER_DURATION_IS_VALID (buffer) && parse->priv->acc_duration != 0) {
1834     /* Calculate duration of a frame from buffer properties */
1835     frame_dur = GST_BUFFER_DURATION (buffer);
1836     parse->priv->avg_bitrate = (8 * parse->priv->data_bytecount * GST_SECOND) /
1837         parse->priv->acc_duration;
1838
1839   } else {
1840     /* No way to figure out frame duration (is this even possible?) */
1841     return;
1842   }
1843
1844   /* override if subclass provided bitrate, e.g. metadata based */
1845   if (parse->priv->bitrate) {
1846     parse->priv->avg_bitrate = parse->priv->bitrate;
1847     /* spread this (confirmed) info ASAP */
1848     if (parse->priv->posted_avg_bitrate != parse->priv->avg_bitrate)
1849       parse->priv->tags_changed = TRUE;
1850   }
1851
1852   if (frame_dur)
1853     frame_bitrate = (8 * data_len * GST_SECOND) / frame_dur;
1854   else
1855     return;
1856
1857   GST_LOG_OBJECT (parse, "frame bitrate %u, avg bitrate %u", frame_bitrate,
1858       parse->priv->avg_bitrate);
1859
1860   if (parse->priv->framecount < MIN_FRAMES_TO_POST_BITRATE)
1861     return;
1862
1863   if (parse->priv->framecount == MIN_FRAMES_TO_POST_BITRATE &&
1864       (parse->priv->post_min_bitrate || parse->priv->post_avg_bitrate
1865           || parse->priv->post_max_bitrate))
1866     parse->priv->tags_changed = TRUE;
1867
1868   if (G_LIKELY (parse->priv->framecount >= MIN_FRAMES_TO_POST_BITRATE)) {
1869     if (frame_bitrate < parse->priv->min_bitrate) {
1870       parse->priv->min_bitrate = frame_bitrate;
1871       if (parse->priv->post_min_bitrate)
1872         parse->priv->tags_changed = TRUE;
1873     }
1874
1875     if (frame_bitrate > parse->priv->max_bitrate) {
1876       parse->priv->max_bitrate = frame_bitrate;
1877       if (parse->priv->post_max_bitrate)
1878         parse->priv->tags_changed = TRUE;
1879     }
1880
1881     /* Only update the tag on a 2% change */
1882     if (parse->priv->post_avg_bitrate && parse->priv->avg_bitrate) {
1883       guint64 diffprev = gst_util_uint64_scale_int (100,
1884           ABSDIFF (parse->priv->avg_bitrate, parse->priv->posted_avg_bitrate),
1885           parse->priv->avg_bitrate);
1886       if (diffprev >= UPDATE_THRESHOLD)
1887         parse->priv->tags_changed = TRUE;
1888     }
1889   }
1890 }
1891
1892 /**
1893  * gst_base_parse_add_index_entry:
1894  * @parse: #GstBaseParse.
1895  * @offset: offset of entry
1896  * @ts: timestamp associated with offset
1897  * @key: whether entry refers to keyframe
1898  * @force: add entry disregarding sanity checks
1899  *
1900  * Adds an entry to the index associating @offset to @ts.  It is recommended
1901  * to only add keyframe entries.  @force allows to bypass checks, such as
1902  * whether the stream is (upstream) seekable, another entry is already "close"
1903  * to the new entry, etc.
1904  *
1905  * Returns: #gboolean indicating whether entry was added
1906  */
1907 gboolean
1908 gst_base_parse_add_index_entry (GstBaseParse * parse, guint64 offset,
1909     GstClockTime ts, gboolean key, gboolean force)
1910 {
1911   gboolean ret = FALSE;
1912   GstIndexAssociation associations[2];
1913
1914   GST_LOG_OBJECT (parse, "Adding key=%d index entry %" GST_TIME_FORMAT
1915       " @ offset 0x%08" G_GINT64_MODIFIER "x", key, GST_TIME_ARGS (ts), offset);
1916
1917   if (G_LIKELY (!force)) {
1918
1919     if (!parse->priv->upstream_seekable) {
1920       GST_DEBUG_OBJECT (parse, "upstream not seekable; discarding");
1921       goto exit;
1922     }
1923
1924     /* FIXME need better helper data structure that handles these issues
1925      * related to ongoing collecting of index entries */
1926     if (parse->priv->index_last_offset + parse->priv->idx_byte_interval >=
1927         (gint64) offset) {
1928       GST_LOG_OBJECT (parse,
1929           "already have entries up to offset 0x%08" G_GINT64_MODIFIER "x",
1930           parse->priv->index_last_offset + parse->priv->idx_byte_interval);
1931       goto exit;
1932     }
1933
1934     if (GST_CLOCK_TIME_IS_VALID (parse->priv->index_last_ts) &&
1935         GST_CLOCK_DIFF (parse->priv->index_last_ts, ts) <
1936         parse->priv->idx_interval) {
1937       GST_LOG_OBJECT (parse, "entry too close to last time %" GST_TIME_FORMAT,
1938           GST_TIME_ARGS (parse->priv->index_last_ts));
1939       goto exit;
1940     }
1941
1942     /* if last is not really the last one */
1943     if (!parse->priv->index_last_valid) {
1944       GstClockTime prev_ts;
1945
1946       gst_base_parse_find_offset (parse, ts, TRUE, &prev_ts);
1947       if (GST_CLOCK_DIFF (prev_ts, ts) < parse->priv->idx_interval) {
1948         GST_LOG_OBJECT (parse,
1949             "entry too close to existing entry %" GST_TIME_FORMAT,
1950             GST_TIME_ARGS (prev_ts));
1951         parse->priv->index_last_offset = offset;
1952         parse->priv->index_last_ts = ts;
1953         goto exit;
1954       }
1955     }
1956   }
1957
1958   associations[0].format = GST_FORMAT_TIME;
1959   associations[0].value = ts;
1960   associations[1].format = GST_FORMAT_BYTES;
1961   associations[1].value = offset;
1962
1963   /* index might change on-the-fly, although that would be nutty app ... */
1964   GST_BASE_PARSE_INDEX_LOCK (parse);
1965   gst_index_add_associationv (parse->priv->index, parse->priv->index_id,
1966       (key) ? GST_INDEX_ASSOCIATION_FLAG_KEY_UNIT :
1967       GST_INDEX_ASSOCIATION_FLAG_DELTA_UNIT, 2,
1968       (const GstIndexAssociation *) &associations);
1969   GST_BASE_PARSE_INDEX_UNLOCK (parse);
1970
1971   if (key) {
1972     parse->priv->index_last_offset = offset;
1973     parse->priv->index_last_ts = ts;
1974   }
1975
1976   ret = TRUE;
1977
1978 exit:
1979   return ret;
1980 }
1981
1982 /* check for seekable upstream, above and beyond a mere query */
1983 static void
1984 gst_base_parse_check_seekability (GstBaseParse * parse)
1985 {
1986   GstQuery *query;
1987   gboolean seekable = FALSE;
1988   gint64 start = -1, stop = -1;
1989   guint idx_interval = 0;
1990   guint64 idx_byte_interval = 0;
1991
1992   query = gst_query_new_seeking (GST_FORMAT_BYTES);
1993   if (!gst_pad_peer_query (parse->sinkpad, query)) {
1994     GST_DEBUG_OBJECT (parse, "seeking query failed");
1995     goto done;
1996   }
1997
1998   gst_query_parse_seeking (query, NULL, &seekable, &start, &stop);
1999
2000   /* try harder to query upstream size if we didn't get it the first time */
2001   if (seekable && stop == -1) {
2002     GST_DEBUG_OBJECT (parse, "doing duration query to fix up unset stop");
2003     gst_pad_peer_query_duration (parse->sinkpad, GST_FORMAT_BYTES, &stop);
2004   }
2005
2006   /* if upstream doesn't know the size, it's likely that it's not seekable in
2007    * practice even if it technically may be seekable */
2008   if (seekable && (start != 0 || stop <= start)) {
2009     GST_DEBUG_OBJECT (parse, "seekable but unknown start/stop -> disable");
2010     seekable = FALSE;
2011   }
2012
2013   /* let's not put every single frame into our index */
2014   if (seekable) {
2015     if (stop < 10 * 1024 * 1024)
2016       idx_interval = 100;
2017     else if (stop < 100 * 1024 * 1024)
2018       idx_interval = 500;
2019     else
2020       idx_interval = 1000;
2021
2022     /* ensure that even for large files (e.g. very long audio files), the index
2023      * stays reasonably-size, with some arbitrary limit to the total number of
2024      * index entries */
2025     idx_byte_interval = (stop - start) / MAX_INDEX_ENTRIES;
2026     GST_DEBUG_OBJECT (parse,
2027         "Limiting index entries to %d, indexing byte interval %"
2028         G_GUINT64_FORMAT " bytes", MAX_INDEX_ENTRIES, idx_byte_interval);
2029   }
2030
2031 done:
2032   gst_query_unref (query);
2033
2034   GST_DEBUG_OBJECT (parse, "seekable: %d (%" G_GUINT64_FORMAT " - %"
2035       G_GUINT64_FORMAT ")", seekable, start, stop);
2036   parse->priv->upstream_seekable = seekable;
2037   parse->priv->upstream_size = seekable ? stop : 0;
2038
2039   GST_DEBUG_OBJECT (parse, "idx_interval: %ums", idx_interval);
2040   parse->priv->idx_interval = idx_interval * GST_MSECOND;
2041   parse->priv->idx_byte_interval = idx_byte_interval;
2042 }
2043
2044 /* some misc checks on upstream */
2045 static void
2046 gst_base_parse_check_upstream (GstBaseParse * parse)
2047 {
2048   gint64 stop;
2049
2050   if (gst_pad_peer_query_duration (parse->sinkpad, GST_FORMAT_TIME, &stop))
2051     if (GST_CLOCK_TIME_IS_VALID (stop) && stop) {
2052       /* upstream has one, accept it also, and no further updates */
2053       gst_base_parse_set_duration (parse, GST_FORMAT_TIME, stop, 0);
2054       parse->priv->upstream_has_duration = TRUE;
2055     }
2056
2057   GST_DEBUG_OBJECT (parse, "upstream_has_duration: %d",
2058       parse->priv->upstream_has_duration);
2059 }
2060
2061 /* checks src caps to determine if dealing with audio or video */
2062 /* TODO maybe forego automagic stuff and let subclass configure it ? */
2063 static void
2064 gst_base_parse_check_media (GstBaseParse * parse)
2065 {
2066   GstCaps *caps;
2067   GstStructure *s;
2068
2069   caps = gst_pad_get_current_caps (parse->srcpad);
2070   if (G_LIKELY (caps) && (s = gst_caps_get_structure (caps, 0))) {
2071     parse->priv->is_video =
2072         g_str_has_prefix (gst_structure_get_name (s), "video");
2073   } else {
2074     /* historical default */
2075     parse->priv->is_video = FALSE;
2076   }
2077   if (caps)
2078     gst_caps_unref (caps);
2079
2080   parse->priv->checked_media = TRUE;
2081   GST_DEBUG_OBJECT (parse, "media is video: %d", parse->priv->is_video);
2082 }
2083
2084 /* takes ownership of frame */
2085 static void
2086 gst_base_parse_queue_frame (GstBaseParse * parse, GstBaseParseFrame * frame)
2087 {
2088   if (!(frame->_private_flags & GST_BASE_PARSE_FRAME_PRIVATE_FLAG_NOALLOC)) {
2089     /* frame allocated on the heap, we can just take ownership */
2090     g_queue_push_tail (&parse->priv->queued_frames, frame);
2091     GST_TRACE ("queued frame %p", frame);
2092   } else {
2093     GstBaseParseFrame *copy;
2094
2095     /* probably allocated on the stack, must make a proper copy */
2096     copy = gst_base_parse_frame_copy (frame);
2097     g_queue_push_tail (&parse->priv->queued_frames, copy);
2098     GST_TRACE ("queued frame %p (copy of %p)", copy, frame);
2099     gst_base_parse_frame_free (frame);
2100   }
2101 }
2102
2103 /* makes sure that @buf is properly prepared and decorated for passing
2104  * to baseclass, and an equally setup frame is returned setup with @buf.
2105  * Takes ownership of @buf. */
2106 static GstBaseParseFrame *
2107 gst_base_parse_prepare_frame (GstBaseParse * parse, GstBuffer * buffer)
2108 {
2109   GstBaseParseFrame *frame = NULL;
2110
2111   buffer = gst_buffer_make_writable (buffer);
2112
2113   GST_LOG_OBJECT (parse,
2114       "preparing frame at offset %" G_GUINT64_FORMAT
2115       " (%#" G_GINT64_MODIFIER "x) of size %" G_GSIZE_FORMAT,
2116       GST_BUFFER_OFFSET (buffer), GST_BUFFER_OFFSET (buffer),
2117       gst_buffer_get_size (buffer));
2118
2119   GST_BUFFER_OFFSET (buffer) = parse->priv->offset;
2120
2121   gst_base_parse_update_flags (parse);
2122
2123   frame = gst_base_parse_frame_new (buffer, 0, 0);
2124   gst_buffer_unref (buffer);
2125   gst_base_parse_update_frame (parse, frame);
2126
2127   /* clear flags for next frame */
2128   parse->priv->discont = FALSE;
2129   parse->priv->new_frame = FALSE;
2130
2131   /* use default handler to provide initial (upstream) metadata */
2132   gst_base_parse_parse_frame (parse, frame);
2133
2134   return frame;
2135 }
2136
2137 /* Wraps buffer in a frame and dispatches to subclass.
2138  * Also manages data skipping and offset handling (including adapter flushing).
2139  * Takes ownership of @buffer */
2140 static GstFlowReturn
2141 gst_base_parse_handle_buffer (GstBaseParse * parse, GstBuffer * buffer,
2142     gint * skip, gint * flushed)
2143 {
2144   GstBaseParseClass *klass = GST_BASE_PARSE_GET_CLASS (parse);
2145   GstBaseParseFrame *frame;
2146   GstFlowReturn ret;
2147
2148   g_return_val_if_fail (skip != NULL || flushed != NULL, GST_FLOW_ERROR);
2149
2150   GST_LOG_OBJECT (parse,
2151       "handling buffer of size %" G_GSIZE_FORMAT " with dts %" GST_TIME_FORMAT
2152       ", pts %" GST_TIME_FORMAT ", duration %" GST_TIME_FORMAT,
2153       gst_buffer_get_size (buffer), GST_TIME_ARGS (GST_BUFFER_DTS (buffer)),
2154       GST_TIME_ARGS (GST_BUFFER_PTS (buffer)),
2155       GST_TIME_ARGS (GST_BUFFER_DURATION (buffer)));
2156
2157   /* track what is being flushed during this single round of frame processing */
2158   parse->priv->flushed = 0;
2159   *skip = 0;
2160
2161   /* make it easy for _finish_frame to pick up input data */
2162   if (parse->priv->pad_mode == GST_PAD_MODE_PULL) {
2163     gst_buffer_ref (buffer);
2164     gst_adapter_push (parse->priv->adapter, buffer);
2165   }
2166
2167   frame = gst_base_parse_prepare_frame (parse, buffer);
2168   ret = klass->handle_frame (parse, frame, skip);
2169
2170   *flushed = parse->priv->flushed;
2171
2172   GST_LOG_OBJECT (parse, "handle_frame skipped %d, flushed %d",
2173       *skip, *flushed);
2174
2175   /* subclass can only do one of these, or semantics are too unclear */
2176   g_assert (*skip == 0 || *flushed == 0);
2177
2178   /* track skipping */
2179   if (*skip > 0) {
2180     GstClockTime pts, dts;
2181     GstBuffer *outbuf;
2182
2183     GST_LOG_OBJECT (parse, "finding sync, skipping %d bytes", *skip);
2184     if (parse->segment.rate < 0.0 && !parse->priv->buffers_queued) {
2185       /* reverse playback, and no frames found yet, so we are skipping
2186        * the leading part of a fragment, which may form the tail of
2187        * fragment coming later, hopefully subclass skips efficiently ... */
2188       pts = gst_adapter_prev_pts (parse->priv->adapter, NULL);
2189       dts = gst_adapter_prev_dts (parse->priv->adapter, NULL);
2190       outbuf = gst_adapter_take_buffer (parse->priv->adapter, *skip);
2191       outbuf = gst_buffer_make_writable (outbuf);
2192       GST_BUFFER_PTS (outbuf) = pts;
2193       GST_BUFFER_DTS (outbuf) = dts;
2194       parse->priv->buffers_head =
2195           g_slist_prepend (parse->priv->buffers_head, outbuf);
2196       outbuf = NULL;
2197     } else {
2198       /* If we're asked to skip more than is available in the adapter,
2199          we need to remember what we need to skip for next iteration */
2200       gsize av = gst_adapter_available (parse->priv->adapter);
2201       GST_DEBUG ("Asked to skip %u (%" G_GSIZE_FORMAT " available)", *skip, av);
2202       if (av >= *skip) {
2203         gst_adapter_flush (parse->priv->adapter, *skip);
2204       } else {
2205         GST_DEBUG
2206             ("This is more than available, flushing %" G_GSIZE_FORMAT
2207             ", storing %u to skip", av, (guint) (*skip - av));
2208         parse->priv->skip = *skip - av;
2209         gst_adapter_flush (parse->priv->adapter, av);
2210         *skip = av;
2211       }
2212     }
2213     if (!parse->priv->discont)
2214       parse->priv->sync_offset = parse->priv->offset;
2215     parse->priv->offset += *skip;
2216     parse->priv->discont = TRUE;
2217     /* check for indefinite skipping */
2218     if (ret == GST_FLOW_OK)
2219       ret = gst_base_parse_check_sync (parse);
2220   }
2221
2222   parse->priv->offset += *flushed;
2223
2224   if (parse->priv->pad_mode == GST_PAD_MODE_PULL) {
2225     gst_adapter_clear (parse->priv->adapter);
2226   }
2227
2228   if (*skip == 0 && *flushed == 0) {
2229     /* Carry over discont if we need more data */
2230     if (GST_BUFFER_IS_DISCONT (frame->buffer))
2231       parse->priv->discont = TRUE;
2232   }
2233
2234   gst_base_parse_frame_free (frame);
2235
2236   return ret;
2237 }
2238
2239 /* gst_base_parse_push_pending_events:
2240  * @parse: #GstBaseParse
2241  *
2242  * Pushes the pending events
2243  */
2244 static void
2245 gst_base_parse_push_pending_events (GstBaseParse * parse)
2246 {
2247   if (G_UNLIKELY (parse->priv->pending_events)) {
2248     GList *r = g_list_reverse (parse->priv->pending_events);
2249     GList *l;
2250
2251     parse->priv->pending_events = NULL;
2252     for (l = r; l != NULL; l = l->next) {
2253       gst_pad_push_event (parse->srcpad, GST_EVENT_CAST (l->data));
2254     }
2255     g_list_free (r);
2256   }
2257 }
2258
2259 /* gst_base_parse_handle_and_push_frame:
2260  * @parse: #GstBaseParse.
2261  * @klass: #GstBaseParseClass.
2262  * @frame: (transfer full): a #GstBaseParseFrame
2263  *
2264  * Parses the frame from given buffer and pushes it forward. Also performs
2265  * timestamp handling and checks the segment limits.
2266  *
2267  * This is called with srcpad STREAM_LOCK held.
2268  *
2269  * Returns: #GstFlowReturn
2270  */
2271 static GstFlowReturn
2272 gst_base_parse_handle_and_push_frame (GstBaseParse * parse,
2273     GstBaseParseFrame * frame)
2274 {
2275   gint64 offset;
2276   GstBuffer *buffer;
2277
2278   g_return_val_if_fail (frame != NULL, GST_FLOW_ERROR);
2279
2280   buffer = frame->buffer;
2281   offset = frame->offset;
2282
2283   /* check if subclass/format can provide ts.
2284    * If so, that allows and enables extra seek and duration determining options */
2285   if (G_UNLIKELY (parse->priv->first_frame_offset < 0)) {
2286     if (GST_BUFFER_PTS_IS_VALID (buffer) && parse->priv->has_timing_info
2287         && parse->priv->pad_mode == GST_PAD_MODE_PULL) {
2288       parse->priv->first_frame_offset = offset;
2289       parse->priv->first_frame_pts = GST_BUFFER_PTS (buffer);
2290       parse->priv->first_frame_dts = GST_BUFFER_DTS (buffer);
2291       GST_DEBUG_OBJECT (parse, "subclass provided dts %" GST_TIME_FORMAT
2292           ", pts %" GST_TIME_FORMAT " for first frame at offset %"
2293           G_GINT64_FORMAT, GST_TIME_ARGS (parse->priv->first_frame_dts),
2294           GST_TIME_ARGS (parse->priv->first_frame_pts),
2295           parse->priv->first_frame_offset);
2296       if (!GST_CLOCK_TIME_IS_VALID (parse->priv->duration)) {
2297         gint64 off;
2298         GstClockTime last_ts = G_MAXINT64;
2299
2300         GST_DEBUG_OBJECT (parse, "no duration; trying scan to determine");
2301         gst_base_parse_locate_time (parse, &last_ts, &off);
2302         if (GST_CLOCK_TIME_IS_VALID (last_ts))
2303           gst_base_parse_set_duration (parse, GST_FORMAT_TIME, last_ts, 0);
2304       }
2305     } else {
2306       /* disable further checks */
2307       parse->priv->first_frame_offset = 0;
2308     }
2309   }
2310
2311   /* track upstream time if provided, not subclass' internal notion of it */
2312   if (parse->priv->upstream_format == GST_FORMAT_TIME) {
2313     GST_BUFFER_PTS (frame->buffer) = GST_CLOCK_TIME_NONE;
2314     GST_BUFFER_DTS (frame->buffer) = GST_CLOCK_TIME_NONE;
2315   }
2316
2317   /* interpolating and no valid pts yet,
2318    * start with dts and carry on from there */
2319   if (parse->priv->infer_ts && parse->priv->pts_interpolate
2320       && !GST_CLOCK_TIME_IS_VALID (parse->priv->next_pts))
2321     parse->priv->next_pts = parse->priv->next_dts;
2322
2323   /* again use default handler to add missing metadata;
2324    * we may have new information on frame properties */
2325   gst_base_parse_parse_frame (parse, frame);
2326
2327   parse->priv->next_pts = GST_CLOCK_TIME_NONE;
2328   if (GST_BUFFER_DTS_IS_VALID (buffer) && GST_BUFFER_DURATION_IS_VALID (buffer)) {
2329     parse->priv->next_dts =
2330         GST_BUFFER_DTS (buffer) + GST_BUFFER_DURATION (buffer);
2331     if (parse->priv->pts_interpolate && GST_BUFFER_PTS_IS_VALID (buffer)) {
2332       GstClockTime next_pts =
2333           GST_BUFFER_PTS (buffer) + GST_BUFFER_DURATION (buffer);
2334       if (next_pts >= parse->priv->next_dts)
2335         parse->priv->next_pts = next_pts;
2336     }
2337   } else {
2338     /* we lost track, do not produce bogus time next time around
2339      * (probably means parser subclass has given up on parsing as well) */
2340     GST_DEBUG_OBJECT (parse, "no next fallback timestamp");
2341     parse->priv->next_dts = GST_CLOCK_TIME_NONE;
2342   }
2343
2344   if (parse->priv->upstream_seekable && parse->priv->exact_position &&
2345       GST_BUFFER_PTS_IS_VALID (buffer))
2346     gst_base_parse_add_index_entry (parse, offset,
2347         GST_BUFFER_PTS (buffer),
2348         !GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_DELTA_UNIT), FALSE);
2349
2350   /* All OK, push queued frames if there are any */
2351   if (G_UNLIKELY (!g_queue_is_empty (&parse->priv->queued_frames))) {
2352     GstBaseParseFrame *queued_frame;
2353
2354     while ((queued_frame = g_queue_pop_head (&parse->priv->queued_frames))) {
2355       gst_base_parse_push_frame (parse, queued_frame);
2356       gst_base_parse_frame_free (queued_frame);
2357     }
2358   }
2359
2360   return gst_base_parse_push_frame (parse, frame);
2361 }
2362
2363 /**
2364  * gst_base_parse_push_frame:
2365  * @parse: #GstBaseParse.
2366  * @frame: (transfer none): a #GstBaseParseFrame
2367  *
2368  * Pushes the frame's buffer downstream, sends any pending events and
2369  * does some timestamp and segment handling. Takes ownership of
2370  * frame's buffer, though caller retains ownership of @frame.
2371  *
2372  * This must be called with sinkpad STREAM_LOCK held.
2373  *
2374  * Returns: #GstFlowReturn
2375  */
2376 GstFlowReturn
2377 gst_base_parse_push_frame (GstBaseParse * parse, GstBaseParseFrame * frame)
2378 {
2379   GstFlowReturn ret = GST_FLOW_OK;
2380   GstClockTime last_start = GST_CLOCK_TIME_NONE;
2381   GstClockTime last_stop = GST_CLOCK_TIME_NONE;
2382   GstBaseParseClass *klass = GST_BASE_PARSE_GET_CLASS (parse);
2383   GstBuffer *buffer;
2384   gsize size;
2385
2386   g_return_val_if_fail (frame != NULL, GST_FLOW_ERROR);
2387   g_return_val_if_fail (frame->buffer != NULL, GST_FLOW_ERROR);
2388
2389   GST_TRACE_OBJECT (parse, "pushing frame %p", frame);
2390
2391   buffer = frame->buffer;
2392
2393   GST_LOG_OBJECT (parse,
2394       "processing buffer of size %" G_GSIZE_FORMAT " with dts %" GST_TIME_FORMAT
2395       ", pts %" GST_TIME_FORMAT ", duration %" GST_TIME_FORMAT,
2396       gst_buffer_get_size (buffer),
2397       GST_TIME_ARGS (GST_BUFFER_DTS (buffer)),
2398       GST_TIME_ARGS (GST_BUFFER_PTS (buffer)),
2399       GST_TIME_ARGS (GST_BUFFER_DURATION (buffer)));
2400
2401   /* update stats */
2402   parse->priv->bytecount += frame->size;
2403   if (G_LIKELY (!(frame->flags & GST_BASE_PARSE_FRAME_FLAG_NO_FRAME))) {
2404     parse->priv->framecount++;
2405     if (GST_BUFFER_DURATION_IS_VALID (buffer)) {
2406       parse->priv->acc_duration += GST_BUFFER_DURATION (buffer);
2407     }
2408   }
2409   /* 0 means disabled */
2410   if (parse->priv->update_interval < 0)
2411     parse->priv->update_interval = 50;
2412   else if (parse->priv->update_interval > 0 &&
2413       (parse->priv->framecount % parse->priv->update_interval) == 0)
2414     gst_base_parse_update_duration (parse);
2415
2416   if (GST_BUFFER_PTS_IS_VALID (buffer))
2417     last_start = last_stop = GST_BUFFER_PTS (buffer);
2418   if (last_start != GST_CLOCK_TIME_NONE
2419       && GST_BUFFER_DURATION_IS_VALID (buffer))
2420     last_stop = last_start + GST_BUFFER_DURATION (buffer);
2421
2422   /* should have caps by now */
2423   if (!gst_pad_has_current_caps (parse->srcpad))
2424     goto no_caps;
2425
2426   if (G_UNLIKELY (!parse->priv->checked_media)) {
2427     /* have caps; check identity */
2428     gst_base_parse_check_media (parse);
2429   }
2430
2431   if (parse->priv->tags_changed) {
2432     gst_base_parse_queue_tag_event_update (parse);
2433     parse->priv->tags_changed = FALSE;
2434   }
2435
2436   /* Push pending events, including SEGMENT events */
2437   gst_base_parse_push_pending_events (parse);
2438
2439   /* segment adjustment magic; only if we are running the whole show */
2440   if (!parse->priv->passthrough && parse->segment.rate > 0.0 &&
2441       (parse->priv->pad_mode == GST_PAD_MODE_PULL ||
2442           parse->priv->upstream_seekable)) {
2443     /* handle gaps */
2444     if (GST_CLOCK_TIME_IS_VALID (parse->segment.position) &&
2445         GST_CLOCK_TIME_IS_VALID (last_start)) {
2446       GstClockTimeDiff diff;
2447
2448       /* only send newsegments with increasing start times,
2449        * otherwise if these go back and forth downstream (sinks) increase
2450        * accumulated time and running_time */
2451       diff = GST_CLOCK_DIFF (parse->segment.position, last_start);
2452       if (G_UNLIKELY (diff > 2 * GST_SECOND
2453               && last_start > parse->segment.start
2454               && (!GST_CLOCK_TIME_IS_VALID (parse->segment.stop)
2455                   || last_start < parse->segment.stop))) {
2456
2457         GST_DEBUG_OBJECT (parse,
2458             "Gap of %" G_GINT64_FORMAT " ns detected in stream " "(%"
2459             GST_TIME_FORMAT " -> %" GST_TIME_FORMAT "). "
2460             "Sending updated SEGMENT events", diff,
2461             GST_TIME_ARGS (parse->segment.position),
2462             GST_TIME_ARGS (last_start));
2463
2464         /* skip gap FIXME */
2465         gst_pad_push_event (parse->srcpad,
2466             gst_event_new_segment (&parse->segment));
2467
2468         parse->segment.position = last_start;
2469       }
2470     }
2471   }
2472
2473   /* update bitrates and optionally post corresponding tags
2474    * (following newsegment) */
2475   gst_base_parse_update_bitrates (parse, frame);
2476
2477   if (klass->pre_push_frame) {
2478     ret = klass->pre_push_frame (parse, frame);
2479   } else {
2480     frame->flags |= GST_BASE_PARSE_FRAME_FLAG_CLIP;
2481   }
2482
2483   /* Push pending events, if there are any new ones
2484    * like tags added by pre_push_frame */
2485   if (parse->priv->tags_changed) {
2486     gst_base_parse_queue_tag_event_update (parse);
2487     parse->priv->tags_changed = FALSE;
2488   }
2489   gst_base_parse_push_pending_events (parse);
2490
2491   /* take final ownership of frame buffer */
2492   if (frame->out_buffer) {
2493     buffer = frame->out_buffer;
2494     frame->out_buffer = NULL;
2495     gst_buffer_replace (&frame->buffer, NULL);
2496   } else {
2497     buffer = frame->buffer;
2498     frame->buffer = NULL;
2499   }
2500
2501   /* subclass must play nice */
2502   g_return_val_if_fail (buffer != NULL, GST_FLOW_ERROR);
2503
2504   size = gst_buffer_get_size (buffer);
2505
2506   parse->priv->seen_keyframe |= parse->priv->is_video &&
2507       !GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_DELTA_UNIT);
2508
2509   if (frame->flags & GST_BASE_PARSE_FRAME_FLAG_CLIP) {
2510     if (GST_BUFFER_TIMESTAMP_IS_VALID (buffer) &&
2511         GST_CLOCK_TIME_IS_VALID (parse->segment.stop) &&
2512         GST_BUFFER_TIMESTAMP (buffer) >
2513         parse->segment.stop + parse->priv->lead_out_ts) {
2514       GST_LOG_OBJECT (parse, "Dropped frame, after segment");
2515       ret = GST_FLOW_EOS;
2516     } else if (GST_BUFFER_TIMESTAMP_IS_VALID (buffer) &&
2517         GST_BUFFER_DURATION_IS_VALID (buffer) &&
2518         GST_CLOCK_TIME_IS_VALID (parse->segment.start) &&
2519         GST_BUFFER_TIMESTAMP (buffer) + GST_BUFFER_DURATION (buffer) +
2520         parse->priv->lead_in_ts < parse->segment.start) {
2521       if (parse->priv->seen_keyframe) {
2522         GST_LOG_OBJECT (parse, "Frame before segment, after keyframe");
2523         ret = GST_FLOW_OK;
2524       } else {
2525         GST_LOG_OBJECT (parse, "Dropped frame, before segment");
2526         ret = GST_BASE_PARSE_FLOW_DROPPED;
2527       }
2528     } else {
2529       ret = GST_FLOW_OK;
2530     }
2531   }
2532
2533   if (ret == GST_BASE_PARSE_FLOW_DROPPED) {
2534     GST_LOG_OBJECT (parse, "frame (%" G_GSIZE_FORMAT " bytes) dropped", size);
2535     if (GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_DISCONT))
2536       parse->priv->discont = TRUE;
2537     gst_buffer_unref (buffer);
2538     ret = GST_FLOW_OK;
2539   } else if (ret == GST_FLOW_OK) {
2540     if (parse->segment.rate > 0.0) {
2541       GST_LOG_OBJECT (parse, "pushing frame (%" G_GSIZE_FORMAT " bytes) now..",
2542           size);
2543       ret = gst_pad_push (parse->srcpad, buffer);
2544       GST_LOG_OBJECT (parse, "frame pushed, flow %s", gst_flow_get_name (ret));
2545     } else if (!parse->priv->disable_passthrough && parse->priv->passthrough) {
2546
2547       /* in backwards playback mode, if on passthrough we need to push buffers
2548        * directly without accumulating them into the buffers_queued as baseparse
2549        * will never check for a DISCONT while on passthrough and those buffers
2550        * will never be pushed.
2551        *
2552        * also, as we are on reverse playback, it might be possible that
2553        * passthrough might have just been enabled, so make sure to drain the
2554        * buffers_queued list */
2555       if (G_UNLIKELY (parse->priv->buffers_queued != NULL)) {
2556         gst_base_parse_finish_fragment (parse, TRUE);
2557         ret = gst_base_parse_send_buffers (parse);
2558       }
2559
2560       if (ret == GST_FLOW_OK) {
2561         GST_LOG_OBJECT (parse,
2562             "pushing frame (%" G_GSIZE_FORMAT " bytes) now..", size);
2563         ret = gst_pad_push (parse->srcpad, buffer);
2564         GST_LOG_OBJECT (parse, "frame pushed, flow %s",
2565             gst_flow_get_name (ret));
2566       } else {
2567         GST_LOG_OBJECT (parse,
2568             "frame (%" G_GSIZE_FORMAT " bytes) not pushed: %s", size,
2569             gst_flow_get_name (ret));
2570         gst_buffer_unref (buffer);
2571       }
2572
2573     } else {
2574       GST_LOG_OBJECT (parse, "frame (%" G_GSIZE_FORMAT " bytes) queued for now",
2575           size);
2576       parse->priv->buffers_queued =
2577           g_slist_prepend (parse->priv->buffers_queued, buffer);
2578       ret = GST_FLOW_OK;
2579     }
2580   } else {
2581     GST_LOG_OBJECT (parse, "frame (%" G_GSIZE_FORMAT " bytes) not pushed: %s",
2582         size, gst_flow_get_name (ret));
2583     gst_buffer_unref (buffer);
2584     /* if we are not sufficiently in control, let upstream decide on EOS */
2585     if (ret == GST_FLOW_EOS && !parse->priv->disable_passthrough &&
2586         (parse->priv->passthrough ||
2587             (parse->priv->pad_mode == GST_PAD_MODE_PUSH &&
2588                 !parse->priv->upstream_seekable)))
2589       ret = GST_FLOW_OK;
2590   }
2591
2592   /* Update current running segment position */
2593   if ((ret == GST_FLOW_OK || ret == GST_FLOW_NOT_LINKED)
2594       && last_stop != GST_CLOCK_TIME_NONE
2595       && parse->segment.position < last_stop)
2596     parse->segment.position = last_stop;
2597
2598   return ret;
2599
2600   /* ERRORS */
2601 no_caps:
2602   {
2603     if (GST_PAD_IS_FLUSHING (parse->srcpad))
2604       return GST_FLOW_FLUSHING;
2605
2606     GST_ELEMENT_ERROR (parse, STREAM, DECODE, ("No caps set"), (NULL));
2607     return GST_FLOW_ERROR;
2608   }
2609 }
2610
2611 /**
2612  * gst_base_parse_finish_frame:
2613  * @parse: a #GstBaseParse
2614  * @frame: a #GstBaseParseFrame
2615  * @size: consumed input data represented by frame
2616  *
2617  * Collects parsed data and pushes this downstream.
2618  * Source pad caps must be set when this is called.
2619  *
2620  * If @frame's out_buffer is set, that will be used as subsequent frame data.
2621  * Otherwise, @size samples will be taken from the input and used for output,
2622  * and the output's metadata (timestamps etc) will be taken as (optionally)
2623  * set by the subclass on @frame's (input) buffer (which is otherwise
2624  * ignored for any but the above purpose/information).
2625  *
2626  * Note that the latter buffer is invalidated by this call, whereas the
2627  * caller retains ownership of @frame.
2628  *
2629  * Returns: a #GstFlowReturn that should be escalated to caller (of caller)
2630  */
2631 GstFlowReturn
2632 gst_base_parse_finish_frame (GstBaseParse * parse, GstBaseParseFrame * frame,
2633     gint size)
2634 {
2635   GstFlowReturn ret = GST_FLOW_OK;
2636
2637   g_return_val_if_fail (frame != NULL, GST_FLOW_ERROR);
2638   g_return_val_if_fail (frame->buffer != NULL, GST_FLOW_ERROR);
2639   g_return_val_if_fail (size > 0 || frame->out_buffer, GST_FLOW_ERROR);
2640   g_return_val_if_fail (gst_adapter_available (parse->priv->adapter) >= size,
2641       GST_FLOW_ERROR);
2642
2643   GST_LOG_OBJECT (parse, "finished frame at offset %" G_GUINT64_FORMAT ", "
2644       "flushing size %d", frame->offset, size);
2645
2646   /* some one-time start-up */
2647   if (G_UNLIKELY (parse->priv->framecount == 0)) {
2648     gst_base_parse_check_seekability (parse);
2649     gst_base_parse_check_upstream (parse);
2650   }
2651
2652   parse->priv->flushed += size;
2653
2654   if (parse->priv->scanning && frame->buffer) {
2655     if (!parse->priv->scanned_frame) {
2656       parse->priv->scanned_frame = gst_base_parse_frame_copy (frame);
2657     }
2658     goto exit;
2659   }
2660
2661   /* either PUSH or PULL mode arranges for adapter data */
2662   /* ensure output buffer */
2663   if (!frame->out_buffer) {
2664     GstBuffer *src, *dest;
2665
2666     frame->out_buffer = gst_adapter_take_buffer (parse->priv->adapter, size);
2667     dest = frame->out_buffer;
2668     src = frame->buffer;
2669     GST_BUFFER_PTS (dest) = GST_BUFFER_PTS (src);
2670     GST_BUFFER_DTS (dest) = GST_BUFFER_DTS (src);
2671     GST_BUFFER_OFFSET (dest) = GST_BUFFER_OFFSET (src);
2672     GST_BUFFER_DURATION (dest) = GST_BUFFER_DURATION (src);
2673     GST_BUFFER_OFFSET_END (dest) = GST_BUFFER_OFFSET_END (src);
2674     GST_MINI_OBJECT_FLAGS (dest) = GST_MINI_OBJECT_FLAGS (src);
2675   } else {
2676     gst_adapter_flush (parse->priv->adapter, size);
2677   }
2678
2679   /* use as input for subsequent processing */
2680   gst_buffer_replace (&frame->buffer, frame->out_buffer);
2681   gst_buffer_unref (frame->out_buffer);
2682   frame->out_buffer = NULL;
2683
2684   /* mark input size consumed */
2685   frame->size = size;
2686
2687   /* subclass might queue frames/data internally if it needs more
2688    * frames to decide on the format, or might request us to queue here. */
2689   if (frame->flags & GST_BASE_PARSE_FRAME_FLAG_DROP) {
2690     gst_buffer_replace (&frame->buffer, NULL);
2691     goto exit;
2692   } else if (frame->flags & GST_BASE_PARSE_FRAME_FLAG_QUEUE) {
2693     GstBaseParseFrame *copy;
2694
2695     copy = gst_base_parse_frame_copy (frame);
2696     copy->flags &= ~GST_BASE_PARSE_FRAME_FLAG_QUEUE;
2697     gst_base_parse_queue_frame (parse, copy);
2698     goto exit;
2699   }
2700
2701   ret = gst_base_parse_handle_and_push_frame (parse, frame);
2702
2703 exit:
2704   return ret;
2705 }
2706
2707 /* gst_base_parse_drain:
2708  *
2709  * Drains the adapter until it is empty. It decreases the min_frame_size to
2710  * match the current adapter size and calls chain method until the adapter
2711  * is emptied or chain returns with error.
2712  */
2713 static void
2714 gst_base_parse_drain (GstBaseParse * parse)
2715 {
2716   guint avail;
2717
2718   GST_DEBUG_OBJECT (parse, "draining");
2719   parse->priv->drain = TRUE;
2720
2721   for (;;) {
2722     avail = gst_adapter_available (parse->priv->adapter);
2723     if (!avail)
2724       break;
2725
2726     if (gst_base_parse_chain (parse->sinkpad, GST_OBJECT_CAST (parse),
2727             NULL) != GST_FLOW_OK) {
2728       break;
2729     }
2730
2731     /* nothing changed, maybe due to truncated frame; break infinite loop */
2732     if (avail == gst_adapter_available (parse->priv->adapter)) {
2733       GST_DEBUG_OBJECT (parse, "no change during draining; flushing");
2734       gst_adapter_clear (parse->priv->adapter);
2735     }
2736   }
2737
2738   parse->priv->drain = FALSE;
2739 }
2740
2741 /* gst_base_parse_send_buffers
2742  *
2743  * Sends buffers collected in send_buffers downstream, and ensures that list
2744  * is empty at the end (errors or not).
2745  */
2746 static GstFlowReturn
2747 gst_base_parse_send_buffers (GstBaseParse * parse)
2748 {
2749   GSList *send = NULL;
2750   GstBuffer *buf;
2751   GstFlowReturn ret = GST_FLOW_OK;
2752   gboolean first = TRUE;
2753
2754   send = parse->priv->buffers_send;
2755
2756   /* send buffers */
2757   while (send) {
2758     buf = GST_BUFFER_CAST (send->data);
2759     GST_LOG_OBJECT (parse, "pushing buffer %p, dts %"
2760         GST_TIME_FORMAT ", pts %" GST_TIME_FORMAT ", duration %" GST_TIME_FORMAT
2761         ", offset %" G_GINT64_FORMAT, buf,
2762         GST_TIME_ARGS (GST_BUFFER_DTS (buf)),
2763         GST_TIME_ARGS (GST_BUFFER_PTS (buf)),
2764         GST_TIME_ARGS (GST_BUFFER_DURATION (buf)), GST_BUFFER_OFFSET (buf));
2765
2766     /* Make sure the first buffer is always DISCONT. If we split
2767      * GOPs inside the parser this is otherwise not guaranteed */
2768     if (first) {
2769       GST_BUFFER_FLAG_SET (buf, GST_BUFFER_FLAG_DISCONT);
2770       first = FALSE;
2771     }
2772
2773     /* iterate output queue an push downstream */
2774     ret = gst_pad_push (parse->srcpad, buf);
2775     send = g_slist_delete_link (send, send);
2776
2777     /* clear any leftover if error */
2778     if (G_UNLIKELY (ret != GST_FLOW_OK)) {
2779       while (send) {
2780         buf = GST_BUFFER_CAST (send->data);
2781         gst_buffer_unref (buf);
2782         send = g_slist_delete_link (send, send);
2783       }
2784     }
2785   }
2786
2787   parse->priv->buffers_send = send;
2788
2789   return ret;
2790 }
2791
2792 /* gst_base_parse_start_fragment:
2793  *
2794  * Prepares for processing a reverse playback (forward) fragment
2795  * by (re)setting proper state variables.
2796  */
2797 static GstFlowReturn
2798 gst_base_parse_start_fragment (GstBaseParse * parse)
2799 {
2800   GST_LOG_OBJECT (parse, "starting fragment");
2801
2802   /* invalidate so no fall-back timestamping is performed;
2803    * ok if taken from subclass or upstream */
2804   parse->priv->next_pts = GST_CLOCK_TIME_NONE;
2805   parse->priv->prev_pts = GST_CLOCK_TIME_NONE;
2806   parse->priv->next_dts = GST_CLOCK_TIME_NONE;
2807   parse->priv->prev_dts = GST_CLOCK_TIME_NONE;
2808   parse->priv->prev_dts_from_pts = FALSE;
2809   /* prevent it hanging around stop all the time */
2810   parse->segment.position = GST_CLOCK_TIME_NONE;
2811   /* mark next run */
2812   parse->priv->discont = TRUE;
2813
2814   /* head of previous fragment is now pending tail of current fragment */
2815   parse->priv->buffers_pending = parse->priv->buffers_head;
2816   parse->priv->buffers_head = NULL;
2817
2818   return GST_FLOW_OK;
2819 }
2820
2821
2822 /* gst_base_parse_finish_fragment:
2823  *
2824  * Processes a reverse playback (forward) fragment:
2825  * - append head of last fragment that was skipped to current fragment data
2826  * - drain the resulting current fragment data (i.e. repeated chain)
2827  * - add time/duration (if needed) to frames queued by chain
2828  * - push queued data
2829  */
2830 static GstFlowReturn
2831 gst_base_parse_finish_fragment (GstBaseParse * parse, gboolean prev_head)
2832 {
2833   GstBuffer *buf;
2834   GstFlowReturn ret = GST_FLOW_OK;
2835   gboolean seen_key = FALSE, seen_delta = FALSE;
2836
2837   GST_LOG_OBJECT (parse, "finishing fragment");
2838
2839   /* restore order */
2840   parse->priv->buffers_pending = g_slist_reverse (parse->priv->buffers_pending);
2841   while (parse->priv->buffers_pending) {
2842     buf = GST_BUFFER_CAST (parse->priv->buffers_pending->data);
2843     if (prev_head) {
2844       GST_LOG_OBJECT (parse, "adding pending buffer (size %" G_GSIZE_FORMAT ")",
2845           gst_buffer_get_size (buf));
2846       gst_adapter_push (parse->priv->adapter, buf);
2847     } else {
2848       GST_LOG_OBJECT (parse, "discarding head buffer");
2849       gst_buffer_unref (buf);
2850     }
2851     parse->priv->buffers_pending =
2852         g_slist_delete_link (parse->priv->buffers_pending,
2853         parse->priv->buffers_pending);
2854   }
2855
2856   /* chain looks for frames and queues resulting ones (in stead of pushing) */
2857   /* initial skipped data is added to buffers_pending */
2858   gst_base_parse_drain (parse);
2859
2860   if (parse->priv->buffers_send) {
2861     buf = GST_BUFFER_CAST (parse->priv->buffers_send->data);
2862     seen_key |= !GST_BUFFER_FLAG_IS_SET (buf, GST_BUFFER_FLAG_DELTA_UNIT);
2863   }
2864
2865   /* add metadata (if needed to queued buffers */
2866   GST_LOG_OBJECT (parse, "last timestamp: %" GST_TIME_FORMAT,
2867       GST_TIME_ARGS (parse->priv->last_pts));
2868   while (parse->priv->buffers_queued) {
2869     buf = GST_BUFFER_CAST (parse->priv->buffers_queued->data);
2870
2871     /* no touching if upstream or parsing provided time */
2872     if (GST_BUFFER_PTS_IS_VALID (buf)) {
2873       GST_LOG_OBJECT (parse, "buffer has time %" GST_TIME_FORMAT,
2874           GST_TIME_ARGS (GST_BUFFER_PTS (buf)));
2875     } else if (GST_BUFFER_DURATION_IS_VALID (buf)) {
2876       if (GST_CLOCK_TIME_IS_VALID (parse->priv->last_pts)) {
2877         if (G_LIKELY (GST_BUFFER_DURATION (buf) <= parse->priv->last_pts))
2878           parse->priv->last_pts -= GST_BUFFER_DURATION (buf);
2879         else
2880           parse->priv->last_pts = 0;
2881         GST_BUFFER_PTS (buf) = parse->priv->last_pts;
2882         GST_LOG_OBJECT (parse, "applied time %" GST_TIME_FORMAT,
2883             GST_TIME_ARGS (GST_BUFFER_PTS (buf)));
2884       }
2885       if (GST_CLOCK_TIME_IS_VALID (parse->priv->last_dts)) {
2886         if (G_LIKELY (GST_BUFFER_DURATION (buf) <= parse->priv->last_dts))
2887           parse->priv->last_dts -= GST_BUFFER_DURATION (buf);
2888         else
2889           parse->priv->last_dts = 0;
2890         GST_BUFFER_DTS (buf) = parse->priv->last_dts;
2891         GST_LOG_OBJECT (parse, "applied dts %" GST_TIME_FORMAT,
2892             GST_TIME_ARGS (GST_BUFFER_DTS (buf)));
2893       }
2894     } else {
2895       /* no idea, very bad */
2896       GST_WARNING_OBJECT (parse, "could not determine time for buffer");
2897     }
2898
2899     parse->priv->last_pts = GST_BUFFER_PTS (buf);
2900     parse->priv->last_dts = GST_BUFFER_DTS (buf);
2901
2902     /* reverse order for ascending sending */
2903     /* send downstream at keyframe not preceded by a keyframe
2904      * (e.g. that should identify start of collection of IDR nals) */
2905     if (GST_BUFFER_FLAG_IS_SET (buf, GST_BUFFER_FLAG_DELTA_UNIT)) {
2906       if (seen_key) {
2907         ret = gst_base_parse_send_buffers (parse);
2908         /* if a problem, throw all to sending */
2909         if (ret != GST_FLOW_OK) {
2910           parse->priv->buffers_send =
2911               g_slist_reverse (parse->priv->buffers_queued);
2912           parse->priv->buffers_queued = NULL;
2913           break;
2914         }
2915         seen_key = FALSE;
2916       }
2917       seen_delta = TRUE;
2918     } else {
2919       seen_key = TRUE;
2920     }
2921
2922     parse->priv->buffers_send =
2923         g_slist_prepend (parse->priv->buffers_send, buf);
2924     parse->priv->buffers_queued =
2925         g_slist_delete_link (parse->priv->buffers_queued,
2926         parse->priv->buffers_queued);
2927   }
2928
2929   /* audio may have all marked as keyframe, so arrange to send here. Also
2930    * we might have ended the loop above on a keyframe, in which case we
2931    * should */
2932   if (!seen_delta || seen_key)
2933     ret = gst_base_parse_send_buffers (parse);
2934
2935   /* any trailing unused no longer usable (ideally none) */
2936   if (G_UNLIKELY (gst_adapter_available (parse->priv->adapter))) {
2937     GST_DEBUG_OBJECT (parse, "discarding %" G_GSIZE_FORMAT " trailing bytes",
2938         gst_adapter_available (parse->priv->adapter));
2939     gst_adapter_clear (parse->priv->adapter);
2940   }
2941
2942   return ret;
2943 }
2944
2945 /* small helper that checks whether we have been trying to resync too long */
2946 static inline GstFlowReturn
2947 gst_base_parse_check_sync (GstBaseParse * parse)
2948 {
2949   if (G_UNLIKELY (parse->priv->discont &&
2950           parse->priv->offset - parse->priv->sync_offset > 2 * 1024 * 1024)) {
2951     GST_ELEMENT_ERROR (parse, STREAM, DECODE,
2952         ("Failed to parse stream"), (NULL));
2953     return GST_FLOW_ERROR;
2954   }
2955
2956   return GST_FLOW_OK;
2957 }
2958
2959 static GstFlowReturn
2960 gst_base_parse_process_streamheader (GstBaseParse * parse)
2961 {
2962   GstCaps *caps;
2963   GstStructure *str;
2964   const GValue *value;
2965   GstFlowReturn ret = GST_FLOW_OK;
2966
2967   caps = gst_pad_get_current_caps (GST_BASE_PARSE_SINK_PAD (parse));
2968   if (caps == NULL)
2969     goto notfound;
2970
2971   str = gst_caps_get_structure (caps, 0);
2972   value = gst_structure_get_value (str, "streamheader");
2973   if (value == NULL)
2974     goto notfound;
2975
2976   GST_DEBUG_OBJECT (parse, "Found streamheader field on input caps");
2977
2978   if (GST_VALUE_HOLDS_ARRAY (value)) {
2979     gint i;
2980     gsize len = gst_value_array_get_size (value);
2981
2982     for (i = 0; i < len; i++) {
2983       GstBuffer *buffer =
2984           gst_value_get_buffer (gst_value_array_get_value (value, i));
2985       ret =
2986           gst_base_parse_chain (GST_BASE_PARSE_SINK_PAD (parse),
2987           GST_OBJECT_CAST (parse), gst_buffer_ref (buffer));
2988     }
2989
2990   } else if (GST_VALUE_HOLDS_BUFFER (value)) {
2991     GstBuffer *buffer = gst_value_get_buffer (value);
2992     ret =
2993         gst_base_parse_chain (GST_BASE_PARSE_SINK_PAD (parse),
2994         GST_OBJECT_CAST (parse), gst_buffer_ref (buffer));
2995   }
2996
2997   gst_caps_unref (caps);
2998
2999   return ret;
3000
3001 notfound:
3002   {
3003     if (caps) {
3004       gst_caps_unref (caps);
3005     }
3006
3007     GST_DEBUG_OBJECT (parse, "No streamheader on caps");
3008     return GST_FLOW_OK;
3009   }
3010 }
3011
3012 static GstFlowReturn
3013 gst_base_parse_chain (GstPad * pad, GstObject * parent, GstBuffer * buffer)
3014 {
3015   GstBaseParseClass *bclass;
3016   GstBaseParse *parse;
3017   GstFlowReturn ret = GST_FLOW_OK;
3018   GstFlowReturn old_ret = GST_FLOW_OK;
3019   GstBuffer *tmpbuf = NULL;
3020   guint fsize = 1;
3021   gint skip = -1;
3022   guint min_size, av;
3023   GstClockTime pts, dts;
3024
3025   parse = GST_BASE_PARSE (parent);
3026   bclass = GST_BASE_PARSE_GET_CLASS (parse);
3027   GST_DEBUG_OBJECT (parent, "chain");
3028
3029   /* early out for speed, if we need to skip */
3030   if (buffer && GST_BUFFER_IS_DISCONT (buffer))
3031     parse->priv->skip = 0;
3032   if (parse->priv->skip > 0) {
3033     gsize bsize = gst_buffer_get_size (buffer);
3034     GST_DEBUG ("Got %" G_GSIZE_FORMAT " buffer, need to skip %u", bsize,
3035         parse->priv->skip);
3036     if (parse->priv->skip >= bsize) {
3037       parse->priv->skip -= bsize;
3038       GST_DEBUG ("All the buffer is skipped");
3039       parse->priv->offset += bsize;
3040       parse->priv->sync_offset = parse->priv->offset;
3041       return GST_FLOW_OK;
3042     }
3043     buffer = gst_buffer_make_writable (buffer);
3044     gst_buffer_resize (buffer, parse->priv->skip, bsize - parse->priv->skip);
3045     parse->priv->offset += parse->priv->skip;
3046     GST_DEBUG ("Done skipping, we have %u left on this buffer",
3047         (unsigned) (bsize - parse->priv->skip));
3048     parse->priv->skip = 0;
3049     parse->priv->discont = TRUE;
3050   }
3051
3052   if (G_UNLIKELY (parse->priv->first_buffer)) {
3053     parse->priv->first_buffer = FALSE;
3054     if (!GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_HEADER)) {
3055       /* this stream has no header buffers, check if we just prepend the
3056        * streamheader from caps to the stream */
3057       GST_DEBUG_OBJECT (parse, "Looking for streamheader field on caps to "
3058           "prepend to the stream");
3059       gst_base_parse_process_streamheader (parse);
3060     } else {
3061       GST_DEBUG_OBJECT (parse, "Stream has header buffers, not prepending "
3062           "streamheader from caps");
3063     }
3064   }
3065
3066   if (parse->priv->detecting) {
3067     GstBuffer *detect_buf;
3068
3069     if (parse->priv->detect_buffers_size == 0) {
3070       detect_buf = gst_buffer_ref (buffer);
3071     } else {
3072       GList *l;
3073       guint offset = 0;
3074
3075       detect_buf = gst_buffer_new ();
3076
3077       for (l = parse->priv->detect_buffers; l; l = l->next) {
3078         gsize tmpsize = gst_buffer_get_size (l->data);
3079
3080         gst_buffer_copy_into (detect_buf, GST_BUFFER_CAST (l->data),
3081             GST_BUFFER_COPY_MEMORY, offset, tmpsize);
3082         offset += tmpsize;
3083       }
3084       if (buffer)
3085         gst_buffer_copy_into (detect_buf, buffer, GST_BUFFER_COPY_MEMORY,
3086             offset, gst_buffer_get_size (buffer));
3087     }
3088
3089     ret = bclass->detect (parse, detect_buf);
3090     gst_buffer_unref (detect_buf);
3091
3092     if (ret == GST_FLOW_OK) {
3093       GList *l;
3094
3095       /* Detected something */
3096       parse->priv->detecting = FALSE;
3097
3098       for (l = parse->priv->detect_buffers; l; l = l->next) {
3099         if (ret == GST_FLOW_OK && !parse->priv->flushing)
3100           ret =
3101               gst_base_parse_chain (GST_BASE_PARSE_SINK_PAD (parse),
3102               parent, GST_BUFFER_CAST (l->data));
3103         else
3104           gst_buffer_unref (GST_BUFFER_CAST (l->data));
3105       }
3106       g_list_free (parse->priv->detect_buffers);
3107       parse->priv->detect_buffers = NULL;
3108       parse->priv->detect_buffers_size = 0;
3109
3110       if (ret != GST_FLOW_OK) {
3111         return ret;
3112       }
3113
3114       /* Handle the current buffer */
3115     } else if (ret == GST_FLOW_NOT_NEGOTIATED) {
3116       /* Still detecting, append buffer or error out if draining */
3117
3118       if (parse->priv->drain) {
3119         GST_DEBUG_OBJECT (parse, "Draining but did not detect format yet");
3120         return GST_FLOW_ERROR;
3121       } else if (parse->priv->flushing) {
3122         g_list_foreach (parse->priv->detect_buffers, (GFunc) gst_buffer_unref,
3123             NULL);
3124         g_list_free (parse->priv->detect_buffers);
3125         parse->priv->detect_buffers = NULL;
3126         parse->priv->detect_buffers_size = 0;
3127       } else {
3128         parse->priv->detect_buffers =
3129             g_list_append (parse->priv->detect_buffers, buffer);
3130         parse->priv->detect_buffers_size += gst_buffer_get_size (buffer);
3131         return GST_FLOW_OK;
3132       }
3133     } else {
3134       /* Something went wrong, subclass responsible for error reporting */
3135       return ret;
3136     }
3137
3138     /* And now handle the current buffer if detection worked */
3139   }
3140
3141   if (G_LIKELY (buffer)) {
3142     GST_LOG_OBJECT (parse,
3143         "buffer size: %" G_GSIZE_FORMAT ", offset = %" G_GINT64_FORMAT
3144         ", dts %" GST_TIME_FORMAT ", pts %" GST_TIME_FORMAT,
3145         gst_buffer_get_size (buffer), GST_BUFFER_OFFSET (buffer),
3146         GST_TIME_ARGS (GST_BUFFER_DTS (buffer)),
3147         GST_TIME_ARGS (GST_BUFFER_PTS (buffer)));
3148
3149     if (G_UNLIKELY (!parse->priv->disable_passthrough
3150             && parse->priv->passthrough)) {
3151       GstBaseParseFrame frame;
3152
3153       gst_base_parse_frame_init (&frame);
3154       frame.buffer = gst_buffer_make_writable (buffer);
3155       ret = gst_base_parse_push_frame (parse, &frame);
3156       gst_base_parse_frame_free (&frame);
3157       return ret;
3158     }
3159     if (G_UNLIKELY (GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_DISCONT))) {
3160       /* upstream feeding us in reverse playback;
3161        * finish previous fragment and start new upon DISCONT */
3162       if (parse->segment.rate < 0.0) {
3163         GST_DEBUG_OBJECT (parse, "buffer starts new reverse playback fragment");
3164         ret = gst_base_parse_finish_fragment (parse, TRUE);
3165         gst_base_parse_start_fragment (parse);
3166       } else {
3167         /* discont in the stream, drain and mark discont for next output */
3168         gst_base_parse_drain (parse);
3169         parse->priv->discont = TRUE;
3170       }
3171     }
3172     gst_adapter_push (parse->priv->adapter, buffer);
3173   }
3174
3175   /* Parse and push as many frames as possible */
3176   /* Stop either when adapter is empty or we are flushing */
3177   while (!parse->priv->flushing) {
3178     gint flush = 0;
3179     gboolean updated_prev_pts = FALSE;
3180
3181     /* note: if subclass indicates MAX fsize,
3182      * this will not likely be available anyway ... */
3183     min_size = MAX (parse->priv->min_frame_size, fsize);
3184     av = gst_adapter_available (parse->priv->adapter);
3185
3186     if (G_UNLIKELY (parse->priv->drain)) {
3187       min_size = av;
3188       GST_DEBUG_OBJECT (parse, "draining, data left: %d", min_size);
3189       if (G_UNLIKELY (!min_size)) {
3190         goto done;
3191       }
3192     }
3193
3194     /* Collect at least min_frame_size bytes */
3195     if (av < min_size) {
3196       GST_DEBUG_OBJECT (parse, "not enough data available (only %d bytes)", av);
3197       goto done;
3198     }
3199
3200     /* move along with upstream timestamp (if any),
3201      * but interpolate in between */
3202     pts = gst_adapter_prev_pts (parse->priv->adapter, NULL);
3203     dts = gst_adapter_prev_dts (parse->priv->adapter, NULL);
3204     if (GST_CLOCK_TIME_IS_VALID (pts) && (parse->priv->prev_pts != pts)) {
3205       parse->priv->prev_pts = parse->priv->next_pts = pts;
3206       updated_prev_pts = TRUE;
3207     }
3208
3209     if (GST_CLOCK_TIME_IS_VALID (dts) && (parse->priv->prev_dts != dts)) {
3210       parse->priv->prev_dts = parse->priv->next_dts = dts;
3211       parse->priv->prev_dts_from_pts = FALSE;
3212     }
3213
3214     /* we can mess with, erm interpolate, timestamps,
3215      * and incoming stuff has PTS but no DTS seen so far,
3216      * then pick up DTS from PTS and hope for the best ... */
3217     if (parse->priv->infer_ts &&
3218         parse->priv->pts_interpolate &&
3219         !GST_CLOCK_TIME_IS_VALID (dts) &&
3220         (!GST_CLOCK_TIME_IS_VALID (parse->priv->prev_dts)
3221             || (parse->priv->prev_dts_from_pts && updated_prev_pts))
3222         && GST_CLOCK_TIME_IS_VALID (pts)) {
3223       parse->priv->prev_dts = parse->priv->next_dts = pts;
3224       parse->priv->prev_dts_from_pts = TRUE;
3225     }
3226
3227     /* always pass all available data */
3228     tmpbuf = gst_adapter_get_buffer (parse->priv->adapter, av);
3229
3230     /* already inform subclass what timestamps we have planned,
3231      * at least if provided by time-based upstream */
3232     if (parse->priv->upstream_format == GST_FORMAT_TIME) {
3233       tmpbuf = gst_buffer_make_writable (tmpbuf);
3234       GST_BUFFER_PTS (tmpbuf) = parse->priv->next_pts;
3235       GST_BUFFER_DTS (tmpbuf) = parse->priv->next_dts;
3236       GST_BUFFER_DURATION (tmpbuf) = GST_CLOCK_TIME_NONE;
3237     }
3238
3239     /* keep the adapter mapped, so keep track of what has to be flushed */
3240     ret = gst_base_parse_handle_buffer (parse, tmpbuf, &skip, &flush);
3241     tmpbuf = NULL;
3242
3243     if (ret != GST_FLOW_OK && ret != GST_FLOW_NOT_LINKED) {
3244       goto done;
3245     }
3246     if (skip == 0 && flush == 0) {
3247       GST_LOG_OBJECT (parse, "nothing skipped and no frames finished, "
3248           "breaking to get more data");
3249       /* ignore this return as it produced no data */
3250       ret = old_ret;
3251       goto done;
3252     }
3253     old_ret = ret;
3254   }
3255
3256 done:
3257   GST_LOG_OBJECT (parse, "chain leaving");
3258   return ret;
3259 }
3260
3261 /* pull @size bytes at current offset,
3262  * i.e. at least try to and possibly return a shorter buffer if near the end */
3263 static GstFlowReturn
3264 gst_base_parse_pull_range (GstBaseParse * parse, guint size,
3265     GstBuffer ** buffer)
3266 {
3267   GstFlowReturn ret = GST_FLOW_OK;
3268
3269   g_return_val_if_fail (buffer != NULL, GST_FLOW_ERROR);
3270
3271   /* Caching here actually makes much less difference than one would expect.
3272    * We do it mainly to avoid pulling buffers of 1 byte all the time */
3273   if (parse->priv->cache) {
3274     gint64 cache_offset = GST_BUFFER_OFFSET (parse->priv->cache);
3275     gint cache_size = gst_buffer_get_size (parse->priv->cache);
3276
3277     if (cache_offset <= parse->priv->offset &&
3278         (parse->priv->offset + size) <= (cache_offset + cache_size)) {
3279       *buffer = gst_buffer_copy_region (parse->priv->cache, GST_BUFFER_COPY_ALL,
3280           parse->priv->offset - cache_offset, size);
3281       GST_BUFFER_OFFSET (*buffer) = parse->priv->offset;
3282       return GST_FLOW_OK;
3283     }
3284     /* not enough data in the cache, free cache and get a new one */
3285     gst_buffer_unref (parse->priv->cache);
3286     parse->priv->cache = NULL;
3287   }
3288
3289   /* refill the cache */
3290   ret =
3291       gst_pad_pull_range (parse->sinkpad, parse->priv->offset, MAX (size,
3292           64 * 1024), &parse->priv->cache);
3293   if (ret != GST_FLOW_OK) {
3294     parse->priv->cache = NULL;
3295     return ret;
3296   }
3297
3298   if (gst_buffer_get_size (parse->priv->cache) >= size) {
3299     *buffer =
3300         gst_buffer_copy_region (parse->priv->cache, GST_BUFFER_COPY_ALL, 0,
3301         size);
3302     GST_BUFFER_OFFSET (*buffer) = parse->priv->offset;
3303     return GST_FLOW_OK;
3304   }
3305
3306   /* Not possible to get enough data, try a last time with
3307    * requesting exactly the size we need */
3308   gst_buffer_unref (parse->priv->cache);
3309   parse->priv->cache = NULL;
3310
3311   ret = gst_pad_pull_range (parse->sinkpad, parse->priv->offset, size,
3312       &parse->priv->cache);
3313
3314   if (ret != GST_FLOW_OK) {
3315     GST_DEBUG_OBJECT (parse, "pull_range returned %d", ret);
3316     *buffer = NULL;
3317     return ret;
3318   }
3319
3320   if (gst_buffer_get_size (parse->priv->cache) < size) {
3321     GST_DEBUG_OBJECT (parse, "Returning short buffer at offset %"
3322         G_GUINT64_FORMAT ": wanted %u bytes, got %" G_GSIZE_FORMAT " bytes",
3323         parse->priv->offset, size, gst_buffer_get_size (parse->priv->cache));
3324
3325     *buffer = parse->priv->cache;
3326     parse->priv->cache = NULL;
3327
3328     return GST_FLOW_OK;
3329   }
3330
3331   *buffer =
3332       gst_buffer_copy_region (parse->priv->cache, GST_BUFFER_COPY_ALL, 0, size);
3333   GST_BUFFER_OFFSET (*buffer) = parse->priv->offset;
3334
3335   return GST_FLOW_OK;
3336 }
3337
3338 static GstFlowReturn
3339 gst_base_parse_handle_previous_fragment (GstBaseParse * parse)
3340 {
3341   gint64 offset = 0;
3342   GstClockTime ts = 0;
3343   GstBuffer *buffer;
3344   GstFlowReturn ret;
3345
3346   GST_DEBUG_OBJECT (parse, "fragment ended; last_ts = %" GST_TIME_FORMAT
3347       ", last_offset = %" G_GINT64_FORMAT,
3348       GST_TIME_ARGS (parse->priv->last_pts), parse->priv->last_offset);
3349
3350   if (!parse->priv->last_offset
3351       || parse->priv->last_pts <= parse->segment.start) {
3352     GST_DEBUG_OBJECT (parse, "past start of segment %" GST_TIME_FORMAT,
3353         GST_TIME_ARGS (parse->segment.start));
3354     ret = GST_FLOW_EOS;
3355     goto exit;
3356   }
3357
3358   /* last fragment started at last_offset / last_ts;
3359    * seek back 10s capped at 1MB */
3360   if (parse->priv->last_pts >= 10 * GST_SECOND)
3361     ts = parse->priv->last_pts - 10 * GST_SECOND;
3362   /* if we are exact now, we will be more so going backwards */
3363   if (parse->priv->exact_position) {
3364     offset = gst_base_parse_find_offset (parse, ts, TRUE, NULL);
3365   } else {
3366     if (!gst_base_parse_convert (parse, GST_FORMAT_TIME, ts,
3367             GST_FORMAT_BYTES, &offset)) {
3368       GST_DEBUG_OBJECT (parse, "conversion failed, only BYTE based");
3369     }
3370   }
3371   offset = CLAMP (offset, parse->priv->last_offset - 1024 * 1024,
3372       parse->priv->last_offset - 1024);
3373   offset = MAX (0, offset);
3374
3375   GST_DEBUG_OBJECT (parse, "next fragment from offset %" G_GINT64_FORMAT,
3376       offset);
3377   parse->priv->offset = offset;
3378
3379   ret = gst_base_parse_pull_range (parse, parse->priv->last_offset - offset,
3380       &buffer);
3381   if (ret != GST_FLOW_OK)
3382     goto exit;
3383
3384   /* offset will increase again as fragment is processed/parsed */
3385   parse->priv->last_offset = offset;
3386
3387   gst_base_parse_start_fragment (parse);
3388   gst_adapter_push (parse->priv->adapter, buffer);
3389   ret = gst_base_parse_finish_fragment (parse, TRUE);
3390   if (ret != GST_FLOW_OK)
3391     goto exit;
3392
3393   /* force previous fragment */
3394   parse->priv->offset = -1;
3395
3396 exit:
3397   return ret;
3398 }
3399
3400 /* PULL mode:
3401  * pull and scan for next frame starting from current offset
3402  * ajusts sync, drain and offset going along */
3403 static GstFlowReturn
3404 gst_base_parse_scan_frame (GstBaseParse * parse, GstBaseParseClass * klass)
3405 {
3406   GstBuffer *buffer;
3407   GstFlowReturn ret = GST_FLOW_OK;
3408   guint fsize, min_size;
3409   gint flushed = 0;
3410   gint skip = 0;
3411
3412   GST_LOG_OBJECT (parse, "scanning for frame at offset %" G_GUINT64_FORMAT
3413       " (%#" G_GINT64_MODIFIER "x)", parse->priv->offset, parse->priv->offset);
3414
3415   /* let's make this efficient for all subclass once and for all;
3416    * maybe it does not need this much, but in the latter case, we know we are
3417    * in pull mode here and might as well try to read and supply more anyway
3418    * (so does the buffer caching mechanism) */
3419   fsize = 64 * 1024;
3420
3421   while (TRUE) {
3422     min_size = MAX (parse->priv->min_frame_size, fsize);
3423
3424     GST_LOG_OBJECT (parse, "reading buffer size %u", min_size);
3425
3426     ret = gst_base_parse_pull_range (parse, min_size, &buffer);
3427     if (ret != GST_FLOW_OK)
3428       goto done;
3429
3430     /* if we got a short read, inform subclass we are draining leftover
3431      * and no more is to be expected */
3432     if (gst_buffer_get_size (buffer) < min_size) {
3433       GST_LOG_OBJECT (parse, "... but did not get that; marked draining");
3434       parse->priv->drain = TRUE;
3435     }
3436
3437     if (parse->priv->detecting) {
3438       ret = klass->detect (parse, buffer);
3439       if (ret == GST_FLOW_NOT_NEGOTIATED) {
3440         /* If draining we error out, otherwise request a buffer
3441          * with 64kb more */
3442         if (parse->priv->drain) {
3443           gst_buffer_unref (buffer);
3444           GST_ERROR_OBJECT (parse, "Failed to detect format but draining");
3445           return GST_FLOW_ERROR;
3446         } else {
3447           fsize += 64 * 1024;
3448           gst_buffer_unref (buffer);
3449           continue;
3450         }
3451       } else if (ret != GST_FLOW_OK) {
3452         gst_buffer_unref (buffer);
3453         GST_ERROR_OBJECT (parse, "detect() returned %s",
3454             gst_flow_get_name (ret));
3455         return ret;
3456       }
3457
3458       /* Else handle this buffer normally */
3459     }
3460
3461     ret = gst_base_parse_handle_buffer (parse, buffer, &skip, &flushed);
3462     if (ret != GST_FLOW_OK)
3463       break;
3464
3465     /* If a large amount of data was requested to be skipped, _handle_buffer
3466        might have set the priv->skip flag to an extra amount on top of skip.
3467        In pull mode, we can just pull from the new offset directly. */
3468     parse->priv->offset += parse->priv->skip;
3469     parse->priv->skip = 0;
3470
3471     /* something flushed means something happened,
3472      * and we should bail out of this loop so as not to occupy
3473      * the task thread indefinitely */
3474     if (flushed) {
3475       GST_LOG_OBJECT (parse, "frame finished, breaking loop");
3476       break;
3477     }
3478     /* nothing flushed, no skip and draining, so nothing left to do */
3479     if (!skip && parse->priv->drain) {
3480       GST_LOG_OBJECT (parse, "no activity or result when draining; "
3481           "breaking loop and marking EOS");
3482       ret = GST_FLOW_EOS;
3483       break;
3484     }
3485     /* otherwise, get some more data
3486      * note that is checked this does not happen indefinitely */
3487     if (!skip) {
3488       GST_LOG_OBJECT (parse, "getting some more data");
3489       fsize += 64 * 1024;
3490     }
3491     parse->priv->drain = FALSE;
3492   }
3493
3494 done:
3495   return ret;
3496 }
3497
3498 /* Loop that is used in pull mode to retrieve data from upstream */
3499 static void
3500 gst_base_parse_loop (GstPad * pad)
3501 {
3502   GstBaseParse *parse;
3503   GstBaseParseClass *klass;
3504   GstFlowReturn ret = GST_FLOW_OK;
3505
3506   parse = GST_BASE_PARSE (gst_pad_get_parent (pad));
3507   klass = GST_BASE_PARSE_GET_CLASS (parse);
3508
3509   GST_LOG_OBJECT (parse, "Entering parse loop");
3510
3511   if (G_UNLIKELY (parse->priv->push_stream_start)) {
3512     gchar *stream_id;
3513     GstEvent *event;
3514
3515     stream_id =
3516         gst_pad_create_stream_id (parse->srcpad, GST_ELEMENT_CAST (parse),
3517         NULL);
3518
3519     event = gst_event_new_stream_start (stream_id);
3520     gst_event_set_group_id (event, gst_util_group_id_next ());
3521
3522     GST_DEBUG_OBJECT (parse, "Pushing STREAM_START");
3523     gst_pad_push_event (parse->srcpad, event);
3524     parse->priv->push_stream_start = FALSE;
3525     g_free (stream_id);
3526   }
3527
3528   /* reverse playback:
3529    * first fragment (closest to stop time) is handled normally below,
3530    * then we pull in fragments going backwards */
3531   if (parse->segment.rate < 0.0) {
3532     /* check if we jumped back to a previous fragment,
3533      * which is a post-first fragment */
3534     if (parse->priv->offset < 0) {
3535       ret = gst_base_parse_handle_previous_fragment (parse);
3536       goto done;
3537     }
3538   }
3539
3540   ret = gst_base_parse_scan_frame (parse, klass);
3541
3542   /* eat expected eos signalling past segment in reverse playback */
3543   if (parse->segment.rate < 0.0 && ret == GST_FLOW_EOS &&
3544       parse->segment.position >= parse->segment.stop) {
3545     GST_DEBUG_OBJECT (parse, "downstream has reached end of segment");
3546     /* push what was accumulated during loop run */
3547     gst_base_parse_finish_fragment (parse, FALSE);
3548     /* force previous fragment */
3549     parse->priv->offset = -1;
3550     goto eos;
3551   }
3552
3553   if (ret != GST_FLOW_OK)
3554     goto done;
3555
3556 done:
3557   if (ret == GST_FLOW_EOS)
3558     goto eos;
3559   else if (ret != GST_FLOW_OK)
3560     goto pause;
3561
3562   gst_object_unref (parse);
3563   return;
3564
3565   /* ERRORS */
3566 eos:
3567   {
3568     ret = GST_FLOW_EOS;
3569     GST_DEBUG_OBJECT (parse, "eos");
3570     /* fall-through */
3571   }
3572 pause:
3573   {
3574     gboolean push_eos = FALSE;
3575
3576     GST_DEBUG_OBJECT (parse, "pausing task, reason %s",
3577         gst_flow_get_name (ret));
3578     gst_pad_pause_task (parse->sinkpad);
3579
3580     if (ret == GST_FLOW_EOS) {
3581       /* handle end-of-stream/segment */
3582       if (parse->segment.flags & GST_SEGMENT_FLAG_SEGMENT) {
3583         gint64 stop;
3584
3585         if ((stop = parse->segment.stop) == -1)
3586           stop = parse->segment.duration;
3587
3588         GST_DEBUG_OBJECT (parse, "sending segment_done");
3589
3590         gst_element_post_message
3591             (GST_ELEMENT_CAST (parse),
3592             gst_message_new_segment_done (GST_OBJECT_CAST (parse),
3593                 GST_FORMAT_TIME, stop));
3594         gst_pad_push_event (parse->srcpad,
3595             gst_event_new_segment_done (GST_FORMAT_TIME, stop));
3596       } else {
3597         /* If we STILL have zero frames processed, fire an error */
3598         if (parse->priv->framecount == 0) {
3599           GST_ELEMENT_ERROR (parse, STREAM, WRONG_TYPE,
3600               ("No valid frames found before end of stream"), (NULL));
3601         }
3602         push_eos = TRUE;
3603       }
3604     } else if (ret == GST_FLOW_NOT_LINKED || ret < GST_FLOW_EOS) {
3605       /* for fatal errors we post an error message, wrong-state is
3606        * not fatal because it happens due to flushes and only means
3607        * that we should stop now. */
3608       GST_ELEMENT_ERROR (parse, STREAM, FAILED, (NULL),
3609           ("streaming stopped, reason %s", gst_flow_get_name (ret)));
3610       push_eos = TRUE;
3611     }
3612     if (push_eos) {
3613       if (parse->priv->estimated_duration <= 0) {
3614         gst_base_parse_update_duration (parse);
3615       }
3616       /* Push pending events, including SEGMENT events */
3617       gst_base_parse_push_pending_events (parse);
3618
3619       gst_pad_push_event (parse->srcpad, gst_event_new_eos ());
3620     }
3621     gst_object_unref (parse);
3622   }
3623 }
3624
3625 static gboolean
3626 gst_base_parse_sink_activate (GstPad * sinkpad, GstObject * parent)
3627 {
3628   GstSchedulingFlags sched_flags;
3629   GstBaseParse *parse;
3630   GstQuery *query;
3631   gboolean pull_mode;
3632
3633   parse = GST_BASE_PARSE (parent);
3634
3635   GST_DEBUG_OBJECT (parse, "sink activate");
3636
3637   query = gst_query_new_scheduling ();
3638   if (!gst_pad_peer_query (sinkpad, query)) {
3639     gst_query_unref (query);
3640     goto baseparse_push;
3641   }
3642
3643   gst_query_parse_scheduling (query, &sched_flags, NULL, NULL, NULL);
3644
3645   pull_mode = gst_query_has_scheduling_mode (query, GST_PAD_MODE_PULL)
3646       && ((sched_flags & GST_SCHEDULING_FLAG_SEEKABLE) != 0);
3647
3648   gst_query_unref (query);
3649
3650   if (!pull_mode)
3651     goto baseparse_push;
3652
3653   GST_DEBUG_OBJECT (parse, "trying to activate in pull mode");
3654   if (!gst_pad_activate_mode (sinkpad, GST_PAD_MODE_PULL, TRUE))
3655     goto baseparse_push;
3656
3657   parse->priv->push_stream_start = TRUE;
3658
3659   return gst_pad_start_task (sinkpad, (GstTaskFunction) gst_base_parse_loop,
3660       sinkpad, NULL);
3661   /* fallback */
3662 baseparse_push:
3663   {
3664     GST_DEBUG_OBJECT (parse, "trying to activate in push mode");
3665     return gst_pad_activate_mode (sinkpad, GST_PAD_MODE_PUSH, TRUE);
3666   }
3667 }
3668
3669 static gboolean
3670 gst_base_parse_activate (GstBaseParse * parse, gboolean active)
3671 {
3672   GstBaseParseClass *klass;
3673   gboolean result = TRUE;
3674
3675   GST_DEBUG_OBJECT (parse, "activate %d", active);
3676
3677   klass = GST_BASE_PARSE_GET_CLASS (parse);
3678
3679   if (active) {
3680     if (parse->priv->pad_mode == GST_PAD_MODE_NONE && klass->start)
3681       result = klass->start (parse);
3682
3683     /* If the subclass implements ::detect we want to
3684      * call it for the first buffers now */
3685     parse->priv->detecting = (klass->detect != NULL);
3686   } else {
3687     /* We must make sure streaming has finished before resetting things
3688      * and calling the ::stop vfunc */
3689     GST_PAD_STREAM_LOCK (parse->sinkpad);
3690     GST_PAD_STREAM_UNLOCK (parse->sinkpad);
3691
3692     if (parse->priv->pad_mode != GST_PAD_MODE_NONE && klass->stop)
3693       result = klass->stop (parse);
3694
3695     parse->priv->pad_mode = GST_PAD_MODE_NONE;
3696   }
3697   GST_DEBUG_OBJECT (parse, "activate return: %d", result);
3698   return result;
3699 }
3700
3701 static gboolean
3702 gst_base_parse_sink_activate_mode (GstPad * pad, GstObject * parent,
3703     GstPadMode mode, gboolean active)
3704 {
3705   gboolean result;
3706   GstBaseParse *parse;
3707
3708   parse = GST_BASE_PARSE (parent);
3709
3710   GST_DEBUG_OBJECT (parse, "sink %sactivate in %s mode",
3711       (active) ? "" : "de", gst_pad_mode_get_name (mode));
3712
3713   if (!gst_base_parse_activate (parse, active))
3714     goto activate_failed;
3715
3716   switch (mode) {
3717     case GST_PAD_MODE_PULL:
3718       if (active) {
3719         parse->priv->pending_events =
3720             g_list_prepend (parse->priv->pending_events,
3721             gst_event_new_segment (&parse->segment));
3722         result = TRUE;
3723       } else {
3724         result = gst_pad_stop_task (pad);
3725       }
3726       break;
3727     default:
3728       result = TRUE;
3729       break;
3730   }
3731   if (result)
3732     parse->priv->pad_mode = active ? mode : GST_PAD_MODE_NONE;
3733
3734   GST_DEBUG_OBJECT (parse, "sink activate return: %d", result);
3735
3736   return result;
3737
3738   /* ERRORS */
3739 activate_failed:
3740   {
3741     GST_DEBUG_OBJECT (parse, "activate failed");
3742     return FALSE;
3743   }
3744 }
3745
3746 /**
3747  * gst_base_parse_set_duration:
3748  * @parse: #GstBaseParse.
3749  * @fmt: #GstFormat.
3750  * @duration: duration value.
3751  * @interval: how often to update the duration estimate based on bitrate, or 0.
3752  *
3753  * Sets the duration of the currently playing media. Subclass can use this
3754  * when it is able to determine duration and/or notices a change in the media
3755  * duration.  Alternatively, if @interval is non-zero (default), then stream
3756  * duration is determined based on estimated bitrate, and updated every @interval
3757  * frames.
3758  */
3759 void
3760 gst_base_parse_set_duration (GstBaseParse * parse,
3761     GstFormat fmt, gint64 duration, gint interval)
3762 {
3763   g_return_if_fail (parse != NULL);
3764
3765   if (parse->priv->upstream_has_duration) {
3766     GST_DEBUG_OBJECT (parse, "using upstream duration; discarding update");
3767     goto exit;
3768   }
3769
3770   if (duration != parse->priv->duration) {
3771     GstMessage *m;
3772
3773     m = gst_message_new_duration_changed (GST_OBJECT (parse));
3774     gst_element_post_message (GST_ELEMENT (parse), m);
3775
3776     /* TODO: what about duration tag? */
3777   }
3778   parse->priv->duration = duration;
3779   parse->priv->duration_fmt = fmt;
3780   GST_DEBUG_OBJECT (parse, "set duration: %" G_GINT64_FORMAT, duration);
3781   if (fmt == GST_FORMAT_TIME && GST_CLOCK_TIME_IS_VALID (duration)) {
3782     if (interval != 0) {
3783       GST_DEBUG_OBJECT (parse, "valid duration provided, disabling estimate");
3784       interval = 0;
3785     }
3786   }
3787   GST_DEBUG_OBJECT (parse, "set update interval: %d", interval);
3788   parse->priv->update_interval = interval;
3789 exit:
3790   return;
3791 }
3792
3793 /**
3794  * gst_base_parse_set_average_bitrate:
3795  * @parse: #GstBaseParse.
3796  * @bitrate: average bitrate in bits/second
3797  *
3798  * Optionally sets the average bitrate detected in media (if non-zero),
3799  * e.g. based on metadata, as it will be posted to the application.
3800  *
3801  * By default, announced average bitrate is estimated. The average bitrate
3802  * is used to estimate the total duration of the stream and to estimate
3803  * a seek position, if there's no index and the format is syncable
3804  * (see gst_base_parse_set_syncable()).
3805  */
3806 void
3807 gst_base_parse_set_average_bitrate (GstBaseParse * parse, guint bitrate)
3808 {
3809   parse->priv->bitrate = bitrate;
3810   GST_DEBUG_OBJECT (parse, "bitrate %u", bitrate);
3811 }
3812
3813 /**
3814  * gst_base_parse_set_min_frame_size:
3815  * @parse: #GstBaseParse.
3816  * @min_size: Minimum size of the data that this base class should give to
3817  *            subclass.
3818  *
3819  * Subclass can use this function to tell the base class that it needs to
3820  * give at least #min_size buffers.
3821  */
3822 void
3823 gst_base_parse_set_min_frame_size (GstBaseParse * parse, guint min_size)
3824 {
3825   g_return_if_fail (parse != NULL);
3826
3827   parse->priv->min_frame_size = min_size;
3828   GST_LOG_OBJECT (parse, "set frame_min_size: %d", min_size);
3829 }
3830
3831 /**
3832  * gst_base_parse_set_frame_rate:
3833  * @parse: the #GstBaseParse to set
3834  * @fps_num: frames per second (numerator).
3835  * @fps_den: frames per second (denominator).
3836  * @lead_in: frames needed before a segment for subsequent decode
3837  * @lead_out: frames needed after a segment
3838  *
3839  * If frames per second is configured, parser can take care of buffer duration
3840  * and timestamping.  When performing segment clipping, or seeking to a specific
3841  * location, a corresponding decoder might need an initial @lead_in and a
3842  * following @lead_out number of frames to ensure the desired segment is
3843  * entirely filled upon decoding.
3844  */
3845 void
3846 gst_base_parse_set_frame_rate (GstBaseParse * parse, guint fps_num,
3847     guint fps_den, guint lead_in, guint lead_out)
3848 {
3849   g_return_if_fail (parse != NULL);
3850
3851   parse->priv->fps_num = fps_num;
3852   parse->priv->fps_den = fps_den;
3853   if (!fps_num || !fps_den) {
3854     GST_DEBUG_OBJECT (parse, "invalid fps (%d/%d), ignoring parameters",
3855         fps_num, fps_den);
3856     fps_num = fps_den = 0;
3857     parse->priv->frame_duration = GST_CLOCK_TIME_NONE;
3858     parse->priv->lead_in = parse->priv->lead_out = 0;
3859     parse->priv->lead_in_ts = parse->priv->lead_out_ts = 0;
3860   } else {
3861     parse->priv->frame_duration =
3862         gst_util_uint64_scale (GST_SECOND, fps_den, fps_num);
3863     parse->priv->lead_in = lead_in;
3864     parse->priv->lead_out = lead_out;
3865     parse->priv->lead_in_ts =
3866         gst_util_uint64_scale (GST_SECOND, fps_den * lead_in, fps_num);
3867     parse->priv->lead_out_ts =
3868         gst_util_uint64_scale (GST_SECOND, fps_den * lead_out, fps_num);
3869     /* aim for about 1.5s to estimate duration */
3870     if (parse->priv->update_interval < 0) {
3871       parse->priv->update_interval = fps_num * 3 / (fps_den * 2);
3872       GST_LOG_OBJECT (parse, "estimated update interval to %d frames",
3873           parse->priv->update_interval);
3874     }
3875   }
3876   GST_LOG_OBJECT (parse, "set fps: %d/%d => duration: %" G_GINT64_FORMAT " ms",
3877       fps_num, fps_den, parse->priv->frame_duration / GST_MSECOND);
3878   GST_LOG_OBJECT (parse, "set lead in: %d frames = %" G_GUINT64_FORMAT " ms, "
3879       "lead out: %d frames = %" G_GUINT64_FORMAT " ms",
3880       lead_in, parse->priv->lead_in_ts / GST_MSECOND,
3881       lead_out, parse->priv->lead_out_ts / GST_MSECOND);
3882 }
3883
3884 /**
3885  * gst_base_parse_set_has_timing_info:
3886  * @parse: a #GstBaseParse
3887  * @has_timing: whether frames carry timing information
3888  *
3889  * Set if frames carry timing information which the subclass can (generally)
3890  * parse and provide.  In particular, intrinsic (rather than estimated) time
3891  * can be obtained following a seek.
3892  */
3893 void
3894 gst_base_parse_set_has_timing_info (GstBaseParse * parse, gboolean has_timing)
3895 {
3896   parse->priv->has_timing_info = has_timing;
3897   GST_INFO_OBJECT (parse, "has_timing: %s", (has_timing) ? "yes" : "no");
3898 }
3899
3900 /**
3901  * gst_base_parse_set_syncable:
3902  * @parse: a #GstBaseParse
3903  * @syncable: set if frame starts can be identified
3904  *
3905  * Set if frame starts can be identified. This is set by default and
3906  * determines whether seeking based on bitrate averages
3907  * is possible for a format/stream.
3908  */
3909 void
3910 gst_base_parse_set_syncable (GstBaseParse * parse, gboolean syncable)
3911 {
3912   parse->priv->syncable = syncable;
3913   GST_INFO_OBJECT (parse, "syncable: %s", (syncable) ? "yes" : "no");
3914 }
3915
3916 /**
3917  * gst_base_parse_set_passthrough:
3918  * @parse: a #GstBaseParse
3919  * @passthrough: %TRUE if parser should run in passthrough mode
3920  *
3921  * Set if the nature of the format or configuration does not allow (much)
3922  * parsing, and the parser should operate in passthrough mode (which only
3923  * applies when operating in push mode). That is, incoming buffers are
3924  * pushed through unmodified, i.e. no @check_valid_frame or @parse_frame
3925  * callbacks will be invoked, but @pre_push_frame will still be invoked,
3926  * so subclass can perform as much or as little is appropriate for
3927  * passthrough semantics in @pre_push_frame.
3928  */
3929 void
3930 gst_base_parse_set_passthrough (GstBaseParse * parse, gboolean passthrough)
3931 {
3932   parse->priv->passthrough = passthrough;
3933   GST_INFO_OBJECT (parse, "passthrough: %s", (passthrough) ? "yes" : "no");
3934 }
3935
3936 /**
3937  * gst_base_parse_set_pts_interpolation:
3938  * @parse: a #GstBaseParse
3939  * @pts_interpolate: %TRUE if parser should interpolate PTS timestamps
3940  *
3941  * By default, the base class will guess PTS timestamps using a simple
3942  * interpolation (previous timestamp + duration), which is incorrect for
3943  * data streams with reordering, where PTS can go backward. Sub-classes
3944  * implementing such formats should disable PTS interpolation.
3945  */
3946 void
3947 gst_base_parse_set_pts_interpolation (GstBaseParse * parse,
3948     gboolean pts_interpolate)
3949 {
3950   parse->priv->pts_interpolate = pts_interpolate;
3951   GST_INFO_OBJECT (parse, "PTS interpolation: %s",
3952       (pts_interpolate) ? "yes" : "no");
3953 }
3954
3955 /**
3956  * gst_base_parse_set_infer_ts:
3957  * @parse: a #GstBaseParse
3958  * @infer_ts: %TRUE if parser should infer DTS/PTS from each other
3959  *
3960  * By default, the base class might try to infer PTS from DTS and vice
3961  * versa.  While this is generally correct for audio data, it may not
3962  * be otherwise. Sub-classes implementing such formats should disable
3963  * timestamp inferring.
3964  */
3965 void
3966 gst_base_parse_set_infer_ts (GstBaseParse * parse, gboolean infer_ts)
3967 {
3968   parse->priv->infer_ts = infer_ts;
3969   GST_INFO_OBJECT (parse, "TS inferring: %s", (infer_ts) ? "yes" : "no");
3970 }
3971
3972 /**
3973  * gst_base_parse_set_latency:
3974  * @parse: a #GstBaseParse
3975  * @min_latency: minimum parse latency
3976  * @max_latency: maximum parse latency
3977  *
3978  * Sets the minimum and maximum (which may likely be equal) latency introduced
3979  * by the parsing process.  If there is such a latency, which depends on the
3980  * particular parsing of the format, it typically corresponds to 1 frame duration.
3981  */
3982 void
3983 gst_base_parse_set_latency (GstBaseParse * parse, GstClockTime min_latency,
3984     GstClockTime max_latency)
3985 {
3986   g_return_if_fail (min_latency != GST_CLOCK_TIME_NONE);
3987   g_return_if_fail (min_latency <= max_latency);
3988
3989   GST_OBJECT_LOCK (parse);
3990   parse->priv->min_latency = min_latency;
3991   parse->priv->max_latency = max_latency;
3992   GST_OBJECT_UNLOCK (parse);
3993   GST_INFO_OBJECT (parse, "min/max latency %" GST_TIME_FORMAT ", %"
3994       GST_TIME_FORMAT, GST_TIME_ARGS (min_latency),
3995       GST_TIME_ARGS (max_latency));
3996 }
3997
3998 static gboolean
3999 gst_base_parse_get_duration (GstBaseParse * parse, GstFormat format,
4000     GstClockTime * duration)
4001 {
4002   gboolean res = FALSE;
4003
4004   g_return_val_if_fail (duration != NULL, FALSE);
4005
4006   *duration = GST_CLOCK_TIME_NONE;
4007   if (parse->priv->duration != -1 && format == parse->priv->duration_fmt) {
4008     GST_LOG_OBJECT (parse, "using provided duration");
4009     *duration = parse->priv->duration;
4010     res = TRUE;
4011   } else if (parse->priv->duration != -1) {
4012     GST_LOG_OBJECT (parse, "converting provided duration");
4013     res = gst_base_parse_convert (parse, parse->priv->duration_fmt,
4014         parse->priv->duration, format, (gint64 *) duration);
4015   } else if (format == GST_FORMAT_TIME && parse->priv->estimated_duration != -1) {
4016     GST_LOG_OBJECT (parse, "using estimated duration");
4017     *duration = parse->priv->estimated_duration;
4018     res = TRUE;
4019   } else {
4020     GST_LOG_OBJECT (parse, "cannot estimate duration");
4021   }
4022
4023   GST_LOG_OBJECT (parse, "res: %d, duration %" GST_TIME_FORMAT, res,
4024       GST_TIME_ARGS (*duration));
4025   return res;
4026 }
4027
4028 static gboolean
4029 gst_base_parse_src_query_default (GstBaseParse * parse, GstQuery * query)
4030 {
4031   gboolean res = FALSE;
4032   GstPad *pad;
4033
4034   pad = GST_BASE_PARSE_SRC_PAD (parse);
4035
4036   switch (GST_QUERY_TYPE (query)) {
4037     case GST_QUERY_POSITION:
4038     {
4039       gint64 dest_value;
4040       GstFormat format;
4041
4042       GST_DEBUG_OBJECT (parse, "position query");
4043       gst_query_parse_position (query, &format, NULL);
4044
4045       /* try upstream first */
4046       res = gst_pad_query_default (pad, GST_OBJECT_CAST (parse), query);
4047       if (!res) {
4048         /* Fall back on interpreting segment */
4049         GST_OBJECT_LOCK (parse);
4050         if (format == GST_FORMAT_BYTES) {
4051           dest_value = parse->priv->offset;
4052           res = TRUE;
4053         } else if (format == parse->segment.format &&
4054             GST_CLOCK_TIME_IS_VALID (parse->segment.position)) {
4055           dest_value = gst_segment_to_stream_time (&parse->segment,
4056               parse->segment.format, parse->segment.position);
4057           res = TRUE;
4058         }
4059         GST_OBJECT_UNLOCK (parse);
4060         if (!res) {
4061           /* no precise result, upstream no idea either, then best estimate */
4062           /* priv->offset is updated in both PUSH/PULL modes */
4063           res = gst_base_parse_convert (parse,
4064               GST_FORMAT_BYTES, parse->priv->offset, format, &dest_value);
4065         }
4066         if (res)
4067           gst_query_set_position (query, format, dest_value);
4068       }
4069       break;
4070     }
4071     case GST_QUERY_DURATION:
4072     {
4073       GstFormat format;
4074       GstClockTime duration;
4075
4076       GST_DEBUG_OBJECT (parse, "duration query");
4077       gst_query_parse_duration (query, &format, NULL);
4078
4079       /* consult upstream */
4080       res = gst_pad_query_default (pad, GST_OBJECT_CAST (parse), query);
4081
4082       /* otherwise best estimate from us */
4083       if (!res) {
4084         res = gst_base_parse_get_duration (parse, format, &duration);
4085         if (res)
4086           gst_query_set_duration (query, format, duration);
4087       }
4088       break;
4089     }
4090     case GST_QUERY_SEEKING:
4091     {
4092       GstFormat fmt;
4093       GstClockTime duration = GST_CLOCK_TIME_NONE;
4094       gboolean seekable = FALSE;
4095
4096       GST_DEBUG_OBJECT (parse, "seeking query");
4097       gst_query_parse_seeking (query, &fmt, NULL, NULL, NULL);
4098
4099       /* consult upstream */
4100       res = gst_pad_query_default (pad, GST_OBJECT_CAST (parse), query);
4101
4102       /* we may be able to help if in TIME */
4103       if (fmt == GST_FORMAT_TIME && gst_base_parse_is_seekable (parse)) {
4104         gst_query_parse_seeking (query, &fmt, &seekable, NULL, NULL);
4105         /* already OK if upstream takes care */
4106         GST_LOG_OBJECT (parse, "upstream handled %d, seekable %d",
4107             res, seekable);
4108         if (!(res && seekable)) {
4109           if (!gst_base_parse_get_duration (parse, GST_FORMAT_TIME, &duration)
4110               || duration == -1) {
4111             /* seekable if we still have a chance to get duration later on */
4112             seekable =
4113                 parse->priv->upstream_seekable && parse->priv->update_interval;
4114           } else {
4115             seekable = parse->priv->upstream_seekable;
4116             GST_LOG_OBJECT (parse, "already determine upstream seekabled: %d",
4117                 seekable);
4118           }
4119           gst_query_set_seeking (query, GST_FORMAT_TIME, seekable, 0, duration);
4120           res = TRUE;
4121         }
4122       }
4123       break;
4124     }
4125     case GST_QUERY_FORMATS:
4126       gst_query_set_formatsv (query, 3, fmtlist);
4127       res = TRUE;
4128       break;
4129     case GST_QUERY_CONVERT:
4130     {
4131       GstFormat src_format, dest_format;
4132       gint64 src_value, dest_value;
4133
4134       gst_query_parse_convert (query, &src_format, &src_value,
4135           &dest_format, &dest_value);
4136
4137       res = gst_base_parse_convert (parse, src_format, src_value,
4138           dest_format, &dest_value);
4139       if (res) {
4140         gst_query_set_convert (query, src_format, src_value,
4141             dest_format, dest_value);
4142       }
4143       break;
4144     }
4145     case GST_QUERY_LATENCY:
4146     {
4147       if ((res = gst_pad_peer_query (parse->sinkpad, query))) {
4148         gboolean live;
4149         GstClockTime min_latency, max_latency;
4150
4151         gst_query_parse_latency (query, &live, &min_latency, &max_latency);
4152         GST_DEBUG_OBJECT (parse, "Peer latency: live %d, min %"
4153             GST_TIME_FORMAT " max %" GST_TIME_FORMAT, live,
4154             GST_TIME_ARGS (min_latency), GST_TIME_ARGS (max_latency));
4155
4156         GST_OBJECT_LOCK (parse);
4157         /* add our latency */
4158         min_latency += parse->priv->min_latency;
4159         if (max_latency == -1 || parse->priv->max_latency == -1)
4160           max_latency = -1;
4161         else
4162           max_latency += parse->priv->max_latency;
4163         GST_OBJECT_UNLOCK (parse);
4164
4165         gst_query_set_latency (query, live, min_latency, max_latency);
4166       }
4167       break;
4168     }
4169     case GST_QUERY_SEGMENT:
4170     {
4171       GstFormat format;
4172       gint64 start, stop;
4173
4174       format = parse->segment.format;
4175
4176       start =
4177           gst_segment_to_stream_time (&parse->segment, format,
4178           parse->segment.start);
4179       if ((stop = parse->segment.stop) == -1)
4180         stop = parse->segment.duration;
4181       else
4182         stop = gst_segment_to_stream_time (&parse->segment, format, stop);
4183
4184       gst_query_set_segment (query, parse->segment.rate, format, start, stop);
4185       res = TRUE;
4186       break;
4187     }
4188     default:
4189       res = gst_pad_query_default (pad, GST_OBJECT_CAST (parse), query);
4190       break;
4191   }
4192   return res;
4193 }
4194
4195 /* scans for a cluster start from @pos,
4196  * return GST_FLOW_OK and frame position/time in @pos/@time if found */
4197 static GstFlowReturn
4198 gst_base_parse_find_frame (GstBaseParse * parse, gint64 * pos,
4199     GstClockTime * time, GstClockTime * duration)
4200 {
4201   GstBaseParseClass *klass;
4202   gint64 orig_offset;
4203   gboolean orig_drain, orig_discont;
4204   GstFlowReturn ret = GST_FLOW_OK;
4205   GstBuffer *buf = NULL;
4206   GstBaseParseFrame *sframe = NULL;
4207
4208   g_return_val_if_fail (pos != NULL, GST_FLOW_ERROR);
4209   g_return_val_if_fail (time != NULL, GST_FLOW_ERROR);
4210   g_return_val_if_fail (duration != NULL, GST_FLOW_ERROR);
4211
4212   klass = GST_BASE_PARSE_GET_CLASS (parse);
4213
4214   *time = GST_CLOCK_TIME_NONE;
4215   *duration = GST_CLOCK_TIME_NONE;
4216
4217   /* save state */
4218   orig_offset = parse->priv->offset;
4219   orig_discont = parse->priv->discont;
4220   orig_drain = parse->priv->drain;
4221
4222   GST_DEBUG_OBJECT (parse, "scanning for frame starting at %" G_GINT64_FORMAT
4223       " (%#" G_GINT64_MODIFIER "x)", *pos, *pos);
4224
4225   /* jump elsewhere and locate next frame */
4226   parse->priv->offset = *pos;
4227   /* mark as scanning so frames don't get processed all the way */
4228   parse->priv->scanning = TRUE;
4229   ret = gst_base_parse_scan_frame (parse, klass);
4230   parse->priv->scanning = FALSE;
4231   /* retrieve frame found during scan */
4232   sframe = parse->priv->scanned_frame;
4233   parse->priv->scanned_frame = NULL;
4234
4235   if (ret != GST_FLOW_OK || !sframe)
4236     goto done;
4237
4238   /* get offset first, subclass parsing might dump other stuff in there */
4239   *pos = sframe->offset;
4240   buf = sframe->buffer;
4241   g_assert (buf);
4242
4243   /* but it should provide proper time */
4244   *time = GST_BUFFER_TIMESTAMP (buf);
4245   *duration = GST_BUFFER_DURATION (buf);
4246
4247   GST_LOG_OBJECT (parse,
4248       "frame with time %" GST_TIME_FORMAT " at offset %" G_GINT64_FORMAT,
4249       GST_TIME_ARGS (*time), *pos);
4250
4251 done:
4252   if (sframe)
4253     gst_base_parse_frame_free (sframe);
4254
4255   /* restore state */
4256   parse->priv->offset = orig_offset;
4257   parse->priv->discont = orig_discont;
4258   parse->priv->drain = orig_drain;
4259
4260   return ret;
4261 }
4262
4263 /* bisect and scan through file for frame starting before @time,
4264  * returns OK and @time/@offset if found, NONE and/or error otherwise
4265  * If @time == G_MAXINT64, scan for duration ( == last frame) */
4266 static GstFlowReturn
4267 gst_base_parse_locate_time (GstBaseParse * parse, GstClockTime * _time,
4268     gint64 * _offset)
4269 {
4270   GstFlowReturn ret = GST_FLOW_OK;
4271   gint64 lpos, hpos, newpos;
4272   GstClockTime time, ltime, htime, newtime, dur;
4273   gboolean cont = TRUE;
4274   const GstClockTime tolerance = TARGET_DIFFERENCE;
4275   const guint chunk = 4 * 1024;
4276
4277   g_return_val_if_fail (_time != NULL, GST_FLOW_ERROR);
4278   g_return_val_if_fail (_offset != NULL, GST_FLOW_ERROR);
4279
4280   GST_DEBUG_OBJECT (parse, "Bisecting for time %" GST_TIME_FORMAT,
4281       GST_TIME_ARGS (*_time));
4282
4283   /* TODO also make keyframe aware if useful some day */
4284
4285   time = *_time;
4286
4287   /* basic cases */
4288   if (time == 0) {
4289     *_offset = 0;
4290     return GST_FLOW_OK;
4291   }
4292
4293   if (time == -1) {
4294     *_offset = -1;
4295     return GST_FLOW_OK;
4296   }
4297
4298   /* do not know at first */
4299   *_offset = -1;
4300   *_time = GST_CLOCK_TIME_NONE;
4301
4302   /* need initial positions; start and end */
4303   lpos = parse->priv->first_frame_offset;
4304   ltime = parse->priv->first_frame_pts;
4305   /* try other one if no luck */
4306   if (!GST_CLOCK_TIME_IS_VALID (ltime))
4307     ltime = parse->priv->first_frame_dts;
4308   if (!gst_base_parse_get_duration (parse, GST_FORMAT_TIME, &htime)) {
4309     GST_DEBUG_OBJECT (parse, "Unknown time duration, cannot bisect");
4310     return GST_FLOW_ERROR;
4311   }
4312   hpos = parse->priv->upstream_size;
4313
4314   GST_DEBUG_OBJECT (parse,
4315       "Bisection initial bounds: bytes %" G_GINT64_FORMAT " %" G_GINT64_FORMAT
4316       ", times %" GST_TIME_FORMAT " %" GST_TIME_FORMAT, lpos, hpos,
4317       GST_TIME_ARGS (ltime), GST_TIME_ARGS (htime));
4318
4319   /* check preconditions are satisfied;
4320    * start and end are needed, except for special case where we scan for
4321    * last frame to determine duration */
4322   if (parse->priv->pad_mode != GST_PAD_MODE_PULL || !hpos ||
4323       !GST_CLOCK_TIME_IS_VALID (ltime) ||
4324       (!GST_CLOCK_TIME_IS_VALID (htime) && time != G_MAXINT64)) {
4325     return GST_FLOW_OK;
4326   }
4327
4328   /* shortcut cases */
4329   if (time < ltime) {
4330     goto exit;
4331   } else if (time < ltime + tolerance) {
4332     *_offset = lpos;
4333     *_time = ltime;
4334     goto exit;
4335   } else if (time >= htime) {
4336     *_offset = hpos;
4337     *_time = htime;
4338     goto exit;
4339   }
4340
4341   while (htime > ltime && cont) {
4342     GST_LOG_OBJECT (parse,
4343         "lpos: %" G_GUINT64_FORMAT ", ltime: %" GST_TIME_FORMAT, lpos,
4344         GST_TIME_ARGS (ltime));
4345     GST_LOG_OBJECT (parse,
4346         "hpos: %" G_GUINT64_FORMAT ", htime: %" GST_TIME_FORMAT, hpos,
4347         GST_TIME_ARGS (htime));
4348     if (G_UNLIKELY (time == G_MAXINT64)) {
4349       newpos = hpos;
4350     } else if (G_LIKELY (hpos > lpos)) {
4351       newpos =
4352           gst_util_uint64_scale (hpos - lpos, time - ltime, htime - ltime) +
4353           lpos - chunk;
4354     } else {
4355       /* should mean lpos == hpos, since lpos <= hpos is invariant */
4356       newpos = lpos;
4357       /* we check this case once, but not forever, so break loop */
4358       cont = FALSE;
4359     }
4360
4361     /* ensure */
4362     newpos = CLAMP (newpos, lpos, hpos);
4363     GST_LOG_OBJECT (parse,
4364         "estimated _offset for %" GST_TIME_FORMAT ": %" G_GINT64_FORMAT,
4365         GST_TIME_ARGS (time), newpos);
4366
4367     ret = gst_base_parse_find_frame (parse, &newpos, &newtime, &dur);
4368     if (ret == GST_FLOW_EOS) {
4369       /* heuristic HACK */
4370       hpos = MAX (lpos, hpos - chunk);
4371       continue;
4372     } else if (ret != GST_FLOW_OK) {
4373       goto exit;
4374     }
4375
4376     if (newtime == -1 || newpos == -1) {
4377       GST_DEBUG_OBJECT (parse, "subclass did not provide metadata; aborting");
4378       break;
4379     }
4380
4381     if (G_UNLIKELY (time == G_MAXINT64)) {
4382       *_offset = newpos;
4383       *_time = newtime;
4384       if (GST_CLOCK_TIME_IS_VALID (dur))
4385         *_time += dur;
4386       break;
4387     } else if (newtime > time) {
4388       /* overshoot */
4389       hpos = (newpos >= hpos) ? MAX (lpos, hpos - chunk) : MAX (lpos, newpos);
4390       htime = newtime;
4391     } else if (newtime + tolerance > time) {
4392       /* close enough undershoot */
4393       *_offset = newpos;
4394       *_time = newtime;
4395       break;
4396     } else if (newtime < ltime) {
4397       /* so a position beyond lpos resulted in earlier time than ltime ... */
4398       GST_DEBUG_OBJECT (parse, "non-ascending time; aborting");
4399       break;
4400     } else {
4401       /* undershoot too far */
4402       newpos += newpos == lpos ? chunk : 0;
4403       lpos = CLAMP (newpos, lpos, hpos);
4404       ltime = newtime;
4405     }
4406   }
4407
4408 exit:
4409   GST_LOG_OBJECT (parse, "return offset %" G_GINT64_FORMAT ", time %"
4410       GST_TIME_FORMAT, *_offset, GST_TIME_ARGS (*_time));
4411   return ret;
4412 }
4413
4414 static gint64
4415 gst_base_parse_find_offset (GstBaseParse * parse, GstClockTime time,
4416     gboolean before, GstClockTime * _ts)
4417 {
4418   gint64 bytes = 0, ts = 0;
4419   GstIndexEntry *entry = NULL;
4420
4421   if (time == GST_CLOCK_TIME_NONE) {
4422     ts = time;
4423     bytes = -1;
4424     goto exit;
4425   }
4426
4427   GST_BASE_PARSE_INDEX_LOCK (parse);
4428   if (parse->priv->index) {
4429     /* Let's check if we have an index entry for that time */
4430     entry = gst_index_get_assoc_entry (parse->priv->index,
4431         parse->priv->index_id,
4432         before ? GST_INDEX_LOOKUP_BEFORE : GST_INDEX_LOOKUP_AFTER,
4433         GST_INDEX_ASSOCIATION_FLAG_KEY_UNIT, GST_FORMAT_TIME, time);
4434   }
4435
4436   if (entry) {
4437     gst_index_entry_assoc_map (entry, GST_FORMAT_BYTES, &bytes);
4438     gst_index_entry_assoc_map (entry, GST_FORMAT_TIME, &ts);
4439
4440     GST_DEBUG_OBJECT (parse, "found index entry for %" GST_TIME_FORMAT
4441         " at %" GST_TIME_FORMAT ", offset %" G_GINT64_FORMAT,
4442         GST_TIME_ARGS (time), GST_TIME_ARGS (ts), bytes);
4443   } else {
4444     GST_DEBUG_OBJECT (parse, "no index entry found for %" GST_TIME_FORMAT,
4445         GST_TIME_ARGS (time));
4446     if (!before) {
4447       bytes = -1;
4448       ts = GST_CLOCK_TIME_NONE;
4449     }
4450   }
4451   GST_BASE_PARSE_INDEX_UNLOCK (parse);
4452
4453 exit:
4454   if (_ts)
4455     *_ts = ts;
4456
4457   return bytes;
4458 }
4459
4460 /* returns TRUE if seek succeeded */
4461 static gboolean
4462 gst_base_parse_handle_seek (GstBaseParse * parse, GstEvent * event)
4463 {
4464   gdouble rate;
4465   GstFormat format;
4466   GstSeekFlags flags;
4467   GstSeekType start_type = GST_SEEK_TYPE_NONE, stop_type;
4468   gboolean flush, update, res = TRUE, accurate;
4469   gint64 start, stop, seekpos, seekstop;
4470   GstSegment seeksegment = { 0, };
4471   GstClockTime start_ts;
4472   guint32 seqnum;
4473   GstEvent *segment_event;
4474
4475   /* try upstream first, unless we're driving the streaming thread ourselves */
4476   if (parse->priv->pad_mode != GST_PAD_MODE_PULL) {
4477     res = gst_pad_push_event (parse->sinkpad, gst_event_ref (event));
4478     if (res)
4479       goto done;
4480   }
4481
4482   gst_event_parse_seek (event, &rate, &format, &flags,
4483       &start_type, &start, &stop_type, &stop);
4484   seqnum = gst_event_get_seqnum (event);
4485
4486   GST_DEBUG_OBJECT (parse, "seek to format %s, rate %f, "
4487       "start type %d at %" GST_TIME_FORMAT ", end type %d at %"
4488       GST_TIME_FORMAT, gst_format_get_name (format), rate,
4489       start_type, GST_TIME_ARGS (start), stop_type, GST_TIME_ARGS (stop));
4490
4491   /* we can only handle TIME, so check if subclass can convert
4492    * to TIME format if it's some other format (such as DEFAULT) */
4493   if (format != GST_FORMAT_TIME) {
4494     if (!gst_base_parse_convert (parse, format, start, GST_FORMAT_TIME, &start)
4495         || !gst_base_parse_convert (parse, format, stop, GST_FORMAT_TIME,
4496             &stop))
4497       goto no_convert_to_time;
4498
4499     GST_INFO_OBJECT (parse, "converted %s format to start time "
4500         "%" GST_TIME_FORMAT " and stop time %" GST_TIME_FORMAT,
4501         gst_format_get_name (format), GST_TIME_ARGS (start),
4502         GST_TIME_ARGS (stop));
4503
4504     format = GST_FORMAT_TIME;
4505   }
4506
4507   /* no negative rates in push mode (unless upstream takes care of that, but
4508    * we've already tried upstream and it didn't handle the seek request) */
4509   if (rate < 0.0 && parse->priv->pad_mode == GST_PAD_MODE_PUSH)
4510     goto negative_rate;
4511
4512   if (start_type != GST_SEEK_TYPE_SET ||
4513       (stop_type != GST_SEEK_TYPE_SET && stop_type != GST_SEEK_TYPE_NONE))
4514     goto wrong_type;
4515
4516   /* get flush flag */
4517   flush = flags & GST_SEEK_FLAG_FLUSH;
4518
4519   /* copy segment, we need this because we still need the old
4520    * segment when we close the current segment. */
4521   gst_segment_copy_into (&parse->segment, &seeksegment);
4522
4523   GST_DEBUG_OBJECT (parse, "configuring seek");
4524   gst_segment_do_seek (&seeksegment, rate, format, flags,
4525       start_type, start, stop_type, stop, &update);
4526
4527   /* accurate seeking implies seek tables are used to obtain position,
4528    * and the requested segment is maintained exactly, not adjusted any way */
4529   accurate = flags & GST_SEEK_FLAG_ACCURATE;
4530
4531   /* maybe we can be accurate for (almost) free */
4532   gst_base_parse_find_offset (parse, seeksegment.position, TRUE, &start_ts);
4533   if (seeksegment.position <= start_ts + TARGET_DIFFERENCE) {
4534     GST_DEBUG_OBJECT (parse, "accurate seek possible");
4535     accurate = TRUE;
4536   }
4537
4538   if (accurate) {
4539     GstClockTime startpos;
4540     if (rate >= 0)
4541       startpos = seeksegment.position;
4542     else
4543       startpos = start;
4544
4545     /* accurate requested, so ... seek a bit before target */
4546     if (startpos < parse->priv->lead_in_ts)
4547       startpos = 0;
4548     else
4549       startpos -= parse->priv->lead_in_ts;
4550
4551     if (seeksegment.stop == -1 && seeksegment.duration != -1)
4552       seeksegment.stop = seeksegment.start + seeksegment.duration;
4553
4554     seekpos = gst_base_parse_find_offset (parse, startpos, TRUE, &start_ts);
4555     seekstop = gst_base_parse_find_offset (parse, seeksegment.stop, FALSE,
4556         NULL);
4557   } else {
4558     if (rate >= 0)
4559       start_ts = seeksegment.position;
4560     else
4561       start_ts = start;
4562
4563     if (seeksegment.stop == -1 && seeksegment.duration != -1)
4564       seeksegment.stop = seeksegment.start + seeksegment.duration;
4565
4566     if (!gst_base_parse_convert (parse, format, start_ts,
4567             GST_FORMAT_BYTES, &seekpos))
4568       goto convert_failed;
4569     if (!gst_base_parse_convert (parse, format, seeksegment.stop,
4570             GST_FORMAT_BYTES, &seekstop))
4571       goto convert_failed;
4572   }
4573
4574   GST_DEBUG_OBJECT (parse,
4575       "seek position %" G_GINT64_FORMAT " in bytes: %" G_GINT64_FORMAT,
4576       start_ts, seekpos);
4577   GST_DEBUG_OBJECT (parse,
4578       "seek stop %" G_GINT64_FORMAT " in bytes: %" G_GINT64_FORMAT,
4579       seeksegment.stop, seekstop);
4580
4581   if (parse->priv->pad_mode == GST_PAD_MODE_PULL) {
4582     gint64 last_stop;
4583
4584     GST_DEBUG_OBJECT (parse, "seek in PULL mode");
4585
4586     if (flush) {
4587       if (parse->srcpad) {
4588         GstEvent *fevent = gst_event_new_flush_start ();
4589         GST_DEBUG_OBJECT (parse, "sending flush start");
4590
4591         gst_event_set_seqnum (fevent, seqnum);
4592
4593         gst_pad_push_event (parse->srcpad, gst_event_ref (fevent));
4594         /* unlock upstream pull_range */
4595         gst_pad_push_event (parse->sinkpad, fevent);
4596       }
4597     } else {
4598       gst_pad_pause_task (parse->sinkpad);
4599     }
4600
4601     /* we should now be able to grab the streaming thread because we stopped it
4602      * with the above flush/pause code */
4603     GST_PAD_STREAM_LOCK (parse->sinkpad);
4604
4605     /* save current position */
4606     last_stop = parse->segment.position;
4607     GST_DEBUG_OBJECT (parse, "stopped streaming at %" G_GINT64_FORMAT,
4608         last_stop);
4609
4610     /* now commit to new position */
4611
4612     /* prepare for streaming again */
4613     if (flush) {
4614       GstEvent *fevent = gst_event_new_flush_stop (TRUE);
4615       GST_DEBUG_OBJECT (parse, "sending flush stop");
4616       gst_event_set_seqnum (fevent, seqnum);
4617       gst_pad_push_event (parse->srcpad, gst_event_ref (fevent));
4618       gst_pad_push_event (parse->sinkpad, fevent);
4619       gst_base_parse_clear_queues (parse);
4620     } else {
4621       /* keep track of our position */
4622       seeksegment.base = gst_segment_to_running_time (&seeksegment,
4623           seeksegment.format, parse->segment.position);
4624     }
4625
4626     memcpy (&parse->segment, &seeksegment, sizeof (GstSegment));
4627
4628     /* store the newsegment event so it can be sent from the streaming thread. */
4629     /* This will be sent later in _loop() */
4630     segment_event = gst_event_new_segment (&parse->segment);
4631     gst_event_set_seqnum (segment_event, seqnum);
4632     parse->priv->pending_events =
4633         g_list_prepend (parse->priv->pending_events, segment_event);
4634
4635     GST_DEBUG_OBJECT (parse, "Created newseg format %d, "
4636         "start = %" GST_TIME_FORMAT ", stop = %" GST_TIME_FORMAT
4637         ", time = %" GST_TIME_FORMAT, format,
4638         GST_TIME_ARGS (parse->segment.start),
4639         GST_TIME_ARGS (parse->segment.stop),
4640         GST_TIME_ARGS (parse->segment.time));
4641
4642     /* one last chance in pull mode to stay accurate;
4643      * maybe scan and subclass can find where to go */
4644     if (!accurate) {
4645       gint64 scanpos;
4646       GstClockTime ts = seeksegment.position;
4647
4648       gst_base_parse_locate_time (parse, &ts, &scanpos);
4649       if (scanpos >= 0) {
4650         accurate = TRUE;
4651         seekpos = scanpos;
4652         /* running collected index now consists of several intervals,
4653          * so optimized check no longer possible */
4654         parse->priv->index_last_valid = FALSE;
4655         parse->priv->index_last_offset = 0;
4656         parse->priv->index_last_ts = 0;
4657       }
4658     }
4659
4660     /* mark discont if we are going to stream from another position. */
4661     if (seekpos != parse->priv->offset) {
4662       GST_DEBUG_OBJECT (parse,
4663           "mark DISCONT, we did a seek to another position");
4664       parse->priv->offset = seekpos;
4665       parse->priv->last_offset = seekpos;
4666       parse->priv->seen_keyframe = FALSE;
4667       parse->priv->discont = TRUE;
4668       parse->priv->next_dts = start_ts;
4669       parse->priv->next_pts = GST_CLOCK_TIME_NONE;
4670       parse->priv->last_dts = GST_CLOCK_TIME_NONE;
4671       parse->priv->last_pts = GST_CLOCK_TIME_NONE;
4672       parse->priv->sync_offset = seekpos;
4673       parse->priv->exact_position = accurate;
4674     }
4675
4676     /* Start streaming thread if paused */
4677     gst_pad_start_task (parse->sinkpad,
4678         (GstTaskFunction) gst_base_parse_loop, parse->sinkpad, NULL);
4679
4680     GST_PAD_STREAM_UNLOCK (parse->sinkpad);
4681
4682     /* handled seek */
4683     res = TRUE;
4684   } else {
4685     GstEvent *new_event;
4686     GstBaseParseSeek *seek;
4687     GstSeekFlags flags = (flush ? GST_SEEK_FLAG_FLUSH : GST_SEEK_FLAG_NONE);
4688
4689     /* The only thing we need to do in PUSH-mode is to send the
4690        seek event (in bytes) to upstream. Segment / flush handling happens
4691        in corresponding src event handlers */
4692     GST_DEBUG_OBJECT (parse, "seek in PUSH mode");
4693     if (seekstop >= 0 && seekstop <= seekpos)
4694       seekstop = seekpos;
4695     new_event = gst_event_new_seek (rate, GST_FORMAT_BYTES, flags,
4696         GST_SEEK_TYPE_SET, seekpos, stop_type, seekstop);
4697     gst_event_set_seqnum (new_event, seqnum);
4698
4699     /* store segment info so its precise details can be reconstructed when
4700      * receiving newsegment;
4701      * this matters for all details when accurate seeking,
4702      * is most useful to preserve NONE stop time otherwise */
4703     seek = g_new0 (GstBaseParseSeek, 1);
4704     seek->segment = seeksegment;
4705     seek->accurate = accurate;
4706     seek->offset = seekpos;
4707     seek->start_ts = start_ts;
4708     GST_OBJECT_LOCK (parse);
4709     /* less optimal, but preserves order */
4710     parse->priv->pending_seeks =
4711         g_slist_append (parse->priv->pending_seeks, seek);
4712     GST_OBJECT_UNLOCK (parse);
4713
4714     res = gst_pad_push_event (parse->sinkpad, new_event);
4715
4716     if (!res) {
4717       GST_OBJECT_LOCK (parse);
4718       parse->priv->pending_seeks =
4719           g_slist_remove (parse->priv->pending_seeks, seek);
4720       GST_OBJECT_UNLOCK (parse);
4721       g_free (seek);
4722     }
4723   }
4724
4725 done:
4726   gst_event_unref (event);
4727   return res;
4728
4729   /* ERRORS */
4730 negative_rate:
4731   {
4732     GST_DEBUG_OBJECT (parse, "negative playback rates delegated upstream.");
4733     res = FALSE;
4734     goto done;
4735   }
4736 wrong_type:
4737   {
4738     GST_DEBUG_OBJECT (parse, "unsupported seek type.");
4739     res = FALSE;
4740     goto done;
4741   }
4742 no_convert_to_time:
4743   {
4744     GST_DEBUG_OBJECT (parse, "seek in %s format was requested, but subclass "
4745         "couldn't convert that into TIME format", gst_format_get_name (format));
4746     res = FALSE;
4747     goto done;
4748   }
4749 convert_failed:
4750   {
4751     GST_DEBUG_OBJECT (parse, "conversion TIME to BYTES failed.");
4752     res = FALSE;
4753     goto done;
4754   }
4755 }
4756
4757 static void
4758 gst_base_parse_set_upstream_tags (GstBaseParse * parse, GstTagList * taglist)
4759 {
4760   if (taglist == parse->priv->upstream_tags)
4761     return;
4762
4763   if (parse->priv->upstream_tags) {
4764     gst_tag_list_unref (parse->priv->upstream_tags);
4765     parse->priv->upstream_tags = NULL;
4766   }
4767
4768   GST_INFO_OBJECT (parse, "upstream tags: %" GST_PTR_FORMAT, taglist);
4769
4770   if (taglist != NULL)
4771     parse->priv->upstream_tags = gst_tag_list_ref (taglist);
4772
4773   gst_base_parse_check_bitrate_tags (parse);
4774 }
4775
4776 #if 0
4777 static void
4778 gst_base_parse_set_index (GstElement * element, GstIndex * index)
4779 {
4780   GstBaseParse *parse = GST_BASE_PARSE (element);
4781
4782   GST_BASE_PARSE_INDEX_LOCK (parse);
4783   if (parse->priv->index)
4784     gst_object_unref (parse->priv->index);
4785   if (index) {
4786     parse->priv->index = gst_object_ref (index);
4787     gst_index_get_writer_id (index, GST_OBJECT_CAST (element),
4788         &parse->priv->index_id);
4789     parse->priv->own_index = FALSE;
4790   } else {
4791     parse->priv->index = NULL;
4792   }
4793   GST_BASE_PARSE_INDEX_UNLOCK (parse);
4794 }
4795
4796 static GstIndex *
4797 gst_base_parse_get_index (GstElement * element)
4798 {
4799   GstBaseParse *parse = GST_BASE_PARSE (element);
4800   GstIndex *result = NULL;
4801
4802   GST_BASE_PARSE_INDEX_LOCK (parse);
4803   if (parse->priv->index)
4804     result = gst_object_ref (parse->priv->index);
4805   GST_BASE_PARSE_INDEX_UNLOCK (parse);
4806
4807   return result;
4808 }
4809 #endif
4810
4811 static GstStateChangeReturn
4812 gst_base_parse_change_state (GstElement * element, GstStateChange transition)
4813 {
4814   GstBaseParse *parse;
4815   GstStateChangeReturn result;
4816
4817   parse = GST_BASE_PARSE (element);
4818
4819   switch (transition) {
4820     case GST_STATE_CHANGE_READY_TO_PAUSED:
4821       /* If this is our own index destroy it as the
4822        * old entries might be wrong for the new stream */
4823       GST_BASE_PARSE_INDEX_LOCK (parse);
4824       if (parse->priv->own_index) {
4825         gst_object_unref (parse->priv->index);
4826         parse->priv->index = NULL;
4827         parse->priv->own_index = FALSE;
4828       }
4829
4830       /* If no index was created, generate one */
4831       if (G_UNLIKELY (!parse->priv->index)) {
4832         GST_DEBUG_OBJECT (parse, "no index provided creating our own");
4833
4834         parse->priv->index = g_object_new (gst_mem_index_get_type (), NULL);
4835         gst_index_get_writer_id (parse->priv->index, GST_OBJECT (parse),
4836             &parse->priv->index_id);
4837         parse->priv->own_index = TRUE;
4838       }
4839       GST_BASE_PARSE_INDEX_UNLOCK (parse);
4840       break;
4841     default:
4842       break;
4843   }
4844
4845   result = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
4846
4847   switch (transition) {
4848     case GST_STATE_CHANGE_PAUSED_TO_READY:
4849       gst_base_parse_reset (parse);
4850       break;
4851     default:
4852       break;
4853   }
4854
4855   return result;
4856 }
4857
4858 /**
4859  * gst_base_parse_set_ts_at_offset:
4860  * @parse: a #GstBaseParse
4861  * @offset: offset into current buffer
4862  *
4863  * This function should only be called from a @handle_frame implementation.
4864  *
4865  * #GstBaseParse creates initial timestamps for frames by using the last
4866  * timestamp seen in the stream before the frame starts.  In certain
4867  * cases, the correct timestamps will occur in the stream after the
4868  * start of the frame, but before the start of the actual picture data.
4869  * This function can be used to set the timestamps based on the offset
4870  * into the frame data that the picture starts.
4871  *
4872  * Since: 1.2
4873  */
4874 void
4875 gst_base_parse_set_ts_at_offset (GstBaseParse * parse, gsize offset)
4876 {
4877   GstClockTime pts, dts;
4878
4879   g_return_if_fail (GST_IS_BASE_PARSE (parse));
4880
4881   pts = gst_adapter_prev_pts_at_offset (parse->priv->adapter, offset, NULL);
4882   dts = gst_adapter_prev_dts_at_offset (parse->priv->adapter, offset, NULL);
4883
4884   if (!GST_CLOCK_TIME_IS_VALID (pts) || !GST_CLOCK_TIME_IS_VALID (dts)) {
4885     GST_DEBUG_OBJECT (parse,
4886         "offset adapter timestamps dts=%" GST_TIME_FORMAT " pts=%"
4887         GST_TIME_FORMAT, GST_TIME_ARGS (dts), GST_TIME_ARGS (pts));
4888   }
4889   if (GST_CLOCK_TIME_IS_VALID (pts) && (parse->priv->prev_pts != pts))
4890     parse->priv->prev_pts = parse->priv->next_pts = pts;
4891
4892   if (GST_CLOCK_TIME_IS_VALID (dts) && (parse->priv->prev_dts != dts)) {
4893     parse->priv->prev_dts = parse->priv->next_dts = dts;
4894     parse->priv->prev_dts_from_pts = FALSE;
4895   }
4896 }
4897
4898 /**
4899  * gst_base_parse_merge_tags:
4900  * @parse: a #GstBaseParse
4901  * @tags: (allow-none): a #GstTagList to merge, or NULL to unset
4902  *     previously-set tags
4903  * @mode: the #GstTagMergeMode to use, usually #GST_TAG_MERGE_REPLACE
4904  *
4905  * Sets the parser subclass's tags and how they should be merged with any
4906  * upstream stream tags. This will override any tags previously-set
4907  * with gst_base_parse_merge_tags().
4908  *
4909  * Note that this is provided for convenience, and the subclass is
4910  * not required to use this and can still do tag handling on its own.
4911  *
4912  * Since: 1.6
4913  */
4914 void
4915 gst_base_parse_merge_tags (GstBaseParse * parse, GstTagList * tags,
4916     GstTagMergeMode mode)
4917 {
4918   g_return_if_fail (GST_IS_BASE_PARSE (parse));
4919   g_return_if_fail (tags == NULL || GST_IS_TAG_LIST (tags));
4920   g_return_if_fail (tags == NULL || mode != GST_TAG_MERGE_UNDEFINED);
4921
4922   GST_OBJECT_LOCK (parse);
4923
4924   if (tags != parse->priv->parser_tags) {
4925     if (parse->priv->parser_tags) {
4926       gst_tag_list_unref (parse->priv->parser_tags);
4927       parse->priv->parser_tags = NULL;
4928       parse->priv->parser_tags_merge_mode = GST_TAG_MERGE_APPEND;
4929     }
4930     if (tags) {
4931       parse->priv->parser_tags = gst_tag_list_ref (tags);
4932       parse->priv->parser_tags_merge_mode = mode;
4933     }
4934
4935     GST_DEBUG_OBJECT (parse, "setting parser tags to %" GST_PTR_FORMAT
4936         " (mode %d)", tags, parse->priv->parser_tags_merge_mode);
4937
4938     gst_base_parse_check_bitrate_tags (parse);
4939     parse->priv->tags_changed = TRUE;
4940   }
4941
4942   GST_OBJECT_UNLOCK (parse);
4943 }