baseparse: expose gst_base_parse_drain
[platform/upstream/gstreamer.git] / libs / gst / base / gstbaseparse.c
1 /* GStreamer
2  * Copyright (C) 2008 Nokia Corporation. All rights reserved.
3  *   Contact: Stefan Kost <stefan.kost@nokia.com>
4  * Copyright (C) 2008 Sebastian Dröge <sebastian.droege@collabora.co.uk>.
5  * Copyright (C) 2011, Hewlett-Packard Development Company, L.P.
6  *   Author: Sebastian Dröge <sebastian.droege@collabora.co.uk>, Collabora Ltd.
7  *
8  * This library is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Library General Public
10  * License as published by the Free Software Foundation; either
11  * version 2 of the License, or (at your option) any later version.
12  *
13  * This library is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Library General Public License for more details.
17  *
18  * You should have received a copy of the GNU Library General Public
19  * License along with this library; if not, write to the
20  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
21  * Boston, MA 02110-1301, USA.
22  */
23
24 /**
25  * SECTION:gstbaseparse
26  * @short_description: Base class for stream parsers
27  * @see_also: #GstBaseTransform
28  *
29  * This base class is for parser elements that process data and splits it
30  * into separate audio/video/whatever frames.
31  *
32  * It provides for:
33  * <itemizedlist>
34  *   <listitem><para>provides one sink pad and one source pad</para></listitem>
35  *   <listitem><para>handles state changes</para></listitem>
36  *   <listitem><para>can operate in pull mode or push mode</para></listitem>
37  *   <listitem><para>handles seeking in both modes</para></listitem>
38  *   <listitem><para>handles events (SEGMENT/EOS/FLUSH)</para></listitem>
39  *   <listitem><para>
40  *        handles queries (POSITION/DURATION/SEEKING/FORMAT/CONVERT)
41  *   </para></listitem>
42  *   <listitem><para>handles flushing</para></listitem>
43  * </itemizedlist>
44  *
45  * The purpose of this base class is to provide the basic functionality of
46  * a parser and share a lot of rather complex code.
47  *
48  * Description of the parsing mechanism:
49  * <orderedlist>
50  * <listitem>
51  *   <itemizedlist><title>Set-up phase</title>
52  *   <listitem><para>
53  *     #GstBaseParse calls @start to inform subclass that data processing is
54  *     about to start now.
55  *   </para></listitem>
56  *   <listitem><para>
57  *     #GstBaseParse class calls @set_sink_caps to inform the subclass about
58  *     incoming sinkpad caps. Subclass could already set the srcpad caps
59  *     accordingly, but this might be delayed until calling
60  *     gst_base_parse_finish_frame() with a non-queued frame.
61  *   </para></listitem>
62  *   <listitem><para>
63  *      At least at this point subclass needs to tell the #GstBaseParse class
64  *      how big data chunks it wants to receive (min_frame_size). It can do
65  *      this with gst_base_parse_set_min_frame_size().
66  *   </para></listitem>
67  *   <listitem><para>
68  *      #GstBaseParse class sets up appropriate data passing mode (pull/push)
69  *      and starts to process the data.
70  *   </para></listitem>
71  *   </itemizedlist>
72  * </listitem>
73  * <listitem>
74  *   <itemizedlist>
75  *   <title>Parsing phase</title>
76  *     <listitem><para>
77  *       #GstBaseParse gathers at least min_frame_size bytes of data either
78  *       by pulling it from upstream or collecting buffers in an internal
79  *       #GstAdapter.
80  *     </para></listitem>
81  *     <listitem><para>
82  *       A buffer of (at least) min_frame_size bytes is passed to subclass with
83  *       @handle_frame. Subclass checks the contents and can optionally
84  *       return GST_FLOW_OK along with an amount of data to be skipped to find
85  *       a valid frame (which will result in a subsequent DISCONT).
86  *       If, otherwise, the buffer does not hold a complete frame,
87  *       @handle_frame can merely return and will be called again when additional
88  *       data is available.  In push mode this amounts to an
89  *       additional input buffer (thus minimal additional latency), in pull mode
90  *       this amounts to some arbitrary reasonable buffer size increase.
91  *       Of course, gst_base_parse_set_min_frame_size() could also be used if a
92  *       very specific known amount of additional data is required.
93  *       If, however, the buffer holds a complete valid frame, it can pass
94  *       the size of this frame to gst_base_parse_finish_frame().
95  *       If acting as a converter, it can also merely indicate consumed input data
96  *       while simultaneously providing custom output data.
97  *       Note that baseclass performs some processing (such as tracking
98  *       overall consumed data rate versus duration) for each finished frame,
99  *       but other state is only updated upon each call to @handle_frame
100  *       (such as tracking upstream input timestamp).
101  *       </para><para>
102  *       Subclass is also responsible for setting the buffer metadata
103  *       (e.g. buffer timestamp and duration, or keyframe if applicable).
104  *       (although the latter can also be done by #GstBaseParse if it is
105  *       appropriately configured, see below).  Frame is provided with
106  *       timestamp derived from upstream (as much as generally possible),
107  *       duration obtained from configuration (see below), and offset
108  *       if meaningful (in pull mode).
109  *       </para><para>
110  *       Note that @check_valid_frame might receive any small
111  *       amount of input data when leftover data is being drained (e.g. at EOS).
112  *     </para></listitem>
113  *     <listitem><para>
114  *       As part of finish frame processing,
115  *       just prior to actually pushing the buffer in question,
116  *       it is passed to @pre_push_frame which gives subclass yet one
117  *       last chance to examine buffer metadata, or to send some custom (tag)
118  *       events, or to perform custom (segment) filtering.
119  *     </para></listitem>
120  *     <listitem><para>
121  *       During the parsing process #GstBaseParseClass will handle both srcpad
122  *       and sinkpad events. They will be passed to subclass if @event or
123  *       @src_event callbacks have been provided.
124  *     </para></listitem>
125  *   </itemizedlist>
126  * </listitem>
127  * <listitem>
128  *   <itemizedlist><title>Shutdown phase</title>
129  *   <listitem><para>
130  *     #GstBaseParse class calls @stop to inform the subclass that data
131  *     parsing will be stopped.
132  *   </para></listitem>
133  *   </itemizedlist>
134  * </listitem>
135  * </orderedlist>
136  *
137  * Subclass is responsible for providing pad template caps for
138  * source and sink pads. The pads need to be named "sink" and "src". It also
139  * needs to set the fixed caps on srcpad, when the format is ensured (e.g.
140  * when base class calls subclass' @set_sink_caps function).
141  *
142  * This base class uses %GST_FORMAT_DEFAULT as a meaning of frames. So,
143  * subclass conversion routine needs to know that conversion from
144  * %GST_FORMAT_TIME to %GST_FORMAT_DEFAULT must return the
145  * frame number that can be found from the given byte position.
146  *
147  * #GstBaseParse uses subclasses conversion methods also for seeking (or
148  * otherwise uses its own default one, see also below).
149  *
150  * Subclass @start and @stop functions will be called to inform the beginning
151  * and end of data processing.
152  *
153  * Things that subclass need to take care of:
154  * <itemizedlist>
155  *   <listitem><para>Provide pad templates</para></listitem>
156  *   <listitem><para>
157  *      Fixate the source pad caps when appropriate
158  *   </para></listitem>
159  *   <listitem><para>
160  *      Inform base class how big data chunks should be retrieved. This is
161  *      done with gst_base_parse_set_min_frame_size() function.
162  *   </para></listitem>
163  *   <listitem><para>
164  *      Examine data chunks passed to subclass with @handle_frame and pass
165  *      proper frame(s) to gst_base_parse_finish_frame(), and setting src pad
166  *      caps and timestamps on frame.
167  *   </para></listitem>
168  *   <listitem><para>Provide conversion functions</para></listitem>
169  *   <listitem><para>
170  *      Update the duration information with gst_base_parse_set_duration()
171  *   </para></listitem>
172  *   <listitem><para>
173  *      Optionally passthrough using gst_base_parse_set_passthrough()
174  *   </para></listitem>
175  *   <listitem><para>
176  *      Configure various baseparse parameters using
177  *      gst_base_parse_set_average_bitrate(), gst_base_parse_set_syncable()
178  *      and gst_base_parse_set_frame_rate().
179  *   </para></listitem>
180  *   <listitem><para>
181  *      In particular, if subclass is unable to determine a duration, but
182  *      parsing (or specs) yields a frames per seconds rate, then this can be
183  *      provided to #GstBaseParse to enable it to cater for
184  *      buffer time metadata (which will be taken from upstream as much as
185  *      possible). Internally keeping track of frame durations and respective
186  *      sizes that have been pushed provides #GstBaseParse with an estimated
187  *      bitrate. A default @convert (used if not overridden) will then use these
188  *      rates to perform obvious conversions.  These rates are also used to
189  *      update (estimated) duration at regular frame intervals.
190  *   </para></listitem>
191  * </itemizedlist>
192  *
193  */
194
195 /* TODO:
196  *  - In push mode provide a queue of adapter-"queued" buffers for upstream
197  *    buffer metadata
198  *  - Queue buffers/events until caps are set
199  */
200
201 #ifdef HAVE_CONFIG_H
202 #  include "config.h"
203 #endif
204
205 #include <stdlib.h>
206 #include <string.h>
207
208 #include <gst/base/gstadapter.h>
209
210 #include "gstbaseparse.h"
211
212 /* FIXME: get rid of old GstIndex code */
213 #include "gstindex.h"
214 #include "gstindex.c"
215 #include "gstmemindex.c"
216
217 #define GST_BASE_PARSE_FRAME_PRIVATE_FLAG_NOALLOC  (1 << 0)
218
219 #define MIN_FRAMES_TO_POST_BITRATE 10
220 #define TARGET_DIFFERENCE          (20 * GST_SECOND)
221 #define MAX_INDEX_ENTRIES          4096
222 #define UPDATE_THRESHOLD           2
223
224 #define ABSDIFF(a,b) (((a) > (b)) ? ((a) - (b)) : ((b) - (a)))
225
226 GST_DEBUG_CATEGORY_STATIC (gst_base_parse_debug);
227 #define GST_CAT_DEFAULT gst_base_parse_debug
228
229 /* Supported formats */
230 static const GstFormat fmtlist[] = {
231   GST_FORMAT_DEFAULT,
232   GST_FORMAT_BYTES,
233   GST_FORMAT_TIME,
234   GST_FORMAT_UNDEFINED
235 };
236
237 #define GST_BASE_PARSE_GET_PRIVATE(obj)  \
238     (G_TYPE_INSTANCE_GET_PRIVATE ((obj), GST_TYPE_BASE_PARSE, GstBaseParsePrivate))
239
240 struct _GstBaseParsePrivate
241 {
242   GstPadMode pad_mode;
243
244   GstAdapter *adapter;
245
246   gint64 duration;
247   GstFormat duration_fmt;
248   gint64 estimated_duration;
249   gint64 estimated_drift;
250
251   guint min_frame_size;
252   gboolean disable_passthrough;
253   gboolean passthrough;
254   gboolean pts_interpolate;
255   gboolean infer_ts;
256   gboolean syncable;
257   gboolean has_timing_info;
258   guint fps_num, fps_den;
259   gint update_interval;
260   guint bitrate;
261   guint lead_in, lead_out;
262   GstClockTime lead_in_ts, lead_out_ts;
263   GstClockTime min_latency, max_latency;
264
265   gboolean discont;
266   gboolean flushing;
267   gboolean drain;
268   gboolean saw_gaps;
269
270   gint64 offset;
271   gint64 sync_offset;
272   GstClockTime next_pts;
273   GstClockTime next_dts;
274   GstClockTime prev_pts;
275   GstClockTime prev_dts;
276   gboolean prev_dts_from_pts;
277   GstClockTime frame_duration;
278   gboolean seen_keyframe;
279   gboolean is_video;
280   gint flushed;
281
282   guint64 framecount;
283   guint64 bytecount;
284   guint64 data_bytecount;
285   guint64 acc_duration;
286   GstClockTime first_frame_pts;
287   GstClockTime first_frame_dts;
288   gint64 first_frame_offset;
289
290   gboolean post_min_bitrate;
291   gboolean post_avg_bitrate;
292   gboolean post_max_bitrate;
293
294   guint min_bitrate;
295   guint avg_bitrate;
296   guint max_bitrate;
297   guint posted_avg_bitrate;
298
299   /* frames/buffers that are queued and ready to go on OK */
300   GQueue queued_frames;
301
302   GstBuffer *cache;
303
304   /* index entry storage, either ours or provided */
305   GstIndex *index;
306   gint index_id;
307   gboolean own_index;
308   GMutex index_lock;
309
310   /* seek table entries only maintained if upstream is BYTE seekable */
311   gboolean upstream_seekable;
312   gboolean upstream_has_duration;
313   gint64 upstream_size;
314   GstFormat upstream_format;
315   /* minimum distance between two index entries */
316   GstClockTimeDiff idx_interval;
317   guint64 idx_byte_interval;
318   /* ts and offset of last entry added */
319   GstClockTime index_last_ts;
320   gint64 index_last_offset;
321   gboolean index_last_valid;
322
323   /* timestamps currently produced are accurate, e.g. started from 0 onwards */
324   gboolean exact_position;
325   /* seek events are temporarily kept to match them with newsegments */
326   GSList *pending_seeks;
327
328   /* reverse playback */
329   GSList *buffers_pending;
330   GSList *buffers_head;
331   GSList *buffers_queued;
332   GSList *buffers_send;
333   GstClockTime last_pts;
334   GstClockTime last_dts;
335   gint64 last_offset;
336
337   /* Pending serialized events */
338   GList *pending_events;
339
340   /* If baseparse has checked the caps to identify if it is
341    * handling video or audio */
342   gboolean checked_media;
343
344   /* offset of last parsed frame/data */
345   gint64 prev_offset;
346   /* force a new frame, regardless of offset */
347   gboolean new_frame;
348   /* whether we are merely scanning for a frame */
349   gboolean scanning;
350   /* ... and resulting frame, if any */
351   GstBaseParseFrame *scanned_frame;
352
353   /* TRUE if we're still detecting the format, i.e.
354    * if ::detect() is still called for future buffers */
355   gboolean detecting;
356   GList *detect_buffers;
357   guint detect_buffers_size;
358
359   /* True when no buffers have been received yet */
360   gboolean first_buffer;
361
362   /* if TRUE, a STREAM_START event needs to be pushed */
363   gboolean push_stream_start;
364
365   /* When we need to skip more data than we have currently */
366   guint skip;
367
368   /* Tag handling (stream tags only, global tags are passed through as-is) */
369   GstTagList *upstream_tags;
370   GstTagList *parser_tags;
371   GstTagMergeMode parser_tags_merge_mode;
372   gboolean tags_changed;
373 };
374
375 typedef struct _GstBaseParseSeek
376 {
377   GstSegment segment;
378   gboolean accurate;
379   gint64 offset;
380   GstClockTime start_ts;
381 } GstBaseParseSeek;
382
383 #define DEFAULT_DISABLE_PASSTHROUGH        FALSE
384
385 enum
386 {
387   PROP_0,
388   PROP_DISABLE_PASSTHROUGH,
389   PROP_LAST
390 };
391
392 #define GST_BASE_PARSE_INDEX_LOCK(parse) \
393   g_mutex_lock (&parse->priv->index_lock);
394 #define GST_BASE_PARSE_INDEX_UNLOCK(parse) \
395   g_mutex_unlock (&parse->priv->index_lock);
396
397 static GstElementClass *parent_class = NULL;
398
399 static void gst_base_parse_class_init (GstBaseParseClass * klass);
400 static void gst_base_parse_init (GstBaseParse * parse,
401     GstBaseParseClass * klass);
402
403 GType
404 gst_base_parse_get_type (void)
405 {
406   static volatile gsize base_parse_type = 0;
407
408   if (g_once_init_enter (&base_parse_type)) {
409     static const GTypeInfo base_parse_info = {
410       sizeof (GstBaseParseClass),
411       (GBaseInitFunc) NULL,
412       (GBaseFinalizeFunc) NULL,
413       (GClassInitFunc) gst_base_parse_class_init,
414       NULL,
415       NULL,
416       sizeof (GstBaseParse),
417       0,
418       (GInstanceInitFunc) gst_base_parse_init,
419     };
420     GType _type;
421
422     _type = g_type_register_static (GST_TYPE_ELEMENT,
423         "GstBaseParse", &base_parse_info, G_TYPE_FLAG_ABSTRACT);
424     g_once_init_leave (&base_parse_type, _type);
425   }
426   return (GType) base_parse_type;
427 }
428
429 static void gst_base_parse_finalize (GObject * object);
430
431 static GstStateChangeReturn gst_base_parse_change_state (GstElement * element,
432     GstStateChange transition);
433 static void gst_base_parse_reset (GstBaseParse * parse);
434
435 #if 0
436 static void gst_base_parse_set_index (GstElement * element, GstIndex * index);
437 static GstIndex *gst_base_parse_get_index (GstElement * element);
438 #endif
439
440 static gboolean gst_base_parse_sink_activate (GstPad * sinkpad,
441     GstObject * parent);
442 static gboolean gst_base_parse_sink_activate_mode (GstPad * pad,
443     GstObject * parent, GstPadMode mode, gboolean active);
444 static gboolean gst_base_parse_handle_seek (GstBaseParse * parse,
445     GstEvent * event);
446 static void gst_base_parse_set_upstream_tags (GstBaseParse * parse,
447     GstTagList * taglist);
448
449 static void gst_base_parse_set_property (GObject * object, guint prop_id,
450     const GValue * value, GParamSpec * pspec);
451 static void gst_base_parse_get_property (GObject * object, guint prop_id,
452     GValue * value, GParamSpec * pspec);
453
454 static gboolean gst_base_parse_src_event (GstPad * pad, GstObject * parent,
455     GstEvent * event);
456 static gboolean gst_base_parse_src_query (GstPad * pad, GstObject * parent,
457     GstQuery * query);
458
459 static gboolean gst_base_parse_sink_event (GstPad * pad, GstObject * parent,
460     GstEvent * event);
461 static gboolean gst_base_parse_sink_query (GstPad * pad, GstObject * parent,
462     GstQuery * query);
463
464 static GstFlowReturn gst_base_parse_chain (GstPad * pad, GstObject * parent,
465     GstBuffer * buffer);
466 static void gst_base_parse_loop (GstPad * pad);
467
468 static GstFlowReturn gst_base_parse_parse_frame (GstBaseParse * parse,
469     GstBaseParseFrame * frame);
470
471 static gboolean gst_base_parse_sink_event_default (GstBaseParse * parse,
472     GstEvent * event);
473
474 static gboolean gst_base_parse_src_event_default (GstBaseParse * parse,
475     GstEvent * event);
476
477 static gboolean gst_base_parse_sink_query_default (GstBaseParse * parse,
478     GstQuery * query);
479 static gboolean gst_base_parse_src_query_default (GstBaseParse * parse,
480     GstQuery * query);
481
482 static gint64 gst_base_parse_find_offset (GstBaseParse * parse,
483     GstClockTime time, gboolean before, GstClockTime * _ts);
484 static GstFlowReturn gst_base_parse_locate_time (GstBaseParse * parse,
485     GstClockTime * _time, gint64 * _offset);
486
487 static GstFlowReturn gst_base_parse_start_fragment (GstBaseParse * parse);
488 static GstFlowReturn gst_base_parse_finish_fragment (GstBaseParse * parse,
489     gboolean prev_head);
490 static GstFlowReturn gst_base_parse_send_buffers (GstBaseParse * parse);
491
492 static inline GstFlowReturn gst_base_parse_check_sync (GstBaseParse * parse);
493
494 static gboolean gst_base_parse_is_seekable (GstBaseParse * parse);
495
496 static void gst_base_parse_push_pending_events (GstBaseParse * parse);
497
498 static void
499 gst_base_parse_clear_queues (GstBaseParse * parse)
500 {
501   g_slist_foreach (parse->priv->buffers_queued, (GFunc) gst_buffer_unref, NULL);
502   g_slist_free (parse->priv->buffers_queued);
503   parse->priv->buffers_queued = NULL;
504   g_slist_foreach (parse->priv->buffers_pending, (GFunc) gst_buffer_unref,
505       NULL);
506   g_slist_free (parse->priv->buffers_pending);
507   parse->priv->buffers_pending = NULL;
508   g_slist_foreach (parse->priv->buffers_head, (GFunc) gst_buffer_unref, NULL);
509   g_slist_free (parse->priv->buffers_head);
510   parse->priv->buffers_head = NULL;
511   g_slist_foreach (parse->priv->buffers_send, (GFunc) gst_buffer_unref, NULL);
512   g_slist_free (parse->priv->buffers_send);
513   parse->priv->buffers_send = NULL;
514
515   g_list_foreach (parse->priv->detect_buffers, (GFunc) gst_buffer_unref, NULL);
516   g_list_free (parse->priv->detect_buffers);
517   parse->priv->detect_buffers = NULL;
518   parse->priv->detect_buffers_size = 0;
519
520   g_queue_foreach (&parse->priv->queued_frames,
521       (GFunc) gst_base_parse_frame_free, NULL);
522   g_queue_clear (&parse->priv->queued_frames);
523
524   gst_buffer_replace (&parse->priv->cache, NULL);
525
526   g_list_foreach (parse->priv->pending_events, (GFunc) gst_event_unref, NULL);
527   g_list_free (parse->priv->pending_events);
528   parse->priv->pending_events = NULL;
529
530   parse->priv->checked_media = FALSE;
531 }
532
533 static void
534 gst_base_parse_finalize (GObject * object)
535 {
536   GstBaseParse *parse = GST_BASE_PARSE (object);
537
538   g_object_unref (parse->priv->adapter);
539
540   if (parse->priv->index) {
541     gst_object_unref (parse->priv->index);
542     parse->priv->index = NULL;
543   }
544   g_mutex_clear (&parse->priv->index_lock);
545
546   gst_base_parse_clear_queues (parse);
547
548   G_OBJECT_CLASS (parent_class)->finalize (object);
549 }
550
551 static void
552 gst_base_parse_class_init (GstBaseParseClass * klass)
553 {
554   GObjectClass *gobject_class;
555   GstElementClass *gstelement_class;
556
557   gobject_class = G_OBJECT_CLASS (klass);
558   g_type_class_add_private (klass, sizeof (GstBaseParsePrivate));
559   parent_class = g_type_class_peek_parent (klass);
560
561   gobject_class->finalize = GST_DEBUG_FUNCPTR (gst_base_parse_finalize);
562   gobject_class->set_property = GST_DEBUG_FUNCPTR (gst_base_parse_set_property);
563   gobject_class->get_property = GST_DEBUG_FUNCPTR (gst_base_parse_get_property);
564
565   /**
566    * GstBaseParse:disable-passthrough:
567    *
568    * If set to %TRUE, baseparse will unconditionally force parsing of the
569    * incoming data. This can be required in the rare cases where the incoming
570    * side-data (caps, pts, dts, ...) is not trusted by the user and wants to
571    * force validation and parsing of the incoming data.
572    * If set to %FALSE, decision of whether to parse the data or not is up to
573    * the implementation (standard behaviour).
574    */
575   g_object_class_install_property (gobject_class, PROP_DISABLE_PASSTHROUGH,
576       g_param_spec_boolean ("disable-passthrough", "Disable passthrough",
577           "Force processing (disables passthrough)",
578           DEFAULT_DISABLE_PASSTHROUGH,
579           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
580
581   gstelement_class = (GstElementClass *) klass;
582   gstelement_class->change_state =
583       GST_DEBUG_FUNCPTR (gst_base_parse_change_state);
584
585 #if 0
586   gstelement_class->set_index = GST_DEBUG_FUNCPTR (gst_base_parse_set_index);
587   gstelement_class->get_index = GST_DEBUG_FUNCPTR (gst_base_parse_get_index);
588 #endif
589
590   /* Default handlers */
591   klass->sink_event = gst_base_parse_sink_event_default;
592   klass->src_event = gst_base_parse_src_event_default;
593   klass->sink_query = gst_base_parse_sink_query_default;
594   klass->src_query = gst_base_parse_src_query_default;
595   klass->convert = gst_base_parse_convert_default;
596
597   GST_DEBUG_CATEGORY_INIT (gst_base_parse_debug, "baseparse", 0,
598       "baseparse element");
599 }
600
601 static void
602 gst_base_parse_init (GstBaseParse * parse, GstBaseParseClass * bclass)
603 {
604   GstPadTemplate *pad_template;
605
606   GST_DEBUG_OBJECT (parse, "gst_base_parse_init");
607
608   parse->priv = GST_BASE_PARSE_GET_PRIVATE (parse);
609
610   pad_template =
611       gst_element_class_get_pad_template (GST_ELEMENT_CLASS (bclass), "sink");
612   g_return_if_fail (pad_template != NULL);
613   parse->sinkpad = gst_pad_new_from_template (pad_template, "sink");
614   gst_pad_set_event_function (parse->sinkpad,
615       GST_DEBUG_FUNCPTR (gst_base_parse_sink_event));
616   gst_pad_set_query_function (parse->sinkpad,
617       GST_DEBUG_FUNCPTR (gst_base_parse_sink_query));
618   gst_pad_set_chain_function (parse->sinkpad,
619       GST_DEBUG_FUNCPTR (gst_base_parse_chain));
620   gst_pad_set_activate_function (parse->sinkpad,
621       GST_DEBUG_FUNCPTR (gst_base_parse_sink_activate));
622   gst_pad_set_activatemode_function (parse->sinkpad,
623       GST_DEBUG_FUNCPTR (gst_base_parse_sink_activate_mode));
624   GST_PAD_SET_PROXY_ALLOCATION (parse->sinkpad);
625   gst_element_add_pad (GST_ELEMENT (parse), parse->sinkpad);
626
627   GST_DEBUG_OBJECT (parse, "sinkpad created");
628
629   pad_template =
630       gst_element_class_get_pad_template (GST_ELEMENT_CLASS (bclass), "src");
631   g_return_if_fail (pad_template != NULL);
632   parse->srcpad = gst_pad_new_from_template (pad_template, "src");
633   gst_pad_set_event_function (parse->srcpad,
634       GST_DEBUG_FUNCPTR (gst_base_parse_src_event));
635   gst_pad_set_query_function (parse->srcpad,
636       GST_DEBUG_FUNCPTR (gst_base_parse_src_query));
637   gst_pad_use_fixed_caps (parse->srcpad);
638   gst_element_add_pad (GST_ELEMENT (parse), parse->srcpad);
639   GST_DEBUG_OBJECT (parse, "src created");
640
641   g_queue_init (&parse->priv->queued_frames);
642
643   parse->priv->adapter = gst_adapter_new ();
644
645   parse->priv->pad_mode = GST_PAD_MODE_NONE;
646
647   g_mutex_init (&parse->priv->index_lock);
648
649   /* init state */
650   gst_base_parse_reset (parse);
651   GST_DEBUG_OBJECT (parse, "init ok");
652
653   GST_OBJECT_FLAG_SET (parse, GST_ELEMENT_FLAG_INDEXABLE);
654
655   parse->priv->upstream_tags = NULL;
656   parse->priv->parser_tags = NULL;
657   parse->priv->parser_tags_merge_mode = GST_TAG_MERGE_APPEND;
658 }
659
660 static void
661 gst_base_parse_set_property (GObject * object, guint prop_id,
662     const GValue * value, GParamSpec * pspec)
663 {
664   GstBaseParse *parse = GST_BASE_PARSE (object);
665
666   switch (prop_id) {
667     case PROP_DISABLE_PASSTHROUGH:
668       parse->priv->disable_passthrough = g_value_get_boolean (value);
669       break;
670     default:
671       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
672       break;
673   }
674 }
675
676 static void
677 gst_base_parse_get_property (GObject * object, guint prop_id, GValue * value,
678     GParamSpec * pspec)
679 {
680   GstBaseParse *parse = GST_BASE_PARSE (object);
681
682   switch (prop_id) {
683     case PROP_DISABLE_PASSTHROUGH:
684       g_value_set_boolean (value, parse->priv->disable_passthrough);
685       break;
686     default:
687       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
688       break;
689   }
690 }
691
692 static GstBaseParseFrame *
693 gst_base_parse_frame_copy (GstBaseParseFrame * frame)
694 {
695   GstBaseParseFrame *copy;
696
697   copy = g_slice_dup (GstBaseParseFrame, frame);
698   copy->buffer = gst_buffer_ref (frame->buffer);
699   copy->_private_flags &= ~GST_BASE_PARSE_FRAME_PRIVATE_FLAG_NOALLOC;
700
701   GST_TRACE ("copied frame %p -> %p", frame, copy);
702
703   return copy;
704 }
705
706 void
707 gst_base_parse_frame_free (GstBaseParseFrame * frame)
708 {
709   GST_TRACE ("freeing frame %p", frame);
710
711   if (frame->buffer) {
712     gst_buffer_unref (frame->buffer);
713     frame->buffer = NULL;
714   }
715
716   if (!(frame->_private_flags & GST_BASE_PARSE_FRAME_PRIVATE_FLAG_NOALLOC)) {
717     g_slice_free (GstBaseParseFrame, frame);
718   } else {
719     memset (frame, 0, sizeof (*frame));
720   }
721 }
722
723 G_DEFINE_BOXED_TYPE (GstBaseParseFrame, gst_base_parse_frame,
724     (GBoxedCopyFunc) gst_base_parse_frame_copy,
725     (GBoxedFreeFunc) gst_base_parse_frame_free);
726
727 /**
728  * gst_base_parse_frame_init:
729  * @frame: #GstBaseParseFrame.
730  *
731  * Sets a #GstBaseParseFrame to initial state.  Currently this means
732  * all public fields are zero-ed and a private flag is set to make
733  * sure gst_base_parse_frame_free() only frees the contents but not
734  * the actual frame. Use this function to initialise a #GstBaseParseFrame
735  * allocated on the stack.
736  */
737 void
738 gst_base_parse_frame_init (GstBaseParseFrame * frame)
739 {
740   memset (frame, 0, sizeof (GstBaseParseFrame));
741   frame->_private_flags = GST_BASE_PARSE_FRAME_PRIVATE_FLAG_NOALLOC;
742   GST_TRACE ("inited frame %p", frame);
743 }
744
745 /**
746  * gst_base_parse_frame_new:
747  * @buffer: (transfer none): a #GstBuffer
748  * @flags: the flags
749  * @overhead: number of bytes in this frame which should be counted as
750  *     metadata overhead, ie. not used to calculate the average bitrate.
751  *     Set to -1 to mark the entire frame as metadata. If in doubt, set to 0.
752  *
753  * Allocates a new #GstBaseParseFrame. This function is mainly for bindings,
754  * elements written in C should usually allocate the frame on the stack and
755  * then use gst_base_parse_frame_init() to initialise it.
756  *
757  * Returns: a newly-allocated #GstBaseParseFrame. Free with
758  *     gst_base_parse_frame_free() when no longer needed.
759  */
760 GstBaseParseFrame *
761 gst_base_parse_frame_new (GstBuffer * buffer, GstBaseParseFrameFlags flags,
762     gint overhead)
763 {
764   GstBaseParseFrame *frame;
765
766   frame = g_slice_new0 (GstBaseParseFrame);
767   frame->buffer = gst_buffer_ref (buffer);
768
769   GST_TRACE ("created frame %p", frame);
770   return frame;
771 }
772
773 static inline void
774 gst_base_parse_update_flags (GstBaseParse * parse)
775 {
776   parse->flags = 0;
777
778   /* set flags one by one for clarity */
779   if (G_UNLIKELY (parse->priv->drain))
780     parse->flags |= GST_BASE_PARSE_FLAG_DRAINING;
781
782   /* losing sync is pretty much a discont (and vice versa), no ? */
783   if (G_UNLIKELY (parse->priv->discont))
784     parse->flags |= GST_BASE_PARSE_FLAG_LOST_SYNC;
785 }
786
787 static inline void
788 gst_base_parse_update_frame (GstBaseParse * parse, GstBaseParseFrame * frame)
789 {
790   if (G_UNLIKELY (parse->priv->discont)) {
791     GST_DEBUG_OBJECT (parse, "marking DISCONT");
792     GST_BUFFER_FLAG_SET (frame->buffer, GST_BUFFER_FLAG_DISCONT);
793   } else {
794     GST_BUFFER_FLAG_UNSET (frame->buffer, GST_BUFFER_FLAG_DISCONT);
795   }
796
797   if (parse->priv->prev_offset != parse->priv->offset || parse->priv->new_frame) {
798     GST_LOG_OBJECT (parse, "marking as new frame");
799     frame->flags |= GST_BASE_PARSE_FRAME_FLAG_NEW_FRAME;
800   }
801
802   frame->offset = parse->priv->prev_offset = parse->priv->offset;
803 }
804
805 static void
806 gst_base_parse_reset (GstBaseParse * parse)
807 {
808   GST_OBJECT_LOCK (parse);
809   gst_segment_init (&parse->segment, GST_FORMAT_TIME);
810   parse->priv->duration = -1;
811   parse->priv->min_frame_size = 1;
812   parse->priv->discont = TRUE;
813   parse->priv->flushing = FALSE;
814   parse->priv->saw_gaps = FALSE;
815   parse->priv->offset = 0;
816   parse->priv->sync_offset = 0;
817   parse->priv->update_interval = -1;
818   parse->priv->fps_num = parse->priv->fps_den = 0;
819   parse->priv->frame_duration = GST_CLOCK_TIME_NONE;
820   parse->priv->lead_in = parse->priv->lead_out = 0;
821   parse->priv->lead_in_ts = parse->priv->lead_out_ts = 0;
822   parse->priv->bitrate = 0;
823   parse->priv->framecount = 0;
824   parse->priv->bytecount = 0;
825   parse->priv->acc_duration = 0;
826   parse->priv->first_frame_pts = GST_CLOCK_TIME_NONE;
827   parse->priv->first_frame_dts = GST_CLOCK_TIME_NONE;
828   parse->priv->first_frame_offset = -1;
829   parse->priv->estimated_duration = -1;
830   parse->priv->estimated_drift = 0;
831   parse->priv->next_pts = GST_CLOCK_TIME_NONE;
832   parse->priv->next_dts = 0;
833   parse->priv->syncable = TRUE;
834   parse->priv->disable_passthrough = DEFAULT_DISABLE_PASSTHROUGH;
835   parse->priv->passthrough = FALSE;
836   parse->priv->pts_interpolate = TRUE;
837   parse->priv->infer_ts = TRUE;
838   parse->priv->has_timing_info = FALSE;
839   parse->priv->min_bitrate = G_MAXUINT;
840   parse->priv->max_bitrate = 0;
841   parse->priv->avg_bitrate = 0;
842   parse->priv->posted_avg_bitrate = 0;
843
844   parse->priv->index_last_ts = GST_CLOCK_TIME_NONE;
845   parse->priv->index_last_offset = -1;
846   parse->priv->index_last_valid = TRUE;
847   parse->priv->upstream_seekable = FALSE;
848   parse->priv->upstream_size = 0;
849   parse->priv->upstream_has_duration = FALSE;
850   parse->priv->upstream_format = GST_FORMAT_UNDEFINED;
851   parse->priv->idx_interval = 0;
852   parse->priv->idx_byte_interval = 0;
853   parse->priv->exact_position = TRUE;
854   parse->priv->seen_keyframe = FALSE;
855   parse->priv->checked_media = FALSE;
856
857   parse->priv->last_dts = GST_CLOCK_TIME_NONE;
858   parse->priv->last_pts = GST_CLOCK_TIME_NONE;
859   parse->priv->last_offset = 0;
860
861   parse->priv->skip = 0;
862
863   g_list_foreach (parse->priv->pending_events, (GFunc) gst_mini_object_unref,
864       NULL);
865   g_list_free (parse->priv->pending_events);
866   parse->priv->pending_events = NULL;
867
868   if (parse->priv->cache) {
869     gst_buffer_unref (parse->priv->cache);
870     parse->priv->cache = NULL;
871   }
872
873   g_slist_foreach (parse->priv->pending_seeks, (GFunc) g_free, NULL);
874   g_slist_free (parse->priv->pending_seeks);
875   parse->priv->pending_seeks = NULL;
876
877   if (parse->priv->adapter)
878     gst_adapter_clear (parse->priv->adapter);
879
880   gst_base_parse_set_upstream_tags (parse, NULL);
881
882   if (parse->priv->parser_tags) {
883     gst_tag_list_unref (parse->priv->parser_tags);
884     parse->priv->parser_tags = NULL;
885   }
886   parse->priv->parser_tags_merge_mode = GST_TAG_MERGE_APPEND;
887
888   parse->priv->new_frame = TRUE;
889
890   parse->priv->first_buffer = TRUE;
891
892   g_list_foreach (parse->priv->detect_buffers, (GFunc) gst_buffer_unref, NULL);
893   g_list_free (parse->priv->detect_buffers);
894   parse->priv->detect_buffers = NULL;
895   parse->priv->detect_buffers_size = 0;
896   GST_OBJECT_UNLOCK (parse);
897 }
898
899 static gboolean
900 gst_base_parse_check_bitrate_tag (GstBaseParse * parse, const gchar * tag)
901 {
902   gboolean got_tag = FALSE;
903   guint n = 0;
904
905   if (parse->priv->upstream_tags != NULL)
906     got_tag = gst_tag_list_get_uint (parse->priv->upstream_tags, tag, &n);
907
908   if (!got_tag && parse->priv->parser_tags != NULL)
909     got_tag = gst_tag_list_get_uint (parse->priv->parser_tags, tag, &n);
910
911   return got_tag;
912 }
913
914 /* check if upstream or subclass tags contain bitrates already */
915 static void
916 gst_base_parse_check_bitrate_tags (GstBaseParse * parse)
917 {
918   parse->priv->post_min_bitrate =
919       !gst_base_parse_check_bitrate_tag (parse, GST_TAG_MINIMUM_BITRATE);
920   parse->priv->post_avg_bitrate =
921       !gst_base_parse_check_bitrate_tag (parse, GST_TAG_BITRATE);
922   parse->priv->post_max_bitrate =
923       !gst_base_parse_check_bitrate_tag (parse, GST_TAG_MAXIMUM_BITRATE);
924 }
925
926 /* Queues new tag event with the current combined state of the stream tags
927  * (i.e. upstream tags merged with subclass tags and current baseparse tags) */
928 static void
929 gst_base_parse_queue_tag_event_update (GstBaseParse * parse)
930 {
931   GstTagList *merged_tags;
932
933   GST_LOG_OBJECT (parse, "upstream : %" GST_PTR_FORMAT,
934       parse->priv->upstream_tags);
935   GST_LOG_OBJECT (parse, "parser   : %" GST_PTR_FORMAT,
936       parse->priv->parser_tags);
937   GST_LOG_OBJECT (parse, "mode     : %d", parse->priv->parser_tags_merge_mode);
938
939   merged_tags =
940       gst_tag_list_merge (parse->priv->upstream_tags, parse->priv->parser_tags,
941       parse->priv->parser_tags_merge_mode);
942
943   GST_DEBUG_OBJECT (parse, "merged   : %" GST_PTR_FORMAT, merged_tags);
944
945   if (merged_tags == NULL)
946     return;
947
948   if (gst_tag_list_is_empty (merged_tags)) {
949     gst_tag_list_unref (merged_tags);
950     return;
951   }
952
953   if (parse->priv->framecount >= MIN_FRAMES_TO_POST_BITRATE) {
954     /* only add bitrate tags to non-empty taglists for now, and only if neither
955      * upstream tags nor the subclass sets the bitrate tag in question already */
956     if (parse->priv->min_bitrate != G_MAXUINT && parse->priv->post_min_bitrate) {
957       GST_LOG_OBJECT (parse, "adding min bitrate %u", parse->priv->min_bitrate);
958       gst_tag_list_add (merged_tags, GST_TAG_MERGE_KEEP,
959           GST_TAG_MINIMUM_BITRATE, parse->priv->min_bitrate, NULL);
960     }
961     if (parse->priv->max_bitrate != 0 && parse->priv->post_max_bitrate) {
962       GST_LOG_OBJECT (parse, "adding max bitrate %u", parse->priv->max_bitrate);
963       gst_tag_list_add (merged_tags, GST_TAG_MERGE_KEEP,
964           GST_TAG_MAXIMUM_BITRATE, parse->priv->max_bitrate, NULL);
965     }
966     if (parse->priv->avg_bitrate != 0 && parse->priv->post_avg_bitrate) {
967       parse->priv->posted_avg_bitrate = parse->priv->avg_bitrate;
968       GST_LOG_OBJECT (parse, "adding avg bitrate %u", parse->priv->avg_bitrate);
969       gst_tag_list_add (merged_tags, GST_TAG_MERGE_KEEP,
970           GST_TAG_BITRATE, parse->priv->avg_bitrate, NULL);
971     }
972   }
973
974   parse->priv->pending_events =
975       g_list_prepend (parse->priv->pending_events,
976       gst_event_new_tag (merged_tags));
977 }
978
979 /* gst_base_parse_parse_frame:
980  * @parse: #GstBaseParse.
981  * @buffer: #GstBuffer.
982  *
983  * Default callback for parse_frame.
984  */
985 static GstFlowReturn
986 gst_base_parse_parse_frame (GstBaseParse * parse, GstBaseParseFrame * frame)
987 {
988   GstBuffer *buffer = frame->buffer;
989
990   if (!GST_BUFFER_PTS_IS_VALID (buffer) &&
991       GST_CLOCK_TIME_IS_VALID (parse->priv->next_pts)) {
992     GST_BUFFER_PTS (buffer) = parse->priv->next_pts;
993   }
994   if (!GST_BUFFER_DTS_IS_VALID (buffer) &&
995       GST_CLOCK_TIME_IS_VALID (parse->priv->next_dts)) {
996     GST_BUFFER_DTS (buffer) = parse->priv->next_dts;
997   }
998   if (!GST_BUFFER_DURATION_IS_VALID (buffer) &&
999       GST_CLOCK_TIME_IS_VALID (parse->priv->frame_duration)) {
1000     GST_BUFFER_DURATION (buffer) = parse->priv->frame_duration;
1001   }
1002   return GST_FLOW_OK;
1003 }
1004
1005 /* gst_base_parse_convert:
1006  * @parse: #GstBaseParse.
1007  * @src_format: #GstFormat describing the source format.
1008  * @src_value: Source value to be converted.
1009  * @dest_format: #GstFormat defining the converted format.
1010  * @dest_value: Pointer where the conversion result will be put.
1011  *
1012  * Converts using configured "convert" vmethod in #GstBaseParse class.
1013  *
1014  * Returns: %TRUE if conversion was successful.
1015  */
1016 static gboolean
1017 gst_base_parse_convert (GstBaseParse * parse,
1018     GstFormat src_format,
1019     gint64 src_value, GstFormat dest_format, gint64 * dest_value)
1020 {
1021   GstBaseParseClass *klass = GST_BASE_PARSE_GET_CLASS (parse);
1022   gboolean ret;
1023
1024   g_return_val_if_fail (dest_value != NULL, FALSE);
1025
1026   if (!klass->convert)
1027     return FALSE;
1028
1029   ret = klass->convert (parse, src_format, src_value, dest_format, dest_value);
1030
1031 #ifndef GST_DISABLE_GST_DEBUG
1032   {
1033     if (ret) {
1034       if (src_format == GST_FORMAT_TIME && dest_format == GST_FORMAT_BYTES) {
1035         GST_LOG_OBJECT (parse,
1036             "TIME -> BYTES: %" GST_TIME_FORMAT " -> %" G_GINT64_FORMAT,
1037             GST_TIME_ARGS (src_value), *dest_value);
1038       } else if (dest_format == GST_FORMAT_TIME &&
1039           src_format == GST_FORMAT_BYTES) {
1040         GST_LOG_OBJECT (parse,
1041             "BYTES -> TIME: %" G_GINT64_FORMAT " -> %" GST_TIME_FORMAT,
1042             src_value, GST_TIME_ARGS (*dest_value));
1043       } else {
1044         GST_LOG_OBJECT (parse,
1045             "%s -> %s: %" G_GINT64_FORMAT " -> %" G_GINT64_FORMAT,
1046             GST_STR_NULL (gst_format_get_name (src_format)),
1047             GST_STR_NULL (gst_format_get_name (dest_format)),
1048             src_value, *dest_value);
1049       }
1050     } else {
1051       GST_DEBUG_OBJECT (parse, "conversion failed");
1052     }
1053   }
1054 #endif
1055
1056   return ret;
1057 }
1058
1059 static gboolean
1060 update_upstream_provided (GQuark field_id, const GValue * value,
1061     gpointer user_data)
1062 {
1063   GstCaps *default_caps = user_data;
1064   gint i;
1065   gint caps_size;
1066
1067   caps_size = gst_caps_get_size (default_caps);
1068   for (i = 0; i < caps_size; i++) {
1069     GstStructure *structure = gst_caps_get_structure (default_caps, i);
1070     if (gst_structure_id_has_field (structure, field_id))
1071       gst_structure_id_set_value (structure, field_id, value);
1072   }
1073
1074   return TRUE;
1075 }
1076
1077 static GstCaps *
1078 gst_base_parse_negotiate_default_caps (GstBaseParse * parse)
1079 {
1080   GstCaps *caps, *templcaps;
1081   GstCaps *sinkcaps = NULL;
1082   GstCaps *default_caps = NULL;
1083   GstStructure *structure;
1084
1085   templcaps = gst_pad_get_pad_template_caps (GST_BASE_PARSE_SRC_PAD (parse));
1086   caps = gst_pad_peer_query_caps (GST_BASE_PARSE_SRC_PAD (parse), templcaps);
1087   if (caps)
1088     gst_caps_unref (templcaps);
1089   else
1090     caps = templcaps;
1091   templcaps = NULL;
1092
1093   if (!caps || gst_caps_is_empty (caps) || gst_caps_is_any (caps)) {
1094     goto caps_error;
1095   }
1096
1097   GST_LOG_OBJECT (parse, "peer caps  %" GST_PTR_FORMAT, caps);
1098
1099   /* before fixating, try to use whatever upstream provided */
1100   default_caps = gst_caps_copy (caps);
1101   sinkcaps = gst_pad_get_current_caps (GST_BASE_PARSE_SINK_PAD (parse));
1102
1103   GST_LOG_OBJECT (parse, "current caps %" GST_PTR_FORMAT " for sinkpad",
1104       sinkcaps);
1105
1106   if (sinkcaps) {
1107     structure = gst_caps_get_structure (sinkcaps, 0);
1108     gst_structure_foreach (structure, update_upstream_provided, default_caps);
1109   }
1110
1111   default_caps = gst_caps_fixate (default_caps);
1112
1113   if (!default_caps) {
1114     GST_WARNING_OBJECT (parse, "Failed to create default caps !");
1115     goto caps_error;
1116   }
1117
1118   GST_INFO_OBJECT (parse,
1119       "Chose default caps %" GST_PTR_FORMAT " for initial gap", default_caps);
1120
1121   gst_caps_unref (sinkcaps);
1122   gst_caps_unref (caps);
1123
1124   return default_caps;
1125
1126 caps_error:
1127   {
1128     if (caps)
1129       gst_caps_unref (caps);
1130     if (sinkcaps)
1131       gst_caps_unref (sinkcaps);
1132     return NULL;
1133   }
1134 }
1135
1136 /* gst_base_parse_sink_event:
1137  * @pad: #GstPad that received the event.
1138  * @event: #GstEvent to be handled.
1139  *
1140  * Handler for sink pad events.
1141  *
1142  * Returns: %TRUE if the event was handled.
1143  */
1144 static gboolean
1145 gst_base_parse_sink_event (GstPad * pad, GstObject * parent, GstEvent * event)
1146 {
1147   GstBaseParse *parse = GST_BASE_PARSE (parent);
1148   GstBaseParseClass *bclass = GST_BASE_PARSE_GET_CLASS (parse);
1149   gboolean ret;
1150
1151   ret = bclass->sink_event (parse, event);
1152
1153   return ret;
1154 }
1155
1156 /* gst_base_parse_sink_event_default:
1157  * @parse: #GstBaseParse.
1158  * @event: #GstEvent to be handled.
1159  *
1160  * Element-level event handler function.
1161  *
1162  * The event will be unreffed only if it has been handled and this
1163  * function returns %TRUE
1164  *
1165  * Returns: %TRUE if the event was handled and not need forwarding.
1166  */
1167 static gboolean
1168 gst_base_parse_sink_event_default (GstBaseParse * parse, GstEvent * event)
1169 {
1170   GstBaseParseClass *klass = GST_BASE_PARSE_GET_CLASS (parse);
1171   gboolean ret = FALSE;
1172   gboolean forward_immediate = FALSE;
1173
1174   GST_DEBUG_OBJECT (parse, "handling event %d, %s", GST_EVENT_TYPE (event),
1175       GST_EVENT_TYPE_NAME (event));
1176
1177   switch (GST_EVENT_TYPE (event)) {
1178     case GST_EVENT_CAPS:
1179     {
1180       GstCaps *caps;
1181
1182       gst_event_parse_caps (event, &caps);
1183       GST_DEBUG_OBJECT (parse, "caps: %" GST_PTR_FORMAT, caps);
1184
1185       if (klass->set_sink_caps)
1186         ret = klass->set_sink_caps (parse, caps);
1187       else
1188         ret = TRUE;
1189
1190       /* will send our own caps downstream */
1191       gst_event_unref (event);
1192       event = NULL;
1193       break;
1194     }
1195     case GST_EVENT_SEGMENT:
1196     {
1197       const GstSegment *in_segment;
1198       GstSegment out_segment;
1199       gint64 offset = 0, next_dts;
1200       guint32 seqnum = gst_event_get_seqnum (event);
1201
1202       gst_event_parse_segment (event, &in_segment);
1203       gst_segment_init (&out_segment, GST_FORMAT_TIME);
1204       out_segment.rate = in_segment->rate;
1205       out_segment.applied_rate = in_segment->applied_rate;
1206
1207       GST_DEBUG_OBJECT (parse, "segment %" GST_SEGMENT_FORMAT, in_segment);
1208
1209       parse->priv->upstream_format = in_segment->format;
1210       if (in_segment->format == GST_FORMAT_BYTES) {
1211         GstBaseParseSeek *seek = NULL;
1212         GSList *node;
1213
1214         /* stop time is allowed to be open-ended, but not start & pos */
1215         offset = in_segment->time;
1216
1217         GST_OBJECT_LOCK (parse);
1218         for (node = parse->priv->pending_seeks; node; node = node->next) {
1219           GstBaseParseSeek *tmp = node->data;
1220
1221           if (tmp->offset == offset) {
1222             seek = tmp;
1223             break;
1224           }
1225         }
1226         parse->priv->pending_seeks =
1227             g_slist_remove (parse->priv->pending_seeks, seek);
1228         GST_OBJECT_UNLOCK (parse);
1229
1230         if (seek) {
1231           GST_DEBUG_OBJECT (parse,
1232               "Matched newsegment to%s seek: %" GST_SEGMENT_FORMAT,
1233               seek->accurate ? " accurate" : "", &seek->segment);
1234
1235           out_segment.start = seek->segment.start;
1236           out_segment.stop = seek->segment.stop;
1237           out_segment.time = seek->segment.start;
1238
1239           next_dts = seek->start_ts;
1240           parse->priv->exact_position = seek->accurate;
1241           g_free (seek);
1242         } else {
1243           /* best attempt convert */
1244           /* as these are only estimates, stop is kept open-ended to avoid
1245            * premature cutting */
1246           gst_base_parse_convert (parse, GST_FORMAT_BYTES, in_segment->start,
1247               GST_FORMAT_TIME, (gint64 *) & next_dts);
1248
1249           out_segment.start = next_dts;
1250           out_segment.stop = GST_CLOCK_TIME_NONE;
1251           out_segment.time = next_dts;
1252
1253           parse->priv->exact_position = (in_segment->start == 0);
1254         }
1255
1256         gst_event_unref (event);
1257
1258         event = gst_event_new_segment (&out_segment);
1259         gst_event_set_seqnum (event, seqnum);
1260
1261         GST_DEBUG_OBJECT (parse, "Converted incoming segment to TIME. %"
1262             GST_SEGMENT_FORMAT, in_segment);
1263
1264       } else if (in_segment->format != GST_FORMAT_TIME) {
1265         /* Unknown incoming segment format. Output a default open-ended
1266          * TIME segment */
1267         gst_event_unref (event);
1268
1269         out_segment.start = 0;
1270         out_segment.stop = GST_CLOCK_TIME_NONE;
1271         out_segment.time = 0;
1272
1273         event = gst_event_new_segment (&out_segment);
1274         gst_event_set_seqnum (event, seqnum);
1275
1276         next_dts = 0;
1277       } else {
1278         /* not considered BYTE seekable if it is talking to us in TIME,
1279          * whatever else it might claim */
1280         parse->priv->upstream_seekable = FALSE;
1281         next_dts = in_segment->start;
1282         gst_event_copy_segment (event, &out_segment);
1283       }
1284
1285       memcpy (&parse->segment, &out_segment, sizeof (GstSegment));
1286
1287       /*
1288          gst_segment_set_newsegment (&parse->segment, update, rate,
1289          applied_rate, format, start, stop, start);
1290        */
1291
1292       ret = TRUE;
1293
1294       /* save the segment for later, right before we push a new buffer so that
1295        * the caps are fixed and the next linked element can receive
1296        * the segment but finish the current segment */
1297       GST_DEBUG_OBJECT (parse, "draining current segment");
1298       if (in_segment->rate > 0.0)
1299         gst_base_parse_drain (parse);
1300       else
1301         gst_base_parse_finish_fragment (parse, FALSE);
1302       gst_adapter_clear (parse->priv->adapter);
1303
1304       parse->priv->offset = offset;
1305       parse->priv->sync_offset = offset;
1306       parse->priv->next_dts = next_dts;
1307       parse->priv->next_pts = GST_CLOCK_TIME_NONE;
1308       parse->priv->last_pts = GST_CLOCK_TIME_NONE;
1309       parse->priv->last_dts = GST_CLOCK_TIME_NONE;
1310       parse->priv->prev_pts = GST_CLOCK_TIME_NONE;
1311       parse->priv->prev_dts = GST_CLOCK_TIME_NONE;
1312       parse->priv->prev_dts_from_pts = FALSE;
1313       parse->priv->discont = TRUE;
1314       parse->priv->seen_keyframe = FALSE;
1315       parse->priv->skip = 0;
1316       break;
1317     }
1318
1319     case GST_EVENT_SEGMENT_DONE:
1320       /* need to drain now, rather than upon a new segment,
1321        * since that would have SEGMENT_DONE come before potential
1322        * delayed last part of the current segment */
1323       GST_DEBUG_OBJECT (parse, "draining current segment");
1324       if (parse->segment.rate > 0.0)
1325         gst_base_parse_drain (parse);
1326       else
1327         gst_base_parse_finish_fragment (parse, FALSE);
1328       /* Also forward event immediately, there might be no new data
1329        * coming afterwards that would allow us to forward it later */
1330       forward_immediate = TRUE;
1331       break;
1332
1333     case GST_EVENT_FLUSH_START:
1334       GST_OBJECT_LOCK (parse);
1335       parse->priv->flushing = TRUE;
1336       GST_OBJECT_UNLOCK (parse);
1337       break;
1338
1339     case GST_EVENT_FLUSH_STOP:
1340       gst_adapter_clear (parse->priv->adapter);
1341       gst_base_parse_clear_queues (parse);
1342       parse->priv->flushing = FALSE;
1343       parse->priv->discont = TRUE;
1344       parse->priv->last_pts = GST_CLOCK_TIME_NONE;
1345       parse->priv->last_dts = GST_CLOCK_TIME_NONE;
1346       parse->priv->new_frame = TRUE;
1347       parse->priv->skip = 0;
1348
1349       forward_immediate = TRUE;
1350       break;
1351
1352     case GST_EVENT_EOS:
1353       if (parse->segment.rate > 0.0)
1354         gst_base_parse_drain (parse);
1355       else
1356         gst_base_parse_finish_fragment (parse, TRUE);
1357
1358       /* If we STILL have zero frames processed, fire an error */
1359       if (parse->priv->framecount == 0 && !parse->priv->saw_gaps &&
1360           !parse->priv->first_buffer) {
1361         GST_ELEMENT_ERROR (parse, STREAM, WRONG_TYPE,
1362             ("No valid frames found before end of stream"), (NULL));
1363       }
1364
1365       if (!parse->priv->saw_gaps
1366           && parse->priv->framecount < MIN_FRAMES_TO_POST_BITRATE) {
1367         /* We've not posted bitrate tags yet - do so now */
1368         gst_base_parse_queue_tag_event_update (parse);
1369       }
1370
1371       /* newsegment and other serialized events before eos */
1372       gst_base_parse_push_pending_events (parse);
1373
1374       forward_immediate = TRUE;
1375       break;
1376     case GST_EVENT_CUSTOM_DOWNSTREAM:{
1377       /* FIXME: Code duplicated from libgstvideo because core can't depend on -base */
1378 #ifndef GST_VIDEO_EVENT_STILL_STATE_NAME
1379 #define GST_VIDEO_EVENT_STILL_STATE_NAME "GstEventStillFrame"
1380 #endif
1381
1382       const GstStructure *s;
1383       gboolean ev_still_state;
1384
1385       s = gst_event_get_structure (event);
1386       if (s != NULL &&
1387           gst_structure_has_name (s, GST_VIDEO_EVENT_STILL_STATE_NAME) &&
1388           gst_structure_get_boolean (s, "still-state", &ev_still_state)) {
1389         if (ev_still_state) {
1390           GST_DEBUG_OBJECT (parse, "draining current data for still-frame");
1391           if (parse->segment.rate > 0.0)
1392             gst_base_parse_drain (parse);
1393           else
1394             gst_base_parse_finish_fragment (parse, TRUE);
1395         }
1396         forward_immediate = TRUE;
1397       }
1398       break;
1399     }
1400     case GST_EVENT_GAP:
1401     {
1402       GST_DEBUG_OBJECT (parse, "draining current data due to gap event");
1403
1404       /* Ensure we have caps before forwarding the event */
1405       if (!gst_pad_has_current_caps (GST_BASE_PARSE_SRC_PAD (parse))) {
1406         GstCaps *default_caps = NULL;
1407         if ((default_caps = gst_base_parse_negotiate_default_caps (parse))) {
1408           GList *l;
1409           GstEvent *caps_event = gst_event_new_caps (default_caps);
1410
1411           GST_DEBUG_OBJECT (parse,
1412               "Store caps event to pending list for initial pre-rolling");
1413
1414           /* Events are in decreasing order. Go down the list until we
1415            * find the first pre-CAPS event and insert our CAPS event there.
1416            *
1417            * There should be a SEGMENT event already, which is > CAPS */
1418           for (l = parse->priv->pending_events; l; l = l->next) {
1419             GstEvent *e = l->data;
1420
1421             if (GST_EVENT_TYPE (e) < GST_EVENT_CAPS) {
1422               parse->priv->pending_events =
1423                   g_list_insert_before (parse->priv->pending_events, l,
1424                   caps_event);
1425               break;
1426             }
1427           }
1428           /* No pending event that is < CAPS, so we have to add it at the very
1429            * end of the list */
1430           if (!l) {
1431             parse->priv->pending_events =
1432                 g_list_append (parse->priv->pending_events, caps_event);
1433           }
1434           gst_caps_unref (default_caps);
1435         } else {
1436           gst_event_unref (event);
1437           event = NULL;
1438           ret = FALSE;
1439           GST_ELEMENT_ERROR (parse, STREAM, FORMAT, (NULL),
1440               ("Parser output not negotiated before GAP event."));
1441           break;
1442         }
1443       }
1444
1445       gst_base_parse_push_pending_events (parse);
1446
1447       if (parse->segment.rate > 0.0)
1448         gst_base_parse_drain (parse);
1449       else
1450         gst_base_parse_finish_fragment (parse, TRUE);
1451       forward_immediate = TRUE;
1452       parse->priv->saw_gaps = TRUE;
1453       break;
1454     }
1455     case GST_EVENT_TAG:
1456     {
1457       GstTagList *tags = NULL;
1458
1459       gst_event_parse_tag (event, &tags);
1460
1461       /* We only care about stream tags here, global tags we just forward */
1462       if (gst_tag_list_get_scope (tags) != GST_TAG_SCOPE_STREAM)
1463         break;
1464
1465       gst_base_parse_set_upstream_tags (parse, tags);
1466       gst_base_parse_queue_tag_event_update (parse);
1467       parse->priv->tags_changed = FALSE;
1468       gst_event_unref (event);
1469       event = NULL;
1470       ret = TRUE;
1471       break;
1472     }
1473     case GST_EVENT_STREAM_START:
1474     {
1475       if (parse->priv->pad_mode != GST_PAD_MODE_PULL)
1476         forward_immediate = TRUE;
1477
1478       gst_base_parse_set_upstream_tags (parse, NULL);
1479       parse->priv->tags_changed = TRUE;
1480       break;
1481     }
1482     default:
1483       break;
1484   }
1485
1486   /* Forward non-serialized events and EOS/FLUSH_STOP immediately.
1487    * For EOS this is required because no buffer or serialized event
1488    * will come after EOS and nothing could trigger another
1489    * _finish_frame() call.   *
1490    * If the subclass handles sending of EOS manually it can return
1491    * _DROPPED from ::finish() and all other subclasses should have
1492    * decoded/flushed all remaining data before this
1493    *
1494    * For FLUSH_STOP this is required because it is expected
1495    * to be forwarded immediately and no buffers are queued anyway.
1496    */
1497   if (event) {
1498     if (!GST_EVENT_IS_SERIALIZED (event) || forward_immediate) {
1499       ret = gst_pad_push_event (parse->srcpad, event);
1500     } else {
1501       parse->priv->pending_events =
1502           g_list_prepend (parse->priv->pending_events, event);
1503       ret = TRUE;
1504     }
1505   }
1506
1507   GST_DEBUG_OBJECT (parse, "event handled");
1508
1509   return ret;
1510 }
1511
1512 static gboolean
1513 gst_base_parse_sink_query_default (GstBaseParse * parse, GstQuery * query)
1514 {
1515   GstPad *pad;
1516   gboolean res;
1517
1518   pad = GST_BASE_PARSE_SINK_PAD (parse);
1519
1520   switch (GST_QUERY_TYPE (query)) {
1521     case GST_QUERY_CAPS:
1522     {
1523       GstBaseParseClass *bclass;
1524
1525       bclass = GST_BASE_PARSE_GET_CLASS (parse);
1526
1527       if (bclass->get_sink_caps) {
1528         GstCaps *caps, *filter;
1529
1530         gst_query_parse_caps (query, &filter);
1531         caps = bclass->get_sink_caps (parse, filter);
1532         GST_LOG_OBJECT (parse, "sink getcaps returning caps %" GST_PTR_FORMAT,
1533             caps);
1534         gst_query_set_caps_result (query, caps);
1535         gst_caps_unref (caps);
1536
1537         res = TRUE;
1538       } else {
1539         GstCaps *caps, *template_caps, *filter;
1540
1541         gst_query_parse_caps (query, &filter);
1542         template_caps = gst_pad_get_pad_template_caps (pad);
1543         if (filter != NULL) {
1544           caps =
1545               gst_caps_intersect_full (filter, template_caps,
1546               GST_CAPS_INTERSECT_FIRST);
1547           gst_caps_unref (template_caps);
1548         } else {
1549           caps = template_caps;
1550         }
1551         gst_query_set_caps_result (query, caps);
1552         gst_caps_unref (caps);
1553
1554         res = TRUE;
1555       }
1556       break;
1557     }
1558     default:
1559     {
1560       res = gst_pad_query_default (pad, GST_OBJECT_CAST (parse), query);
1561       break;
1562     }
1563   }
1564
1565   return res;
1566 }
1567
1568 static gboolean
1569 gst_base_parse_sink_query (GstPad * pad, GstObject * parent, GstQuery * query)
1570 {
1571   GstBaseParseClass *bclass;
1572   GstBaseParse *parse;
1573   gboolean ret;
1574
1575   parse = GST_BASE_PARSE (parent);
1576   bclass = GST_BASE_PARSE_GET_CLASS (parse);
1577
1578   GST_DEBUG_OBJECT (parse, "%s query", GST_QUERY_TYPE_NAME (query));
1579
1580   if (bclass->sink_query)
1581     ret = bclass->sink_query (parse, query);
1582   else
1583     ret = FALSE;
1584
1585   GST_LOG_OBJECT (parse, "%s query result: %d %" GST_PTR_FORMAT,
1586       GST_QUERY_TYPE_NAME (query), ret, query);
1587
1588   return ret;
1589 }
1590
1591 static gboolean
1592 gst_base_parse_src_query (GstPad * pad, GstObject * parent, GstQuery * query)
1593 {
1594   GstBaseParseClass *bclass;
1595   GstBaseParse *parse;
1596   gboolean ret;
1597
1598   parse = GST_BASE_PARSE (parent);
1599   bclass = GST_BASE_PARSE_GET_CLASS (parse);
1600
1601   GST_DEBUG_OBJECT (parse, "%s query: %" GST_PTR_FORMAT,
1602       GST_QUERY_TYPE_NAME (query), query);
1603
1604   if (bclass->src_query)
1605     ret = bclass->src_query (parse, query);
1606   else
1607     ret = FALSE;
1608
1609   GST_LOG_OBJECT (parse, "%s query result: %d %" GST_PTR_FORMAT,
1610       GST_QUERY_TYPE_NAME (query), ret, query);
1611
1612   return ret;
1613 }
1614
1615 /* gst_base_parse_src_event:
1616  * @pad: #GstPad that received the event.
1617  * @event: #GstEvent that was received.
1618  *
1619  * Handler for source pad events.
1620  *
1621  * Returns: %TRUE if the event was handled.
1622  */
1623 static gboolean
1624 gst_base_parse_src_event (GstPad * pad, GstObject * parent, GstEvent * event)
1625 {
1626   GstBaseParse *parse;
1627   GstBaseParseClass *bclass;
1628   gboolean ret = TRUE;
1629
1630   parse = GST_BASE_PARSE (parent);
1631   bclass = GST_BASE_PARSE_GET_CLASS (parse);
1632
1633   GST_DEBUG_OBJECT (parse, "event %d, %s", GST_EVENT_TYPE (event),
1634       GST_EVENT_TYPE_NAME (event));
1635
1636   if (bclass->src_event)
1637     ret = bclass->src_event (parse, event);
1638   else
1639     gst_event_unref (event);
1640
1641   return ret;
1642 }
1643
1644 static gboolean
1645 gst_base_parse_is_seekable (GstBaseParse * parse)
1646 {
1647   /* FIXME: could do more here, e.g. check index or just send data from 0
1648    * in pull mode and let decoder/sink clip */
1649   return parse->priv->syncable;
1650 }
1651
1652 /* gst_base_parse_src_event_default:
1653  * @parse: #GstBaseParse.
1654  * @event: #GstEvent that was received.
1655  *
1656  * Default srcpad event handler.
1657  *
1658  * Returns: %TRUE if the event was handled and can be dropped.
1659  */
1660 static gboolean
1661 gst_base_parse_src_event_default (GstBaseParse * parse, GstEvent * event)
1662 {
1663   gboolean res = FALSE;
1664
1665   switch (GST_EVENT_TYPE (event)) {
1666     case GST_EVENT_SEEK:
1667       if (gst_base_parse_is_seekable (parse))
1668         res = gst_base_parse_handle_seek (parse, event);
1669       break;
1670     default:
1671       res = gst_pad_event_default (parse->srcpad, GST_OBJECT_CAST (parse),
1672           event);
1673       break;
1674   }
1675   return res;
1676 }
1677
1678
1679 /**
1680  * gst_base_parse_convert_default:
1681  * @parse: #GstBaseParse.
1682  * @src_format: #GstFormat describing the source format.
1683  * @src_value: Source value to be converted.
1684  * @dest_format: #GstFormat defining the converted format.
1685  * @dest_value: Pointer where the conversion result will be put.
1686  *
1687  * Default implementation of "convert" vmethod in #GstBaseParse class.
1688  *
1689  * Returns: %TRUE if conversion was successful.
1690  */
1691 gboolean
1692 gst_base_parse_convert_default (GstBaseParse * parse,
1693     GstFormat src_format,
1694     gint64 src_value, GstFormat dest_format, gint64 * dest_value)
1695 {
1696   gboolean ret = FALSE;
1697   guint64 bytes, duration;
1698
1699   if (G_UNLIKELY (src_format == dest_format)) {
1700     *dest_value = src_value;
1701     return TRUE;
1702   }
1703
1704   if (G_UNLIKELY (src_value == -1)) {
1705     *dest_value = -1;
1706     return TRUE;
1707   }
1708
1709   if (G_UNLIKELY (src_value == 0)) {
1710     *dest_value = 0;
1711     return TRUE;
1712   }
1713
1714   /* need at least some frames */
1715   if (!parse->priv->framecount)
1716     goto no_framecount;
1717
1718   duration = parse->priv->acc_duration / GST_MSECOND;
1719   bytes = parse->priv->bytecount;
1720
1721   if (G_UNLIKELY (!duration || !bytes))
1722     goto no_duration_bytes;
1723
1724   if (src_format == GST_FORMAT_BYTES) {
1725     if (dest_format == GST_FORMAT_TIME) {
1726       /* BYTES -> TIME conversion */
1727       GST_DEBUG_OBJECT (parse, "converting bytes -> time");
1728       *dest_value = gst_util_uint64_scale (src_value, duration, bytes);
1729       *dest_value *= GST_MSECOND;
1730       GST_DEBUG_OBJECT (parse, "conversion result: %" G_GINT64_FORMAT " ms",
1731           *dest_value / GST_MSECOND);
1732       ret = TRUE;
1733     } else {
1734       GST_DEBUG_OBJECT (parse, "converting bytes -> other not implemented");
1735     }
1736   } else if (src_format == GST_FORMAT_TIME) {
1737     if (dest_format == GST_FORMAT_BYTES) {
1738       GST_DEBUG_OBJECT (parse, "converting time -> bytes");
1739       *dest_value = gst_util_uint64_scale (src_value / GST_MSECOND, bytes,
1740           duration);
1741       GST_DEBUG_OBJECT (parse,
1742           "time %" G_GINT64_FORMAT " ms in bytes = %" G_GINT64_FORMAT,
1743           src_value / GST_MSECOND, *dest_value);
1744       ret = TRUE;
1745     } else {
1746       GST_DEBUG_OBJECT (parse, "converting time -> other not implemented");
1747     }
1748   } else if (src_format == GST_FORMAT_DEFAULT) {
1749     /* DEFAULT == frame-based */
1750     if (dest_format == GST_FORMAT_TIME) {
1751       GST_DEBUG_OBJECT (parse, "converting default -> time");
1752       if (parse->priv->fps_den) {
1753         *dest_value = gst_util_uint64_scale (src_value,
1754             GST_SECOND * parse->priv->fps_den, parse->priv->fps_num);
1755         ret = TRUE;
1756       }
1757     } else {
1758       GST_DEBUG_OBJECT (parse, "converting default -> other not implemented");
1759     }
1760   } else {
1761     GST_DEBUG_OBJECT (parse, "conversion not implemented");
1762   }
1763   return ret;
1764
1765   /* ERRORS */
1766 no_framecount:
1767   {
1768     GST_DEBUG_OBJECT (parse, "no framecount");
1769     return FALSE;
1770   }
1771 no_duration_bytes:
1772   {
1773     GST_DEBUG_OBJECT (parse, "no duration %" G_GUINT64_FORMAT ", bytes %"
1774         G_GUINT64_FORMAT, duration, bytes);
1775     return FALSE;
1776   }
1777
1778 }
1779
1780 static void
1781 gst_base_parse_update_duration (GstBaseParse * parse)
1782 {
1783   gint64 ptot, dest_value;
1784
1785   if (!gst_pad_peer_query_duration (parse->sinkpad, GST_FORMAT_BYTES, &ptot))
1786     return;
1787
1788   if (!gst_base_parse_convert (parse, GST_FORMAT_BYTES, ptot,
1789           GST_FORMAT_TIME, &dest_value))
1790     return;
1791
1792   /* inform if duration changed, but try to avoid spamming */
1793   parse->priv->estimated_drift += dest_value - parse->priv->estimated_duration;
1794
1795   parse->priv->estimated_duration = dest_value;
1796   GST_LOG_OBJECT (parse,
1797       "updated estimated duration to %" GST_TIME_FORMAT,
1798       GST_TIME_ARGS (dest_value));
1799
1800   if (parse->priv->estimated_drift > GST_SECOND ||
1801       parse->priv->estimated_drift < -GST_SECOND) {
1802     gst_element_post_message (GST_ELEMENT (parse),
1803         gst_message_new_duration_changed (GST_OBJECT (parse)));
1804     parse->priv->estimated_drift = 0;
1805   }
1806 }
1807
1808 /* gst_base_parse_update_bitrates:
1809  * @parse: #GstBaseParse.
1810  * @buffer: Current frame as a #GstBuffer
1811  *
1812  * Keeps track of the minimum and maximum bitrates, and also maintains a
1813  * running average bitrate of the stream so far.
1814  */
1815 static void
1816 gst_base_parse_update_bitrates (GstBaseParse * parse, GstBaseParseFrame * frame)
1817 {
1818   guint64 data_len, frame_dur;
1819   gint overhead, frame_bitrate;
1820   GstBuffer *buffer = frame->buffer;
1821
1822   overhead = frame->overhead;
1823   if (overhead == -1)
1824     return;
1825
1826   data_len = gst_buffer_get_size (buffer) - overhead;
1827   parse->priv->data_bytecount += data_len;
1828
1829   /* duration should be valid by now,
1830    * either set by subclass or maybe based on fps settings */
1831   if (GST_BUFFER_DURATION_IS_VALID (buffer) && parse->priv->acc_duration != 0) {
1832     /* Calculate duration of a frame from buffer properties */
1833     frame_dur = GST_BUFFER_DURATION (buffer);
1834     parse->priv->avg_bitrate = (8 * parse->priv->data_bytecount * GST_SECOND) /
1835         parse->priv->acc_duration;
1836
1837   } else {
1838     /* No way to figure out frame duration (is this even possible?) */
1839     return;
1840   }
1841
1842   /* override if subclass provided bitrate, e.g. metadata based */
1843   if (parse->priv->bitrate) {
1844     parse->priv->avg_bitrate = parse->priv->bitrate;
1845     /* spread this (confirmed) info ASAP */
1846     if (parse->priv->posted_avg_bitrate != parse->priv->avg_bitrate)
1847       parse->priv->tags_changed = TRUE;
1848   }
1849
1850   if (frame_dur)
1851     frame_bitrate = (8 * data_len * GST_SECOND) / frame_dur;
1852   else
1853     return;
1854
1855   GST_LOG_OBJECT (parse, "frame bitrate %u, avg bitrate %u", frame_bitrate,
1856       parse->priv->avg_bitrate);
1857
1858   if (parse->priv->framecount < MIN_FRAMES_TO_POST_BITRATE)
1859     return;
1860
1861   if (parse->priv->framecount == MIN_FRAMES_TO_POST_BITRATE &&
1862       (parse->priv->post_min_bitrate || parse->priv->post_avg_bitrate
1863           || parse->priv->post_max_bitrate))
1864     parse->priv->tags_changed = TRUE;
1865
1866   if (G_LIKELY (parse->priv->framecount >= MIN_FRAMES_TO_POST_BITRATE)) {
1867     if (frame_bitrate < parse->priv->min_bitrate) {
1868       parse->priv->min_bitrate = frame_bitrate;
1869       if (parse->priv->post_min_bitrate)
1870         parse->priv->tags_changed = TRUE;
1871     }
1872
1873     if (frame_bitrate > parse->priv->max_bitrate) {
1874       parse->priv->max_bitrate = frame_bitrate;
1875       if (parse->priv->post_max_bitrate)
1876         parse->priv->tags_changed = TRUE;
1877     }
1878
1879     /* Only update the tag on a 2% change */
1880     if (parse->priv->post_avg_bitrate && parse->priv->avg_bitrate) {
1881       guint64 diffprev = gst_util_uint64_scale_int (100,
1882           ABSDIFF (parse->priv->avg_bitrate, parse->priv->posted_avg_bitrate),
1883           parse->priv->avg_bitrate);
1884       if (diffprev >= UPDATE_THRESHOLD)
1885         parse->priv->tags_changed = TRUE;
1886     }
1887   }
1888 }
1889
1890 /**
1891  * gst_base_parse_add_index_entry:
1892  * @parse: #GstBaseParse.
1893  * @offset: offset of entry
1894  * @ts: timestamp associated with offset
1895  * @key: whether entry refers to keyframe
1896  * @force: add entry disregarding sanity checks
1897  *
1898  * Adds an entry to the index associating @offset to @ts.  It is recommended
1899  * to only add keyframe entries.  @force allows to bypass checks, such as
1900  * whether the stream is (upstream) seekable, another entry is already "close"
1901  * to the new entry, etc.
1902  *
1903  * Returns: #gboolean indicating whether entry was added
1904  */
1905 gboolean
1906 gst_base_parse_add_index_entry (GstBaseParse * parse, guint64 offset,
1907     GstClockTime ts, gboolean key, gboolean force)
1908 {
1909   gboolean ret = FALSE;
1910   GstIndexAssociation associations[2];
1911
1912   GST_LOG_OBJECT (parse, "Adding key=%d index entry %" GST_TIME_FORMAT
1913       " @ offset 0x%08" G_GINT64_MODIFIER "x", key, GST_TIME_ARGS (ts), offset);
1914
1915   if (G_LIKELY (!force)) {
1916
1917     if (!parse->priv->upstream_seekable) {
1918       GST_DEBUG_OBJECT (parse, "upstream not seekable; discarding");
1919       goto exit;
1920     }
1921
1922     /* FIXME need better helper data structure that handles these issues
1923      * related to ongoing collecting of index entries */
1924     if (parse->priv->index_last_offset + parse->priv->idx_byte_interval >=
1925         (gint64) offset) {
1926       GST_LOG_OBJECT (parse,
1927           "already have entries up to offset 0x%08" G_GINT64_MODIFIER "x",
1928           parse->priv->index_last_offset + parse->priv->idx_byte_interval);
1929       goto exit;
1930     }
1931
1932     if (GST_CLOCK_TIME_IS_VALID (parse->priv->index_last_ts) &&
1933         GST_CLOCK_DIFF (parse->priv->index_last_ts, ts) <
1934         parse->priv->idx_interval) {
1935       GST_LOG_OBJECT (parse, "entry too close to last time %" GST_TIME_FORMAT,
1936           GST_TIME_ARGS (parse->priv->index_last_ts));
1937       goto exit;
1938     }
1939
1940     /* if last is not really the last one */
1941     if (!parse->priv->index_last_valid) {
1942       GstClockTime prev_ts;
1943
1944       gst_base_parse_find_offset (parse, ts, TRUE, &prev_ts);
1945       if (GST_CLOCK_DIFF (prev_ts, ts) < parse->priv->idx_interval) {
1946         GST_LOG_OBJECT (parse,
1947             "entry too close to existing entry %" GST_TIME_FORMAT,
1948             GST_TIME_ARGS (prev_ts));
1949         parse->priv->index_last_offset = offset;
1950         parse->priv->index_last_ts = ts;
1951         goto exit;
1952       }
1953     }
1954   }
1955
1956   associations[0].format = GST_FORMAT_TIME;
1957   associations[0].value = ts;
1958   associations[1].format = GST_FORMAT_BYTES;
1959   associations[1].value = offset;
1960
1961   /* index might change on-the-fly, although that would be nutty app ... */
1962   GST_BASE_PARSE_INDEX_LOCK (parse);
1963   gst_index_add_associationv (parse->priv->index, parse->priv->index_id,
1964       (key) ? GST_INDEX_ASSOCIATION_FLAG_KEY_UNIT :
1965       GST_INDEX_ASSOCIATION_FLAG_DELTA_UNIT, 2,
1966       (const GstIndexAssociation *) &associations);
1967   GST_BASE_PARSE_INDEX_UNLOCK (parse);
1968
1969   if (key) {
1970     parse->priv->index_last_offset = offset;
1971     parse->priv->index_last_ts = ts;
1972   }
1973
1974   ret = TRUE;
1975
1976 exit:
1977   return ret;
1978 }
1979
1980 /* check for seekable upstream, above and beyond a mere query */
1981 static void
1982 gst_base_parse_check_seekability (GstBaseParse * parse)
1983 {
1984   GstQuery *query;
1985   gboolean seekable = FALSE;
1986   gint64 start = -1, stop = -1;
1987   guint idx_interval = 0;
1988   guint64 idx_byte_interval = 0;
1989
1990   query = gst_query_new_seeking (GST_FORMAT_BYTES);
1991   if (!gst_pad_peer_query (parse->sinkpad, query)) {
1992     GST_DEBUG_OBJECT (parse, "seeking query failed");
1993     goto done;
1994   }
1995
1996   gst_query_parse_seeking (query, NULL, &seekable, &start, &stop);
1997
1998   /* try harder to query upstream size if we didn't get it the first time */
1999   if (seekable && stop == -1) {
2000     GST_DEBUG_OBJECT (parse, "doing duration query to fix up unset stop");
2001     gst_pad_peer_query_duration (parse->sinkpad, GST_FORMAT_BYTES, &stop);
2002   }
2003
2004   /* if upstream doesn't know the size, it's likely that it's not seekable in
2005    * practice even if it technically may be seekable */
2006   if (seekable && (start != 0 || stop <= start)) {
2007     GST_DEBUG_OBJECT (parse, "seekable but unknown start/stop -> disable");
2008     seekable = FALSE;
2009   }
2010
2011   /* let's not put every single frame into our index */
2012   if (seekable) {
2013     if (stop < 10 * 1024 * 1024)
2014       idx_interval = 100;
2015     else if (stop < 100 * 1024 * 1024)
2016       idx_interval = 500;
2017     else
2018       idx_interval = 1000;
2019
2020     /* ensure that even for large files (e.g. very long audio files), the index
2021      * stays reasonably-size, with some arbitrary limit to the total number of
2022      * index entries */
2023     idx_byte_interval = (stop - start) / MAX_INDEX_ENTRIES;
2024     GST_DEBUG_OBJECT (parse,
2025         "Limiting index entries to %d, indexing byte interval %"
2026         G_GUINT64_FORMAT " bytes", MAX_INDEX_ENTRIES, idx_byte_interval);
2027   }
2028
2029 done:
2030   gst_query_unref (query);
2031
2032   GST_DEBUG_OBJECT (parse, "seekable: %d (%" G_GUINT64_FORMAT " - %"
2033       G_GUINT64_FORMAT ")", seekable, start, stop);
2034   parse->priv->upstream_seekable = seekable;
2035   parse->priv->upstream_size = seekable ? stop : 0;
2036
2037   GST_DEBUG_OBJECT (parse, "idx_interval: %ums", idx_interval);
2038   parse->priv->idx_interval = idx_interval * GST_MSECOND;
2039   parse->priv->idx_byte_interval = idx_byte_interval;
2040 }
2041
2042 /* some misc checks on upstream */
2043 static void
2044 gst_base_parse_check_upstream (GstBaseParse * parse)
2045 {
2046   gint64 stop;
2047
2048   if (gst_pad_peer_query_duration (parse->sinkpad, GST_FORMAT_TIME, &stop))
2049     if (GST_CLOCK_TIME_IS_VALID (stop) && stop) {
2050       /* upstream has one, accept it also, and no further updates */
2051       gst_base_parse_set_duration (parse, GST_FORMAT_TIME, stop, 0);
2052       parse->priv->upstream_has_duration = TRUE;
2053     }
2054
2055   GST_DEBUG_OBJECT (parse, "upstream_has_duration: %d",
2056       parse->priv->upstream_has_duration);
2057 }
2058
2059 /* checks src caps to determine if dealing with audio or video */
2060 /* TODO maybe forego automagic stuff and let subclass configure it ? */
2061 static void
2062 gst_base_parse_check_media (GstBaseParse * parse)
2063 {
2064   GstCaps *caps;
2065   GstStructure *s;
2066
2067   caps = gst_pad_get_current_caps (parse->srcpad);
2068   if (G_LIKELY (caps) && (s = gst_caps_get_structure (caps, 0))) {
2069     parse->priv->is_video =
2070         g_str_has_prefix (gst_structure_get_name (s), "video");
2071   } else {
2072     /* historical default */
2073     parse->priv->is_video = FALSE;
2074   }
2075   if (caps)
2076     gst_caps_unref (caps);
2077
2078   parse->priv->checked_media = TRUE;
2079   GST_DEBUG_OBJECT (parse, "media is video: %d", parse->priv->is_video);
2080 }
2081
2082 /* takes ownership of frame */
2083 static void
2084 gst_base_parse_queue_frame (GstBaseParse * parse, GstBaseParseFrame * frame)
2085 {
2086   if (!(frame->_private_flags & GST_BASE_PARSE_FRAME_PRIVATE_FLAG_NOALLOC)) {
2087     /* frame allocated on the heap, we can just take ownership */
2088     g_queue_push_tail (&parse->priv->queued_frames, frame);
2089     GST_TRACE ("queued frame %p", frame);
2090   } else {
2091     GstBaseParseFrame *copy;
2092
2093     /* probably allocated on the stack, must make a proper copy */
2094     copy = gst_base_parse_frame_copy (frame);
2095     g_queue_push_tail (&parse->priv->queued_frames, copy);
2096     GST_TRACE ("queued frame %p (copy of %p)", copy, frame);
2097     gst_base_parse_frame_free (frame);
2098   }
2099 }
2100
2101 /* makes sure that @buf is properly prepared and decorated for passing
2102  * to baseclass, and an equally setup frame is returned setup with @buf.
2103  * Takes ownership of @buf. */
2104 static GstBaseParseFrame *
2105 gst_base_parse_prepare_frame (GstBaseParse * parse, GstBuffer * buffer)
2106 {
2107   GstBaseParseFrame *frame = NULL;
2108
2109   buffer = gst_buffer_make_writable (buffer);
2110
2111   GST_LOG_OBJECT (parse,
2112       "preparing frame at offset %" G_GUINT64_FORMAT
2113       " (%#" G_GINT64_MODIFIER "x) of size %" G_GSIZE_FORMAT,
2114       GST_BUFFER_OFFSET (buffer), GST_BUFFER_OFFSET (buffer),
2115       gst_buffer_get_size (buffer));
2116
2117   GST_BUFFER_OFFSET (buffer) = parse->priv->offset;
2118
2119   gst_base_parse_update_flags (parse);
2120
2121   frame = gst_base_parse_frame_new (buffer, 0, 0);
2122   gst_buffer_unref (buffer);
2123   gst_base_parse_update_frame (parse, frame);
2124
2125   /* clear flags for next frame */
2126   parse->priv->discont = FALSE;
2127   parse->priv->new_frame = FALSE;
2128
2129   /* use default handler to provide initial (upstream) metadata */
2130   gst_base_parse_parse_frame (parse, frame);
2131
2132   return frame;
2133 }
2134
2135 /* Wraps buffer in a frame and dispatches to subclass.
2136  * Also manages data skipping and offset handling (including adapter flushing).
2137  * Takes ownership of @buffer */
2138 static GstFlowReturn
2139 gst_base_parse_handle_buffer (GstBaseParse * parse, GstBuffer * buffer,
2140     gint * skip, gint * flushed)
2141 {
2142   GstBaseParseClass *klass = GST_BASE_PARSE_GET_CLASS (parse);
2143   GstBaseParseFrame *frame;
2144   GstFlowReturn ret;
2145
2146   g_return_val_if_fail (skip != NULL || flushed != NULL, GST_FLOW_ERROR);
2147
2148   GST_LOG_OBJECT (parse,
2149       "handling buffer of size %" G_GSIZE_FORMAT " with dts %" GST_TIME_FORMAT
2150       ", pts %" GST_TIME_FORMAT ", duration %" GST_TIME_FORMAT,
2151       gst_buffer_get_size (buffer), GST_TIME_ARGS (GST_BUFFER_DTS (buffer)),
2152       GST_TIME_ARGS (GST_BUFFER_PTS (buffer)),
2153       GST_TIME_ARGS (GST_BUFFER_DURATION (buffer)));
2154
2155   /* track what is being flushed during this single round of frame processing */
2156   parse->priv->flushed = 0;
2157   *skip = 0;
2158
2159   /* make it easy for _finish_frame to pick up input data */
2160   if (parse->priv->pad_mode == GST_PAD_MODE_PULL) {
2161     gst_buffer_ref (buffer);
2162     gst_adapter_push (parse->priv->adapter, buffer);
2163   }
2164
2165   frame = gst_base_parse_prepare_frame (parse, buffer);
2166   ret = klass->handle_frame (parse, frame, skip);
2167
2168   *flushed = parse->priv->flushed;
2169
2170   GST_LOG_OBJECT (parse, "handle_frame skipped %d, flushed %d",
2171       *skip, *flushed);
2172
2173   /* subclass can only do one of these, or semantics are too unclear */
2174   g_assert (*skip == 0 || *flushed == 0);
2175
2176   /* track skipping */
2177   if (*skip > 0) {
2178     GstClockTime pts, dts;
2179     GstBuffer *outbuf;
2180
2181     GST_LOG_OBJECT (parse, "finding sync, skipping %d bytes", *skip);
2182     if (parse->segment.rate < 0.0 && !parse->priv->buffers_queued) {
2183       /* reverse playback, and no frames found yet, so we are skipping
2184        * the leading part of a fragment, which may form the tail of
2185        * fragment coming later, hopefully subclass skips efficiently ... */
2186       pts = gst_adapter_prev_pts (parse->priv->adapter, NULL);
2187       dts = gst_adapter_prev_dts (parse->priv->adapter, NULL);
2188       outbuf = gst_adapter_take_buffer (parse->priv->adapter, *skip);
2189       outbuf = gst_buffer_make_writable (outbuf);
2190       GST_BUFFER_PTS (outbuf) = pts;
2191       GST_BUFFER_DTS (outbuf) = dts;
2192       parse->priv->buffers_head =
2193           g_slist_prepend (parse->priv->buffers_head, outbuf);
2194       outbuf = NULL;
2195     } else {
2196       /* If we're asked to skip more than is available in the adapter,
2197          we need to remember what we need to skip for next iteration */
2198       gsize av = gst_adapter_available (parse->priv->adapter);
2199       GST_DEBUG ("Asked to skip %u (%" G_GSIZE_FORMAT " available)", *skip, av);
2200       if (av >= *skip) {
2201         gst_adapter_flush (parse->priv->adapter, *skip);
2202       } else {
2203         GST_DEBUG
2204             ("This is more than available, flushing %" G_GSIZE_FORMAT
2205             ", storing %u to skip", av, (guint) (*skip - av));
2206         parse->priv->skip = *skip - av;
2207         gst_adapter_flush (parse->priv->adapter, av);
2208         *skip = av;
2209       }
2210     }
2211     if (!parse->priv->discont)
2212       parse->priv->sync_offset = parse->priv->offset;
2213     parse->priv->offset += *skip;
2214     parse->priv->discont = TRUE;
2215     /* check for indefinite skipping */
2216     if (ret == GST_FLOW_OK)
2217       ret = gst_base_parse_check_sync (parse);
2218   }
2219
2220   parse->priv->offset += *flushed;
2221
2222   if (parse->priv->pad_mode == GST_PAD_MODE_PULL) {
2223     gst_adapter_clear (parse->priv->adapter);
2224   }
2225
2226   if (*skip == 0 && *flushed == 0) {
2227     /* Carry over discont if we need more data */
2228     if (GST_BUFFER_IS_DISCONT (frame->buffer))
2229       parse->priv->discont = TRUE;
2230   }
2231
2232   gst_base_parse_frame_free (frame);
2233
2234   return ret;
2235 }
2236
2237 /* gst_base_parse_push_pending_events:
2238  * @parse: #GstBaseParse
2239  *
2240  * Pushes the pending events
2241  */
2242 static void
2243 gst_base_parse_push_pending_events (GstBaseParse * parse)
2244 {
2245   if (G_UNLIKELY (parse->priv->pending_events)) {
2246     GList *r = g_list_reverse (parse->priv->pending_events);
2247     GList *l;
2248
2249     parse->priv->pending_events = NULL;
2250     for (l = r; l != NULL; l = l->next) {
2251       gst_pad_push_event (parse->srcpad, GST_EVENT_CAST (l->data));
2252     }
2253     g_list_free (r);
2254   }
2255 }
2256
2257 /* gst_base_parse_handle_and_push_frame:
2258  * @parse: #GstBaseParse.
2259  * @klass: #GstBaseParseClass.
2260  * @frame: (transfer full): a #GstBaseParseFrame
2261  *
2262  * Parses the frame from given buffer and pushes it forward. Also performs
2263  * timestamp handling and checks the segment limits.
2264  *
2265  * This is called with srcpad STREAM_LOCK held.
2266  *
2267  * Returns: #GstFlowReturn
2268  */
2269 static GstFlowReturn
2270 gst_base_parse_handle_and_push_frame (GstBaseParse * parse,
2271     GstBaseParseFrame * frame)
2272 {
2273   gint64 offset;
2274   GstBuffer *buffer;
2275
2276   g_return_val_if_fail (frame != NULL, GST_FLOW_ERROR);
2277
2278   buffer = frame->buffer;
2279   offset = frame->offset;
2280
2281   /* check if subclass/format can provide ts.
2282    * If so, that allows and enables extra seek and duration determining options */
2283   if (G_UNLIKELY (parse->priv->first_frame_offset < 0)) {
2284     if (GST_BUFFER_PTS_IS_VALID (buffer) && parse->priv->has_timing_info
2285         && parse->priv->pad_mode == GST_PAD_MODE_PULL) {
2286       parse->priv->first_frame_offset = offset;
2287       parse->priv->first_frame_pts = GST_BUFFER_PTS (buffer);
2288       parse->priv->first_frame_dts = GST_BUFFER_DTS (buffer);
2289       GST_DEBUG_OBJECT (parse, "subclass provided dts %" GST_TIME_FORMAT
2290           ", pts %" GST_TIME_FORMAT " for first frame at offset %"
2291           G_GINT64_FORMAT, GST_TIME_ARGS (parse->priv->first_frame_dts),
2292           GST_TIME_ARGS (parse->priv->first_frame_pts),
2293           parse->priv->first_frame_offset);
2294       if (!GST_CLOCK_TIME_IS_VALID (parse->priv->duration)) {
2295         gint64 off;
2296         GstClockTime last_ts = G_MAXINT64;
2297
2298         GST_DEBUG_OBJECT (parse, "no duration; trying scan to determine");
2299         gst_base_parse_locate_time (parse, &last_ts, &off);
2300         if (GST_CLOCK_TIME_IS_VALID (last_ts))
2301           gst_base_parse_set_duration (parse, GST_FORMAT_TIME, last_ts, 0);
2302       }
2303     } else {
2304       /* disable further checks */
2305       parse->priv->first_frame_offset = 0;
2306     }
2307   }
2308
2309   /* track upstream time if provided, not subclass' internal notion of it */
2310   if (parse->priv->upstream_format == GST_FORMAT_TIME) {
2311     GST_BUFFER_PTS (frame->buffer) = GST_CLOCK_TIME_NONE;
2312     GST_BUFFER_DTS (frame->buffer) = GST_CLOCK_TIME_NONE;
2313   }
2314
2315   /* interpolating and no valid pts yet,
2316    * start with dts and carry on from there */
2317   if (parse->priv->infer_ts && parse->priv->pts_interpolate
2318       && !GST_CLOCK_TIME_IS_VALID (parse->priv->next_pts))
2319     parse->priv->next_pts = parse->priv->next_dts;
2320
2321   /* again use default handler to add missing metadata;
2322    * we may have new information on frame properties */
2323   gst_base_parse_parse_frame (parse, frame);
2324
2325   parse->priv->next_pts = GST_CLOCK_TIME_NONE;
2326   if (GST_BUFFER_DTS_IS_VALID (buffer) && GST_BUFFER_DURATION_IS_VALID (buffer)) {
2327     parse->priv->next_dts =
2328         GST_BUFFER_DTS (buffer) + GST_BUFFER_DURATION (buffer);
2329     if (parse->priv->pts_interpolate && GST_BUFFER_PTS_IS_VALID (buffer)) {
2330       GstClockTime next_pts =
2331           GST_BUFFER_PTS (buffer) + GST_BUFFER_DURATION (buffer);
2332       if (next_pts >= parse->priv->next_dts)
2333         parse->priv->next_pts = next_pts;
2334     }
2335   } else {
2336     /* we lost track, do not produce bogus time next time around
2337      * (probably means parser subclass has given up on parsing as well) */
2338     GST_DEBUG_OBJECT (parse, "no next fallback timestamp");
2339     parse->priv->next_dts = GST_CLOCK_TIME_NONE;
2340   }
2341
2342   if (parse->priv->upstream_seekable && parse->priv->exact_position &&
2343       GST_BUFFER_PTS_IS_VALID (buffer))
2344     gst_base_parse_add_index_entry (parse, offset,
2345         GST_BUFFER_PTS (buffer),
2346         !GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_DELTA_UNIT), FALSE);
2347
2348   /* All OK, push queued frames if there are any */
2349   if (G_UNLIKELY (!g_queue_is_empty (&parse->priv->queued_frames))) {
2350     GstBaseParseFrame *queued_frame;
2351
2352     while ((queued_frame = g_queue_pop_head (&parse->priv->queued_frames))) {
2353       gst_base_parse_push_frame (parse, queued_frame);
2354       gst_base_parse_frame_free (queued_frame);
2355     }
2356   }
2357
2358   return gst_base_parse_push_frame (parse, frame);
2359 }
2360
2361 /**
2362  * gst_base_parse_push_frame:
2363  * @parse: #GstBaseParse.
2364  * @frame: (transfer none): a #GstBaseParseFrame
2365  *
2366  * Pushes the frame's buffer downstream, sends any pending events and
2367  * does some timestamp and segment handling. Takes ownership of
2368  * frame's buffer, though caller retains ownership of @frame.
2369  *
2370  * This must be called with sinkpad STREAM_LOCK held.
2371  *
2372  * Returns: #GstFlowReturn
2373  */
2374 GstFlowReturn
2375 gst_base_parse_push_frame (GstBaseParse * parse, GstBaseParseFrame * frame)
2376 {
2377   GstFlowReturn ret = GST_FLOW_OK;
2378   GstClockTime last_start = GST_CLOCK_TIME_NONE;
2379   GstClockTime last_stop = GST_CLOCK_TIME_NONE;
2380   GstBaseParseClass *klass = GST_BASE_PARSE_GET_CLASS (parse);
2381   GstBuffer *buffer;
2382   gsize size;
2383
2384   g_return_val_if_fail (frame != NULL, GST_FLOW_ERROR);
2385   g_return_val_if_fail (frame->buffer != NULL, GST_FLOW_ERROR);
2386
2387   GST_TRACE_OBJECT (parse, "pushing frame %p", frame);
2388
2389   buffer = frame->buffer;
2390
2391   GST_LOG_OBJECT (parse,
2392       "processing buffer of size %" G_GSIZE_FORMAT " with dts %" GST_TIME_FORMAT
2393       ", pts %" GST_TIME_FORMAT ", duration %" GST_TIME_FORMAT,
2394       gst_buffer_get_size (buffer),
2395       GST_TIME_ARGS (GST_BUFFER_DTS (buffer)),
2396       GST_TIME_ARGS (GST_BUFFER_PTS (buffer)),
2397       GST_TIME_ARGS (GST_BUFFER_DURATION (buffer)));
2398
2399   /* update stats */
2400   parse->priv->bytecount += frame->size;
2401   if (G_LIKELY (!(frame->flags & GST_BASE_PARSE_FRAME_FLAG_NO_FRAME))) {
2402     parse->priv->framecount++;
2403     if (GST_BUFFER_DURATION_IS_VALID (buffer)) {
2404       parse->priv->acc_duration += GST_BUFFER_DURATION (buffer);
2405     }
2406   }
2407   /* 0 means disabled */
2408   if (parse->priv->update_interval < 0)
2409     parse->priv->update_interval = 50;
2410   else if (parse->priv->update_interval > 0 &&
2411       (parse->priv->framecount % parse->priv->update_interval) == 0)
2412     gst_base_parse_update_duration (parse);
2413
2414   if (GST_BUFFER_PTS_IS_VALID (buffer))
2415     last_start = last_stop = GST_BUFFER_PTS (buffer);
2416   if (last_start != GST_CLOCK_TIME_NONE
2417       && GST_BUFFER_DURATION_IS_VALID (buffer))
2418     last_stop = last_start + GST_BUFFER_DURATION (buffer);
2419
2420   /* should have caps by now */
2421   if (!gst_pad_has_current_caps (parse->srcpad))
2422     goto no_caps;
2423
2424   if (G_UNLIKELY (!parse->priv->checked_media)) {
2425     /* have caps; check identity */
2426     gst_base_parse_check_media (parse);
2427   }
2428
2429   if (parse->priv->tags_changed) {
2430     gst_base_parse_queue_tag_event_update (parse);
2431     parse->priv->tags_changed = FALSE;
2432   }
2433
2434   /* Push pending events, including SEGMENT events */
2435   gst_base_parse_push_pending_events (parse);
2436
2437   /* segment adjustment magic; only if we are running the whole show */
2438   if (!parse->priv->passthrough && parse->segment.rate > 0.0 &&
2439       (parse->priv->pad_mode == GST_PAD_MODE_PULL ||
2440           parse->priv->upstream_seekable)) {
2441     /* handle gaps */
2442     if (GST_CLOCK_TIME_IS_VALID (parse->segment.position) &&
2443         GST_CLOCK_TIME_IS_VALID (last_start)) {
2444       GstClockTimeDiff diff;
2445
2446       /* only send newsegments with increasing start times,
2447        * otherwise if these go back and forth downstream (sinks) increase
2448        * accumulated time and running_time */
2449       diff = GST_CLOCK_DIFF (parse->segment.position, last_start);
2450       if (G_UNLIKELY (diff > 2 * GST_SECOND
2451               && last_start > parse->segment.start
2452               && (!GST_CLOCK_TIME_IS_VALID (parse->segment.stop)
2453                   || last_start < parse->segment.stop))) {
2454
2455         GST_DEBUG_OBJECT (parse,
2456             "Gap of %" G_GINT64_FORMAT " ns detected in stream " "(%"
2457             GST_TIME_FORMAT " -> %" GST_TIME_FORMAT "). "
2458             "Sending updated SEGMENT events", diff,
2459             GST_TIME_ARGS (parse->segment.position),
2460             GST_TIME_ARGS (last_start));
2461
2462         /* skip gap FIXME */
2463         gst_pad_push_event (parse->srcpad,
2464             gst_event_new_segment (&parse->segment));
2465
2466         parse->segment.position = last_start;
2467       }
2468     }
2469   }
2470
2471   /* update bitrates and optionally post corresponding tags
2472    * (following newsegment) */
2473   gst_base_parse_update_bitrates (parse, frame);
2474
2475   if (klass->pre_push_frame) {
2476     ret = klass->pre_push_frame (parse, frame);
2477   } else {
2478     frame->flags |= GST_BASE_PARSE_FRAME_FLAG_CLIP;
2479   }
2480
2481   /* Push pending events, if there are any new ones
2482    * like tags added by pre_push_frame */
2483   if (parse->priv->tags_changed) {
2484     gst_base_parse_queue_tag_event_update (parse);
2485     parse->priv->tags_changed = FALSE;
2486   }
2487   gst_base_parse_push_pending_events (parse);
2488
2489   /* take final ownership of frame buffer */
2490   if (frame->out_buffer) {
2491     buffer = frame->out_buffer;
2492     frame->out_buffer = NULL;
2493     gst_buffer_replace (&frame->buffer, NULL);
2494   } else {
2495     buffer = frame->buffer;
2496     frame->buffer = NULL;
2497   }
2498
2499   /* subclass must play nice */
2500   g_return_val_if_fail (buffer != NULL, GST_FLOW_ERROR);
2501
2502   size = gst_buffer_get_size (buffer);
2503
2504   parse->priv->seen_keyframe |= parse->priv->is_video &&
2505       !GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_DELTA_UNIT);
2506
2507   if (frame->flags & GST_BASE_PARSE_FRAME_FLAG_CLIP) {
2508     if (GST_BUFFER_TIMESTAMP_IS_VALID (buffer) &&
2509         GST_CLOCK_TIME_IS_VALID (parse->segment.stop) &&
2510         GST_BUFFER_TIMESTAMP (buffer) >
2511         parse->segment.stop + parse->priv->lead_out_ts) {
2512       GST_LOG_OBJECT (parse, "Dropped frame, after segment");
2513       ret = GST_FLOW_EOS;
2514     } else if (GST_BUFFER_TIMESTAMP_IS_VALID (buffer) &&
2515         GST_BUFFER_DURATION_IS_VALID (buffer) &&
2516         GST_CLOCK_TIME_IS_VALID (parse->segment.start) &&
2517         GST_BUFFER_TIMESTAMP (buffer) + GST_BUFFER_DURATION (buffer) +
2518         parse->priv->lead_in_ts < parse->segment.start) {
2519       if (parse->priv->seen_keyframe) {
2520         GST_LOG_OBJECT (parse, "Frame before segment, after keyframe");
2521         ret = GST_FLOW_OK;
2522       } else {
2523         GST_LOG_OBJECT (parse, "Dropped frame, before segment");
2524         ret = GST_BASE_PARSE_FLOW_DROPPED;
2525       }
2526     } else {
2527       ret = GST_FLOW_OK;
2528     }
2529   }
2530
2531   if (ret == GST_BASE_PARSE_FLOW_DROPPED) {
2532     GST_LOG_OBJECT (parse, "frame (%" G_GSIZE_FORMAT " bytes) dropped", size);
2533     if (GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_DISCONT))
2534       parse->priv->discont = TRUE;
2535     gst_buffer_unref (buffer);
2536     ret = GST_FLOW_OK;
2537   } else if (ret == GST_FLOW_OK) {
2538     if (parse->segment.rate > 0.0) {
2539       GST_LOG_OBJECT (parse, "pushing frame (%" G_GSIZE_FORMAT " bytes) now..",
2540           size);
2541       ret = gst_pad_push (parse->srcpad, buffer);
2542       GST_LOG_OBJECT (parse, "frame pushed, flow %s", gst_flow_get_name (ret));
2543     } else if (!parse->priv->disable_passthrough && parse->priv->passthrough) {
2544
2545       /* in backwards playback mode, if on passthrough we need to push buffers
2546        * directly without accumulating them into the buffers_queued as baseparse
2547        * will never check for a DISCONT while on passthrough and those buffers
2548        * will never be pushed.
2549        *
2550        * also, as we are on reverse playback, it might be possible that
2551        * passthrough might have just been enabled, so make sure to drain the
2552        * buffers_queued list */
2553       if (G_UNLIKELY (parse->priv->buffers_queued != NULL)) {
2554         gst_base_parse_finish_fragment (parse, TRUE);
2555         ret = gst_base_parse_send_buffers (parse);
2556       }
2557
2558       if (ret == GST_FLOW_OK) {
2559         GST_LOG_OBJECT (parse,
2560             "pushing frame (%" G_GSIZE_FORMAT " bytes) now..", size);
2561         ret = gst_pad_push (parse->srcpad, buffer);
2562         GST_LOG_OBJECT (parse, "frame pushed, flow %s",
2563             gst_flow_get_name (ret));
2564       } else {
2565         GST_LOG_OBJECT (parse,
2566             "frame (%" G_GSIZE_FORMAT " bytes) not pushed: %s", size,
2567             gst_flow_get_name (ret));
2568         gst_buffer_unref (buffer);
2569       }
2570
2571     } else {
2572       GST_LOG_OBJECT (parse, "frame (%" G_GSIZE_FORMAT " bytes) queued for now",
2573           size);
2574       parse->priv->buffers_queued =
2575           g_slist_prepend (parse->priv->buffers_queued, buffer);
2576       ret = GST_FLOW_OK;
2577     }
2578   } else {
2579     GST_LOG_OBJECT (parse, "frame (%" G_GSIZE_FORMAT " bytes) not pushed: %s",
2580         size, gst_flow_get_name (ret));
2581     gst_buffer_unref (buffer);
2582     /* if we are not sufficiently in control, let upstream decide on EOS */
2583     if (ret == GST_FLOW_EOS && !parse->priv->disable_passthrough &&
2584         (parse->priv->passthrough ||
2585             (parse->priv->pad_mode == GST_PAD_MODE_PUSH &&
2586                 !parse->priv->upstream_seekable)))
2587       ret = GST_FLOW_OK;
2588   }
2589
2590   /* Update current running segment position */
2591   if ((ret == GST_FLOW_OK || ret == GST_FLOW_NOT_LINKED)
2592       && last_stop != GST_CLOCK_TIME_NONE
2593       && parse->segment.position < last_stop)
2594     parse->segment.position = last_stop;
2595
2596   return ret;
2597
2598   /* ERRORS */
2599 no_caps:
2600   {
2601     if (GST_PAD_IS_FLUSHING (parse->srcpad))
2602       return GST_FLOW_FLUSHING;
2603
2604     GST_ELEMENT_ERROR (parse, STREAM, DECODE, ("No caps set"), (NULL));
2605     return GST_FLOW_ERROR;
2606   }
2607 }
2608
2609 /**
2610  * gst_base_parse_finish_frame:
2611  * @parse: a #GstBaseParse
2612  * @frame: a #GstBaseParseFrame
2613  * @size: consumed input data represented by frame
2614  *
2615  * Collects parsed data and pushes this downstream.
2616  * Source pad caps must be set when this is called.
2617  *
2618  * If @frame's out_buffer is set, that will be used as subsequent frame data.
2619  * Otherwise, @size samples will be taken from the input and used for output,
2620  * and the output's metadata (timestamps etc) will be taken as (optionally)
2621  * set by the subclass on @frame's (input) buffer (which is otherwise
2622  * ignored for any but the above purpose/information).
2623  *
2624  * Note that the latter buffer is invalidated by this call, whereas the
2625  * caller retains ownership of @frame.
2626  *
2627  * Returns: a #GstFlowReturn that should be escalated to caller (of caller)
2628  */
2629 GstFlowReturn
2630 gst_base_parse_finish_frame (GstBaseParse * parse, GstBaseParseFrame * frame,
2631     gint size)
2632 {
2633   GstFlowReturn ret = GST_FLOW_OK;
2634
2635   g_return_val_if_fail (frame != NULL, GST_FLOW_ERROR);
2636   g_return_val_if_fail (frame->buffer != NULL, GST_FLOW_ERROR);
2637   g_return_val_if_fail (size > 0 || frame->out_buffer, GST_FLOW_ERROR);
2638   g_return_val_if_fail (gst_adapter_available (parse->priv->adapter) >= size,
2639       GST_FLOW_ERROR);
2640
2641   GST_LOG_OBJECT (parse, "finished frame at offset %" G_GUINT64_FORMAT ", "
2642       "flushing size %d", frame->offset, size);
2643
2644   /* some one-time start-up */
2645   if (G_UNLIKELY (parse->priv->framecount == 0)) {
2646     gst_base_parse_check_seekability (parse);
2647     gst_base_parse_check_upstream (parse);
2648   }
2649
2650   parse->priv->flushed += size;
2651
2652   if (parse->priv->scanning && frame->buffer) {
2653     if (!parse->priv->scanned_frame) {
2654       parse->priv->scanned_frame = gst_base_parse_frame_copy (frame);
2655     }
2656     goto exit;
2657   }
2658
2659   /* either PUSH or PULL mode arranges for adapter data */
2660   /* ensure output buffer */
2661   if (!frame->out_buffer) {
2662     GstBuffer *src, *dest;
2663
2664     frame->out_buffer = gst_adapter_take_buffer (parse->priv->adapter, size);
2665     dest = frame->out_buffer;
2666     src = frame->buffer;
2667     GST_BUFFER_PTS (dest) = GST_BUFFER_PTS (src);
2668     GST_BUFFER_DTS (dest) = GST_BUFFER_DTS (src);
2669     GST_BUFFER_OFFSET (dest) = GST_BUFFER_OFFSET (src);
2670     GST_BUFFER_DURATION (dest) = GST_BUFFER_DURATION (src);
2671     GST_BUFFER_OFFSET_END (dest) = GST_BUFFER_OFFSET_END (src);
2672     GST_MINI_OBJECT_FLAGS (dest) = GST_MINI_OBJECT_FLAGS (src);
2673   } else {
2674     gst_adapter_flush (parse->priv->adapter, size);
2675   }
2676
2677   /* use as input for subsequent processing */
2678   gst_buffer_replace (&frame->buffer, frame->out_buffer);
2679   gst_buffer_unref (frame->out_buffer);
2680   frame->out_buffer = NULL;
2681
2682   /* mark input size consumed */
2683   frame->size = size;
2684
2685   /* subclass might queue frames/data internally if it needs more
2686    * frames to decide on the format, or might request us to queue here. */
2687   if (frame->flags & GST_BASE_PARSE_FRAME_FLAG_DROP) {
2688     gst_buffer_replace (&frame->buffer, NULL);
2689     goto exit;
2690   } else if (frame->flags & GST_BASE_PARSE_FRAME_FLAG_QUEUE) {
2691     GstBaseParseFrame *copy;
2692
2693     copy = gst_base_parse_frame_copy (frame);
2694     copy->flags &= ~GST_BASE_PARSE_FRAME_FLAG_QUEUE;
2695     gst_base_parse_queue_frame (parse, copy);
2696     goto exit;
2697   }
2698
2699   ret = gst_base_parse_handle_and_push_frame (parse, frame);
2700
2701 exit:
2702   return ret;
2703 }
2704
2705 /* gst_base_parse_drain:
2706  *
2707  * Drains the adapter until it is empty. It decreases the min_frame_size to
2708  * match the current adapter size and calls chain method until the adapter
2709  * is emptied or chain returns with error.
2710  */
2711 void
2712 gst_base_parse_drain (GstBaseParse * parse)
2713 {
2714   guint avail;
2715
2716   GST_DEBUG_OBJECT (parse, "draining");
2717   parse->priv->drain = TRUE;
2718
2719   for (;;) {
2720     avail = gst_adapter_available (parse->priv->adapter);
2721     if (!avail)
2722       break;
2723
2724     if (gst_base_parse_chain (parse->sinkpad, GST_OBJECT_CAST (parse),
2725             NULL) != GST_FLOW_OK) {
2726       break;
2727     }
2728
2729     /* nothing changed, maybe due to truncated frame; break infinite loop */
2730     if (avail == gst_adapter_available (parse->priv->adapter)) {
2731       GST_DEBUG_OBJECT (parse, "no change during draining; flushing");
2732       gst_adapter_clear (parse->priv->adapter);
2733     }
2734   }
2735
2736   parse->priv->drain = FALSE;
2737 }
2738
2739 /* gst_base_parse_send_buffers
2740  *
2741  * Sends buffers collected in send_buffers downstream, and ensures that list
2742  * is empty at the end (errors or not).
2743  */
2744 static GstFlowReturn
2745 gst_base_parse_send_buffers (GstBaseParse * parse)
2746 {
2747   GSList *send = NULL;
2748   GstBuffer *buf;
2749   GstFlowReturn ret = GST_FLOW_OK;
2750   gboolean first = TRUE;
2751
2752   send = parse->priv->buffers_send;
2753
2754   /* send buffers */
2755   while (send) {
2756     buf = GST_BUFFER_CAST (send->data);
2757     GST_LOG_OBJECT (parse, "pushing buffer %p, dts %"
2758         GST_TIME_FORMAT ", pts %" GST_TIME_FORMAT ", duration %" GST_TIME_FORMAT
2759         ", offset %" G_GINT64_FORMAT, buf,
2760         GST_TIME_ARGS (GST_BUFFER_DTS (buf)),
2761         GST_TIME_ARGS (GST_BUFFER_PTS (buf)),
2762         GST_TIME_ARGS (GST_BUFFER_DURATION (buf)), GST_BUFFER_OFFSET (buf));
2763
2764     /* Make sure the first buffer is always DISCONT. If we split
2765      * GOPs inside the parser this is otherwise not guaranteed */
2766     if (first) {
2767       GST_BUFFER_FLAG_SET (buf, GST_BUFFER_FLAG_DISCONT);
2768       first = FALSE;
2769     }
2770
2771     /* iterate output queue an push downstream */
2772     ret = gst_pad_push (parse->srcpad, buf);
2773     send = g_slist_delete_link (send, send);
2774
2775     /* clear any leftover if error */
2776     if (G_UNLIKELY (ret != GST_FLOW_OK)) {
2777       while (send) {
2778         buf = GST_BUFFER_CAST (send->data);
2779         gst_buffer_unref (buf);
2780         send = g_slist_delete_link (send, send);
2781       }
2782     }
2783   }
2784
2785   parse->priv->buffers_send = send;
2786
2787   return ret;
2788 }
2789
2790 /* gst_base_parse_start_fragment:
2791  *
2792  * Prepares for processing a reverse playback (forward) fragment
2793  * by (re)setting proper state variables.
2794  */
2795 static GstFlowReturn
2796 gst_base_parse_start_fragment (GstBaseParse * parse)
2797 {
2798   GST_LOG_OBJECT (parse, "starting fragment");
2799
2800   /* invalidate so no fall-back timestamping is performed;
2801    * ok if taken from subclass or upstream */
2802   parse->priv->next_pts = GST_CLOCK_TIME_NONE;
2803   parse->priv->prev_pts = GST_CLOCK_TIME_NONE;
2804   parse->priv->next_dts = GST_CLOCK_TIME_NONE;
2805   parse->priv->prev_dts = GST_CLOCK_TIME_NONE;
2806   parse->priv->prev_dts_from_pts = FALSE;
2807   /* prevent it hanging around stop all the time */
2808   parse->segment.position = GST_CLOCK_TIME_NONE;
2809   /* mark next run */
2810   parse->priv->discont = TRUE;
2811
2812   /* head of previous fragment is now pending tail of current fragment */
2813   parse->priv->buffers_pending = parse->priv->buffers_head;
2814   parse->priv->buffers_head = NULL;
2815
2816   return GST_FLOW_OK;
2817 }
2818
2819
2820 /* gst_base_parse_finish_fragment:
2821  *
2822  * Processes a reverse playback (forward) fragment:
2823  * - append head of last fragment that was skipped to current fragment data
2824  * - drain the resulting current fragment data (i.e. repeated chain)
2825  * - add time/duration (if needed) to frames queued by chain
2826  * - push queued data
2827  */
2828 static GstFlowReturn
2829 gst_base_parse_finish_fragment (GstBaseParse * parse, gboolean prev_head)
2830 {
2831   GstBuffer *buf;
2832   GstFlowReturn ret = GST_FLOW_OK;
2833   gboolean seen_key = FALSE, seen_delta = FALSE;
2834
2835   GST_LOG_OBJECT (parse, "finishing fragment");
2836
2837   /* restore order */
2838   parse->priv->buffers_pending = g_slist_reverse (parse->priv->buffers_pending);
2839   while (parse->priv->buffers_pending) {
2840     buf = GST_BUFFER_CAST (parse->priv->buffers_pending->data);
2841     if (prev_head) {
2842       GST_LOG_OBJECT (parse, "adding pending buffer (size %" G_GSIZE_FORMAT ")",
2843           gst_buffer_get_size (buf));
2844       gst_adapter_push (parse->priv->adapter, buf);
2845     } else {
2846       GST_LOG_OBJECT (parse, "discarding head buffer");
2847       gst_buffer_unref (buf);
2848     }
2849     parse->priv->buffers_pending =
2850         g_slist_delete_link (parse->priv->buffers_pending,
2851         parse->priv->buffers_pending);
2852   }
2853
2854   /* chain looks for frames and queues resulting ones (in stead of pushing) */
2855   /* initial skipped data is added to buffers_pending */
2856   gst_base_parse_drain (parse);
2857
2858   if (parse->priv->buffers_send) {
2859     buf = GST_BUFFER_CAST (parse->priv->buffers_send->data);
2860     seen_key |= !GST_BUFFER_FLAG_IS_SET (buf, GST_BUFFER_FLAG_DELTA_UNIT);
2861   }
2862
2863   /* add metadata (if needed to queued buffers */
2864   GST_LOG_OBJECT (parse, "last timestamp: %" GST_TIME_FORMAT,
2865       GST_TIME_ARGS (parse->priv->last_pts));
2866   while (parse->priv->buffers_queued) {
2867     buf = GST_BUFFER_CAST (parse->priv->buffers_queued->data);
2868
2869     /* no touching if upstream or parsing provided time */
2870     if (GST_BUFFER_PTS_IS_VALID (buf)) {
2871       GST_LOG_OBJECT (parse, "buffer has time %" GST_TIME_FORMAT,
2872           GST_TIME_ARGS (GST_BUFFER_PTS (buf)));
2873     } else if (GST_BUFFER_DURATION_IS_VALID (buf)) {
2874       if (GST_CLOCK_TIME_IS_VALID (parse->priv->last_pts)) {
2875         if (G_LIKELY (GST_BUFFER_DURATION (buf) <= parse->priv->last_pts))
2876           parse->priv->last_pts -= GST_BUFFER_DURATION (buf);
2877         else
2878           parse->priv->last_pts = 0;
2879         GST_BUFFER_PTS (buf) = parse->priv->last_pts;
2880         GST_LOG_OBJECT (parse, "applied time %" GST_TIME_FORMAT,
2881             GST_TIME_ARGS (GST_BUFFER_PTS (buf)));
2882       }
2883       if (GST_CLOCK_TIME_IS_VALID (parse->priv->last_dts)) {
2884         if (G_LIKELY (GST_BUFFER_DURATION (buf) <= parse->priv->last_dts))
2885           parse->priv->last_dts -= GST_BUFFER_DURATION (buf);
2886         else
2887           parse->priv->last_dts = 0;
2888         GST_BUFFER_DTS (buf) = parse->priv->last_dts;
2889         GST_LOG_OBJECT (parse, "applied dts %" GST_TIME_FORMAT,
2890             GST_TIME_ARGS (GST_BUFFER_DTS (buf)));
2891       }
2892     } else {
2893       /* no idea, very bad */
2894       GST_WARNING_OBJECT (parse, "could not determine time for buffer");
2895     }
2896
2897     parse->priv->last_pts = GST_BUFFER_PTS (buf);
2898     parse->priv->last_dts = GST_BUFFER_DTS (buf);
2899
2900     /* reverse order for ascending sending */
2901     /* send downstream at keyframe not preceded by a keyframe
2902      * (e.g. that should identify start of collection of IDR nals) */
2903     if (GST_BUFFER_FLAG_IS_SET (buf, GST_BUFFER_FLAG_DELTA_UNIT)) {
2904       if (seen_key) {
2905         ret = gst_base_parse_send_buffers (parse);
2906         /* if a problem, throw all to sending */
2907         if (ret != GST_FLOW_OK) {
2908           parse->priv->buffers_send =
2909               g_slist_reverse (parse->priv->buffers_queued);
2910           parse->priv->buffers_queued = NULL;
2911           break;
2912         }
2913         seen_key = FALSE;
2914       }
2915       seen_delta = TRUE;
2916     } else {
2917       seen_key = TRUE;
2918     }
2919
2920     parse->priv->buffers_send =
2921         g_slist_prepend (parse->priv->buffers_send, buf);
2922     parse->priv->buffers_queued =
2923         g_slist_delete_link (parse->priv->buffers_queued,
2924         parse->priv->buffers_queued);
2925   }
2926
2927   /* audio may have all marked as keyframe, so arrange to send here. Also
2928    * we might have ended the loop above on a keyframe, in which case we
2929    * should */
2930   if (!seen_delta || seen_key)
2931     ret = gst_base_parse_send_buffers (parse);
2932
2933   /* any trailing unused no longer usable (ideally none) */
2934   if (G_UNLIKELY (gst_adapter_available (parse->priv->adapter))) {
2935     GST_DEBUG_OBJECT (parse, "discarding %" G_GSIZE_FORMAT " trailing bytes",
2936         gst_adapter_available (parse->priv->adapter));
2937     gst_adapter_clear (parse->priv->adapter);
2938   }
2939
2940   return ret;
2941 }
2942
2943 /* small helper that checks whether we have been trying to resync too long */
2944 static inline GstFlowReturn
2945 gst_base_parse_check_sync (GstBaseParse * parse)
2946 {
2947   if (G_UNLIKELY (parse->priv->discont &&
2948           parse->priv->offset - parse->priv->sync_offset > 2 * 1024 * 1024)) {
2949     GST_ELEMENT_ERROR (parse, STREAM, DECODE,
2950         ("Failed to parse stream"), (NULL));
2951     return GST_FLOW_ERROR;
2952   }
2953
2954   return GST_FLOW_OK;
2955 }
2956
2957 static GstFlowReturn
2958 gst_base_parse_process_streamheader (GstBaseParse * parse)
2959 {
2960   GstCaps *caps;
2961   GstStructure *str;
2962   const GValue *value;
2963   GstFlowReturn ret = GST_FLOW_OK;
2964
2965   caps = gst_pad_get_current_caps (GST_BASE_PARSE_SINK_PAD (parse));
2966   if (caps == NULL)
2967     goto notfound;
2968
2969   str = gst_caps_get_structure (caps, 0);
2970   value = gst_structure_get_value (str, "streamheader");
2971   if (value == NULL)
2972     goto notfound;
2973
2974   GST_DEBUG_OBJECT (parse, "Found streamheader field on input caps");
2975
2976   if (GST_VALUE_HOLDS_ARRAY (value)) {
2977     gint i;
2978     gsize len = gst_value_array_get_size (value);
2979
2980     for (i = 0; i < len; i++) {
2981       GstBuffer *buffer =
2982           gst_value_get_buffer (gst_value_array_get_value (value, i));
2983       ret =
2984           gst_base_parse_chain (GST_BASE_PARSE_SINK_PAD (parse),
2985           GST_OBJECT_CAST (parse), gst_buffer_ref (buffer));
2986     }
2987
2988   } else if (GST_VALUE_HOLDS_BUFFER (value)) {
2989     GstBuffer *buffer = gst_value_get_buffer (value);
2990     ret =
2991         gst_base_parse_chain (GST_BASE_PARSE_SINK_PAD (parse),
2992         GST_OBJECT_CAST (parse), gst_buffer_ref (buffer));
2993   }
2994
2995   gst_caps_unref (caps);
2996
2997   return ret;
2998
2999 notfound:
3000   {
3001     if (caps) {
3002       gst_caps_unref (caps);
3003     }
3004
3005     GST_DEBUG_OBJECT (parse, "No streamheader on caps");
3006     return GST_FLOW_OK;
3007   }
3008 }
3009
3010 static GstFlowReturn
3011 gst_base_parse_chain (GstPad * pad, GstObject * parent, GstBuffer * buffer)
3012 {
3013   GstBaseParseClass *bclass;
3014   GstBaseParse *parse;
3015   GstFlowReturn ret = GST_FLOW_OK;
3016   GstFlowReturn old_ret = GST_FLOW_OK;
3017   GstBuffer *tmpbuf = NULL;
3018   guint fsize = 1;
3019   gint skip = -1;
3020   guint min_size, av;
3021   GstClockTime pts, dts;
3022
3023   parse = GST_BASE_PARSE (parent);
3024   bclass = GST_BASE_PARSE_GET_CLASS (parse);
3025   GST_DEBUG_OBJECT (parent, "chain");
3026
3027   /* early out for speed, if we need to skip */
3028   if (buffer && GST_BUFFER_IS_DISCONT (buffer))
3029     parse->priv->skip = 0;
3030   if (parse->priv->skip > 0) {
3031     gsize bsize = gst_buffer_get_size (buffer);
3032     GST_DEBUG ("Got %" G_GSIZE_FORMAT " buffer, need to skip %u", bsize,
3033         parse->priv->skip);
3034     if (parse->priv->skip >= bsize) {
3035       parse->priv->skip -= bsize;
3036       GST_DEBUG ("All the buffer is skipped");
3037       parse->priv->offset += bsize;
3038       parse->priv->sync_offset = parse->priv->offset;
3039       return GST_FLOW_OK;
3040     }
3041     buffer = gst_buffer_make_writable (buffer);
3042     gst_buffer_resize (buffer, parse->priv->skip, bsize - parse->priv->skip);
3043     parse->priv->offset += parse->priv->skip;
3044     GST_DEBUG ("Done skipping, we have %u left on this buffer",
3045         (unsigned) (bsize - parse->priv->skip));
3046     parse->priv->skip = 0;
3047     parse->priv->discont = TRUE;
3048   }
3049
3050   if (G_UNLIKELY (parse->priv->first_buffer)) {
3051     parse->priv->first_buffer = FALSE;
3052     if (!GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_HEADER)) {
3053       /* this stream has no header buffers, check if we just prepend the
3054        * streamheader from caps to the stream */
3055       GST_DEBUG_OBJECT (parse, "Looking for streamheader field on caps to "
3056           "prepend to the stream");
3057       gst_base_parse_process_streamheader (parse);
3058     } else {
3059       GST_DEBUG_OBJECT (parse, "Stream has header buffers, not prepending "
3060           "streamheader from caps");
3061     }
3062   }
3063
3064   if (parse->priv->detecting) {
3065     GstBuffer *detect_buf;
3066
3067     if (parse->priv->detect_buffers_size == 0) {
3068       detect_buf = gst_buffer_ref (buffer);
3069     } else {
3070       GList *l;
3071       guint offset = 0;
3072
3073       detect_buf = gst_buffer_new ();
3074
3075       for (l = parse->priv->detect_buffers; l; l = l->next) {
3076         gsize tmpsize = gst_buffer_get_size (l->data);
3077
3078         gst_buffer_copy_into (detect_buf, GST_BUFFER_CAST (l->data),
3079             GST_BUFFER_COPY_MEMORY, offset, tmpsize);
3080         offset += tmpsize;
3081       }
3082       if (buffer)
3083         gst_buffer_copy_into (detect_buf, buffer, GST_BUFFER_COPY_MEMORY,
3084             offset, gst_buffer_get_size (buffer));
3085     }
3086
3087     ret = bclass->detect (parse, detect_buf);
3088     gst_buffer_unref (detect_buf);
3089
3090     if (ret == GST_FLOW_OK) {
3091       GList *l;
3092
3093       /* Detected something */
3094       parse->priv->detecting = FALSE;
3095
3096       for (l = parse->priv->detect_buffers; l; l = l->next) {
3097         if (ret == GST_FLOW_OK && !parse->priv->flushing)
3098           ret =
3099               gst_base_parse_chain (GST_BASE_PARSE_SINK_PAD (parse),
3100               parent, GST_BUFFER_CAST (l->data));
3101         else
3102           gst_buffer_unref (GST_BUFFER_CAST (l->data));
3103       }
3104       g_list_free (parse->priv->detect_buffers);
3105       parse->priv->detect_buffers = NULL;
3106       parse->priv->detect_buffers_size = 0;
3107
3108       if (ret != GST_FLOW_OK) {
3109         return ret;
3110       }
3111
3112       /* Handle the current buffer */
3113     } else if (ret == GST_FLOW_NOT_NEGOTIATED) {
3114       /* Still detecting, append buffer or error out if draining */
3115
3116       if (parse->priv->drain) {
3117         GST_DEBUG_OBJECT (parse, "Draining but did not detect format yet");
3118         return GST_FLOW_ERROR;
3119       } else if (parse->priv->flushing) {
3120         g_list_foreach (parse->priv->detect_buffers, (GFunc) gst_buffer_unref,
3121             NULL);
3122         g_list_free (parse->priv->detect_buffers);
3123         parse->priv->detect_buffers = NULL;
3124         parse->priv->detect_buffers_size = 0;
3125       } else {
3126         parse->priv->detect_buffers =
3127             g_list_append (parse->priv->detect_buffers, buffer);
3128         parse->priv->detect_buffers_size += gst_buffer_get_size (buffer);
3129         return GST_FLOW_OK;
3130       }
3131     } else {
3132       /* Something went wrong, subclass responsible for error reporting */
3133       return ret;
3134     }
3135
3136     /* And now handle the current buffer if detection worked */
3137   }
3138
3139   if (G_LIKELY (buffer)) {
3140     GST_LOG_OBJECT (parse,
3141         "buffer size: %" G_GSIZE_FORMAT ", offset = %" G_GINT64_FORMAT
3142         ", dts %" GST_TIME_FORMAT ", pts %" GST_TIME_FORMAT,
3143         gst_buffer_get_size (buffer), GST_BUFFER_OFFSET (buffer),
3144         GST_TIME_ARGS (GST_BUFFER_DTS (buffer)),
3145         GST_TIME_ARGS (GST_BUFFER_PTS (buffer)));
3146
3147     if (G_UNLIKELY (!parse->priv->disable_passthrough
3148             && parse->priv->passthrough)) {
3149       GstBaseParseFrame frame;
3150
3151       gst_base_parse_frame_init (&frame);
3152       frame.buffer = gst_buffer_make_writable (buffer);
3153       ret = gst_base_parse_push_frame (parse, &frame);
3154       gst_base_parse_frame_free (&frame);
3155       return ret;
3156     }
3157     if (G_UNLIKELY (GST_BUFFER_FLAG_IS_SET (buffer, GST_BUFFER_FLAG_DISCONT))) {
3158       /* upstream feeding us in reverse playback;
3159        * finish previous fragment and start new upon DISCONT */
3160       if (parse->segment.rate < 0.0) {
3161         GST_DEBUG_OBJECT (parse, "buffer starts new reverse playback fragment");
3162         ret = gst_base_parse_finish_fragment (parse, TRUE);
3163         gst_base_parse_start_fragment (parse);
3164       } else {
3165         /* discont in the stream, drain and mark discont for next output */
3166         gst_base_parse_drain (parse);
3167         parse->priv->discont = TRUE;
3168       }
3169     }
3170     gst_adapter_push (parse->priv->adapter, buffer);
3171   }
3172
3173   /* Parse and push as many frames as possible */
3174   /* Stop either when adapter is empty or we are flushing */
3175   while (!parse->priv->flushing) {
3176     gint flush = 0;
3177     gboolean updated_prev_pts = FALSE;
3178
3179     /* note: if subclass indicates MAX fsize,
3180      * this will not likely be available anyway ... */
3181     min_size = MAX (parse->priv->min_frame_size, fsize);
3182     av = gst_adapter_available (parse->priv->adapter);
3183
3184     if (G_UNLIKELY (parse->priv->drain)) {
3185       min_size = av;
3186       GST_DEBUG_OBJECT (parse, "draining, data left: %d", min_size);
3187       if (G_UNLIKELY (!min_size)) {
3188         goto done;
3189       }
3190     }
3191
3192     /* Collect at least min_frame_size bytes */
3193     if (av < min_size) {
3194       GST_DEBUG_OBJECT (parse, "not enough data available (only %d bytes)", av);
3195       goto done;
3196     }
3197
3198     /* move along with upstream timestamp (if any),
3199      * but interpolate in between */
3200     pts = gst_adapter_prev_pts (parse->priv->adapter, NULL);
3201     dts = gst_adapter_prev_dts (parse->priv->adapter, NULL);
3202     if (GST_CLOCK_TIME_IS_VALID (pts) && (parse->priv->prev_pts != pts)) {
3203       parse->priv->prev_pts = parse->priv->next_pts = pts;
3204       updated_prev_pts = TRUE;
3205     }
3206
3207     if (GST_CLOCK_TIME_IS_VALID (dts) && (parse->priv->prev_dts != dts)) {
3208       parse->priv->prev_dts = parse->priv->next_dts = dts;
3209       parse->priv->prev_dts_from_pts = FALSE;
3210     }
3211
3212     /* we can mess with, erm interpolate, timestamps,
3213      * and incoming stuff has PTS but no DTS seen so far,
3214      * then pick up DTS from PTS and hope for the best ... */
3215     if (parse->priv->infer_ts &&
3216         parse->priv->pts_interpolate &&
3217         !GST_CLOCK_TIME_IS_VALID (dts) &&
3218         (!GST_CLOCK_TIME_IS_VALID (parse->priv->prev_dts)
3219             || (parse->priv->prev_dts_from_pts && updated_prev_pts))
3220         && GST_CLOCK_TIME_IS_VALID (pts)) {
3221       parse->priv->prev_dts = parse->priv->next_dts = pts;
3222       parse->priv->prev_dts_from_pts = TRUE;
3223     }
3224
3225     /* always pass all available data */
3226     tmpbuf = gst_adapter_get_buffer (parse->priv->adapter, av);
3227
3228     /* already inform subclass what timestamps we have planned,
3229      * at least if provided by time-based upstream */
3230     if (parse->priv->upstream_format == GST_FORMAT_TIME) {
3231       tmpbuf = gst_buffer_make_writable (tmpbuf);
3232       GST_BUFFER_PTS (tmpbuf) = parse->priv->next_pts;
3233       GST_BUFFER_DTS (tmpbuf) = parse->priv->next_dts;
3234       GST_BUFFER_DURATION (tmpbuf) = GST_CLOCK_TIME_NONE;
3235     }
3236
3237     /* keep the adapter mapped, so keep track of what has to be flushed */
3238     ret = gst_base_parse_handle_buffer (parse, tmpbuf, &skip, &flush);
3239     tmpbuf = NULL;
3240
3241     if (ret != GST_FLOW_OK && ret != GST_FLOW_NOT_LINKED) {
3242       goto done;
3243     }
3244     if (skip == 0 && flush == 0) {
3245       GST_LOG_OBJECT (parse, "nothing skipped and no frames finished, "
3246           "breaking to get more data");
3247       /* ignore this return as it produced no data */
3248       ret = old_ret;
3249       goto done;
3250     }
3251     old_ret = ret;
3252   }
3253
3254 done:
3255   GST_LOG_OBJECT (parse, "chain leaving");
3256   return ret;
3257 }
3258
3259 /* pull @size bytes at current offset,
3260  * i.e. at least try to and possibly return a shorter buffer if near the end */
3261 static GstFlowReturn
3262 gst_base_parse_pull_range (GstBaseParse * parse, guint size,
3263     GstBuffer ** buffer)
3264 {
3265   GstFlowReturn ret = GST_FLOW_OK;
3266
3267   g_return_val_if_fail (buffer != NULL, GST_FLOW_ERROR);
3268
3269   /* Caching here actually makes much less difference than one would expect.
3270    * We do it mainly to avoid pulling buffers of 1 byte all the time */
3271   if (parse->priv->cache) {
3272     gint64 cache_offset = GST_BUFFER_OFFSET (parse->priv->cache);
3273     gint cache_size = gst_buffer_get_size (parse->priv->cache);
3274
3275     if (cache_offset <= parse->priv->offset &&
3276         (parse->priv->offset + size) <= (cache_offset + cache_size)) {
3277       *buffer = gst_buffer_copy_region (parse->priv->cache, GST_BUFFER_COPY_ALL,
3278           parse->priv->offset - cache_offset, size);
3279       GST_BUFFER_OFFSET (*buffer) = parse->priv->offset;
3280       return GST_FLOW_OK;
3281     }
3282     /* not enough data in the cache, free cache and get a new one */
3283     gst_buffer_unref (parse->priv->cache);
3284     parse->priv->cache = NULL;
3285   }
3286
3287   /* refill the cache */
3288   ret =
3289       gst_pad_pull_range (parse->sinkpad, parse->priv->offset, MAX (size,
3290           64 * 1024), &parse->priv->cache);
3291   if (ret != GST_FLOW_OK) {
3292     parse->priv->cache = NULL;
3293     return ret;
3294   }
3295
3296   if (gst_buffer_get_size (parse->priv->cache) >= size) {
3297     *buffer =
3298         gst_buffer_copy_region (parse->priv->cache, GST_BUFFER_COPY_ALL, 0,
3299         size);
3300     GST_BUFFER_OFFSET (*buffer) = parse->priv->offset;
3301     return GST_FLOW_OK;
3302   }
3303
3304   /* Not possible to get enough data, try a last time with
3305    * requesting exactly the size we need */
3306   gst_buffer_unref (parse->priv->cache);
3307   parse->priv->cache = NULL;
3308
3309   ret = gst_pad_pull_range (parse->sinkpad, parse->priv->offset, size,
3310       &parse->priv->cache);
3311
3312   if (ret != GST_FLOW_OK) {
3313     GST_DEBUG_OBJECT (parse, "pull_range returned %d", ret);
3314     *buffer = NULL;
3315     return ret;
3316   }
3317
3318   if (gst_buffer_get_size (parse->priv->cache) < size) {
3319     GST_DEBUG_OBJECT (parse, "Returning short buffer at offset %"
3320         G_GUINT64_FORMAT ": wanted %u bytes, got %" G_GSIZE_FORMAT " bytes",
3321         parse->priv->offset, size, gst_buffer_get_size (parse->priv->cache));
3322
3323     *buffer = parse->priv->cache;
3324     parse->priv->cache = NULL;
3325
3326     return GST_FLOW_OK;
3327   }
3328
3329   *buffer =
3330       gst_buffer_copy_region (parse->priv->cache, GST_BUFFER_COPY_ALL, 0, size);
3331   GST_BUFFER_OFFSET (*buffer) = parse->priv->offset;
3332
3333   return GST_FLOW_OK;
3334 }
3335
3336 static GstFlowReturn
3337 gst_base_parse_handle_previous_fragment (GstBaseParse * parse)
3338 {
3339   gint64 offset = 0;
3340   GstClockTime ts = 0;
3341   GstBuffer *buffer;
3342   GstFlowReturn ret;
3343
3344   GST_DEBUG_OBJECT (parse, "fragment ended; last_ts = %" GST_TIME_FORMAT
3345       ", last_offset = %" G_GINT64_FORMAT,
3346       GST_TIME_ARGS (parse->priv->last_pts), parse->priv->last_offset);
3347
3348   if (!parse->priv->last_offset
3349       || parse->priv->last_pts <= parse->segment.start) {
3350     GST_DEBUG_OBJECT (parse, "past start of segment %" GST_TIME_FORMAT,
3351         GST_TIME_ARGS (parse->segment.start));
3352     ret = GST_FLOW_EOS;
3353     goto exit;
3354   }
3355
3356   /* last fragment started at last_offset / last_ts;
3357    * seek back 10s capped at 1MB */
3358   if (parse->priv->last_pts >= 10 * GST_SECOND)
3359     ts = parse->priv->last_pts - 10 * GST_SECOND;
3360   /* if we are exact now, we will be more so going backwards */
3361   if (parse->priv->exact_position) {
3362     offset = gst_base_parse_find_offset (parse, ts, TRUE, NULL);
3363   } else {
3364     if (!gst_base_parse_convert (parse, GST_FORMAT_TIME, ts,
3365             GST_FORMAT_BYTES, &offset)) {
3366       GST_DEBUG_OBJECT (parse, "conversion failed, only BYTE based");
3367     }
3368   }
3369   offset = CLAMP (offset, parse->priv->last_offset - 1024 * 1024,
3370       parse->priv->last_offset - 1024);
3371   offset = MAX (0, offset);
3372
3373   GST_DEBUG_OBJECT (parse, "next fragment from offset %" G_GINT64_FORMAT,
3374       offset);
3375   parse->priv->offset = offset;
3376
3377   ret = gst_base_parse_pull_range (parse, parse->priv->last_offset - offset,
3378       &buffer);
3379   if (ret != GST_FLOW_OK)
3380     goto exit;
3381
3382   /* offset will increase again as fragment is processed/parsed */
3383   parse->priv->last_offset = offset;
3384
3385   gst_base_parse_start_fragment (parse);
3386   gst_adapter_push (parse->priv->adapter, buffer);
3387   ret = gst_base_parse_finish_fragment (parse, TRUE);
3388   if (ret != GST_FLOW_OK)
3389     goto exit;
3390
3391   /* force previous fragment */
3392   parse->priv->offset = -1;
3393
3394 exit:
3395   return ret;
3396 }
3397
3398 /* PULL mode:
3399  * pull and scan for next frame starting from current offset
3400  * ajusts sync, drain and offset going along */
3401 static GstFlowReturn
3402 gst_base_parse_scan_frame (GstBaseParse * parse, GstBaseParseClass * klass)
3403 {
3404   GstBuffer *buffer;
3405   GstFlowReturn ret = GST_FLOW_OK;
3406   guint fsize, min_size;
3407   gint flushed = 0;
3408   gint skip = 0;
3409
3410   GST_LOG_OBJECT (parse, "scanning for frame at offset %" G_GUINT64_FORMAT
3411       " (%#" G_GINT64_MODIFIER "x)", parse->priv->offset, parse->priv->offset);
3412
3413   /* let's make this efficient for all subclass once and for all;
3414    * maybe it does not need this much, but in the latter case, we know we are
3415    * in pull mode here and might as well try to read and supply more anyway
3416    * (so does the buffer caching mechanism) */
3417   fsize = 64 * 1024;
3418
3419   while (TRUE) {
3420     min_size = MAX (parse->priv->min_frame_size, fsize);
3421
3422     GST_LOG_OBJECT (parse, "reading buffer size %u", min_size);
3423
3424     ret = gst_base_parse_pull_range (parse, min_size, &buffer);
3425     if (ret != GST_FLOW_OK)
3426       goto done;
3427
3428     /* if we got a short read, inform subclass we are draining leftover
3429      * and no more is to be expected */
3430     if (gst_buffer_get_size (buffer) < min_size) {
3431       GST_LOG_OBJECT (parse, "... but did not get that; marked draining");
3432       parse->priv->drain = TRUE;
3433     }
3434
3435     if (parse->priv->detecting) {
3436       ret = klass->detect (parse, buffer);
3437       if (ret == GST_FLOW_NOT_NEGOTIATED) {
3438         /* If draining we error out, otherwise request a buffer
3439          * with 64kb more */
3440         if (parse->priv->drain) {
3441           gst_buffer_unref (buffer);
3442           GST_ERROR_OBJECT (parse, "Failed to detect format but draining");
3443           return GST_FLOW_ERROR;
3444         } else {
3445           fsize += 64 * 1024;
3446           gst_buffer_unref (buffer);
3447           continue;
3448         }
3449       } else if (ret != GST_FLOW_OK) {
3450         gst_buffer_unref (buffer);
3451         GST_ERROR_OBJECT (parse, "detect() returned %s",
3452             gst_flow_get_name (ret));
3453         return ret;
3454       }
3455
3456       /* Else handle this buffer normally */
3457     }
3458
3459     ret = gst_base_parse_handle_buffer (parse, buffer, &skip, &flushed);
3460     if (ret != GST_FLOW_OK)
3461       break;
3462
3463     /* If a large amount of data was requested to be skipped, _handle_buffer
3464        might have set the priv->skip flag to an extra amount on top of skip.
3465        In pull mode, we can just pull from the new offset directly. */
3466     parse->priv->offset += parse->priv->skip;
3467     parse->priv->skip = 0;
3468
3469     /* something flushed means something happened,
3470      * and we should bail out of this loop so as not to occupy
3471      * the task thread indefinitely */
3472     if (flushed) {
3473       GST_LOG_OBJECT (parse, "frame finished, breaking loop");
3474       break;
3475     }
3476     /* nothing flushed, no skip and draining, so nothing left to do */
3477     if (!skip && parse->priv->drain) {
3478       GST_LOG_OBJECT (parse, "no activity or result when draining; "
3479           "breaking loop and marking EOS");
3480       ret = GST_FLOW_EOS;
3481       break;
3482     }
3483     /* otherwise, get some more data
3484      * note that is checked this does not happen indefinitely */
3485     if (!skip) {
3486       GST_LOG_OBJECT (parse, "getting some more data");
3487       fsize += 64 * 1024;
3488     }
3489     parse->priv->drain = FALSE;
3490   }
3491
3492 done:
3493   return ret;
3494 }
3495
3496 /* Loop that is used in pull mode to retrieve data from upstream */
3497 static void
3498 gst_base_parse_loop (GstPad * pad)
3499 {
3500   GstBaseParse *parse;
3501   GstBaseParseClass *klass;
3502   GstFlowReturn ret = GST_FLOW_OK;
3503
3504   parse = GST_BASE_PARSE (gst_pad_get_parent (pad));
3505   klass = GST_BASE_PARSE_GET_CLASS (parse);
3506
3507   GST_LOG_OBJECT (parse, "Entering parse loop");
3508
3509   if (G_UNLIKELY (parse->priv->push_stream_start)) {
3510     gchar *stream_id;
3511     GstEvent *event;
3512
3513     stream_id =
3514         gst_pad_create_stream_id (parse->srcpad, GST_ELEMENT_CAST (parse),
3515         NULL);
3516
3517     event = gst_event_new_stream_start (stream_id);
3518     gst_event_set_group_id (event, gst_util_group_id_next ());
3519
3520     GST_DEBUG_OBJECT (parse, "Pushing STREAM_START");
3521     gst_pad_push_event (parse->srcpad, event);
3522     parse->priv->push_stream_start = FALSE;
3523     g_free (stream_id);
3524   }
3525
3526   /* reverse playback:
3527    * first fragment (closest to stop time) is handled normally below,
3528    * then we pull in fragments going backwards */
3529   if (parse->segment.rate < 0.0) {
3530     /* check if we jumped back to a previous fragment,
3531      * which is a post-first fragment */
3532     if (parse->priv->offset < 0) {
3533       ret = gst_base_parse_handle_previous_fragment (parse);
3534       goto done;
3535     }
3536   }
3537
3538   ret = gst_base_parse_scan_frame (parse, klass);
3539
3540   /* eat expected eos signalling past segment in reverse playback */
3541   if (parse->segment.rate < 0.0 && ret == GST_FLOW_EOS &&
3542       parse->segment.position >= parse->segment.stop) {
3543     GST_DEBUG_OBJECT (parse, "downstream has reached end of segment");
3544     /* push what was accumulated during loop run */
3545     gst_base_parse_finish_fragment (parse, FALSE);
3546     /* force previous fragment */
3547     parse->priv->offset = -1;
3548     goto eos;
3549   }
3550
3551   if (ret != GST_FLOW_OK)
3552     goto done;
3553
3554 done:
3555   if (ret == GST_FLOW_EOS)
3556     goto eos;
3557   else if (ret != GST_FLOW_OK)
3558     goto pause;
3559
3560   gst_object_unref (parse);
3561   return;
3562
3563   /* ERRORS */
3564 eos:
3565   {
3566     ret = GST_FLOW_EOS;
3567     GST_DEBUG_OBJECT (parse, "eos");
3568     /* fall-through */
3569   }
3570 pause:
3571   {
3572     gboolean push_eos = FALSE;
3573
3574     GST_DEBUG_OBJECT (parse, "pausing task, reason %s",
3575         gst_flow_get_name (ret));
3576     gst_pad_pause_task (parse->sinkpad);
3577
3578     if (ret == GST_FLOW_EOS) {
3579       /* handle end-of-stream/segment */
3580       if (parse->segment.flags & GST_SEGMENT_FLAG_SEGMENT) {
3581         gint64 stop;
3582
3583         if ((stop = parse->segment.stop) == -1)
3584           stop = parse->segment.duration;
3585
3586         GST_DEBUG_OBJECT (parse, "sending segment_done");
3587
3588         gst_element_post_message
3589             (GST_ELEMENT_CAST (parse),
3590             gst_message_new_segment_done (GST_OBJECT_CAST (parse),
3591                 GST_FORMAT_TIME, stop));
3592         gst_pad_push_event (parse->srcpad,
3593             gst_event_new_segment_done (GST_FORMAT_TIME, stop));
3594       } else {
3595         /* If we STILL have zero frames processed, fire an error */
3596         if (parse->priv->framecount == 0) {
3597           GST_ELEMENT_ERROR (parse, STREAM, WRONG_TYPE,
3598               ("No valid frames found before end of stream"), (NULL));
3599         }
3600         push_eos = TRUE;
3601       }
3602     } else if (ret == GST_FLOW_NOT_LINKED || ret < GST_FLOW_EOS) {
3603       /* for fatal errors we post an error message, wrong-state is
3604        * not fatal because it happens due to flushes and only means
3605        * that we should stop now. */
3606       GST_ELEMENT_FLOW_ERROR (parse, ret);
3607       push_eos = TRUE;
3608     }
3609     if (push_eos) {
3610       if (parse->priv->estimated_duration <= 0) {
3611         gst_base_parse_update_duration (parse);
3612       }
3613       /* Push pending events, including SEGMENT events */
3614       gst_base_parse_push_pending_events (parse);
3615
3616       gst_pad_push_event (parse->srcpad, gst_event_new_eos ());
3617     }
3618     gst_object_unref (parse);
3619   }
3620 }
3621
3622 static gboolean
3623 gst_base_parse_sink_activate (GstPad * sinkpad, GstObject * parent)
3624 {
3625   GstSchedulingFlags sched_flags;
3626   GstBaseParse *parse;
3627   GstQuery *query;
3628   gboolean pull_mode;
3629
3630   parse = GST_BASE_PARSE (parent);
3631
3632   GST_DEBUG_OBJECT (parse, "sink activate");
3633
3634   query = gst_query_new_scheduling ();
3635   if (!gst_pad_peer_query (sinkpad, query)) {
3636     gst_query_unref (query);
3637     goto baseparse_push;
3638   }
3639
3640   gst_query_parse_scheduling (query, &sched_flags, NULL, NULL, NULL);
3641
3642   pull_mode = gst_query_has_scheduling_mode (query, GST_PAD_MODE_PULL)
3643       && ((sched_flags & GST_SCHEDULING_FLAG_SEEKABLE) != 0);
3644
3645   gst_query_unref (query);
3646
3647   if (!pull_mode)
3648     goto baseparse_push;
3649
3650   GST_DEBUG_OBJECT (parse, "trying to activate in pull mode");
3651   if (!gst_pad_activate_mode (sinkpad, GST_PAD_MODE_PULL, TRUE))
3652     goto baseparse_push;
3653
3654   parse->priv->push_stream_start = TRUE;
3655
3656   return gst_pad_start_task (sinkpad, (GstTaskFunction) gst_base_parse_loop,
3657       sinkpad, NULL);
3658   /* fallback */
3659 baseparse_push:
3660   {
3661     GST_DEBUG_OBJECT (parse, "trying to activate in push mode");
3662     return gst_pad_activate_mode (sinkpad, GST_PAD_MODE_PUSH, TRUE);
3663   }
3664 }
3665
3666 static gboolean
3667 gst_base_parse_activate (GstBaseParse * parse, gboolean active)
3668 {
3669   GstBaseParseClass *klass;
3670   gboolean result = TRUE;
3671
3672   GST_DEBUG_OBJECT (parse, "activate %d", active);
3673
3674   klass = GST_BASE_PARSE_GET_CLASS (parse);
3675
3676   if (active) {
3677     if (parse->priv->pad_mode == GST_PAD_MODE_NONE && klass->start)
3678       result = klass->start (parse);
3679
3680     /* If the subclass implements ::detect we want to
3681      * call it for the first buffers now */
3682     parse->priv->detecting = (klass->detect != NULL);
3683   } else {
3684     /* We must make sure streaming has finished before resetting things
3685      * and calling the ::stop vfunc */
3686     GST_PAD_STREAM_LOCK (parse->sinkpad);
3687     GST_PAD_STREAM_UNLOCK (parse->sinkpad);
3688
3689     if (parse->priv->pad_mode != GST_PAD_MODE_NONE && klass->stop)
3690       result = klass->stop (parse);
3691
3692     parse->priv->pad_mode = GST_PAD_MODE_NONE;
3693   }
3694   GST_DEBUG_OBJECT (parse, "activate return: %d", result);
3695   return result;
3696 }
3697
3698 static gboolean
3699 gst_base_parse_sink_activate_mode (GstPad * pad, GstObject * parent,
3700     GstPadMode mode, gboolean active)
3701 {
3702   gboolean result;
3703   GstBaseParse *parse;
3704
3705   parse = GST_BASE_PARSE (parent);
3706
3707   GST_DEBUG_OBJECT (parse, "sink %sactivate in %s mode",
3708       (active) ? "" : "de", gst_pad_mode_get_name (mode));
3709
3710   if (!gst_base_parse_activate (parse, active))
3711     goto activate_failed;
3712
3713   switch (mode) {
3714     case GST_PAD_MODE_PULL:
3715       if (active) {
3716         parse->priv->pending_events =
3717             g_list_prepend (parse->priv->pending_events,
3718             gst_event_new_segment (&parse->segment));
3719         result = TRUE;
3720       } else {
3721         result = gst_pad_stop_task (pad);
3722       }
3723       break;
3724     default:
3725       result = TRUE;
3726       break;
3727   }
3728   if (result)
3729     parse->priv->pad_mode = active ? mode : GST_PAD_MODE_NONE;
3730
3731   GST_DEBUG_OBJECT (parse, "sink activate return: %d", result);
3732
3733   return result;
3734
3735   /* ERRORS */
3736 activate_failed:
3737   {
3738     GST_DEBUG_OBJECT (parse, "activate failed");
3739     return FALSE;
3740   }
3741 }
3742
3743 /**
3744  * gst_base_parse_set_duration:
3745  * @parse: #GstBaseParse.
3746  * @fmt: #GstFormat.
3747  * @duration: duration value.
3748  * @interval: how often to update the duration estimate based on bitrate, or 0.
3749  *
3750  * Sets the duration of the currently playing media. Subclass can use this
3751  * when it is able to determine duration and/or notices a change in the media
3752  * duration.  Alternatively, if @interval is non-zero (default), then stream
3753  * duration is determined based on estimated bitrate, and updated every @interval
3754  * frames.
3755  */
3756 void
3757 gst_base_parse_set_duration (GstBaseParse * parse,
3758     GstFormat fmt, gint64 duration, gint interval)
3759 {
3760   g_return_if_fail (parse != NULL);
3761
3762   if (parse->priv->upstream_has_duration) {
3763     GST_DEBUG_OBJECT (parse, "using upstream duration; discarding update");
3764     goto exit;
3765   }
3766
3767   if (duration != parse->priv->duration) {
3768     GstMessage *m;
3769
3770     m = gst_message_new_duration_changed (GST_OBJECT (parse));
3771     gst_element_post_message (GST_ELEMENT (parse), m);
3772
3773     /* TODO: what about duration tag? */
3774   }
3775   parse->priv->duration = duration;
3776   parse->priv->duration_fmt = fmt;
3777   GST_DEBUG_OBJECT (parse, "set duration: %" G_GINT64_FORMAT, duration);
3778   if (fmt == GST_FORMAT_TIME && GST_CLOCK_TIME_IS_VALID (duration)) {
3779     if (interval != 0) {
3780       GST_DEBUG_OBJECT (parse, "valid duration provided, disabling estimate");
3781       interval = 0;
3782     }
3783   }
3784   GST_DEBUG_OBJECT (parse, "set update interval: %d", interval);
3785   parse->priv->update_interval = interval;
3786 exit:
3787   return;
3788 }
3789
3790 /**
3791  * gst_base_parse_set_average_bitrate:
3792  * @parse: #GstBaseParse.
3793  * @bitrate: average bitrate in bits/second
3794  *
3795  * Optionally sets the average bitrate detected in media (if non-zero),
3796  * e.g. based on metadata, as it will be posted to the application.
3797  *
3798  * By default, announced average bitrate is estimated. The average bitrate
3799  * is used to estimate the total duration of the stream and to estimate
3800  * a seek position, if there's no index and the format is syncable
3801  * (see gst_base_parse_set_syncable()).
3802  */
3803 void
3804 gst_base_parse_set_average_bitrate (GstBaseParse * parse, guint bitrate)
3805 {
3806   parse->priv->bitrate = bitrate;
3807   GST_DEBUG_OBJECT (parse, "bitrate %u", bitrate);
3808 }
3809
3810 /**
3811  * gst_base_parse_set_min_frame_size:
3812  * @parse: #GstBaseParse.
3813  * @min_size: Minimum size of the data that this base class should give to
3814  *            subclass.
3815  *
3816  * Subclass can use this function to tell the base class that it needs to
3817  * give at least #min_size buffers.
3818  */
3819 void
3820 gst_base_parse_set_min_frame_size (GstBaseParse * parse, guint min_size)
3821 {
3822   g_return_if_fail (parse != NULL);
3823
3824   parse->priv->min_frame_size = min_size;
3825   GST_LOG_OBJECT (parse, "set frame_min_size: %d", min_size);
3826 }
3827
3828 /**
3829  * gst_base_parse_set_frame_rate:
3830  * @parse: the #GstBaseParse to set
3831  * @fps_num: frames per second (numerator).
3832  * @fps_den: frames per second (denominator).
3833  * @lead_in: frames needed before a segment for subsequent decode
3834  * @lead_out: frames needed after a segment
3835  *
3836  * If frames per second is configured, parser can take care of buffer duration
3837  * and timestamping.  When performing segment clipping, or seeking to a specific
3838  * location, a corresponding decoder might need an initial @lead_in and a
3839  * following @lead_out number of frames to ensure the desired segment is
3840  * entirely filled upon decoding.
3841  */
3842 void
3843 gst_base_parse_set_frame_rate (GstBaseParse * parse, guint fps_num,
3844     guint fps_den, guint lead_in, guint lead_out)
3845 {
3846   g_return_if_fail (parse != NULL);
3847
3848   parse->priv->fps_num = fps_num;
3849   parse->priv->fps_den = fps_den;
3850   if (!fps_num || !fps_den) {
3851     GST_DEBUG_OBJECT (parse, "invalid fps (%d/%d), ignoring parameters",
3852         fps_num, fps_den);
3853     fps_num = fps_den = 0;
3854     parse->priv->frame_duration = GST_CLOCK_TIME_NONE;
3855     parse->priv->lead_in = parse->priv->lead_out = 0;
3856     parse->priv->lead_in_ts = parse->priv->lead_out_ts = 0;
3857   } else {
3858     parse->priv->frame_duration =
3859         gst_util_uint64_scale (GST_SECOND, fps_den, fps_num);
3860     parse->priv->lead_in = lead_in;
3861     parse->priv->lead_out = lead_out;
3862     parse->priv->lead_in_ts =
3863         gst_util_uint64_scale (GST_SECOND, fps_den * lead_in, fps_num);
3864     parse->priv->lead_out_ts =
3865         gst_util_uint64_scale (GST_SECOND, fps_den * lead_out, fps_num);
3866     /* aim for about 1.5s to estimate duration */
3867     if (parse->priv->update_interval < 0) {
3868       parse->priv->update_interval = fps_num * 3 / (fps_den * 2);
3869       GST_LOG_OBJECT (parse, "estimated update interval to %d frames",
3870           parse->priv->update_interval);
3871     }
3872   }
3873   GST_LOG_OBJECT (parse, "set fps: %d/%d => duration: %" G_GINT64_FORMAT " ms",
3874       fps_num, fps_den, parse->priv->frame_duration / GST_MSECOND);
3875   GST_LOG_OBJECT (parse, "set lead in: %d frames = %" G_GUINT64_FORMAT " ms, "
3876       "lead out: %d frames = %" G_GUINT64_FORMAT " ms",
3877       lead_in, parse->priv->lead_in_ts / GST_MSECOND,
3878       lead_out, parse->priv->lead_out_ts / GST_MSECOND);
3879 }
3880
3881 /**
3882  * gst_base_parse_set_has_timing_info:
3883  * @parse: a #GstBaseParse
3884  * @has_timing: whether frames carry timing information
3885  *
3886  * Set if frames carry timing information which the subclass can (generally)
3887  * parse and provide.  In particular, intrinsic (rather than estimated) time
3888  * can be obtained following a seek.
3889  */
3890 void
3891 gst_base_parse_set_has_timing_info (GstBaseParse * parse, gboolean has_timing)
3892 {
3893   parse->priv->has_timing_info = has_timing;
3894   GST_INFO_OBJECT (parse, "has_timing: %s", (has_timing) ? "yes" : "no");
3895 }
3896
3897 /**
3898  * gst_base_parse_set_syncable:
3899  * @parse: a #GstBaseParse
3900  * @syncable: set if frame starts can be identified
3901  *
3902  * Set if frame starts can be identified. This is set by default and
3903  * determines whether seeking based on bitrate averages
3904  * is possible for a format/stream.
3905  */
3906 void
3907 gst_base_parse_set_syncable (GstBaseParse * parse, gboolean syncable)
3908 {
3909   parse->priv->syncable = syncable;
3910   GST_INFO_OBJECT (parse, "syncable: %s", (syncable) ? "yes" : "no");
3911 }
3912
3913 /**
3914  * gst_base_parse_set_passthrough:
3915  * @parse: a #GstBaseParse
3916  * @passthrough: %TRUE if parser should run in passthrough mode
3917  *
3918  * Set if the nature of the format or configuration does not allow (much)
3919  * parsing, and the parser should operate in passthrough mode (which only
3920  * applies when operating in push mode). That is, incoming buffers are
3921  * pushed through unmodified, i.e. no @check_valid_frame or @parse_frame
3922  * callbacks will be invoked, but @pre_push_frame will still be invoked,
3923  * so subclass can perform as much or as little is appropriate for
3924  * passthrough semantics in @pre_push_frame.
3925  */
3926 void
3927 gst_base_parse_set_passthrough (GstBaseParse * parse, gboolean passthrough)
3928 {
3929   parse->priv->passthrough = passthrough;
3930   GST_INFO_OBJECT (parse, "passthrough: %s", (passthrough) ? "yes" : "no");
3931 }
3932
3933 /**
3934  * gst_base_parse_set_pts_interpolation:
3935  * @parse: a #GstBaseParse
3936  * @pts_interpolate: %TRUE if parser should interpolate PTS timestamps
3937  *
3938  * By default, the base class will guess PTS timestamps using a simple
3939  * interpolation (previous timestamp + duration), which is incorrect for
3940  * data streams with reordering, where PTS can go backward. Sub-classes
3941  * implementing such formats should disable PTS interpolation.
3942  */
3943 void
3944 gst_base_parse_set_pts_interpolation (GstBaseParse * parse,
3945     gboolean pts_interpolate)
3946 {
3947   parse->priv->pts_interpolate = pts_interpolate;
3948   GST_INFO_OBJECT (parse, "PTS interpolation: %s",
3949       (pts_interpolate) ? "yes" : "no");
3950 }
3951
3952 /**
3953  * gst_base_parse_set_infer_ts:
3954  * @parse: a #GstBaseParse
3955  * @infer_ts: %TRUE if parser should infer DTS/PTS from each other
3956  *
3957  * By default, the base class might try to infer PTS from DTS and vice
3958  * versa.  While this is generally correct for audio data, it may not
3959  * be otherwise. Sub-classes implementing such formats should disable
3960  * timestamp inferring.
3961  */
3962 void
3963 gst_base_parse_set_infer_ts (GstBaseParse * parse, gboolean infer_ts)
3964 {
3965   parse->priv->infer_ts = infer_ts;
3966   GST_INFO_OBJECT (parse, "TS inferring: %s", (infer_ts) ? "yes" : "no");
3967 }
3968
3969 /**
3970  * gst_base_parse_set_latency:
3971  * @parse: a #GstBaseParse
3972  * @min_latency: minimum parse latency
3973  * @max_latency: maximum parse latency
3974  *
3975  * Sets the minimum and maximum (which may likely be equal) latency introduced
3976  * by the parsing process.  If there is such a latency, which depends on the
3977  * particular parsing of the format, it typically corresponds to 1 frame duration.
3978  */
3979 void
3980 gst_base_parse_set_latency (GstBaseParse * parse, GstClockTime min_latency,
3981     GstClockTime max_latency)
3982 {
3983   g_return_if_fail (min_latency != GST_CLOCK_TIME_NONE);
3984   g_return_if_fail (min_latency <= max_latency);
3985
3986   GST_OBJECT_LOCK (parse);
3987   parse->priv->min_latency = min_latency;
3988   parse->priv->max_latency = max_latency;
3989   GST_OBJECT_UNLOCK (parse);
3990   GST_INFO_OBJECT (parse, "min/max latency %" GST_TIME_FORMAT ", %"
3991       GST_TIME_FORMAT, GST_TIME_ARGS (min_latency),
3992       GST_TIME_ARGS (max_latency));
3993 }
3994
3995 static gboolean
3996 gst_base_parse_get_duration (GstBaseParse * parse, GstFormat format,
3997     GstClockTime * duration)
3998 {
3999   gboolean res = FALSE;
4000
4001   g_return_val_if_fail (duration != NULL, FALSE);
4002
4003   *duration = GST_CLOCK_TIME_NONE;
4004   if (parse->priv->duration != -1 && format == parse->priv->duration_fmt) {
4005     GST_LOG_OBJECT (parse, "using provided duration");
4006     *duration = parse->priv->duration;
4007     res = TRUE;
4008   } else if (parse->priv->duration != -1) {
4009     GST_LOG_OBJECT (parse, "converting provided duration");
4010     res = gst_base_parse_convert (parse, parse->priv->duration_fmt,
4011         parse->priv->duration, format, (gint64 *) duration);
4012   } else if (format == GST_FORMAT_TIME && parse->priv->estimated_duration != -1) {
4013     GST_LOG_OBJECT (parse, "using estimated duration");
4014     *duration = parse->priv->estimated_duration;
4015     res = TRUE;
4016   } else {
4017     GST_LOG_OBJECT (parse, "cannot estimate duration");
4018   }
4019
4020   GST_LOG_OBJECT (parse, "res: %d, duration %" GST_TIME_FORMAT, res,
4021       GST_TIME_ARGS (*duration));
4022   return res;
4023 }
4024
4025 static gboolean
4026 gst_base_parse_src_query_default (GstBaseParse * parse, GstQuery * query)
4027 {
4028   gboolean res = FALSE;
4029   GstPad *pad;
4030
4031   pad = GST_BASE_PARSE_SRC_PAD (parse);
4032
4033   switch (GST_QUERY_TYPE (query)) {
4034     case GST_QUERY_POSITION:
4035     {
4036       gint64 dest_value;
4037       GstFormat format;
4038
4039       GST_DEBUG_OBJECT (parse, "position query");
4040       gst_query_parse_position (query, &format, NULL);
4041
4042       /* try upstream first */
4043       res = gst_pad_query_default (pad, GST_OBJECT_CAST (parse), query);
4044       if (!res) {
4045         /* Fall back on interpreting segment */
4046         GST_OBJECT_LOCK (parse);
4047         if (format == GST_FORMAT_BYTES) {
4048           dest_value = parse->priv->offset;
4049           res = TRUE;
4050         } else if (format == parse->segment.format &&
4051             GST_CLOCK_TIME_IS_VALID (parse->segment.position)) {
4052           dest_value = gst_segment_to_stream_time (&parse->segment,
4053               parse->segment.format, parse->segment.position);
4054           res = TRUE;
4055         }
4056         GST_OBJECT_UNLOCK (parse);
4057         if (!res) {
4058           /* no precise result, upstream no idea either, then best estimate */
4059           /* priv->offset is updated in both PUSH/PULL modes */
4060           res = gst_base_parse_convert (parse,
4061               GST_FORMAT_BYTES, parse->priv->offset, format, &dest_value);
4062         }
4063         if (res)
4064           gst_query_set_position (query, format, dest_value);
4065       }
4066       break;
4067     }
4068     case GST_QUERY_DURATION:
4069     {
4070       GstFormat format;
4071       GstClockTime duration;
4072
4073       GST_DEBUG_OBJECT (parse, "duration query");
4074       gst_query_parse_duration (query, &format, NULL);
4075
4076       /* consult upstream */
4077       res = gst_pad_query_default (pad, GST_OBJECT_CAST (parse), query);
4078
4079       /* otherwise best estimate from us */
4080       if (!res) {
4081         res = gst_base_parse_get_duration (parse, format, &duration);
4082         if (res)
4083           gst_query_set_duration (query, format, duration);
4084       }
4085       break;
4086     }
4087     case GST_QUERY_SEEKING:
4088     {
4089       GstFormat fmt;
4090       GstClockTime duration = GST_CLOCK_TIME_NONE;
4091       gboolean seekable = FALSE;
4092
4093       GST_DEBUG_OBJECT (parse, "seeking query");
4094       gst_query_parse_seeking (query, &fmt, NULL, NULL, NULL);
4095
4096       /* consult upstream */
4097       res = gst_pad_query_default (pad, GST_OBJECT_CAST (parse), query);
4098
4099       /* we may be able to help if in TIME */
4100       if (fmt == GST_FORMAT_TIME && gst_base_parse_is_seekable (parse)) {
4101         gst_query_parse_seeking (query, &fmt, &seekable, NULL, NULL);
4102         /* already OK if upstream takes care */
4103         GST_LOG_OBJECT (parse, "upstream handled %d, seekable %d",
4104             res, seekable);
4105         if (!(res && seekable)) {
4106           if (!gst_base_parse_get_duration (parse, GST_FORMAT_TIME, &duration)
4107               || duration == -1) {
4108             /* seekable if we still have a chance to get duration later on */
4109             seekable =
4110                 parse->priv->upstream_seekable && parse->priv->update_interval;
4111           } else {
4112             seekable = parse->priv->upstream_seekable;
4113             GST_LOG_OBJECT (parse, "already determine upstream seekabled: %d",
4114                 seekable);
4115           }
4116           gst_query_set_seeking (query, GST_FORMAT_TIME, seekable, 0, duration);
4117           res = TRUE;
4118         }
4119       }
4120       break;
4121     }
4122     case GST_QUERY_FORMATS:
4123       gst_query_set_formatsv (query, 3, fmtlist);
4124       res = TRUE;
4125       break;
4126     case GST_QUERY_CONVERT:
4127     {
4128       GstFormat src_format, dest_format;
4129       gint64 src_value, dest_value;
4130
4131       gst_query_parse_convert (query, &src_format, &src_value,
4132           &dest_format, &dest_value);
4133
4134       res = gst_base_parse_convert (parse, src_format, src_value,
4135           dest_format, &dest_value);
4136       if (res) {
4137         gst_query_set_convert (query, src_format, src_value,
4138             dest_format, dest_value);
4139       }
4140       break;
4141     }
4142     case GST_QUERY_LATENCY:
4143     {
4144       if ((res = gst_pad_peer_query (parse->sinkpad, query))) {
4145         gboolean live;
4146         GstClockTime min_latency, max_latency;
4147
4148         gst_query_parse_latency (query, &live, &min_latency, &max_latency);
4149         GST_DEBUG_OBJECT (parse, "Peer latency: live %d, min %"
4150             GST_TIME_FORMAT " max %" GST_TIME_FORMAT, live,
4151             GST_TIME_ARGS (min_latency), GST_TIME_ARGS (max_latency));
4152
4153         GST_OBJECT_LOCK (parse);
4154         /* add our latency */
4155         min_latency += parse->priv->min_latency;
4156         if (max_latency == -1 || parse->priv->max_latency == -1)
4157           max_latency = -1;
4158         else
4159           max_latency += parse->priv->max_latency;
4160         GST_OBJECT_UNLOCK (parse);
4161
4162         gst_query_set_latency (query, live, min_latency, max_latency);
4163       }
4164       break;
4165     }
4166     case GST_QUERY_SEGMENT:
4167     {
4168       GstFormat format;
4169       gint64 start, stop;
4170
4171       format = parse->segment.format;
4172
4173       start =
4174           gst_segment_to_stream_time (&parse->segment, format,
4175           parse->segment.start);
4176       if ((stop = parse->segment.stop) == -1)
4177         stop = parse->segment.duration;
4178       else
4179         stop = gst_segment_to_stream_time (&parse->segment, format, stop);
4180
4181       gst_query_set_segment (query, parse->segment.rate, format, start, stop);
4182       res = TRUE;
4183       break;
4184     }
4185     default:
4186       res = gst_pad_query_default (pad, GST_OBJECT_CAST (parse), query);
4187       break;
4188   }
4189   return res;
4190 }
4191
4192 /* scans for a cluster start from @pos,
4193  * return GST_FLOW_OK and frame position/time in @pos/@time if found */
4194 static GstFlowReturn
4195 gst_base_parse_find_frame (GstBaseParse * parse, gint64 * pos,
4196     GstClockTime * time, GstClockTime * duration)
4197 {
4198   GstBaseParseClass *klass;
4199   gint64 orig_offset;
4200   gboolean orig_drain, orig_discont;
4201   GstFlowReturn ret = GST_FLOW_OK;
4202   GstBuffer *buf = NULL;
4203   GstBaseParseFrame *sframe = NULL;
4204
4205   g_return_val_if_fail (pos != NULL, GST_FLOW_ERROR);
4206   g_return_val_if_fail (time != NULL, GST_FLOW_ERROR);
4207   g_return_val_if_fail (duration != NULL, GST_FLOW_ERROR);
4208
4209   klass = GST_BASE_PARSE_GET_CLASS (parse);
4210
4211   *time = GST_CLOCK_TIME_NONE;
4212   *duration = GST_CLOCK_TIME_NONE;
4213
4214   /* save state */
4215   orig_offset = parse->priv->offset;
4216   orig_discont = parse->priv->discont;
4217   orig_drain = parse->priv->drain;
4218
4219   GST_DEBUG_OBJECT (parse, "scanning for frame starting at %" G_GINT64_FORMAT
4220       " (%#" G_GINT64_MODIFIER "x)", *pos, *pos);
4221
4222   /* jump elsewhere and locate next frame */
4223   parse->priv->offset = *pos;
4224   /* mark as scanning so frames don't get processed all the way */
4225   parse->priv->scanning = TRUE;
4226   ret = gst_base_parse_scan_frame (parse, klass);
4227   parse->priv->scanning = FALSE;
4228   /* retrieve frame found during scan */
4229   sframe = parse->priv->scanned_frame;
4230   parse->priv->scanned_frame = NULL;
4231
4232   if (ret != GST_FLOW_OK || !sframe)
4233     goto done;
4234
4235   /* get offset first, subclass parsing might dump other stuff in there */
4236   *pos = sframe->offset;
4237   buf = sframe->buffer;
4238   g_assert (buf);
4239
4240   /* but it should provide proper time */
4241   *time = GST_BUFFER_TIMESTAMP (buf);
4242   *duration = GST_BUFFER_DURATION (buf);
4243
4244   GST_LOG_OBJECT (parse,
4245       "frame with time %" GST_TIME_FORMAT " at offset %" G_GINT64_FORMAT,
4246       GST_TIME_ARGS (*time), *pos);
4247
4248 done:
4249   if (sframe)
4250     gst_base_parse_frame_free (sframe);
4251
4252   /* restore state */
4253   parse->priv->offset = orig_offset;
4254   parse->priv->discont = orig_discont;
4255   parse->priv->drain = orig_drain;
4256
4257   return ret;
4258 }
4259
4260 /* bisect and scan through file for frame starting before @time,
4261  * returns OK and @time/@offset if found, NONE and/or error otherwise
4262  * If @time == G_MAXINT64, scan for duration ( == last frame) */
4263 static GstFlowReturn
4264 gst_base_parse_locate_time (GstBaseParse * parse, GstClockTime * _time,
4265     gint64 * _offset)
4266 {
4267   GstFlowReturn ret = GST_FLOW_OK;
4268   gint64 lpos, hpos, newpos;
4269   GstClockTime time, ltime, htime, newtime, dur;
4270   gboolean cont = TRUE;
4271   const GstClockTime tolerance = TARGET_DIFFERENCE;
4272   const guint chunk = 4 * 1024;
4273
4274   g_return_val_if_fail (_time != NULL, GST_FLOW_ERROR);
4275   g_return_val_if_fail (_offset != NULL, GST_FLOW_ERROR);
4276
4277   GST_DEBUG_OBJECT (parse, "Bisecting for time %" GST_TIME_FORMAT,
4278       GST_TIME_ARGS (*_time));
4279
4280   /* TODO also make keyframe aware if useful some day */
4281
4282   time = *_time;
4283
4284   /* basic cases */
4285   if (time == 0) {
4286     *_offset = 0;
4287     return GST_FLOW_OK;
4288   }
4289
4290   if (time == -1) {
4291     *_offset = -1;
4292     return GST_FLOW_OK;
4293   }
4294
4295   /* do not know at first */
4296   *_offset = -1;
4297   *_time = GST_CLOCK_TIME_NONE;
4298
4299   /* need initial positions; start and end */
4300   lpos = parse->priv->first_frame_offset;
4301   ltime = parse->priv->first_frame_pts;
4302   /* try other one if no luck */
4303   if (!GST_CLOCK_TIME_IS_VALID (ltime))
4304     ltime = parse->priv->first_frame_dts;
4305   if (!gst_base_parse_get_duration (parse, GST_FORMAT_TIME, &htime)) {
4306     GST_DEBUG_OBJECT (parse, "Unknown time duration, cannot bisect");
4307     return GST_FLOW_ERROR;
4308   }
4309   hpos = parse->priv->upstream_size;
4310
4311   GST_DEBUG_OBJECT (parse,
4312       "Bisection initial bounds: bytes %" G_GINT64_FORMAT " %" G_GINT64_FORMAT
4313       ", times %" GST_TIME_FORMAT " %" GST_TIME_FORMAT, lpos, hpos,
4314       GST_TIME_ARGS (ltime), GST_TIME_ARGS (htime));
4315
4316   /* check preconditions are satisfied;
4317    * start and end are needed, except for special case where we scan for
4318    * last frame to determine duration */
4319   if (parse->priv->pad_mode != GST_PAD_MODE_PULL || !hpos ||
4320       !GST_CLOCK_TIME_IS_VALID (ltime) ||
4321       (!GST_CLOCK_TIME_IS_VALID (htime) && time != G_MAXINT64)) {
4322     return GST_FLOW_OK;
4323   }
4324
4325   /* shortcut cases */
4326   if (time < ltime) {
4327     goto exit;
4328   } else if (time < ltime + tolerance) {
4329     *_offset = lpos;
4330     *_time = ltime;
4331     goto exit;
4332   } else if (time >= htime) {
4333     *_offset = hpos;
4334     *_time = htime;
4335     goto exit;
4336   }
4337
4338   while (htime > ltime && cont) {
4339     GST_LOG_OBJECT (parse,
4340         "lpos: %" G_GUINT64_FORMAT ", ltime: %" GST_TIME_FORMAT, lpos,
4341         GST_TIME_ARGS (ltime));
4342     GST_LOG_OBJECT (parse,
4343         "hpos: %" G_GUINT64_FORMAT ", htime: %" GST_TIME_FORMAT, hpos,
4344         GST_TIME_ARGS (htime));
4345     if (G_UNLIKELY (time == G_MAXINT64)) {
4346       newpos = hpos;
4347     } else if (G_LIKELY (hpos > lpos)) {
4348       newpos =
4349           gst_util_uint64_scale (hpos - lpos, time - ltime, htime - ltime) +
4350           lpos - chunk;
4351     } else {
4352       /* should mean lpos == hpos, since lpos <= hpos is invariant */
4353       newpos = lpos;
4354       /* we check this case once, but not forever, so break loop */
4355       cont = FALSE;
4356     }
4357
4358     /* ensure */
4359     newpos = CLAMP (newpos, lpos, hpos);
4360     GST_LOG_OBJECT (parse,
4361         "estimated _offset for %" GST_TIME_FORMAT ": %" G_GINT64_FORMAT,
4362         GST_TIME_ARGS (time), newpos);
4363
4364     ret = gst_base_parse_find_frame (parse, &newpos, &newtime, &dur);
4365     if (ret == GST_FLOW_EOS) {
4366       /* heuristic HACK */
4367       hpos = MAX (lpos, hpos - chunk);
4368       continue;
4369     } else if (ret != GST_FLOW_OK) {
4370       goto exit;
4371     }
4372
4373     if (newtime == -1 || newpos == -1) {
4374       GST_DEBUG_OBJECT (parse, "subclass did not provide metadata; aborting");
4375       break;
4376     }
4377
4378     if (G_UNLIKELY (time == G_MAXINT64)) {
4379       *_offset = newpos;
4380       *_time = newtime;
4381       if (GST_CLOCK_TIME_IS_VALID (dur))
4382         *_time += dur;
4383       break;
4384     } else if (newtime > time) {
4385       /* overshoot */
4386       hpos = (newpos >= hpos) ? MAX (lpos, hpos - chunk) : MAX (lpos, newpos);
4387       htime = newtime;
4388     } else if (newtime + tolerance > time) {
4389       /* close enough undershoot */
4390       *_offset = newpos;
4391       *_time = newtime;
4392       break;
4393     } else if (newtime < ltime) {
4394       /* so a position beyond lpos resulted in earlier time than ltime ... */
4395       GST_DEBUG_OBJECT (parse, "non-ascending time; aborting");
4396       break;
4397     } else {
4398       /* undershoot too far */
4399       newpos += newpos == lpos ? chunk : 0;
4400       lpos = CLAMP (newpos, lpos, hpos);
4401       ltime = newtime;
4402     }
4403   }
4404
4405 exit:
4406   GST_LOG_OBJECT (parse, "return offset %" G_GINT64_FORMAT ", time %"
4407       GST_TIME_FORMAT, *_offset, GST_TIME_ARGS (*_time));
4408   return ret;
4409 }
4410
4411 static gint64
4412 gst_base_parse_find_offset (GstBaseParse * parse, GstClockTime time,
4413     gboolean before, GstClockTime * _ts)
4414 {
4415   gint64 bytes = 0, ts = 0;
4416   GstIndexEntry *entry = NULL;
4417
4418   if (time == GST_CLOCK_TIME_NONE) {
4419     ts = time;
4420     bytes = -1;
4421     goto exit;
4422   }
4423
4424   GST_BASE_PARSE_INDEX_LOCK (parse);
4425   if (parse->priv->index) {
4426     /* Let's check if we have an index entry for that time */
4427     entry = gst_index_get_assoc_entry (parse->priv->index,
4428         parse->priv->index_id,
4429         before ? GST_INDEX_LOOKUP_BEFORE : GST_INDEX_LOOKUP_AFTER,
4430         GST_INDEX_ASSOCIATION_FLAG_KEY_UNIT, GST_FORMAT_TIME, time);
4431   }
4432
4433   if (entry) {
4434     gst_index_entry_assoc_map (entry, GST_FORMAT_BYTES, &bytes);
4435     gst_index_entry_assoc_map (entry, GST_FORMAT_TIME, &ts);
4436
4437     GST_DEBUG_OBJECT (parse, "found index entry for %" GST_TIME_FORMAT
4438         " at %" GST_TIME_FORMAT ", offset %" G_GINT64_FORMAT,
4439         GST_TIME_ARGS (time), GST_TIME_ARGS (ts), bytes);
4440   } else {
4441     GST_DEBUG_OBJECT (parse, "no index entry found for %" GST_TIME_FORMAT,
4442         GST_TIME_ARGS (time));
4443     if (!before) {
4444       bytes = -1;
4445       ts = GST_CLOCK_TIME_NONE;
4446     }
4447   }
4448   GST_BASE_PARSE_INDEX_UNLOCK (parse);
4449
4450 exit:
4451   if (_ts)
4452     *_ts = ts;
4453
4454   return bytes;
4455 }
4456
4457 /* returns TRUE if seek succeeded */
4458 static gboolean
4459 gst_base_parse_handle_seek (GstBaseParse * parse, GstEvent * event)
4460 {
4461   gdouble rate;
4462   GstFormat format;
4463   GstSeekFlags flags;
4464   GstSeekType start_type = GST_SEEK_TYPE_NONE, stop_type;
4465   gboolean flush, update, res = TRUE, accurate;
4466   gint64 start, stop, seekpos, seekstop;
4467   GstSegment seeksegment = { 0, };
4468   GstClockTime start_ts;
4469   guint32 seqnum;
4470   GstEvent *segment_event;
4471
4472   /* try upstream first, unless we're driving the streaming thread ourselves */
4473   if (parse->priv->pad_mode != GST_PAD_MODE_PULL) {
4474     res = gst_pad_push_event (parse->sinkpad, gst_event_ref (event));
4475     if (res)
4476       goto done;
4477   }
4478
4479   gst_event_parse_seek (event, &rate, &format, &flags,
4480       &start_type, &start, &stop_type, &stop);
4481   seqnum = gst_event_get_seqnum (event);
4482
4483   GST_DEBUG_OBJECT (parse, "seek to format %s, rate %f, "
4484       "start type %d at %" GST_TIME_FORMAT ", end type %d at %"
4485       GST_TIME_FORMAT, gst_format_get_name (format), rate,
4486       start_type, GST_TIME_ARGS (start), stop_type, GST_TIME_ARGS (stop));
4487
4488   /* we can only handle TIME, so check if subclass can convert
4489    * to TIME format if it's some other format (such as DEFAULT) */
4490   if (format != GST_FORMAT_TIME) {
4491     if (!gst_base_parse_convert (parse, format, start, GST_FORMAT_TIME, &start)
4492         || !gst_base_parse_convert (parse, format, stop, GST_FORMAT_TIME,
4493             &stop))
4494       goto no_convert_to_time;
4495
4496     GST_INFO_OBJECT (parse, "converted %s format to start time "
4497         "%" GST_TIME_FORMAT " and stop time %" GST_TIME_FORMAT,
4498         gst_format_get_name (format), GST_TIME_ARGS (start),
4499         GST_TIME_ARGS (stop));
4500
4501     format = GST_FORMAT_TIME;
4502   }
4503
4504   /* no negative rates in push mode (unless upstream takes care of that, but
4505    * we've already tried upstream and it didn't handle the seek request) */
4506   if (rate < 0.0 && parse->priv->pad_mode == GST_PAD_MODE_PUSH)
4507     goto negative_rate;
4508
4509   if (start_type != GST_SEEK_TYPE_SET ||
4510       (stop_type != GST_SEEK_TYPE_SET && stop_type != GST_SEEK_TYPE_NONE))
4511     goto wrong_type;
4512
4513   /* get flush flag */
4514   flush = flags & GST_SEEK_FLAG_FLUSH;
4515
4516   /* copy segment, we need this because we still need the old
4517    * segment when we close the current segment. */
4518   gst_segment_copy_into (&parse->segment, &seeksegment);
4519
4520   GST_DEBUG_OBJECT (parse, "configuring seek");
4521   gst_segment_do_seek (&seeksegment, rate, format, flags,
4522       start_type, start, stop_type, stop, &update);
4523
4524   /* accurate seeking implies seek tables are used to obtain position,
4525    * and the requested segment is maintained exactly, not adjusted any way */
4526   accurate = flags & GST_SEEK_FLAG_ACCURATE;
4527
4528   /* maybe we can be accurate for (almost) free */
4529   gst_base_parse_find_offset (parse, seeksegment.position, TRUE, &start_ts);
4530   if (seeksegment.position <= start_ts + TARGET_DIFFERENCE) {
4531     GST_DEBUG_OBJECT (parse, "accurate seek possible");
4532     accurate = TRUE;
4533   }
4534
4535   if (accurate) {
4536     GstClockTime startpos;
4537     if (rate >= 0)
4538       startpos = seeksegment.position;
4539     else
4540       startpos = start;
4541
4542     /* accurate requested, so ... seek a bit before target */
4543     if (startpos < parse->priv->lead_in_ts)
4544       startpos = 0;
4545     else
4546       startpos -= parse->priv->lead_in_ts;
4547
4548     if (seeksegment.stop == -1 && seeksegment.duration != -1)
4549       seeksegment.stop = seeksegment.start + seeksegment.duration;
4550
4551     seekpos = gst_base_parse_find_offset (parse, startpos, TRUE, &start_ts);
4552     seekstop = gst_base_parse_find_offset (parse, seeksegment.stop, FALSE,
4553         NULL);
4554   } else {
4555     if (rate >= 0)
4556       start_ts = seeksegment.position;
4557     else
4558       start_ts = start;
4559
4560     if (seeksegment.stop == -1 && seeksegment.duration != -1)
4561       seeksegment.stop = seeksegment.start + seeksegment.duration;
4562
4563     if (!gst_base_parse_convert (parse, format, start_ts,
4564             GST_FORMAT_BYTES, &seekpos))
4565       goto convert_failed;
4566     if (!gst_base_parse_convert (parse, format, seeksegment.stop,
4567             GST_FORMAT_BYTES, &seekstop))
4568       goto convert_failed;
4569   }
4570
4571   GST_DEBUG_OBJECT (parse,
4572       "seek position %" G_GINT64_FORMAT " in bytes: %" G_GINT64_FORMAT,
4573       start_ts, seekpos);
4574   GST_DEBUG_OBJECT (parse,
4575       "seek stop %" G_GINT64_FORMAT " in bytes: %" G_GINT64_FORMAT,
4576       seeksegment.stop, seekstop);
4577
4578   if (parse->priv->pad_mode == GST_PAD_MODE_PULL) {
4579     gint64 last_stop;
4580
4581     GST_DEBUG_OBJECT (parse, "seek in PULL mode");
4582
4583     if (flush) {
4584       if (parse->srcpad) {
4585         GstEvent *fevent = gst_event_new_flush_start ();
4586         GST_DEBUG_OBJECT (parse, "sending flush start");
4587
4588         gst_event_set_seqnum (fevent, seqnum);
4589
4590         gst_pad_push_event (parse->srcpad, gst_event_ref (fevent));
4591         /* unlock upstream pull_range */
4592         gst_pad_push_event (parse->sinkpad, fevent);
4593       }
4594     } else {
4595       gst_pad_pause_task (parse->sinkpad);
4596     }
4597
4598     /* we should now be able to grab the streaming thread because we stopped it
4599      * with the above flush/pause code */
4600     GST_PAD_STREAM_LOCK (parse->sinkpad);
4601
4602     /* save current position */
4603     last_stop = parse->segment.position;
4604     GST_DEBUG_OBJECT (parse, "stopped streaming at %" G_GINT64_FORMAT,
4605         last_stop);
4606
4607     /* now commit to new position */
4608
4609     /* prepare for streaming again */
4610     if (flush) {
4611       GstEvent *fevent = gst_event_new_flush_stop (TRUE);
4612       GST_DEBUG_OBJECT (parse, "sending flush stop");
4613       gst_event_set_seqnum (fevent, seqnum);
4614       gst_pad_push_event (parse->srcpad, gst_event_ref (fevent));
4615       gst_pad_push_event (parse->sinkpad, fevent);
4616       gst_base_parse_clear_queues (parse);
4617     } else {
4618       /* keep track of our position */
4619       seeksegment.base = gst_segment_to_running_time (&seeksegment,
4620           seeksegment.format, parse->segment.position);
4621     }
4622
4623     memcpy (&parse->segment, &seeksegment, sizeof (GstSegment));
4624
4625     /* store the newsegment event so it can be sent from the streaming thread. */
4626     /* This will be sent later in _loop() */
4627     segment_event = gst_event_new_segment (&parse->segment);
4628     gst_event_set_seqnum (segment_event, seqnum);
4629     parse->priv->pending_events =
4630         g_list_prepend (parse->priv->pending_events, segment_event);
4631
4632     GST_DEBUG_OBJECT (parse, "Created newseg format %d, "
4633         "start = %" GST_TIME_FORMAT ", stop = %" GST_TIME_FORMAT
4634         ", time = %" GST_TIME_FORMAT, format,
4635         GST_TIME_ARGS (parse->segment.start),
4636         GST_TIME_ARGS (parse->segment.stop),
4637         GST_TIME_ARGS (parse->segment.time));
4638
4639     /* one last chance in pull mode to stay accurate;
4640      * maybe scan and subclass can find where to go */
4641     if (!accurate) {
4642       gint64 scanpos;
4643       GstClockTime ts = seeksegment.position;
4644
4645       gst_base_parse_locate_time (parse, &ts, &scanpos);
4646       if (scanpos >= 0) {
4647         accurate = TRUE;
4648         seekpos = scanpos;
4649         /* running collected index now consists of several intervals,
4650          * so optimized check no longer possible */
4651         parse->priv->index_last_valid = FALSE;
4652         parse->priv->index_last_offset = 0;
4653         parse->priv->index_last_ts = 0;
4654       }
4655     }
4656
4657     /* mark discont if we are going to stream from another position. */
4658     if (seekpos != parse->priv->offset) {
4659       GST_DEBUG_OBJECT (parse,
4660           "mark DISCONT, we did a seek to another position");
4661       parse->priv->offset = seekpos;
4662       parse->priv->last_offset = seekpos;
4663       parse->priv->seen_keyframe = FALSE;
4664       parse->priv->discont = TRUE;
4665       parse->priv->next_dts = start_ts;
4666       parse->priv->next_pts = GST_CLOCK_TIME_NONE;
4667       parse->priv->last_dts = GST_CLOCK_TIME_NONE;
4668       parse->priv->last_pts = GST_CLOCK_TIME_NONE;
4669       parse->priv->sync_offset = seekpos;
4670       parse->priv->exact_position = accurate;
4671     }
4672
4673     /* Start streaming thread if paused */
4674     gst_pad_start_task (parse->sinkpad,
4675         (GstTaskFunction) gst_base_parse_loop, parse->sinkpad, NULL);
4676
4677     GST_PAD_STREAM_UNLOCK (parse->sinkpad);
4678
4679     /* handled seek */
4680     res = TRUE;
4681   } else {
4682     GstEvent *new_event;
4683     GstBaseParseSeek *seek;
4684     GstSeekFlags flags = (flush ? GST_SEEK_FLAG_FLUSH : GST_SEEK_FLAG_NONE);
4685
4686     /* The only thing we need to do in PUSH-mode is to send the
4687        seek event (in bytes) to upstream. Segment / flush handling happens
4688        in corresponding src event handlers */
4689     GST_DEBUG_OBJECT (parse, "seek in PUSH mode");
4690     if (seekstop >= 0 && seekstop <= seekpos)
4691       seekstop = seekpos;
4692     new_event = gst_event_new_seek (rate, GST_FORMAT_BYTES, flags,
4693         GST_SEEK_TYPE_SET, seekpos, stop_type, seekstop);
4694     gst_event_set_seqnum (new_event, seqnum);
4695
4696     /* store segment info so its precise details can be reconstructed when
4697      * receiving newsegment;
4698      * this matters for all details when accurate seeking,
4699      * is most useful to preserve NONE stop time otherwise */
4700     seek = g_new0 (GstBaseParseSeek, 1);
4701     seek->segment = seeksegment;
4702     seek->accurate = accurate;
4703     seek->offset = seekpos;
4704     seek->start_ts = start_ts;
4705     GST_OBJECT_LOCK (parse);
4706     /* less optimal, but preserves order */
4707     parse->priv->pending_seeks =
4708         g_slist_append (parse->priv->pending_seeks, seek);
4709     GST_OBJECT_UNLOCK (parse);
4710
4711     res = gst_pad_push_event (parse->sinkpad, new_event);
4712
4713     if (!res) {
4714       GST_OBJECT_LOCK (parse);
4715       parse->priv->pending_seeks =
4716           g_slist_remove (parse->priv->pending_seeks, seek);
4717       GST_OBJECT_UNLOCK (parse);
4718       g_free (seek);
4719     }
4720   }
4721
4722 done:
4723   gst_event_unref (event);
4724   return res;
4725
4726   /* ERRORS */
4727 negative_rate:
4728   {
4729     GST_DEBUG_OBJECT (parse, "negative playback rates delegated upstream.");
4730     res = FALSE;
4731     goto done;
4732   }
4733 wrong_type:
4734   {
4735     GST_DEBUG_OBJECT (parse, "unsupported seek type.");
4736     res = FALSE;
4737     goto done;
4738   }
4739 no_convert_to_time:
4740   {
4741     GST_DEBUG_OBJECT (parse, "seek in %s format was requested, but subclass "
4742         "couldn't convert that into TIME format", gst_format_get_name (format));
4743     res = FALSE;
4744     goto done;
4745   }
4746 convert_failed:
4747   {
4748     GST_DEBUG_OBJECT (parse, "conversion TIME to BYTES failed.");
4749     res = FALSE;
4750     goto done;
4751   }
4752 }
4753
4754 static void
4755 gst_base_parse_set_upstream_tags (GstBaseParse * parse, GstTagList * taglist)
4756 {
4757   if (taglist == parse->priv->upstream_tags)
4758     return;
4759
4760   if (parse->priv->upstream_tags) {
4761     gst_tag_list_unref (parse->priv->upstream_tags);
4762     parse->priv->upstream_tags = NULL;
4763   }
4764
4765   GST_INFO_OBJECT (parse, "upstream tags: %" GST_PTR_FORMAT, taglist);
4766
4767   if (taglist != NULL)
4768     parse->priv->upstream_tags = gst_tag_list_ref (taglist);
4769
4770   gst_base_parse_check_bitrate_tags (parse);
4771 }
4772
4773 #if 0
4774 static void
4775 gst_base_parse_set_index (GstElement * element, GstIndex * index)
4776 {
4777   GstBaseParse *parse = GST_BASE_PARSE (element);
4778
4779   GST_BASE_PARSE_INDEX_LOCK (parse);
4780   if (parse->priv->index)
4781     gst_object_unref (parse->priv->index);
4782   if (index) {
4783     parse->priv->index = gst_object_ref (index);
4784     gst_index_get_writer_id (index, GST_OBJECT_CAST (element),
4785         &parse->priv->index_id);
4786     parse->priv->own_index = FALSE;
4787   } else {
4788     parse->priv->index = NULL;
4789   }
4790   GST_BASE_PARSE_INDEX_UNLOCK (parse);
4791 }
4792
4793 static GstIndex *
4794 gst_base_parse_get_index (GstElement * element)
4795 {
4796   GstBaseParse *parse = GST_BASE_PARSE (element);
4797   GstIndex *result = NULL;
4798
4799   GST_BASE_PARSE_INDEX_LOCK (parse);
4800   if (parse->priv->index)
4801     result = gst_object_ref (parse->priv->index);
4802   GST_BASE_PARSE_INDEX_UNLOCK (parse);
4803
4804   return result;
4805 }
4806 #endif
4807
4808 static GstStateChangeReturn
4809 gst_base_parse_change_state (GstElement * element, GstStateChange transition)
4810 {
4811   GstBaseParse *parse;
4812   GstStateChangeReturn result;
4813
4814   parse = GST_BASE_PARSE (element);
4815
4816   switch (transition) {
4817     case GST_STATE_CHANGE_READY_TO_PAUSED:
4818       /* If this is our own index destroy it as the
4819        * old entries might be wrong for the new stream */
4820       GST_BASE_PARSE_INDEX_LOCK (parse);
4821       if (parse->priv->own_index) {
4822         gst_object_unref (parse->priv->index);
4823         parse->priv->index = NULL;
4824         parse->priv->own_index = FALSE;
4825       }
4826
4827       /* If no index was created, generate one */
4828       if (G_UNLIKELY (!parse->priv->index)) {
4829         GST_DEBUG_OBJECT (parse, "no index provided creating our own");
4830
4831         parse->priv->index = g_object_new (gst_mem_index_get_type (), NULL);
4832         gst_index_get_writer_id (parse->priv->index, GST_OBJECT (parse),
4833             &parse->priv->index_id);
4834         parse->priv->own_index = TRUE;
4835       }
4836       GST_BASE_PARSE_INDEX_UNLOCK (parse);
4837       break;
4838     default:
4839       break;
4840   }
4841
4842   result = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
4843
4844   switch (transition) {
4845     case GST_STATE_CHANGE_PAUSED_TO_READY:
4846       gst_base_parse_reset (parse);
4847       break;
4848     default:
4849       break;
4850   }
4851
4852   return result;
4853 }
4854
4855 /**
4856  * gst_base_parse_set_ts_at_offset:
4857  * @parse: a #GstBaseParse
4858  * @offset: offset into current buffer
4859  *
4860  * This function should only be called from a @handle_frame implementation.
4861  *
4862  * #GstBaseParse creates initial timestamps for frames by using the last
4863  * timestamp seen in the stream before the frame starts.  In certain
4864  * cases, the correct timestamps will occur in the stream after the
4865  * start of the frame, but before the start of the actual picture data.
4866  * This function can be used to set the timestamps based on the offset
4867  * into the frame data that the picture starts.
4868  *
4869  * Since: 1.2
4870  */
4871 void
4872 gst_base_parse_set_ts_at_offset (GstBaseParse * parse, gsize offset)
4873 {
4874   GstClockTime pts, dts;
4875
4876   g_return_if_fail (GST_IS_BASE_PARSE (parse));
4877
4878   pts = gst_adapter_prev_pts_at_offset (parse->priv->adapter, offset, NULL);
4879   dts = gst_adapter_prev_dts_at_offset (parse->priv->adapter, offset, NULL);
4880
4881   if (!GST_CLOCK_TIME_IS_VALID (pts) || !GST_CLOCK_TIME_IS_VALID (dts)) {
4882     GST_DEBUG_OBJECT (parse,
4883         "offset adapter timestamps dts=%" GST_TIME_FORMAT " pts=%"
4884         GST_TIME_FORMAT, GST_TIME_ARGS (dts), GST_TIME_ARGS (pts));
4885   }
4886   if (GST_CLOCK_TIME_IS_VALID (pts) && (parse->priv->prev_pts != pts))
4887     parse->priv->prev_pts = parse->priv->next_pts = pts;
4888
4889   if (GST_CLOCK_TIME_IS_VALID (dts) && (parse->priv->prev_dts != dts)) {
4890     parse->priv->prev_dts = parse->priv->next_dts = dts;
4891     parse->priv->prev_dts_from_pts = FALSE;
4892   }
4893 }
4894
4895 /**
4896  * gst_base_parse_merge_tags:
4897  * @parse: a #GstBaseParse
4898  * @tags: (allow-none): a #GstTagList to merge, or NULL to unset
4899  *     previously-set tags
4900  * @mode: the #GstTagMergeMode to use, usually #GST_TAG_MERGE_REPLACE
4901  *
4902  * Sets the parser subclass's tags and how they should be merged with any
4903  * upstream stream tags. This will override any tags previously-set
4904  * with gst_base_parse_merge_tags().
4905  *
4906  * Note that this is provided for convenience, and the subclass is
4907  * not required to use this and can still do tag handling on its own.
4908  *
4909  * Since: 1.6
4910  */
4911 void
4912 gst_base_parse_merge_tags (GstBaseParse * parse, GstTagList * tags,
4913     GstTagMergeMode mode)
4914 {
4915   g_return_if_fail (GST_IS_BASE_PARSE (parse));
4916   g_return_if_fail (tags == NULL || GST_IS_TAG_LIST (tags));
4917   g_return_if_fail (tags == NULL || mode != GST_TAG_MERGE_UNDEFINED);
4918
4919   GST_OBJECT_LOCK (parse);
4920
4921   if (tags != parse->priv->parser_tags) {
4922     if (parse->priv->parser_tags) {
4923       gst_tag_list_unref (parse->priv->parser_tags);
4924       parse->priv->parser_tags = NULL;
4925       parse->priv->parser_tags_merge_mode = GST_TAG_MERGE_APPEND;
4926     }
4927     if (tags) {
4928       parse->priv->parser_tags = gst_tag_list_ref (tags);
4929       parse->priv->parser_tags_merge_mode = mode;
4930     }
4931
4932     GST_DEBUG_OBJECT (parse, "setting parser tags to %" GST_PTR_FORMAT
4933         " (mode %d)", tags, parse->priv->parser_tags_merge_mode);
4934
4935     gst_base_parse_check_bitrate_tags (parse);
4936     parse->priv->tags_changed = TRUE;
4937   }
4938
4939   GST_OBJECT_UNLOCK (parse);
4940 }