aggregator: Query latency on first incoming buffer.
[platform/upstream/gstreamer.git] / libs / gst / base / gstaggregator.h
1 /* GStreamer aggregator base class
2  * Copyright (C) 2014 Mathieu Duponchelle <mathieu.duponchelle@oencreed.com>
3  * Copyright (C) 2014 Thibault Saunier <tsaunier@gnome.org>
4  *
5  * This library is free software; you can redistribute it and/or
6  * modify it under the terms of the GNU Library General Public
7  * License as published by the Free Software Foundation; either
8  * version 2 of the License, or (at your option) any later version.
9  *
10  * This library is distributed in the hope that it will be useful,
11  * but WITHOUT ANY WARRANTY; without even the implied warranty of
12  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
13  * Library General Public License for more details.
14  *
15  * You should have received a copy of the GNU Library General Public
16  * License along with this library; if not, write to the
17  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
18  * Boston, MA 02110-1301, USA.
19  */
20
21 #ifndef __GST_AGGREGATOR_H__
22 #define __GST_AGGREGATOR_H__
23
24 #ifndef GST_USE_UNSTABLE_API
25 #warning "The Base library from gst-plugins-bad is unstable API and may change in future."
26 #warning "You can define GST_USE_UNSTABLE_API to avoid this warning."
27 #endif
28
29 #include <gst/gst.h>
30
31 G_BEGIN_DECLS
32
33 /**************************
34  * GstAggregator Structs  *
35  *************************/
36
37 typedef struct _GstAggregator GstAggregator;
38 typedef struct _GstAggregatorPrivate GstAggregatorPrivate;
39 typedef struct _GstAggregatorClass GstAggregatorClass;
40
41 /************************
42  * GstAggregatorPad API *
43  ***********************/
44
45 #define GST_TYPE_AGGREGATOR_PAD            (gst_aggregator_pad_get_type())
46 #define GST_AGGREGATOR_PAD(obj)            (G_TYPE_CHECK_INSTANCE_CAST((obj),GST_TYPE_AGGREGATOR_PAD, GstAggregatorPad))
47 #define GST_AGGREGATOR_PAD_CAST(obj)       ((GstAggregatorPad *)(obj))
48 #define GST_AGGREGATOR_PAD_CLASS(klass)    (G_TYPE_CHECK_CLASS_CAST((klass),GST_TYPE_AGGREGATOR_PAD, GstAggregatorPadClass))
49 #define GST_AGGREGATOR_PAD_GET_CLASS(obj)  (G_TYPE_INSTANCE_GET_CLASS ((obj),GST_TYPE_AGGREGATOR_PAD, GstAggregatorPadClass))
50 #define GST_IS_AGGREGATOR_PAD(obj)         (G_TYPE_CHECK_INSTANCE_TYPE((obj),GST_TYPE_AGGREGATOR_PAD))
51 #define GST_IS_AGGREGATOR_PAD_CLASS(klass) (G_TYPE_CHECK_CLASS_TYPE((klass),GST_TYPE_AGGREGATOR_PAD))
52
53 /****************************
54  * GstAggregatorPad Structs *
55  ***************************/
56
57 typedef struct _GstAggregatorPad GstAggregatorPad;
58 typedef struct _GstAggregatorPadClass GstAggregatorPadClass;
59 typedef struct _GstAggregatorPadPrivate GstAggregatorPadPrivate;
60
61 /**
62  * GstAggregatorPad:
63  * @buffer: currently queued buffer.
64  * @segment: last segment received.
65  *
66  * The implementation the GstPad to use with #GstAggregator
67  */
68 struct _GstAggregatorPad
69 {
70   GstPad                       parent;
71
72   /* Protected by the OBJECT_LOCK */
73   GstSegment segment;
74
75   /* < Private > */
76   GstAggregatorPadPrivate   *  priv;
77
78   gpointer _gst_reserved[GST_PADDING];
79 };
80
81 /**
82  * GstAggregatorPadClass:
83  * @flush:    Optional
84  *            Called when the pad has received a flush stop, this is the place
85  *            to flush any information specific to the pad, it allows for individual
86  *            pads to be flushed while others might not be.
87  *
88  */
89 struct _GstAggregatorPadClass
90 {
91   GstPadClass   parent_class;
92
93   GstFlowReturn (*flush)     (GstAggregatorPad * aggpad, GstAggregator * aggregator);
94
95   /*< private >*/
96   gpointer      _gst_reserved[GST_PADDING_LARGE];
97 };
98
99 GType gst_aggregator_pad_get_type           (void);
100
101 /****************************
102  * GstAggregatorPad methods *
103  ***************************/
104
105 GstBuffer * gst_aggregator_pad_steal_buffer (GstAggregatorPad *  pad);
106 GstBuffer * gst_aggregator_pad_get_buffer   (GstAggregatorPad *  pad);
107 gboolean    gst_aggregator_pad_drop_buffer  (GstAggregatorPad *  pad);
108 gboolean    gst_aggregator_pad_is_eos       (GstAggregatorPad *  pad);
109
110 /*********************
111  * GstAggregator API *
112  ********************/
113
114 #define GST_TYPE_AGGREGATOR            (gst_aggregator_get_type())
115 #define GST_AGGREGATOR(obj)            (G_TYPE_CHECK_INSTANCE_CAST((obj),GST_TYPE_AGGREGATOR,GstAggregator))
116 #define GST_AGGREGATOR_CAST(obj)       ((GstAggregator *)(obj))
117 #define GST_AGGREGATOR_CLASS(klass)    (G_TYPE_CHECK_CLASS_CAST((klass),GST_TYPE_AGGREGATOR,GstAggregatorClass))
118 #define GST_AGGREGATOR_GET_CLASS(obj)  (G_TYPE_INSTANCE_GET_CLASS ((obj),GST_TYPE_AGGREGATOR,GstAggregatorClass))
119 #define GST_IS_AGGREGATOR(obj)         (G_TYPE_CHECK_INSTANCE_TYPE((obj),GST_TYPE_AGGREGATOR))
120 #define GST_IS_AGGREGATOR_CLASS(klass) (G_TYPE_CHECK_CLASS_TYPE((klass),GST_TYPE_AGGREGATOR))
121
122 #define GST_FLOW_NOT_HANDLED           GST_FLOW_CUSTOM_SUCCESS
123
124 /**
125  * GstAggregator:
126  * @srcpad: the aggregator's source pad
127  * @segment: the output segment
128  *
129  * Aggregator base class object structure.
130  */
131 struct _GstAggregator
132 {
133   GstElement               parent;
134
135   GstPad                *  srcpad;
136
137   /* Only access with the object lock held */
138   GstSegment               segment;
139
140   /*< private >*/
141   GstAggregatorPrivate  *  priv;
142
143   gpointer                 _gst_reserved[GST_PADDING_LARGE];
144 };
145
146 /**
147  * GstAggregatorClass:
148  * @sinkpads_type:  Optional.
149  *                  The type of the pads that should be created when
150  *                  GstElement.request_new_pad is called.
151  * @flush:          Optional.
152  *                  Called after a succesful flushing seek, once all the flush
153  *                  stops have been received. Flush pad-specific data in
154  *                  #GstAggregatorPad->flush.
155  * @clip:           Optional.
156  *                  Called when a buffer is received on a sink pad, the task
157  *                  of clipping it and translating it to the current segment
158  *                  falls on the subclass.
159  * @sink_event:     Optional.
160  *                  Called when an event is received on a sink pad, the subclass
161  *                  should always chain up.
162  * @sink_query:     Optional.
163  *                  Called when a query is received on a sink pad, the subclass
164  *                  should always chain up.
165  * @src_event:      Optional.
166  *                  Called when an event is received on the src pad, the subclass
167  *                  should always chain up.
168  * @src_query:      Optional.
169  *                  Called when a query is received on the src pad, the subclass
170  *                  should always chain up.
171  * @src_activate:   Optional.
172  *                  Called when the src pad is activated, it will start/stop its
173  *                  pad task right after that call.
174  * @aggregate:      Mandatory.
175  *                  Called when buffers are queued on all sinkpads. Classes
176  *                  should iterate the GstElement->sinkpads and peek or steal
177  *                  buffers from the #GstAggregatorPads. If the subclass returns
178  *                  GST_FLOW_EOS, sending of the eos event will be taken care
179  *                  of. Once / if a buffer has been constructed from the
180  *                  aggregated buffers, the subclass should call _finish_buffer.
181  * @stop:           Optional.
182  *                  Called when the element goes from PAUSED to READY.
183  *                  The subclass should free all resources and reset its state.
184  * @start:          Optional.
185  *                  Called when the element goes from READY to PAUSED.
186  *                  The subclass should get ready to process
187  *                  aggregated buffers.
188  * @get_next_time:  Optional.
189  *                  Called when the element needs to know the time of the next
190  *                  rendered buffer for live pipelines. This causes deadline
191  *                  based aggregation to occur. Defaults to returning
192  *                  GST_CLOCK_TIME_NONE causing the element to wait for buffers
193  *                  on all sink pads before aggregating.
194  *
195  * The aggregator base class will handle in a thread-safe way all manners of
196  * concurrent flushes, seeks, pad additions and removals, leaving to the
197  * subclass the responsibility of clipping buffers, and aggregating buffers in
198  * the way the implementor sees fit.
199  *
200  * It will also take care of event ordering (stream-start, segment, eos).
201  *
202  * Basically, a basic implementation will override @aggregate, and call
203  * _finish_buffer from inside that function.
204  */
205 struct _GstAggregatorClass {
206   GstElementClass   parent_class;
207
208   GType             sinkpads_type;
209
210   GstFlowReturn     (*flush)          (GstAggregator    *  aggregator);
211
212   GstFlowReturn     (*clip)           (GstAggregator    *  aggregator,
213                                        GstAggregatorPad *  aggregator_pad,
214                                        GstBuffer        *  buf,
215                                        GstBuffer        ** outbuf);
216
217   /* sinkpads virtual methods */
218   gboolean          (*sink_event)     (GstAggregator    *  aggregator,
219                                        GstAggregatorPad *  aggregator_pad,
220                                        GstEvent         *  event);
221
222   gboolean          (*sink_query)     (GstAggregator    *  aggregator,
223                                        GstAggregatorPad *  aggregator_pad,
224                                        GstQuery         *  query);
225
226   /* srcpad virtual methods */
227   gboolean          (*src_event)      (GstAggregator    *  aggregator,
228                                        GstEvent         *  event);
229
230   gboolean          (*src_query)      (GstAggregator    *  aggregator,
231                                        GstQuery         *  query);
232
233   gboolean          (*src_activate)   (GstAggregator    *  aggregator,
234                                        GstPadMode          mode,
235                                        gboolean            active);
236
237   GstFlowReturn     (*aggregate)      (GstAggregator    *  aggregator,
238                                        gboolean            timeout);
239
240   gboolean          (*stop)           (GstAggregator    *  aggregator);
241
242   gboolean          (*start)          (GstAggregator    *  aggregator);
243
244   GstClockTime      (*get_next_time)  (GstAggregator    *  aggregator);
245
246   /*< private >*/
247   gpointer          _gst_reserved[GST_PADDING_LARGE];
248 };
249
250 /*************************
251  * GstAggregator methods *
252  ************************/
253
254 GstFlowReturn  gst_aggregator_finish_buffer         (GstAggregator                *  agg,
255                                                      GstBuffer                    *  buffer);
256 void           gst_aggregator_set_src_caps          (GstAggregator                *  agg,
257                                                      GstCaps                      *  caps);
258
259 void           gst_aggregator_set_latency           (GstAggregator                *  self,
260                                                      GstClockTime                    min_latency,
261                                                      GstClockTime                    max_latency);
262
263 GType gst_aggregator_get_type(void);
264
265 /* API that should eventually land in GstElement itself (FIXME) */
266 typedef gboolean (*GstAggregatorPadForeachFunc)    (GstAggregator                 *  aggregator,
267                                                     GstAggregatorPad              *  aggregator_pad,
268                                                     gpointer                         user_data);
269
270 gboolean gst_aggregator_iterate_sinkpads           (GstAggregator                 *  self,
271                                                     GstAggregatorPadForeachFunc      func,
272                                                     gpointer                         user_data);
273
274 GstClockTime  gst_aggregator_get_latency           (GstAggregator                 *  self);
275
276 G_END_DECLS
277
278 #endif /* __GST_AGGREGATOR_H__ */