element: clean up element flags
[platform/upstream/gstreamer.git] / gst / gstbin.c
1 /* GStreamer
2  *
3  * Copyright (C) 1999,2000 Erik Walthinsen <omega@cse.ogi.edu>
4  *                    2004 Wim Taymans <wim.taymans@gmail.com>
5  *
6  * gstbin.c: GstBin container object and support code
7  *
8  * This library is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Library General Public
10  * License as published by the Free Software Foundation; either
11  * version 2 of the License, or (at your option) any later version.
12  *
13  * This library is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Library General Public License for more details.
17  *
18  * You should have received a copy of the GNU Library General Public
19  * License along with this library; if not, write to the
20  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
21  * Boston, MA 02111-1307, USA.
22  *
23  * MT safe.
24  */
25
26 /**
27  * SECTION:gstbin
28  * @short_description: Base class and element that can contain other elements
29  *
30  * #GstBin is an element that can contain other #GstElement, allowing them to be
31  * managed as a group.
32  * Pads from the child elements can be ghosted to the bin, see #GstGhostPad.
33  * This makes the bin look like any other elements and enables creation of
34  * higher-level abstraction elements.
35  *
36  * A new #GstBin is created with gst_bin_new(). Use a #GstPipeline instead if you
37  * want to create a toplevel bin because a normal bin doesn't have a bus or
38  * handle clock distribution of its own.
39  *
40  * After the bin has been created you will typically add elements to it with
41  * gst_bin_add(). You can remove elements with gst_bin_remove().
42  *
43  * An element can be retrieved from a bin with gst_bin_get_by_name(), using the
44  * elements name. gst_bin_get_by_name_recurse_up() is mainly used for internal
45  * purposes and will query the parent bins when the element is not found in the
46  * current bin.
47  *
48  * An iterator of elements in a bin can be retrieved with
49  * gst_bin_iterate_elements(). Various other iterators exist to retrieve the
50  * elements in a bin.
51  *
52  * gst_object_unref() is used to drop your reference to the bin.
53  *
54  * The #GstBin::element-added signal is fired whenever a new element is added to
55  * the bin. Likewise the #GstBin::element-removed signal is fired whenever an
56  * element is removed from the bin.
57  *
58  * <refsect2><title>Notes</title>
59  * <para>
60  * A #GstBin internally intercepts every #GstMessage posted by its children and
61  * implements the following default behaviour for each of them:
62  * <variablelist>
63  *   <varlistentry>
64  *     <term>GST_MESSAGE_EOS</term>
65  *     <listitem><para>This message is only posted by sinks in the PLAYING
66  *     state. If all sinks posted the EOS message, this bin will post and EOS
67  *     message upwards.</para></listitem>
68  *   </varlistentry>
69  *   <varlistentry>
70  *     <term>GST_MESSAGE_SEGMENT_START</term>
71  *     <listitem><para>just collected and never forwarded upwards.
72  *     The messages are used to decide when all elements have completed playback
73  *     of their segment.</para></listitem>
74  *   </varlistentry>
75  *   <varlistentry>
76  *     <term>GST_MESSAGE_SEGMENT_DONE</term>
77  *     <listitem><para> Is posted by #GstBin when all elements that posted
78  *     a SEGMENT_START have posted a SEGMENT_DONE.</para></listitem>
79  *   </varlistentry>
80  *   <varlistentry>
81  *     <term>GST_MESSAGE_DURATION</term>
82  *     <listitem><para> Is posted by an element that detected a change
83  *     in the stream duration. The default bin behaviour is to clear any
84  *     cached duration values so that the next duration query will perform
85  *     a full duration recalculation. The duration change is posted to the
86  *     application so that it can refetch the new duration with a duration
87  *     query. Note that these messages can be posted before the bin is
88  *     prerolled, in which case the duration query might fail.
89  *     </para></listitem>
90  *   </varlistentry>
91  *   <varlistentry>
92  *     <term>GST_MESSAGE_CLOCK_LOST</term>
93  *     <listitem><para> This message is posted by an element when it
94  *     can no longer provide a clock. The default bin behaviour is to
95  *     check if the lost clock was the one provided by the bin. If so and
96  *     the bin is currently in the PLAYING state, the message is forwarded to
97  *     the bin parent.
98  *     This message is also generated when a clock provider is removed from
99  *     the bin. If this message is received by the application, it should
100  *     PAUSE the pipeline and set it back to PLAYING to force a new clock
101  *     distribution.
102  *     </para></listitem>
103  *   </varlistentry>
104  *   <varlistentry>
105  *     <term>GST_MESSAGE_CLOCK_PROVIDE</term>
106  *     <listitem><para> This message is generated when an element
107  *     can provide a clock. This mostly happens when a new clock
108  *     provider is added to the bin. The default behaviour of the bin is to
109  *     mark the currently selected clock as dirty, which will perform a clock
110  *     recalculation the next time the bin is asked to provide a clock.
111  *     This message is never sent tot the application but is forwarded to
112  *     the parent of the bin.
113  *     </para></listitem>
114  *   </varlistentry>
115  *   <varlistentry>
116  *     <term>OTHERS</term>
117  *     <listitem><para> posted upwards.</para></listitem>
118  *   </varlistentry>
119  * </variablelist>
120  *
121  *
122  * A #GstBin implements the following default behaviour for answering to a
123  * #GstQuery:
124  * <variablelist>
125  *   <varlistentry>
126  *     <term>GST_QUERY_DURATION</term>
127  *     <listitem><para>If the query has been asked before with the same format
128  *     and the bin is a toplevel bin (ie. has no parent),
129  *     use the cached previous value. If no previous value was cached, the
130  *     query is sent to all sink elements in the bin and the MAXIMUM of all
131  *     values is returned. If the bin is a toplevel bin the value is cached.
132  *     If no sinks are available in the bin, the query fails.
133  *     </para></listitem>
134  *   </varlistentry>
135  *   <varlistentry>
136  *     <term>GST_QUERY_POSITION</term>
137  *     <listitem><para>The query is sent to all sink elements in the bin and the
138  *     MAXIMUM of all values is returned. If no sinks are available in the bin,
139  *     the query fails.
140  *     </para></listitem>
141  *   </varlistentry>
142  *   <varlistentry>
143  *     <term>OTHERS</term>
144  *     <listitem><para>the query is forwarded to all sink elements, the result
145  *     of the first sink that answers the query successfully is returned. If no
146  *     sink is in the bin, the query fails.</para></listitem>
147  *   </varlistentry>
148  * </variablelist>
149  *
150  * A #GstBin will by default forward any event sent to it to all sink elements.
151  * If all the sinks return TRUE, the bin will also return TRUE, else FALSE is
152  * returned. If no sinks are in the bin, the event handler will return TRUE.
153  *
154  * </para>
155  * </refsect2>
156  *
157  * Last reviewed on 2006-04-28 (0.10.6)
158  */
159
160 #include "gst_private.h"
161
162 #include "gstevent.h"
163 #include "gstbin.h"
164 #include "gstmarshal.h"
165 #include "gstinfo.h"
166 #include "gsterror.h"
167
168 #include "gstindex.h"
169 #include "gstindexfactory.h"
170 #include "gstutils.h"
171 #include "gstchildproxy.h"
172
173 /* latency is by default enabled now.
174  * live-preroll and no-live-preroll in the environment var GST_COMPAT
175  * to enables or disable it respectively.
176  */
177 static gboolean enable_latency = TRUE;
178
179 GST_DEBUG_CATEGORY_STATIC (bin_debug);
180 #define GST_CAT_DEFAULT bin_debug
181
182 /* a bin is toplevel if it has no parent or when it is configured to behave like
183  * a toplevel bin */
184 #define BIN_IS_TOPLEVEL(bin) ((GST_OBJECT_PARENT (bin) == NULL) || bin->priv->asynchandling)
185
186 #define GST_BIN_GET_PRIVATE(obj)  \
187    (G_TYPE_INSTANCE_GET_PRIVATE ((obj), GST_TYPE_BIN, GstBinPrivate))
188
189 struct _GstBinPrivate
190 {
191   gboolean asynchandling;
192   /* if we get an ASYNC_DONE message from ourselves, this means that the
193    * subclass will simulate ASYNC behaviour without having ASYNC children. When
194    * such an ASYNC_DONE message is posted while we are doing a state change, we
195    * have to process the message after finishing the state change even when no
196    * child returned GST_STATE_CHANGE_ASYNC. */
197   gboolean pending_async_done;
198
199   guint32 structure_cookie;
200
201   /* cached index */
202   GstIndex *index;
203   /* forward messages from our children */
204   gboolean message_forward;
205
206   gboolean posted_eos;
207 };
208
209 typedef struct
210 {
211   GstBin *bin;
212   guint32 cookie;
213   GstState pending;
214 } BinContinueData;
215
216 static void gst_bin_dispose (GObject * object);
217
218 static void gst_bin_set_property (GObject * object, guint prop_id,
219     const GValue * value, GParamSpec * pspec);
220 static void gst_bin_get_property (GObject * object, guint prop_id,
221     GValue * value, GParamSpec * pspec);
222
223 static GstStateChangeReturn gst_bin_change_state_func (GstElement * element,
224     GstStateChange transition);
225 static void gst_bin_state_changed (GstElement * element, GstState oldstate,
226     GstState newstate, GstState pending);
227 static GstStateChangeReturn gst_bin_get_state_func (GstElement * element,
228     GstState * state, GstState * pending, GstClockTime timeout);
229 static void bin_handle_async_done (GstBin * bin, GstStateChangeReturn ret,
230     gboolean flag_pending, gboolean reset_time);
231 static void bin_handle_async_start (GstBin * bin);
232 static void bin_push_state_continue (BinContinueData * data);
233 static void bin_do_eos (GstBin * bin);
234
235 static gboolean gst_bin_add_func (GstBin * bin, GstElement * element);
236 static gboolean gst_bin_remove_func (GstBin * bin, GstElement * element);
237
238 static void gst_bin_set_index_func (GstElement * element, GstIndex * index);
239 static GstIndex *gst_bin_get_index_func (GstElement * element);
240
241 static GstClock *gst_bin_provide_clock_func (GstElement * element);
242 static gboolean gst_bin_set_clock_func (GstElement * element, GstClock * clock);
243
244 static void gst_bin_handle_message_func (GstBin * bin, GstMessage * message);
245 static gboolean gst_bin_send_event (GstElement * element, GstEvent * event);
246 static GstBusSyncReply bin_bus_handler (GstBus * bus,
247     GstMessage * message, GstBin * bin);
248 static gboolean gst_bin_query (GstElement * element, GstQuery * query);
249
250 static gboolean gst_bin_do_latency_func (GstBin * bin);
251
252 static void bin_remove_messages (GstBin * bin, GstObject * src,
253     GstMessageType types);
254 static void gst_bin_continue_func (BinContinueData * data);
255 static gint bin_element_is_sink (GstElement * child, GstBin * bin);
256 static gint bin_element_is_src (GstElement * child, GstBin * bin);
257
258 static GstIterator *gst_bin_sort_iterator_new (GstBin * bin);
259
260 /* Bin signals and properties */
261 enum
262 {
263   ELEMENT_ADDED,
264   ELEMENT_REMOVED,
265   DO_LATENCY,
266   LAST_SIGNAL
267 };
268
269 #define DEFAULT_ASYNC_HANDLING  FALSE
270 #define DEFAULT_MESSAGE_FORWARD FALSE
271
272 enum
273 {
274   PROP_0,
275   PROP_ASYNC_HANDLING,
276   PROP_MESSAGE_FORWARD,
277   PROP_LAST
278 };
279
280 static void gst_bin_child_proxy_init (gpointer g_iface, gpointer iface_data);
281
282 static guint gst_bin_signals[LAST_SIGNAL] = { 0 };
283
284 #define _do_init \
285 { \
286   const gchar *compat; \
287   static const GInterfaceInfo iface_info = { \
288     gst_bin_child_proxy_init, \
289     NULL, \
290     NULL}; \
291   \
292   g_type_add_interface_static (g_define_type_id, GST_TYPE_CHILD_PROXY, &iface_info); \
293   \
294   GST_DEBUG_CATEGORY_INIT (bin_debug, "bin", GST_DEBUG_BOLD, \
295       "debugging info for the 'bin' container element"); \
296   \
297   /* compatibility stuff */ \
298   compat = g_getenv ("GST_COMPAT"); \
299   if (compat != NULL) { \
300     if (strstr (compat, "no-live-preroll")) \
301       enable_latency = FALSE; \
302     else if (strstr (compat, "live-preroll")) \
303       enable_latency = TRUE; \
304   } \
305 }
306
307 #define gst_bin_parent_class parent_class
308 G_DEFINE_TYPE_WITH_CODE (GstBin, gst_bin, GST_TYPE_ELEMENT, _do_init);
309
310 static GstObject *
311 gst_bin_child_proxy_get_child_by_index (GstChildProxy * child_proxy,
312     guint index)
313 {
314   GstObject *res;
315   GstBin *bin;
316
317   bin = GST_BIN_CAST (child_proxy);
318
319   GST_OBJECT_LOCK (bin);
320   if ((res = g_list_nth_data (bin->children, index)))
321     gst_object_ref (res);
322   GST_OBJECT_UNLOCK (bin);
323
324   return res;
325 }
326
327 static guint
328 gst_bin_child_proxy_get_children_count (GstChildProxy * child_proxy)
329 {
330   guint num;
331   GstBin *bin;
332
333   bin = GST_BIN_CAST (child_proxy);
334
335   GST_OBJECT_LOCK (bin);
336   num = bin->numchildren;
337   GST_OBJECT_UNLOCK (bin);
338
339   return num;
340 }
341
342 static void
343 gst_bin_child_proxy_init (gpointer g_iface, gpointer iface_data)
344 {
345   GstChildProxyInterface *iface = g_iface;
346
347   iface->get_children_count = gst_bin_child_proxy_get_children_count;
348   iface->get_child_by_index = gst_bin_child_proxy_get_child_by_index;
349 }
350
351 static gboolean
352 _gst_boolean_accumulator (GSignalInvocationHint * ihint,
353     GValue * return_accu, const GValue * handler_return, gpointer dummy)
354 {
355   gboolean myboolean;
356
357   myboolean = g_value_get_boolean (handler_return);
358   if (!(ihint->run_type & G_SIGNAL_RUN_CLEANUP))
359     g_value_set_boolean (return_accu, myboolean);
360
361   GST_DEBUG ("invocation %d, %d", ihint->run_type, myboolean);
362
363   /* stop emission */
364   return FALSE;
365 }
366
367 static void
368 gst_bin_class_init (GstBinClass * klass)
369 {
370   GObjectClass *gobject_class;
371   GstElementClass *gstelement_class;
372   GError *err;
373
374   gobject_class = (GObjectClass *) klass;
375   gstelement_class = (GstElementClass *) klass;
376
377   g_type_class_add_private (klass, sizeof (GstBinPrivate));
378
379   gobject_class->set_property = gst_bin_set_property;
380   gobject_class->get_property = gst_bin_get_property;
381
382   /**
383    * GstBin:async-handling
384    *
385    * If set to #TRUE, the bin will handle asynchronous state changes.
386    * This should be used only if the bin subclass is modifying the state
387    * of its children on its own.
388    *
389    * Since: 0.10.13
390    */
391   g_object_class_install_property (gobject_class, PROP_ASYNC_HANDLING,
392       g_param_spec_boolean ("async-handling", "Async Handling",
393           "The bin will handle Asynchronous state changes",
394           DEFAULT_ASYNC_HANDLING, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
395
396   /**
397    * GstBin::element-added:
398    * @bin: the #GstBin
399    * @element: the #GstElement that was added to the bin
400    *
401    * Will be emitted after the element was added to the bin.
402    */
403   gst_bin_signals[ELEMENT_ADDED] =
404       g_signal_new ("element-added", G_TYPE_FROM_CLASS (klass),
405       G_SIGNAL_RUN_FIRST, G_STRUCT_OFFSET (GstBinClass, element_added), NULL,
406       NULL, gst_marshal_VOID__OBJECT, G_TYPE_NONE, 1, GST_TYPE_ELEMENT);
407   /**
408    * GstBin::element-removed:
409    * @bin: the #GstBin
410    * @element: the #GstElement that was removed from the bin
411    *
412    * Will be emitted after the element was removed from the bin.
413    */
414   gst_bin_signals[ELEMENT_REMOVED] =
415       g_signal_new ("element-removed", G_TYPE_FROM_CLASS (klass),
416       G_SIGNAL_RUN_FIRST, G_STRUCT_OFFSET (GstBinClass, element_removed), NULL,
417       NULL, gst_marshal_VOID__OBJECT, G_TYPE_NONE, 1, GST_TYPE_ELEMENT);
418   /**
419    * GstBin::do-latency:
420    * @bin: the #GstBin
421    *
422    * Will be emitted when the bin needs to perform latency calculations. This
423    * signal is only emited for toplevel bins or when async-handling is
424    * enabled.
425    *
426    * Only one signal handler is invoked. If no signals are connected, the
427    * default handler is invoked, which will query and distribute the lowest
428    * possible latency to all sinks.
429    *
430    * Connect to this signal if the default latency calculations are not
431    * sufficient, like when you need different latencies for different sinks in
432    * the same pipeline.
433    *
434    * Since: 0.10.22
435    */
436   gst_bin_signals[DO_LATENCY] =
437       g_signal_new ("do-latency", G_TYPE_FROM_CLASS (klass),
438       G_SIGNAL_RUN_LAST, G_STRUCT_OFFSET (GstBinClass, do_latency),
439       _gst_boolean_accumulator, NULL, gst_marshal_BOOLEAN__VOID,
440       G_TYPE_BOOLEAN, 0, G_TYPE_NONE);
441
442   /**
443    * GstBin:message-forward
444    *
445    * Forward all children messages, even those that would normally be filtered by
446    * the bin. This can be interesting when one wants to be notified of the EOS
447    * state of individual elements, for example.
448    *
449    * The messages are converted to an ELEMENT message with the bin as the
450    * source. The structure of the message is named 'GstBinForwarded' and contains
451    * a field named 'message' of type GST_TYPE_MESSAGE that contains the original
452    * forwarded message.
453    *
454    * Since: 0.10.31
455    */
456   g_object_class_install_property (gobject_class, PROP_MESSAGE_FORWARD,
457       g_param_spec_boolean ("message-forward", "Message Forward",
458           "Forwards all children messages",
459           DEFAULT_MESSAGE_FORWARD, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
460
461   gobject_class->dispose = gst_bin_dispose;
462
463   gst_element_class_set_metadata (gstelement_class, "Generic bin",
464       "Generic/Bin",
465       "Simple container object",
466       "Erik Walthinsen <omega@cse.ogi.edu>,"
467       "Wim Taymans <wim.taymans@gmail.com>");
468
469   gstelement_class->change_state =
470       GST_DEBUG_FUNCPTR (gst_bin_change_state_func);
471   gstelement_class->state_changed = GST_DEBUG_FUNCPTR (gst_bin_state_changed);
472   gstelement_class->get_state = GST_DEBUG_FUNCPTR (gst_bin_get_state_func);
473   gstelement_class->get_index = GST_DEBUG_FUNCPTR (gst_bin_get_index_func);
474   gstelement_class->set_index = GST_DEBUG_FUNCPTR (gst_bin_set_index_func);
475   gstelement_class->provide_clock =
476       GST_DEBUG_FUNCPTR (gst_bin_provide_clock_func);
477   gstelement_class->set_clock = GST_DEBUG_FUNCPTR (gst_bin_set_clock_func);
478
479   gstelement_class->send_event = GST_DEBUG_FUNCPTR (gst_bin_send_event);
480   gstelement_class->query = GST_DEBUG_FUNCPTR (gst_bin_query);
481
482   klass->add_element = GST_DEBUG_FUNCPTR (gst_bin_add_func);
483   klass->remove_element = GST_DEBUG_FUNCPTR (gst_bin_remove_func);
484   klass->handle_message = GST_DEBUG_FUNCPTR (gst_bin_handle_message_func);
485
486   klass->do_latency = GST_DEBUG_FUNCPTR (gst_bin_do_latency_func);
487
488   GST_DEBUG ("creating bin thread pool");
489   err = NULL;
490   klass->pool =
491       g_thread_pool_new ((GFunc) gst_bin_continue_func, NULL, -1, FALSE, &err);
492   if (err != NULL) {
493     g_critical ("could alloc threadpool %s", err->message);
494   }
495 }
496
497 static void
498 gst_bin_init (GstBin * bin)
499 {
500   GstBus *bus;
501
502   bin->numchildren = 0;
503   bin->children = NULL;
504   bin->children_cookie = 0;
505   bin->messages = NULL;
506   bin->provided_clock = NULL;
507   bin->clock_dirty = FALSE;
508
509   /* Set up a bus for listening to child elements */
510   bus = g_object_new (GST_TYPE_BUS, "enable-async", FALSE, NULL);
511   bin->child_bus = bus;
512   GST_DEBUG_OBJECT (bin, "using bus %" GST_PTR_FORMAT " to listen to children",
513       bus);
514   gst_bus_set_sync_handler (bus, (GstBusSyncHandler) bin_bus_handler, bin);
515
516   bin->priv = GST_BIN_GET_PRIVATE (bin);
517   bin->priv->asynchandling = DEFAULT_ASYNC_HANDLING;
518   bin->priv->structure_cookie = 0;
519   bin->priv->message_forward = DEFAULT_MESSAGE_FORWARD;
520 }
521
522 static void
523 gst_bin_dispose (GObject * object)
524 {
525   GstBin *bin = GST_BIN_CAST (object);
526   GstBus **child_bus_p = &bin->child_bus;
527   GstClock **provided_clock_p = &bin->provided_clock;
528   GstElement **clock_provider_p = &bin->clock_provider;
529   GstIndex **index_p = &bin->priv->index;
530
531   GST_CAT_DEBUG_OBJECT (GST_CAT_REFCOUNTING, object, "dispose");
532
533   GST_OBJECT_LOCK (object);
534   gst_object_replace ((GstObject **) child_bus_p, NULL);
535   gst_object_replace ((GstObject **) provided_clock_p, NULL);
536   gst_object_replace ((GstObject **) clock_provider_p, NULL);
537   gst_object_replace ((GstObject **) index_p, NULL);
538   bin_remove_messages (bin, NULL, GST_MESSAGE_ANY);
539   GST_OBJECT_UNLOCK (object);
540
541   while (bin->children) {
542     gst_bin_remove (bin, GST_ELEMENT_CAST (bin->children->data));
543   }
544   if (G_UNLIKELY (bin->children != NULL)) {
545     g_critical ("could not remove elements from bin '%s'",
546         GST_STR_NULL (GST_OBJECT_NAME (object)));
547   }
548
549   G_OBJECT_CLASS (parent_class)->dispose (object);
550 }
551
552 /**
553  * gst_bin_new:
554  * @name: the name of the new bin
555  *
556  * Creates a new bin with the given name.
557  *
558  * Returns: (transfer full): a new #GstBin
559  */
560 GstElement *
561 gst_bin_new (const gchar * name)
562 {
563   return gst_element_factory_make ("bin", name);
564 }
565
566 static void
567 gst_bin_set_property (GObject * object, guint prop_id,
568     const GValue * value, GParamSpec * pspec)
569 {
570   GstBin *gstbin;
571
572   gstbin = GST_BIN_CAST (object);
573
574   switch (prop_id) {
575     case PROP_ASYNC_HANDLING:
576       GST_OBJECT_LOCK (gstbin);
577       gstbin->priv->asynchandling = g_value_get_boolean (value);
578       GST_OBJECT_UNLOCK (gstbin);
579       break;
580     case PROP_MESSAGE_FORWARD:
581       GST_OBJECT_LOCK (gstbin);
582       gstbin->priv->message_forward = g_value_get_boolean (value);
583       GST_OBJECT_UNLOCK (gstbin);
584       break;
585     default:
586       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
587       break;
588   }
589 }
590
591 static void
592 gst_bin_get_property (GObject * object, guint prop_id,
593     GValue * value, GParamSpec * pspec)
594 {
595   GstBin *gstbin;
596
597   gstbin = GST_BIN_CAST (object);
598
599   switch (prop_id) {
600     case PROP_ASYNC_HANDLING:
601       GST_OBJECT_LOCK (gstbin);
602       g_value_set_boolean (value, gstbin->priv->asynchandling);
603       GST_OBJECT_UNLOCK (gstbin);
604       break;
605     case PROP_MESSAGE_FORWARD:
606       GST_OBJECT_LOCK (gstbin);
607       g_value_set_boolean (value, gstbin->priv->message_forward);
608       GST_OBJECT_UNLOCK (gstbin);
609       break;
610     default:
611       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
612       break;
613   }
614 }
615
616 /* return the cached index */
617 static GstIndex *
618 gst_bin_get_index_func (GstElement * element)
619 {
620   GstBin *bin;
621   GstIndex *result;
622
623   bin = GST_BIN_CAST (element);
624
625   GST_OBJECT_LOCK (bin);
626   if ((result = bin->priv->index))
627     gst_object_ref (result);
628   GST_OBJECT_UNLOCK (bin);
629
630   return result;
631 }
632
633 /* set the index on all elements in this bin
634  *
635  * MT safe
636  */
637 static void
638 gst_bin_set_index_func (GstElement * element, GstIndex * index)
639 {
640   GstBin *bin;
641   gboolean done;
642   GstIterator *it;
643   GstIndex *old;
644   GValue data = { 0, };
645
646   bin = GST_BIN_CAST (element);
647
648   GST_OBJECT_LOCK (bin);
649   old = bin->priv->index;
650   if (G_UNLIKELY (old == index))
651     goto was_set;
652   if (index)
653     gst_object_ref (index);
654   bin->priv->index = index;
655   GST_OBJECT_UNLOCK (bin);
656
657   if (old)
658     gst_object_unref (old);
659
660   it = gst_bin_iterate_elements (bin);
661
662   /* set the index on all elements in the bin */
663   done = FALSE;
664   while (!done) {
665     switch (gst_iterator_next (it, &data)) {
666       case GST_ITERATOR_OK:
667       {
668         GstElement *child = g_value_get_object (&data);
669
670         GST_DEBUG_OBJECT (bin, "setting index on '%s'",
671             GST_ELEMENT_NAME (child));
672         gst_element_set_index (child, index);
673
674         g_value_reset (&data);
675         break;
676       }
677       case GST_ITERATOR_RESYNC:
678         GST_DEBUG_OBJECT (bin, "iterator doing resync");
679         gst_iterator_resync (it);
680         break;
681       default:
682       case GST_ITERATOR_DONE:
683         GST_DEBUG_OBJECT (bin, "iterator done");
684         done = TRUE;
685         break;
686     }
687   }
688   g_value_unset (&data);
689   gst_iterator_free (it);
690   return;
691
692 was_set:
693   {
694     GST_DEBUG_OBJECT (bin, "index was already set");
695     GST_OBJECT_UNLOCK (bin);
696     return;
697   }
698 }
699
700 /* set the clock on all elements in this bin
701  *
702  * MT safe
703  */
704 static gboolean
705 gst_bin_set_clock_func (GstElement * element, GstClock * clock)
706 {
707   GstBin *bin;
708   gboolean done;
709   GstIterator *it;
710   gboolean res = TRUE;
711   GValue data = { 0, };
712
713   bin = GST_BIN_CAST (element);
714
715   it = gst_bin_iterate_elements (bin);
716
717   done = FALSE;
718   while (!done) {
719     switch (gst_iterator_next (it, &data)) {
720       case GST_ITERATOR_OK:
721       {
722         GstElement *child = g_value_get_object (&data);
723
724         res &= gst_element_set_clock (child, clock);
725
726         g_value_reset (&data);
727         break;
728       }
729       case GST_ITERATOR_RESYNC:
730         GST_DEBUG_OBJECT (bin, "iterator doing resync");
731         gst_iterator_resync (it);
732         res = TRUE;
733         break;
734       default:
735       case GST_ITERATOR_DONE:
736         GST_DEBUG_OBJECT (bin, "iterator done");
737         done = TRUE;
738         break;
739     }
740   }
741   g_value_unset (&data);
742   gst_iterator_free (it);
743
744   if (res)
745     res = GST_ELEMENT_CLASS (parent_class)->set_clock (element, clock);
746
747   return res;
748 }
749
750 /* get the clock for this bin by asking all of the children in this bin
751  *
752  * The ref of the returned clock in increased so unref after usage.
753  *
754  * We loop the elements in state order and pick the last clock we can
755  * get. This makes sure we get a clock from the source.
756  *
757  * MT safe
758  */
759 static GstClock *
760 gst_bin_provide_clock_func (GstElement * element)
761 {
762   GstClock *result = NULL;
763   GstElement *provider = NULL;
764   GstBin *bin;
765   GstIterator *it;
766   gboolean done;
767   GValue val = { 0, };
768   GstClock **provided_clock_p;
769   GstElement **clock_provider_p;
770
771   bin = GST_BIN_CAST (element);
772
773   GST_OBJECT_LOCK (bin);
774   if (!bin->clock_dirty)
775     goto not_dirty;
776
777   GST_DEBUG_OBJECT (bin, "finding new clock");
778
779   it = gst_bin_sort_iterator_new (bin);
780   GST_OBJECT_UNLOCK (bin);
781
782   done = FALSE;
783   while (!done) {
784     switch (gst_iterator_next (it, &val)) {
785       case GST_ITERATOR_OK:
786       {
787         GstElement *child = g_value_get_object (&val);
788         GstClock *clock;
789
790         clock = gst_element_provide_clock (child);
791         if (clock) {
792           GST_DEBUG_OBJECT (bin, "found candidate clock %p by element %s",
793               clock, GST_ELEMENT_NAME (child));
794           if (result) {
795             gst_object_unref (result);
796             gst_object_unref (provider);
797           }
798           result = clock;
799           provider = gst_object_ref (child);
800         }
801
802         g_value_reset (&val);
803         break;
804       }
805       case GST_ITERATOR_RESYNC:
806         gst_iterator_resync (it);
807         break;
808       default:
809       case GST_ITERATOR_DONE:
810         done = TRUE;
811         break;
812     }
813   }
814   g_value_unset (&val);
815   gst_iterator_free (it);
816
817   GST_OBJECT_LOCK (bin);
818   if (!bin->clock_dirty) {
819     if (provider)
820       gst_object_unref (provider);
821     if (result)
822       gst_object_unref (result);
823     result = NULL;
824
825     goto not_dirty;
826   }
827
828   provided_clock_p = &bin->provided_clock;
829   clock_provider_p = &bin->clock_provider;
830   gst_object_replace ((GstObject **) provided_clock_p, (GstObject *) result);
831   gst_object_replace ((GstObject **) clock_provider_p, (GstObject *) provider);
832   bin->clock_dirty = FALSE;
833   GST_DEBUG_OBJECT (bin,
834       "provided new clock %" GST_PTR_FORMAT " by provider %" GST_PTR_FORMAT,
835       result, provider);
836   /* Provider is not being returned to caller, just the result */
837   if (provider)
838     gst_object_unref (provider);
839   GST_OBJECT_UNLOCK (bin);
840
841   return result;
842
843 not_dirty:
844   {
845     if ((result = bin->provided_clock))
846       gst_object_ref (result);
847     GST_DEBUG_OBJECT (bin, "returning old clock %p", result);
848     GST_OBJECT_UNLOCK (bin);
849
850     return result;
851   }
852 }
853
854 /*
855  * functions for manipulating cached messages
856  */
857 typedef struct
858 {
859   GstObject *src;
860   GstMessageType types;
861 } MessageFind;
862
863 /* check if a message is of given src and type */
864 static gint
865 message_check (GstMessage * message, MessageFind * target)
866 {
867   gboolean eq = TRUE;
868
869   if (target->src)
870     eq &= GST_MESSAGE_SRC (message) == target->src;
871   if (target->types)
872     eq &= (GST_MESSAGE_TYPE (message) & target->types) != 0;
873   GST_LOG ("looking at message %p: %d", message, eq);
874
875   return (eq ? 0 : 1);
876 }
877
878 static GList *
879 find_message (GstBin * bin, GstObject * src, GstMessageType types)
880 {
881   GList *result;
882   MessageFind find;
883
884   find.src = src;
885   find.types = types;
886
887   result = g_list_find_custom (bin->messages, &find,
888       (GCompareFunc) message_check);
889
890   if (result) {
891     GST_DEBUG_OBJECT (bin, "we found a message %p from %s matching types %08x",
892         result->data, GST_OBJECT_NAME (GST_MESSAGE_CAST (result->data)->src),
893         types);
894   } else {
895     GST_DEBUG_OBJECT (bin, "no message found matching types %08x", types);
896 #ifndef GST_DISABLE_GST_DEBUG
897     {
898       guint i;
899
900       for (i = 0; i < 32; i++)
901         if (types & (1 << i))
902           GST_DEBUG_OBJECT (bin, "  %s", gst_message_type_get_name (1 << i));
903     }
904 #endif
905   }
906
907   return result;
908 }
909
910 /* with LOCK, returns TRUE if message had a valid SRC, takes ownership of
911  * the message.
912  *
913  * A message that is cached and has the same SRC and type is replaced
914  * by the given message.
915  */
916 static gboolean
917 bin_replace_message (GstBin * bin, GstMessage * message, GstMessageType types)
918 {
919   GList *previous;
920   GstObject *src;
921   gboolean res = TRUE;
922
923   if ((src = GST_MESSAGE_SRC (message))) {
924     /* first find the previous message posted by this element */
925     if ((previous = find_message (bin, src, types))) {
926       GstMessage *previous_msg;
927
928       /* if we found a previous message, replace it */
929       previous_msg = previous->data;
930       previous->data = message;
931
932       GST_DEBUG_OBJECT (bin, "replace old message %s from %s with %s message",
933           GST_MESSAGE_TYPE_NAME (previous_msg), GST_ELEMENT_NAME (src),
934           GST_MESSAGE_TYPE_NAME (message));
935
936       gst_message_unref (previous_msg);
937     } else {
938       /* keep new message */
939       bin->messages = g_list_prepend (bin->messages, message);
940
941       GST_DEBUG_OBJECT (bin, "got new message %p, %s from %s",
942           message, GST_MESSAGE_TYPE_NAME (message), GST_ELEMENT_NAME (src));
943     }
944   } else {
945     GST_DEBUG_OBJECT (bin, "got message %s from (NULL), not processing",
946         GST_MESSAGE_TYPE_NAME (message));
947     res = FALSE;
948     gst_message_unref (message);
949   }
950   return res;
951 }
952
953 /* with LOCK. Remove all messages of given types */
954 static void
955 bin_remove_messages (GstBin * bin, GstObject * src, GstMessageType types)
956 {
957   MessageFind find;
958   GList *walk, *next;
959
960   find.src = src;
961   find.types = types;
962
963   for (walk = bin->messages; walk; walk = next) {
964     GstMessage *message = (GstMessage *) walk->data;
965
966     next = g_list_next (walk);
967
968     if (message_check (message, &find) == 0) {
969       GST_DEBUG_OBJECT (GST_MESSAGE_SRC (message),
970           "deleting message %p of types 0x%08x", message, types);
971       bin->messages = g_list_delete_link (bin->messages, walk);
972       gst_message_unref (message);
973     } else {
974       GST_DEBUG_OBJECT (GST_MESSAGE_SRC (message),
975           "not deleting message %p of type 0x%08x", message,
976           GST_MESSAGE_TYPE (message));
977     }
978   }
979 }
980
981
982 /* Check if the bin is EOS. We do this by scanning all sinks and
983  * checking if they posted an EOS message.
984  *
985  * call with bin LOCK */
986 static gboolean
987 is_eos (GstBin * bin, guint32 * seqnum)
988 {
989   gboolean result;
990   gint n_eos = 0;
991   GList *walk, *msgs;
992
993   result = TRUE;
994   for (walk = bin->children; walk; walk = g_list_next (walk)) {
995     GstElement *element;
996
997     element = GST_ELEMENT_CAST (walk->data);
998     if (bin_element_is_sink (element, bin) == 0) {
999       /* check if element posted EOS */
1000       if ((msgs =
1001               find_message (bin, GST_OBJECT_CAST (element), GST_MESSAGE_EOS))) {
1002         GST_DEBUG ("sink '%s' posted EOS", GST_ELEMENT_NAME (element));
1003         *seqnum = gst_message_get_seqnum (GST_MESSAGE_CAST (msgs->data));
1004         n_eos++;
1005       } else {
1006         GST_DEBUG ("sink '%s' did not post EOS yet",
1007             GST_ELEMENT_NAME (element));
1008         result = FALSE;
1009         break;
1010       }
1011     }
1012   }
1013   /* FIXME: Some tests (e.g. elements/capsfilter) use
1014    * pipelines with a dangling sinkpad but no sink element.
1015    * These tests assume that no EOS message is ever
1016    * posted on the bus so let's keep that behaviour.
1017    * In valid pipelines this doesn't make a difference.
1018    */
1019   return result && n_eos > 0;
1020 }
1021
1022 static void
1023 unlink_pads (const GValue * item, gpointer user_data)
1024 {
1025   GstPad *pad;
1026   GstPad *peer;
1027
1028   pad = g_value_get_object (item);
1029
1030   if ((peer = gst_pad_get_peer (pad))) {
1031     if (gst_pad_get_direction (pad) == GST_PAD_SRC)
1032       gst_pad_unlink (pad, peer);
1033     else
1034       gst_pad_unlink (peer, pad);
1035     gst_object_unref (peer);
1036   }
1037 }
1038
1039 /* vmethod that adds an element to a bin
1040  *
1041  * MT safe
1042  */
1043 static gboolean
1044 gst_bin_add_func (GstBin * bin, GstElement * element)
1045 {
1046   gchar *elem_name;
1047   GstIterator *it;
1048   gboolean is_sink, is_source;
1049   GstMessage *clock_message = NULL, *async_message = NULL;
1050   GstStateChangeReturn ret;
1051
1052   GST_DEBUG_OBJECT (bin, "element :%s", GST_ELEMENT_NAME (element));
1053
1054   /* we obviously can't add ourself to ourself */
1055   if (G_UNLIKELY (GST_ELEMENT_CAST (element) == GST_ELEMENT_CAST (bin)))
1056     goto adding_itself;
1057
1058   /* get the element name to make sure it is unique in this bin. */
1059   GST_OBJECT_LOCK (element);
1060   elem_name = g_strdup (GST_ELEMENT_NAME (element));
1061   is_sink = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_FLAG_SINK);
1062   is_source = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_FLAG_SOURCE);
1063   GST_OBJECT_UNLOCK (element);
1064
1065   GST_OBJECT_LOCK (bin);
1066
1067   /* then check to see if the element's name is already taken in the bin,
1068    * we can safely take the lock here. This check is probably bogus because
1069    * you can safely change the element name after this check and before setting
1070    * the object parent. The window is very small though... */
1071   if (G_UNLIKELY (!gst_object_check_uniqueness (bin->children, elem_name)))
1072     goto duplicate_name;
1073
1074   /* set the element's parent and add the element to the bin's list of children */
1075   if (G_UNLIKELY (!gst_object_set_parent (GST_OBJECT_CAST (element),
1076               GST_OBJECT_CAST (bin))))
1077     goto had_parent;
1078
1079   /* if we add a sink we become a sink */
1080   if (is_sink) {
1081     GST_CAT_DEBUG_OBJECT (GST_CAT_PARENTAGE, bin, "element \"%s\" was sink",
1082         elem_name);
1083     GST_OBJECT_FLAG_SET (bin, GST_ELEMENT_FLAG_SINK);
1084   }
1085   if (is_source) {
1086     GST_CAT_DEBUG_OBJECT (GST_CAT_PARENTAGE, bin, "element \"%s\" was source",
1087         elem_name);
1088     GST_OBJECT_FLAG_SET (bin, GST_ELEMENT_FLAG_SOURCE);
1089   }
1090   if (gst_element_provides_clock (element)) {
1091     GST_DEBUG_OBJECT (bin, "element \"%s\" can provide a clock", elem_name);
1092     clock_message =
1093         gst_message_new_clock_provide (GST_OBJECT_CAST (element), NULL, TRUE);
1094   }
1095
1096   bin->children = g_list_prepend (bin->children, element);
1097   bin->numchildren++;
1098   bin->children_cookie++;
1099   bin->priv->structure_cookie++;
1100
1101   /* distribute the bus */
1102   gst_element_set_bus (element, bin->child_bus);
1103
1104   /* propagate the current base_time, start_time and clock */
1105   gst_element_set_base_time (element, GST_ELEMENT_CAST (bin)->base_time);
1106   gst_element_set_start_time (element, GST_ELEMENT_START_TIME (bin));
1107   /* it's possible that the element did not accept the clock but
1108    * that is not important right now. When the pipeline goes to PLAYING,
1109    * a new clock will be selected */
1110   gst_element_set_clock (element, GST_ELEMENT_CLOCK (bin));
1111   /* set the cached index on the children */
1112   if (bin->priv->index)
1113     gst_element_set_index (element, bin->priv->index);
1114
1115   ret = GST_STATE_RETURN (bin);
1116   /* no need to update the state if we are in error */
1117   if (ret == GST_STATE_CHANGE_FAILURE)
1118     goto no_state_recalc;
1119
1120   /* update the bin state, the new element could have been an ASYNC or
1121    * NO_PREROLL element */
1122   ret = GST_STATE_RETURN (element);
1123   GST_DEBUG_OBJECT (bin, "added %s element",
1124       gst_element_state_change_return_get_name (ret));
1125
1126   switch (ret) {
1127     case GST_STATE_CHANGE_ASYNC:
1128     {
1129       /* create message to track this aync element when it posts an async-done
1130        * message */
1131       async_message = gst_message_new_async_start (GST_OBJECT_CAST (element));
1132       break;
1133     }
1134     case GST_STATE_CHANGE_NO_PREROLL:
1135       /* ignore all async elements we might have and commit our state */
1136       bin_handle_async_done (bin, ret, FALSE, FALSE);
1137       break;
1138     case GST_STATE_CHANGE_FAILURE:
1139       break;
1140     default:
1141       break;
1142   }
1143
1144 no_state_recalc:
1145   GST_OBJECT_UNLOCK (bin);
1146
1147   /* post the messages on the bus of the element so that the bin can handle
1148    * them */
1149   if (clock_message)
1150     gst_element_post_message (GST_ELEMENT_CAST (element), clock_message);
1151
1152   if (async_message)
1153     gst_element_post_message (GST_ELEMENT_CAST (element), async_message);
1154
1155   /* unlink all linked pads */
1156   it = gst_element_iterate_pads (element);
1157   gst_iterator_foreach (it, (GstIteratorForeachFunction) unlink_pads, NULL);
1158   gst_iterator_free (it);
1159
1160   GST_CAT_DEBUG_OBJECT (GST_CAT_PARENTAGE, bin, "added element \"%s\"",
1161       elem_name);
1162   g_free (elem_name);
1163
1164   g_signal_emit (bin, gst_bin_signals[ELEMENT_ADDED], 0, element);
1165   gst_child_proxy_child_added ((GstObject *) bin, (GstObject *) element);
1166
1167   return TRUE;
1168
1169   /* ERROR handling here */
1170 adding_itself:
1171   {
1172     GST_OBJECT_LOCK (bin);
1173     g_warning ("Cannot add bin '%s' to itself", GST_ELEMENT_NAME (bin));
1174     GST_OBJECT_UNLOCK (bin);
1175     return FALSE;
1176   }
1177 duplicate_name:
1178   {
1179     g_warning ("Name '%s' is not unique in bin '%s', not adding",
1180         elem_name, GST_ELEMENT_NAME (bin));
1181     GST_OBJECT_UNLOCK (bin);
1182     g_free (elem_name);
1183     return FALSE;
1184   }
1185 had_parent:
1186   {
1187     g_warning ("Element '%s' already has parent", elem_name);
1188     GST_OBJECT_UNLOCK (bin);
1189     g_free (elem_name);
1190     return FALSE;
1191   }
1192 }
1193
1194 /**
1195  * gst_bin_add:
1196  * @bin: a #GstBin
1197  * @element: (transfer full): the #GstElement to add
1198  *
1199  * Adds the given element to the bin.  Sets the element's parent, and thus
1200  * takes ownership of the element. An element can only be added to one bin.
1201  *
1202  * If the element's pads are linked to other pads, the pads will be unlinked
1203  * before the element is added to the bin.
1204  *
1205  * <note>
1206  * When you add an element to an already-running pipeline, you will have to
1207  * take care to set the state of the newly-added element to the desired
1208  * state (usually PLAYING or PAUSED, same you set the pipeline to originally)
1209  * with gst_element_set_state(), or use gst_element_sync_state_with_parent().
1210  * The bin or pipeline will not take care of this for you.
1211  * </note>
1212  *
1213  * MT safe.
1214  *
1215  * Returns: TRUE if the element could be added, FALSE if
1216  * the bin does not want to accept the element.
1217  */
1218 gboolean
1219 gst_bin_add (GstBin * bin, GstElement * element)
1220 {
1221   GstBinClass *bclass;
1222   gboolean result;
1223
1224   g_return_val_if_fail (GST_IS_BIN (bin), FALSE);
1225   g_return_val_if_fail (GST_IS_ELEMENT (element), FALSE);
1226
1227   bclass = GST_BIN_GET_CLASS (bin);
1228
1229   if (G_UNLIKELY (bclass->add_element == NULL))
1230     goto no_function;
1231
1232   GST_CAT_DEBUG (GST_CAT_PARENTAGE, "adding element %s to bin %s",
1233       GST_STR_NULL (GST_ELEMENT_NAME (element)),
1234       GST_STR_NULL (GST_ELEMENT_NAME (bin)));
1235
1236   result = bclass->add_element (bin, element);
1237
1238   return result;
1239
1240   /* ERROR handling */
1241 no_function:
1242   {
1243     g_warning ("adding elements to bin '%s' is not supported",
1244         GST_ELEMENT_NAME (bin));
1245     return FALSE;
1246   }
1247 }
1248
1249 /* remove an element from the bin
1250  *
1251  * MT safe
1252  */
1253 static gboolean
1254 gst_bin_remove_func (GstBin * bin, GstElement * element)
1255 {
1256   gchar *elem_name;
1257   GstIterator *it;
1258   gboolean is_sink, is_source, othersink, othersource, found;
1259   GstMessage *clock_message = NULL;
1260   GstClock **provided_clock_p;
1261   GstElement **clock_provider_p;
1262   GList *walk, *next;
1263   gboolean other_async, this_async, have_no_preroll;
1264   GstStateChangeReturn ret;
1265
1266   GST_DEBUG_OBJECT (bin, "element :%s", GST_ELEMENT_NAME (element));
1267
1268   GST_OBJECT_LOCK (element);
1269   /* Check if the element is already being removed and immediately
1270    * return */
1271   if (G_UNLIKELY (GST_OBJECT_FLAG_IS_SET (element,
1272               GST_ELEMENT_FLAG_UNPARENTING)))
1273     goto already_removing;
1274
1275   GST_OBJECT_FLAG_SET (element, GST_ELEMENT_FLAG_UNPARENTING);
1276   /* grab element name so we can print it */
1277   elem_name = g_strdup (GST_ELEMENT_NAME (element));
1278   is_sink = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_FLAG_SINK);
1279   is_source = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_FLAG_SOURCE);
1280   GST_OBJECT_UNLOCK (element);
1281
1282   /* unlink all linked pads */
1283   it = gst_element_iterate_pads (element);
1284   gst_iterator_foreach (it, (GstIteratorForeachFunction) unlink_pads, NULL);
1285   gst_iterator_free (it);
1286
1287   GST_OBJECT_LOCK (bin);
1288   found = FALSE;
1289   othersink = FALSE;
1290   othersource = FALSE;
1291   have_no_preroll = FALSE;
1292   /* iterate the elements, we collect which ones are async and no_preroll. We
1293    * also remove the element when we find it. */
1294   for (walk = bin->children; walk; walk = next) {
1295     GstElement *child = GST_ELEMENT_CAST (walk->data);
1296
1297     next = g_list_next (walk);
1298
1299     if (child == element) {
1300       found = TRUE;
1301       /* remove the element */
1302       bin->children = g_list_delete_link (bin->children, walk);
1303     } else {
1304       gboolean child_sink, child_source;
1305
1306       GST_OBJECT_LOCK (child);
1307       child_sink = GST_OBJECT_FLAG_IS_SET (child, GST_ELEMENT_FLAG_SINK);
1308       child_source = GST_OBJECT_FLAG_IS_SET (child, GST_ELEMENT_FLAG_SOURCE);
1309       /* when we remove a sink, check if there are other sinks. */
1310       if (is_sink && !othersink && child_sink)
1311         othersink = TRUE;
1312       if (is_source && !othersource && child_source)
1313         othersource = TRUE;
1314       /* check if we have NO_PREROLL children */
1315       if (GST_STATE_RETURN (child) == GST_STATE_CHANGE_NO_PREROLL)
1316         have_no_preroll = TRUE;
1317       GST_OBJECT_UNLOCK (child);
1318     }
1319   }
1320
1321   /* the element must have been in the bin's list of children */
1322   if (G_UNLIKELY (!found))
1323     goto not_in_bin;
1324
1325   /* we now removed the element from the list of elements, increment the cookie
1326    * so that others can detect a change in the children list. */
1327   bin->numchildren--;
1328   bin->children_cookie++;
1329   bin->priv->structure_cookie++;
1330
1331   if (is_sink && !othersink) {
1332     /* we're not a sink anymore */
1333     GST_DEBUG_OBJECT (bin, "we removed the last sink");
1334     GST_OBJECT_FLAG_UNSET (bin, GST_ELEMENT_FLAG_SINK);
1335   }
1336   if (is_source && !othersource) {
1337     /* we're not a source anymore */
1338     GST_DEBUG_OBJECT (bin, "we removed the last source");
1339     GST_OBJECT_FLAG_UNSET (bin, GST_ELEMENT_FLAG_SOURCE);
1340   }
1341
1342
1343   /* if the clock provider for this element is removed, we lost
1344    * the clock as well, we need to inform the parent of this
1345    * so that it can select a new clock */
1346   if (bin->clock_provider == element) {
1347     GST_DEBUG_OBJECT (bin, "element \"%s\" provided the clock", elem_name);
1348     bin->clock_dirty = TRUE;
1349     clock_message =
1350         gst_message_new_clock_lost (GST_OBJECT_CAST (bin), bin->provided_clock);
1351     provided_clock_p = &bin->provided_clock;
1352     clock_provider_p = &bin->clock_provider;
1353     gst_object_replace ((GstObject **) provided_clock_p, NULL);
1354     gst_object_replace ((GstObject **) clock_provider_p, NULL);
1355   }
1356
1357   /* remove messages for the element, if there was a pending ASYNC_START
1358    * message we must see if removing the element caused the bin to lose its
1359    * async state. */
1360   this_async = FALSE;
1361   other_async = FALSE;
1362   for (walk = bin->messages; walk; walk = next) {
1363     GstMessage *message = (GstMessage *) walk->data;
1364     GstElement *src = GST_ELEMENT_CAST (GST_MESSAGE_SRC (message));
1365     gboolean remove;
1366
1367     next = g_list_next (walk);
1368     remove = FALSE;
1369
1370     switch (GST_MESSAGE_TYPE (message)) {
1371       case GST_MESSAGE_ASYNC_START:
1372         if (src == element)
1373           this_async = TRUE;
1374         else
1375           other_async = TRUE;
1376
1377         GST_DEBUG_OBJECT (src, "looking at message %p", message);
1378         break;
1379       case GST_MESSAGE_STRUCTURE_CHANGE:
1380       {
1381         GstElement *owner;
1382
1383         GST_DEBUG_OBJECT (src, "looking at structure change message %p",
1384             message);
1385         /* it's unlikely that this message is still in the list of messages
1386          * because this would mean that a link/unlink is busy in another thread
1387          * while we remove the element. We still have to remove the message
1388          * because we might not receive the done message anymore when the element
1389          * is removed from the bin. */
1390         gst_message_parse_structure_change (message, NULL, &owner, NULL);
1391         if (owner == element)
1392           remove = TRUE;
1393         break;
1394       }
1395       default:
1396         break;
1397     }
1398     if (src == element)
1399       remove = TRUE;
1400
1401     if (remove) {
1402       /* delete all message types */
1403       GST_DEBUG_OBJECT (src, "deleting message %p of element \"%s\"",
1404           message, elem_name);
1405       bin->messages = g_list_delete_link (bin->messages, walk);
1406       gst_message_unref (message);
1407     }
1408   }
1409
1410   /* get last return */
1411   ret = GST_STATE_RETURN (bin);
1412
1413   /* no need to update the state if we are in error */
1414   if (ret == GST_STATE_CHANGE_FAILURE)
1415     goto no_state_recalc;
1416
1417   if (!other_async && this_async) {
1418     /* all other elements were not async and we removed the async one,
1419      * handle the async-done case because we are not async anymore now. */
1420     GST_DEBUG_OBJECT (bin,
1421         "we removed the last async element, have no_preroll %d",
1422         have_no_preroll);
1423
1424     /* the current state return of the bin depends on if there are no_preroll
1425      * elements in the pipeline or not */
1426     if (have_no_preroll)
1427       ret = GST_STATE_CHANGE_NO_PREROLL;
1428     else
1429       ret = GST_STATE_CHANGE_SUCCESS;
1430
1431     bin_handle_async_done (bin, ret, FALSE, FALSE);
1432   } else {
1433     GST_DEBUG_OBJECT (bin,
1434         "recalc state preroll: %d, other async: %d, this async %d",
1435         have_no_preroll, other_async, this_async);
1436
1437     if (have_no_preroll) {
1438       ret = GST_STATE_CHANGE_NO_PREROLL;
1439     } else if (other_async) {
1440       /* there are other async elements and we were not doing an async state
1441        * change, change our pending state and go async */
1442       if (GST_STATE_PENDING (bin) == GST_STATE_VOID_PENDING) {
1443         GST_STATE_NEXT (bin) = GST_STATE (bin);
1444         GST_STATE_PENDING (bin) = GST_STATE (bin);
1445       }
1446       ret = GST_STATE_CHANGE_ASYNC;
1447     }
1448     GST_STATE_RETURN (bin) = ret;
1449   }
1450 no_state_recalc:
1451   GST_OBJECT_UNLOCK (bin);
1452
1453   if (clock_message)
1454     gst_element_post_message (GST_ELEMENT_CAST (bin), clock_message);
1455
1456   GST_CAT_INFO_OBJECT (GST_CAT_PARENTAGE, bin, "removed child \"%s\"",
1457       elem_name);
1458   g_free (elem_name);
1459
1460   gst_element_set_bus (element, NULL);
1461
1462   /* Clear the clock we provided to the element */
1463   gst_element_set_clock (element, NULL);
1464
1465   /* we ref here because after the _unparent() the element can be disposed
1466    * and we still need it to reset the UNPARENTING flag and fire a signal. */
1467   gst_object_ref (element);
1468   gst_object_unparent (GST_OBJECT_CAST (element));
1469
1470   GST_OBJECT_LOCK (element);
1471   GST_OBJECT_FLAG_UNSET (element, GST_ELEMENT_FLAG_UNPARENTING);
1472   GST_OBJECT_UNLOCK (element);
1473
1474   g_signal_emit (bin, gst_bin_signals[ELEMENT_REMOVED], 0, element);
1475   gst_child_proxy_child_removed ((GstObject *) bin, (GstObject *) element);
1476
1477   /* element is really out of our control now */
1478   gst_object_unref (element);
1479
1480   return TRUE;
1481
1482   /* ERROR handling */
1483 not_in_bin:
1484   {
1485     g_warning ("Element '%s' is not in bin '%s'", elem_name,
1486         GST_ELEMENT_NAME (bin));
1487     GST_OBJECT_UNLOCK (bin);
1488     g_free (elem_name);
1489     return FALSE;
1490   }
1491 already_removing:
1492   {
1493     GST_CAT_INFO_OBJECT (GST_CAT_PARENTAGE, bin, "already removing child");
1494     GST_OBJECT_UNLOCK (element);
1495     return FALSE;
1496   }
1497 }
1498
1499 /**
1500  * gst_bin_remove:
1501  * @bin: a #GstBin
1502  * @element: (transfer none): the #GstElement to remove
1503  *
1504  * Removes the element from the bin, unparenting it as well.
1505  * Unparenting the element means that the element will be dereferenced,
1506  * so if the bin holds the only reference to the element, the element
1507  * will be freed in the process of removing it from the bin.  If you
1508  * want the element to still exist after removing, you need to call
1509  * gst_object_ref() before removing it from the bin.
1510  *
1511  * If the element's pads are linked to other pads, the pads will be unlinked
1512  * before the element is removed from the bin.
1513  *
1514  * MT safe.
1515  *
1516  * Returns: TRUE if the element could be removed, FALSE if
1517  * the bin does not want to remove the element.
1518  */
1519 gboolean
1520 gst_bin_remove (GstBin * bin, GstElement * element)
1521 {
1522   GstBinClass *bclass;
1523   gboolean result;
1524
1525   g_return_val_if_fail (GST_IS_BIN (bin), FALSE);
1526   g_return_val_if_fail (GST_IS_ELEMENT (element), FALSE);
1527
1528   bclass = GST_BIN_GET_CLASS (bin);
1529
1530   if (G_UNLIKELY (bclass->remove_element == NULL))
1531     goto no_function;
1532
1533   GST_CAT_DEBUG (GST_CAT_PARENTAGE, "removing element %s from bin %s",
1534       GST_ELEMENT_NAME (element), GST_ELEMENT_NAME (bin));
1535
1536   result = bclass->remove_element (bin, element);
1537
1538   return result;
1539
1540   /* ERROR handling */
1541 no_function:
1542   {
1543     g_warning ("removing elements from bin '%s' is not supported",
1544         GST_ELEMENT_NAME (bin));
1545     return FALSE;
1546   }
1547 }
1548
1549 /**
1550  * gst_bin_iterate_elements:
1551  * @bin: a #GstBin
1552  *
1553  * Gets an iterator for the elements in this bin.
1554  *
1555  * Each element yielded by the iterator will have its refcount increased, so
1556  * unref after use.
1557  *
1558  * MT safe.  Caller owns returned value.
1559  *
1560  * Returns: (transfer full): a #GstIterator of #GstElement, or NULL
1561  */
1562 GstIterator *
1563 gst_bin_iterate_elements (GstBin * bin)
1564 {
1565   GstIterator *result;
1566
1567   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
1568
1569   GST_OBJECT_LOCK (bin);
1570   result = gst_iterator_new_list (GST_TYPE_ELEMENT,
1571       GST_OBJECT_GET_LOCK (bin),
1572       &bin->children_cookie, &bin->children, (GObject *) bin, NULL);
1573   GST_OBJECT_UNLOCK (bin);
1574
1575   return result;
1576 }
1577
1578 static GstIteratorItem
1579 iterate_child_recurse (GstIterator * it, const GValue * item)
1580 {
1581   GstElement *child = g_value_get_object (item);
1582
1583   if (GST_IS_BIN (child)) {
1584     GstIterator *other = gst_bin_iterate_recurse (GST_BIN_CAST (child));
1585
1586     gst_iterator_push (it, other);
1587   }
1588   return GST_ITERATOR_ITEM_PASS;
1589 }
1590
1591 /**
1592  * gst_bin_iterate_recurse:
1593  * @bin: a #GstBin
1594  *
1595  * Gets an iterator for the elements in this bin.
1596  * This iterator recurses into GstBin children.
1597  *
1598  * Each element yielded by the iterator will have its refcount increased, so
1599  * unref after use.
1600  *
1601  * MT safe.  Caller owns returned value.
1602  *
1603  * Returns: (transfer full): a #GstIterator of #GstElement, or NULL
1604  */
1605 GstIterator *
1606 gst_bin_iterate_recurse (GstBin * bin)
1607 {
1608   GstIterator *result;
1609
1610   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
1611
1612   GST_OBJECT_LOCK (bin);
1613   result = gst_iterator_new_list (GST_TYPE_ELEMENT,
1614       GST_OBJECT_GET_LOCK (bin),
1615       &bin->children_cookie,
1616       &bin->children,
1617       (GObject *) bin, (GstIteratorItemFunction) iterate_child_recurse);
1618   GST_OBJECT_UNLOCK (bin);
1619
1620   return result;
1621 }
1622
1623 /* returns 0 when TRUE because this is a GCompareFunc */
1624 /* MT safe */
1625 static gint
1626 bin_element_is_sink (GstElement * child, GstBin * bin)
1627 {
1628   gboolean is_sink;
1629
1630   /* we lock the child here for the remainder of the function to
1631    * get its name and flag safely. */
1632   GST_OBJECT_LOCK (child);
1633   is_sink = GST_OBJECT_FLAG_IS_SET (child, GST_ELEMENT_FLAG_SINK);
1634
1635   GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin,
1636       "child %s %s sink", GST_OBJECT_NAME (child), is_sink ? "is" : "is not");
1637
1638   GST_OBJECT_UNLOCK (child);
1639   return is_sink ? 0 : 1;
1640 }
1641
1642 static gint
1643 sink_iterator_filter (const GValue * vchild, GValue * vbin)
1644 {
1645   GstBin *bin = g_value_get_object (vbin);
1646   GstElement *child = g_value_get_object (vchild);
1647
1648   return (bin_element_is_sink (child, bin));
1649 }
1650
1651 /**
1652  * gst_bin_iterate_sinks:
1653  * @bin: a #GstBin
1654  *
1655  * Gets an iterator for all elements in the bin that have the
1656  * #GST_ELEMENT_FLAG_SINK flag set.
1657  *
1658  * Each element yielded by the iterator will have its refcount increased, so
1659  * unref after use.
1660  *
1661  * MT safe.  Caller owns returned value.
1662  *
1663  * Returns: (transfer full): a #GstIterator of #GstElement, or NULL
1664  */
1665 GstIterator *
1666 gst_bin_iterate_sinks (GstBin * bin)
1667 {
1668   GstIterator *children;
1669   GstIterator *result;
1670   GValue vbin = { 0, };
1671
1672   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
1673
1674   g_value_init (&vbin, GST_TYPE_BIN);
1675   g_value_set_object (&vbin, bin);
1676
1677   children = gst_bin_iterate_elements (bin);
1678   result = gst_iterator_filter (children,
1679       (GCompareFunc) sink_iterator_filter, &vbin);
1680
1681   g_value_unset (&vbin);
1682
1683   return result;
1684 }
1685
1686 /* returns 0 when TRUE because this is a GCompareFunc */
1687 /* MT safe */
1688 static gint
1689 bin_element_is_src (GstElement * child, GstBin * bin)
1690 {
1691   gboolean is_src;
1692
1693   /* we lock the child here for the remainder of the function to
1694    * get its name and other info safely. */
1695   GST_OBJECT_LOCK (child);
1696   is_src = GST_OBJECT_FLAG_IS_SET (child, GST_ELEMENT_FLAG_SOURCE);
1697
1698   GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin,
1699       "child %s %s src", GST_OBJECT_NAME (child), is_src ? "is" : "is not");
1700
1701   GST_OBJECT_UNLOCK (child);
1702   return is_src ? 0 : 1;
1703 }
1704
1705 static gint
1706 src_iterator_filter (const GValue * vchild, GValue * vbin)
1707 {
1708   GstBin *bin = g_value_get_object (vbin);
1709   GstElement *child = g_value_get_object (vchild);
1710
1711   return (bin_element_is_src (child, bin));
1712 }
1713
1714 /**
1715  * gst_bin_iterate_sources:
1716  * @bin: a #GstBin
1717  *
1718  * Gets an iterator for all elements in the bin that have the
1719  * #GST_ELEMENT_FLAG_SOURCE flag set.
1720  *
1721  * Each element yielded by the iterator will have its refcount increased, so
1722  * unref after use.
1723  *
1724  * MT safe.  Caller owns returned value.
1725  *
1726  * Returns: (transfer full): a #GstIterator of #GstElement, or NULL
1727  */
1728 GstIterator *
1729 gst_bin_iterate_sources (GstBin * bin)
1730 {
1731   GstIterator *children;
1732   GstIterator *result;
1733   GValue vbin = { 0, };
1734
1735   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
1736
1737   g_value_init (&vbin, GST_TYPE_BIN);
1738   g_value_set_object (&vbin, bin);
1739
1740   children = gst_bin_iterate_elements (bin);
1741   result = gst_iterator_filter (children,
1742       (GCompareFunc) src_iterator_filter, &vbin);
1743
1744   g_value_unset (&vbin);
1745
1746   return result;
1747 }
1748
1749 /*
1750  * MT safe
1751  */
1752 static GstStateChangeReturn
1753 gst_bin_get_state_func (GstElement * element, GstState * state,
1754     GstState * pending, GstClockTime timeout)
1755 {
1756   GstStateChangeReturn ret;
1757
1758   GST_CAT_INFO_OBJECT (GST_CAT_STATES, element, "getting state");
1759
1760   ret =
1761       GST_ELEMENT_CLASS (parent_class)->get_state (element, state, pending,
1762       timeout);
1763
1764   return ret;
1765 }
1766
1767 /***********************************************
1768  * Topologically sorted iterator
1769  * see http://en.wikipedia.org/wiki/Topological_sorting
1770  *
1771  * For each element in the graph, an entry is kept in a HashTable
1772  * with its number of srcpad connections (degree).
1773  * We then change state of all elements without dependencies
1774  * (degree 0) and decrement the degree of all elements connected
1775  * on the sinkpads. When an element reaches degree 0, its state is
1776  * changed next.
1777  * When all elements are handled the algorithm stops.
1778  */
1779 typedef struct _GstBinSortIterator
1780 {
1781   GstIterator it;
1782   GQueue queue;                 /* elements queued for state change */
1783   GstBin *bin;                  /* bin we iterate */
1784   gint mode;                    /* adding or removing dependency */
1785   GstElement *best;             /* next element with least dependencies */
1786   gint best_deg;                /* best degree */
1787   GHashTable *hash;             /* hashtable with element dependencies */
1788   gboolean dirty;               /* we detected structure change */
1789 } GstBinSortIterator;
1790
1791 static void
1792 gst_bin_sort_iterator_copy (const GstBinSortIterator * it,
1793     GstBinSortIterator * copy)
1794 {
1795   GHashTableIter iter;
1796   gpointer key, value;
1797
1798   copy->queue = it->queue;
1799   g_queue_foreach (&copy->queue, (GFunc) gst_object_ref, NULL);
1800
1801   copy->bin = gst_object_ref (it->bin);
1802   if (it->best)
1803     copy->best = gst_object_ref (it->best);
1804
1805   copy->hash = g_hash_table_new (NULL, NULL);
1806   g_hash_table_iter_init (&iter, it->hash);
1807   while (g_hash_table_iter_next (&iter, &key, &value))
1808     g_hash_table_insert (copy->hash, key, value);
1809 }
1810
1811 /* we add and subtract 1 to make sure we don't confuse NULL and 0 */
1812 #define HASH_SET_DEGREE(bit, elem, deg) \
1813     g_hash_table_replace (bit->hash, elem, GINT_TO_POINTER(deg+1))
1814 #define HASH_GET_DEGREE(bit, elem) \
1815     (GPOINTER_TO_INT(g_hash_table_lookup (bit->hash, elem))-1)
1816
1817 /* add element to queue of next elements in the iterator.
1818  * We push at the tail to give higher priority elements a
1819  * chance first */
1820 static void
1821 add_to_queue (GstBinSortIterator * bit, GstElement * element)
1822 {
1823   GST_DEBUG_OBJECT (bit->bin, "adding '%s' to queue",
1824       GST_ELEMENT_NAME (element));
1825   gst_object_ref (element);
1826   g_queue_push_tail (&bit->queue, element);
1827   HASH_SET_DEGREE (bit, element, -1);
1828 }
1829
1830 static void
1831 remove_from_queue (GstBinSortIterator * bit, GstElement * element)
1832 {
1833   GList *find;
1834
1835   if ((find = g_queue_find (&bit->queue, element))) {
1836     GST_DEBUG_OBJECT (bit->bin, "removing '%s' from queue",
1837         GST_ELEMENT_NAME (element));
1838
1839     g_queue_delete_link (&bit->queue, find);
1840     gst_object_unref (element);
1841   } else {
1842     GST_DEBUG_OBJECT (bit->bin, "unable to remove '%s' from queue",
1843         GST_ELEMENT_NAME (element));
1844   }
1845 }
1846
1847 /* clear the queue, unref all objects as we took a ref when
1848  * we added them to the queue */
1849 static void
1850 clear_queue (GQueue * queue)
1851 {
1852   gpointer p;
1853
1854   while ((p = g_queue_pop_head (queue)))
1855     gst_object_unref (p);
1856 }
1857
1858 /* set all degrees to 0. Elements marked as a sink are
1859  * added to the queue immediately. Since we only look at the SINK flag of the
1860  * element, it is possible that we add non-sinks to the queue. These will be
1861  * removed from the queue again when we can prove that it provides data for some
1862  * other element. */
1863 static void
1864 reset_degree (GstElement * element, GstBinSortIterator * bit)
1865 {
1866   gboolean is_sink;
1867
1868   /* sinks are added right away */
1869   GST_OBJECT_LOCK (element);
1870   is_sink = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_FLAG_SINK);
1871   GST_OBJECT_UNLOCK (element);
1872
1873   if (is_sink) {
1874     add_to_queue (bit, element);
1875   } else {
1876     /* others are marked with 0 and handled when sinks are done */
1877     HASH_SET_DEGREE (bit, element, 0);
1878   }
1879 }
1880
1881 /* adjust the degree of all elements connected to the given
1882  * element. If a degree of an element drops to 0, it is
1883  * added to the queue of elements to schedule next.
1884  *
1885  * We have to make sure not to cross the bin boundary this element
1886  * belongs to.
1887  */
1888 static void
1889 update_degree (GstElement * element, GstBinSortIterator * bit)
1890 {
1891   gboolean linked = FALSE;
1892
1893   GST_OBJECT_LOCK (element);
1894   /* don't touch degree if element has no sinkpads */
1895   if (element->numsinkpads != 0) {
1896     /* loop over all sinkpads, decrement degree for all connected
1897      * elements in this bin */
1898     GList *pads;
1899
1900     for (pads = element->sinkpads; pads; pads = g_list_next (pads)) {
1901       GstPad *pad, *peer;
1902
1903       pad = GST_PAD_CAST (pads->data);
1904
1905       /* we're iterating over the sinkpads, check if it's busy in a link/unlink */
1906       if (G_UNLIKELY (find_message (bit->bin, GST_OBJECT_CAST (pad),
1907                   GST_MESSAGE_STRUCTURE_CHANGE))) {
1908         /* mark the iterator as dirty because we won't be updating the degree
1909          * of the peer parent now. This would result in the 'loop detected'
1910          * later on because the peer parent element could become the best next
1911          * element with a degree > 0. We will simply continue our state
1912          * changes and we'll eventually resync when the unlink completed and
1913          * the iterator cookie is updated. */
1914         bit->dirty = TRUE;
1915         continue;
1916       }
1917
1918       if ((peer = gst_pad_get_peer (pad))) {
1919         GstElement *peer_element;
1920
1921         if ((peer_element = gst_pad_get_parent_element (peer))) {
1922           GST_OBJECT_LOCK (peer_element);
1923           /* check that we don't go outside of this bin */
1924           if (GST_OBJECT_CAST (peer_element)->parent ==
1925               GST_OBJECT_CAST (bit->bin)) {
1926             gint old_deg, new_deg;
1927
1928             old_deg = HASH_GET_DEGREE (bit, peer_element);
1929
1930             /* check to see if we added an element as sink that was not really a
1931              * sink because it was connected to some other element. */
1932             if (old_deg == -1) {
1933               remove_from_queue (bit, peer_element);
1934               old_deg = 0;
1935             }
1936             new_deg = old_deg + bit->mode;
1937
1938             GST_DEBUG_OBJECT (bit->bin,
1939                 "change element %s, degree %d->%d, linked to %s",
1940                 GST_ELEMENT_NAME (peer_element), old_deg, new_deg,
1941                 GST_ELEMENT_NAME (element));
1942
1943             /* update degree, it is possible that an element was in 0 and
1944              * reaches -1 here. This would mean that the element had no sinkpads
1945              * but became linked while the state change was happening. We will
1946              * resync on this with the structure change message. */
1947             if (new_deg == 0) {
1948               /* degree hit 0, add to queue */
1949               add_to_queue (bit, peer_element);
1950             } else {
1951               HASH_SET_DEGREE (bit, peer_element, new_deg);
1952             }
1953             linked = TRUE;
1954           }
1955           GST_OBJECT_UNLOCK (peer_element);
1956           gst_object_unref (peer_element);
1957         }
1958         gst_object_unref (peer);
1959       }
1960     }
1961   }
1962   if (!linked) {
1963     GST_DEBUG_OBJECT (bit->bin, "element %s not linked on any sinkpads",
1964         GST_ELEMENT_NAME (element));
1965   }
1966   GST_OBJECT_UNLOCK (element);
1967 }
1968
1969 /* find the next best element not handled yet. This is the one
1970  * with the lowest non-negative degree */
1971 static void
1972 find_element (GstElement * element, GstBinSortIterator * bit)
1973 {
1974   gint degree;
1975
1976   /* element is already handled */
1977   if ((degree = HASH_GET_DEGREE (bit, element)) < 0)
1978     return;
1979
1980   /* first element or element with smaller degree */
1981   if (bit->best == NULL || bit->best_deg > degree) {
1982     bit->best = element;
1983     bit->best_deg = degree;
1984   }
1985 }
1986
1987 /* get next element in iterator. the returned element has the
1988  * refcount increased */
1989 static GstIteratorResult
1990 gst_bin_sort_iterator_next (GstBinSortIterator * bit, GValue * result)
1991 {
1992   GstElement *best;
1993   GstBin *bin = bit->bin;
1994
1995   /* empty queue, we have to find a next best element */
1996   if (g_queue_is_empty (&bit->queue)) {
1997     bit->best = NULL;
1998     bit->best_deg = G_MAXINT;
1999     g_list_foreach (bin->children, (GFunc) find_element, bit);
2000     if ((best = bit->best)) {
2001       /* when we detected an unlink, don't warn because our degrees might be
2002        * screwed up. We will resync later */
2003       if (bit->best_deg != 0 && !bit->dirty) {
2004         /* we don't fail on this one yet */
2005         GST_WARNING_OBJECT (bin, "loop dected in graph");
2006         g_warning ("loop detected in the graph of bin '%s'!!",
2007             GST_ELEMENT_NAME (bin));
2008       }
2009       /* best unhandled element, schedule as next element */
2010       GST_DEBUG_OBJECT (bin, "queue empty, next best: %s",
2011           GST_ELEMENT_NAME (best));
2012       HASH_SET_DEGREE (bit, best, -1);
2013       g_value_set_object (result, best);
2014     } else {
2015       GST_DEBUG_OBJECT (bin, "queue empty, elements exhausted");
2016       /* no more unhandled elements, we are done */
2017       return GST_ITERATOR_DONE;
2018     }
2019   } else {
2020     /* everything added to the queue got reffed */
2021     best = g_queue_pop_head (&bit->queue);
2022     g_value_set_object (result, best);
2023     gst_object_unref (best);
2024   }
2025
2026   GST_DEBUG_OBJECT (bin, "queue head gives %s", GST_ELEMENT_NAME (best));
2027   /* update degrees of linked elements */
2028   update_degree (best, bit);
2029
2030   return GST_ITERATOR_OK;
2031 }
2032
2033 /* clear queues, recalculate the degrees and restart. */
2034 static void
2035 gst_bin_sort_iterator_resync (GstBinSortIterator * bit)
2036 {
2037   GstBin *bin = bit->bin;
2038
2039   GST_DEBUG_OBJECT (bin, "resync");
2040   bit->dirty = FALSE;
2041   clear_queue (&bit->queue);
2042   /* reset degrees */
2043   g_list_foreach (bin->children, (GFunc) reset_degree, bit);
2044   /* calc degrees, incrementing */
2045   bit->mode = 1;
2046   g_list_foreach (bin->children, (GFunc) update_degree, bit);
2047   /* for the rest of the function we decrement the degrees */
2048   bit->mode = -1;
2049 }
2050
2051 /* clear queues, unref bin and free iterator. */
2052 static void
2053 gst_bin_sort_iterator_free (GstBinSortIterator * bit)
2054 {
2055   GstBin *bin = bit->bin;
2056
2057   GST_DEBUG_OBJECT (bin, "free");
2058   clear_queue (&bit->queue);
2059   g_hash_table_destroy (bit->hash);
2060   gst_object_unref (bin);
2061 }
2062
2063 /* should be called with the bin LOCK held */
2064 static GstIterator *
2065 gst_bin_sort_iterator_new (GstBin * bin)
2066 {
2067   GstBinSortIterator *result;
2068
2069   /* we don't need an ItemFunction because we ref the items in the _next
2070    * method already */
2071   result = (GstBinSortIterator *)
2072       gst_iterator_new (sizeof (GstBinSortIterator),
2073       GST_TYPE_ELEMENT,
2074       GST_OBJECT_GET_LOCK (bin),
2075       &bin->priv->structure_cookie,
2076       (GstIteratorCopyFunction) gst_bin_sort_iterator_copy,
2077       (GstIteratorNextFunction) gst_bin_sort_iterator_next,
2078       (GstIteratorItemFunction) NULL,
2079       (GstIteratorResyncFunction) gst_bin_sort_iterator_resync,
2080       (GstIteratorFreeFunction) gst_bin_sort_iterator_free);
2081   g_queue_init (&result->queue);
2082   result->hash = g_hash_table_new (NULL, NULL);
2083   gst_object_ref (bin);
2084   result->bin = bin;
2085   gst_bin_sort_iterator_resync (result);
2086
2087   return (GstIterator *) result;
2088 }
2089
2090 /**
2091  * gst_bin_iterate_sorted:
2092  * @bin: a #GstBin
2093  *
2094  * Gets an iterator for the elements in this bin in topologically
2095  * sorted order. This means that the elements are returned from
2096  * the most downstream elements (sinks) to the sources.
2097  *
2098  * This function is used internally to perform the state changes
2099  * of the bin elements and for clock selection.
2100  *
2101  * Each element yielded by the iterator will have its refcount increased, so
2102  * unref after use.
2103  *
2104  * MT safe.  Caller owns returned value.
2105  *
2106  * Returns: (transfer full): a #GstIterator of #GstElement, or NULL
2107  */
2108 GstIterator *
2109 gst_bin_iterate_sorted (GstBin * bin)
2110 {
2111   GstIterator *result;
2112
2113   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
2114
2115   GST_OBJECT_LOCK (bin);
2116   result = gst_bin_sort_iterator_new (bin);
2117   GST_OBJECT_UNLOCK (bin);
2118
2119   return result;
2120 }
2121
2122 static GstStateChangeReturn
2123 gst_bin_element_set_state (GstBin * bin, GstElement * element,
2124     GstClockTime base_time, GstClockTime start_time, GstState current,
2125     GstState next)
2126 {
2127   GstStateChangeReturn ret;
2128   GstState pending, child_current, child_pending;
2129   gboolean locked;
2130   GList *found;
2131
2132   GST_STATE_LOCK (element);
2133
2134   GST_OBJECT_LOCK (element);
2135   /* set base_time and start time on child */
2136   GST_ELEMENT_START_TIME (element) = start_time;
2137   element->base_time = base_time;
2138   /* peel off the locked flag */
2139   locked = GST_ELEMENT_IS_LOCKED_STATE (element);
2140   /* Get the previous set_state result to preserve NO_PREROLL and ASYNC */
2141   ret = GST_STATE_RETURN (element);
2142   child_current = GST_STATE (element);
2143   child_pending = GST_STATE_PENDING (element);
2144   GST_OBJECT_UNLOCK (element);
2145
2146   /* skip locked elements */
2147   if (G_UNLIKELY (locked))
2148     goto locked;
2149
2150   /* if the element was no preroll, just start changing the state regardless
2151    * if it had async elements (in the case of a bin) because they won't preroll
2152    * anyway. */
2153   if (G_UNLIKELY (ret == GST_STATE_CHANGE_NO_PREROLL)) {
2154     GST_DEBUG_OBJECT (element, "element is NO_PREROLL, ignore async elements");
2155     goto no_preroll;
2156   }
2157
2158   GST_OBJECT_LOCK (bin);
2159   pending = GST_STATE_PENDING (bin);
2160
2161   /* Try not to change the state of elements that are already in the state we're
2162    * going to */
2163   if (!(next == GST_STATE_PLAYING || child_pending != GST_STATE_VOID_PENDING ||
2164           (child_pending == GST_STATE_VOID_PENDING &&
2165               ((pending > child_current && next > child_current) ||
2166                   (pending < child_current && next < child_current)))))
2167     goto unneeded;
2168
2169   /* the element was busy with an upwards async state change, we must wait for
2170    * an ASYNC_DONE message before we attemp to change the state. */
2171   if ((found =
2172           find_message (bin, GST_OBJECT_CAST (element),
2173               GST_MESSAGE_ASYNC_START))) {
2174 #ifndef GST_DISABLE_GST_DEBUG
2175     GstMessage *message = GST_MESSAGE_CAST (found->data);
2176
2177     GST_DEBUG_OBJECT (element, "element message %p, %s async busy",
2178         message, GST_ELEMENT_NAME (GST_MESSAGE_SRC (message)));
2179 #endif
2180     /* only wait for upward state changes */
2181     if (next > current) {
2182       /* We found an async element check if we can force its state to change or
2183        * if we have to wait for it to preroll. */
2184       if (G_UNLIKELY (!enable_latency)) {
2185         g_warning ("Future versions of GStreamer will wait for element \"%s\"\n"
2186             "\tto preroll in order to perform correct latency calculations.\n"
2187             "\tPlease verify that the application continues to work correctly by\n"
2188             "\tsetting the environment variable GST_COMPAT to a value containing\n"
2189             "\tthe string 'live-preroll'.", GST_ELEMENT_NAME (element));
2190         goto no_latency;
2191       }
2192       goto was_busy;
2193     }
2194   }
2195 no_latency:
2196   GST_OBJECT_UNLOCK (bin);
2197
2198 no_preroll:
2199   GST_DEBUG_OBJECT (bin,
2200       "setting element %s to %s, base_time %" GST_TIME_FORMAT,
2201       GST_ELEMENT_NAME (element), gst_element_state_get_name (next),
2202       GST_TIME_ARGS (base_time));
2203
2204   /* change state */
2205   ret = gst_element_set_state (element, next);
2206
2207   GST_STATE_UNLOCK (element);
2208
2209   return ret;
2210
2211 locked:
2212   {
2213     GST_DEBUG_OBJECT (element,
2214         "element is locked, return previous return %s",
2215         gst_element_state_change_return_get_name (ret));
2216     GST_STATE_UNLOCK (element);
2217     return ret;
2218   }
2219 was_busy:
2220   {
2221     GST_DEBUG_OBJECT (element, "element was busy, delaying state change");
2222     GST_OBJECT_UNLOCK (bin);
2223     GST_STATE_UNLOCK (element);
2224     return GST_STATE_CHANGE_ASYNC;
2225   }
2226 unneeded:
2227   {
2228     GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2229         "skipping transition from %s to  %s, since bin pending"
2230         " is %s : last change state return follows",
2231         gst_element_state_get_name (child_current),
2232         gst_element_state_get_name (next),
2233         gst_element_state_get_name (pending));
2234     GST_OBJECT_UNLOCK (bin);
2235     GST_STATE_UNLOCK (element);
2236     return ret;
2237   }
2238 }
2239
2240 /* gst_iterator_fold functions for pads_activate
2241  * Stop the iterator if activating one pad failed. */
2242 static gboolean
2243 activate_pads (const GValue * vpad, GValue * ret, gboolean * active)
2244 {
2245   GstPad *pad = g_value_get_object (vpad);
2246   gboolean cont = TRUE;
2247
2248   if (!(cont = gst_pad_set_active (pad, *active)))
2249     g_value_set_boolean (ret, FALSE);
2250
2251   return cont;
2252 }
2253
2254 /* returns false on error or early cutout of the fold, true if all
2255  * pads in @iter were (de)activated successfully. */
2256 static gboolean
2257 iterator_activate_fold_with_resync (GstIterator * iter, gpointer user_data)
2258 {
2259   GstIteratorResult ires;
2260   GValue ret = { 0 };
2261
2262   /* no need to unset this later, it's just a boolean */
2263   g_value_init (&ret, G_TYPE_BOOLEAN);
2264   g_value_set_boolean (&ret, TRUE);
2265
2266   while (1) {
2267     ires = gst_iterator_fold (iter, (GstIteratorFoldFunction) activate_pads,
2268         &ret, user_data);
2269     switch (ires) {
2270       case GST_ITERATOR_RESYNC:
2271         /* need to reset the result again */
2272         g_value_set_boolean (&ret, TRUE);
2273         gst_iterator_resync (iter);
2274         break;
2275       case GST_ITERATOR_DONE:
2276         /* all pads iterated, return collected value */
2277         goto done;
2278       default:
2279         /* iterator returned _ERROR or premature end with _OK,
2280          * mark an error and exit */
2281         g_value_set_boolean (&ret, FALSE);
2282         goto done;
2283     }
2284   }
2285 done:
2286   /* return collected value */
2287   return g_value_get_boolean (&ret);
2288 }
2289
2290 /* is called with STATE_LOCK
2291  */
2292 static gboolean
2293 gst_bin_src_pads_activate (GstBin * bin, gboolean active)
2294 {
2295   GstIterator *iter;
2296   gboolean fold_ok;
2297
2298   GST_DEBUG_OBJECT (bin, "src_pads_activate with active %d", active);
2299
2300   iter = gst_element_iterate_src_pads ((GstElement *) bin);
2301   fold_ok = iterator_activate_fold_with_resync (iter, &active);
2302   gst_iterator_free (iter);
2303   if (G_UNLIKELY (!fold_ok))
2304     goto failed;
2305
2306   GST_DEBUG_OBJECT (bin, "pads_activate successful");
2307
2308   return TRUE;
2309
2310   /* ERRORS */
2311 failed:
2312   {
2313     GST_DEBUG_OBJECT (bin, "source pads_activate failed");
2314     return FALSE;
2315   }
2316 }
2317
2318 /**
2319  * gst_bin_recalculate_latency:
2320  * @bin: a #GstBin
2321  *
2322  * Query @bin for the current latency using and reconfigures this latency to all the
2323  * elements with a LATENCY event.
2324  *
2325  * This method is typically called on the pipeline when a #GST_MESSAGE_LATENCY
2326  * is posted on the bus.
2327  *
2328  * This function simply emits the 'do-latency' signal so any custom latency
2329  * calculations will be performed.
2330  *
2331  * Returns: %TRUE if the latency could be queried and reconfigured.
2332  *
2333  * Since: 0.10.22.
2334  */
2335 gboolean
2336 gst_bin_recalculate_latency (GstBin * bin)
2337 {
2338   gboolean res;
2339
2340   g_signal_emit (bin, gst_bin_signals[DO_LATENCY], 0, &res);
2341   GST_DEBUG_OBJECT (bin, "latency returned %d", res);
2342
2343   return res;
2344 }
2345
2346 static gboolean
2347 gst_bin_do_latency_func (GstBin * bin)
2348 {
2349   GstQuery *query;
2350   GstElement *element;
2351   GstClockTime min_latency, max_latency;
2352   gboolean res;
2353
2354   g_return_val_if_fail (GST_IS_BIN (bin), FALSE);
2355
2356   element = GST_ELEMENT_CAST (bin);
2357
2358   GST_DEBUG_OBJECT (element, "querying latency");
2359
2360   query = gst_query_new_latency ();
2361   if ((res = gst_element_query (element, query))) {
2362     gboolean live;
2363
2364     gst_query_parse_latency (query, &live, &min_latency, &max_latency);
2365
2366     GST_DEBUG_OBJECT (element,
2367         "got min latency %" GST_TIME_FORMAT ", max latency %"
2368         GST_TIME_FORMAT ", live %d", GST_TIME_ARGS (min_latency),
2369         GST_TIME_ARGS (max_latency), live);
2370
2371     if (max_latency < min_latency) {
2372       /* this is an impossible situation, some parts of the pipeline might not
2373        * work correctly. We post a warning for now. */
2374       GST_ELEMENT_WARNING (element, CORE, CLOCK, (NULL),
2375           ("Impossible to configure latency: max %" GST_TIME_FORMAT " < min %"
2376               GST_TIME_FORMAT ". Add queues or other buffering elements.",
2377               GST_TIME_ARGS (max_latency), GST_TIME_ARGS (min_latency)));
2378     }
2379
2380     /* configure latency on elements */
2381     res = gst_element_send_event (element, gst_event_new_latency (min_latency));
2382     if (res) {
2383       GST_INFO_OBJECT (element, "configured latency of %" GST_TIME_FORMAT,
2384           GST_TIME_ARGS (min_latency));
2385     } else {
2386       GST_WARNING_OBJECT (element,
2387           "did not really configure latency of %" GST_TIME_FORMAT,
2388           GST_TIME_ARGS (min_latency));
2389     }
2390   } else {
2391     /* this is not a real problem, we just don't configure any latency. */
2392     GST_WARNING_OBJECT (element, "failed to query latency");
2393   }
2394   gst_query_unref (query);
2395
2396   return res;
2397 }
2398
2399 static void
2400 gst_bin_state_changed (GstElement * element, GstState oldstate,
2401     GstState newstate, GstState pending)
2402 {
2403   GstElementClass *pklass = (GstElementClass *) parent_class;
2404
2405   if (newstate == GST_STATE_PLAYING && pending == GST_STATE_VOID_PENDING)
2406     bin_do_eos (GST_BIN_CAST (element));
2407
2408   if (pklass->state_changed)
2409     pklass->state_changed (element, oldstate, newstate, pending);
2410 }
2411
2412 static GstStateChangeReturn
2413 gst_bin_change_state_func (GstElement * element, GstStateChange transition)
2414 {
2415   GstBin *bin;
2416   GstStateChangeReturn ret;
2417   GstState current, next;
2418   gboolean have_async;
2419   gboolean have_no_preroll;
2420   GstClockTime base_time, start_time;
2421   GstIterator *it;
2422   gboolean done;
2423   GValue data = { 0, };
2424
2425   /* we don't need to take the STATE_LOCK, it is already taken */
2426   current = (GstState) GST_STATE_TRANSITION_CURRENT (transition);
2427   next = (GstState) GST_STATE_TRANSITION_NEXT (transition);
2428
2429   GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, element,
2430       "changing state of children from %s to %s",
2431       gst_element_state_get_name (current), gst_element_state_get_name (next));
2432
2433   bin = GST_BIN_CAST (element);
2434
2435   switch (next) {
2436     case GST_STATE_PLAYING:
2437     {
2438       gboolean toplevel;
2439
2440       GST_OBJECT_LOCK (bin);
2441       toplevel = BIN_IS_TOPLEVEL (bin);
2442       GST_OBJECT_UNLOCK (bin);
2443
2444       if (toplevel)
2445         gst_bin_recalculate_latency (bin);
2446       break;
2447     }
2448     case GST_STATE_PAUSED:
2449       /* Clear EOS list on next PAUSED */
2450       GST_OBJECT_LOCK (bin);
2451       GST_DEBUG_OBJECT (element, "clearing EOS elements");
2452       bin_remove_messages (bin, NULL, GST_MESSAGE_EOS);
2453       bin->priv->posted_eos = FALSE;
2454       GST_OBJECT_UNLOCK (bin);
2455       if (current == GST_STATE_READY)
2456         if (!(gst_bin_src_pads_activate (bin, TRUE)))
2457           goto activate_failure;
2458       break;
2459     case GST_STATE_READY:
2460       /* Clear message list on next READY */
2461       GST_OBJECT_LOCK (bin);
2462       GST_DEBUG_OBJECT (element, "clearing all cached messages");
2463       bin_remove_messages (bin, NULL, GST_MESSAGE_ANY);
2464       GST_OBJECT_UNLOCK (bin);
2465       if (current == GST_STATE_PAUSED)
2466         if (!(gst_bin_src_pads_activate (bin, FALSE)))
2467           goto activate_failure;
2468       break;
2469     case GST_STATE_NULL:
2470       if (current == GST_STATE_READY)
2471         if (!(gst_bin_src_pads_activate (bin, FALSE)))
2472           goto activate_failure;
2473       break;
2474     default:
2475       break;
2476   }
2477
2478   /* this flag is used to make the async state changes return immediately. We
2479    * don't want them to interfere with this state change */
2480   GST_OBJECT_LOCK (bin);
2481   bin->polling = TRUE;
2482   GST_OBJECT_UNLOCK (bin);
2483
2484   /* iterate in state change order */
2485   it = gst_bin_iterate_sorted (bin);
2486
2487   /* mark if we've seen an ASYNC element in the bin when we did a state change.
2488    * Note how we don't reset this value when a resync happens, the reason being
2489    * that the async element posted ASYNC_START and we want to post ASYNC_DONE
2490    * even after a resync when the async element is gone */
2491   have_async = FALSE;
2492
2493 restart:
2494   /* take base_time */
2495   base_time = gst_element_get_base_time (element);
2496   start_time = gst_element_get_start_time (element);
2497
2498   have_no_preroll = FALSE;
2499
2500   done = FALSE;
2501   while (!done) {
2502     switch (gst_iterator_next (it, &data)) {
2503       case GST_ITERATOR_OK:
2504       {
2505         GstElement *child;
2506
2507         child = g_value_get_object (&data);
2508
2509         /* set state and base_time now */
2510         ret = gst_bin_element_set_state (bin, child, base_time, start_time,
2511             current, next);
2512
2513         switch (ret) {
2514           case GST_STATE_CHANGE_SUCCESS:
2515             GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2516                 "child '%s' changed state to %d(%s) successfully",
2517                 GST_ELEMENT_NAME (child), next,
2518                 gst_element_state_get_name (next));
2519             break;
2520           case GST_STATE_CHANGE_ASYNC:
2521           {
2522             GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2523                 "child '%s' is changing state asynchronously to %s",
2524                 GST_ELEMENT_NAME (child), gst_element_state_get_name (next));
2525             have_async = TRUE;
2526             break;
2527           }
2528           case GST_STATE_CHANGE_FAILURE:{
2529             GstObject *parent;
2530
2531             GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2532                 "child '%s' failed to go to state %d(%s)",
2533                 GST_ELEMENT_NAME (child),
2534                 next, gst_element_state_get_name (next));
2535
2536             /* Only fail if the child is still inside
2537              * this bin. It might've been removed already
2538              * because of the error by the bin subclass
2539              * to ignore the error.  */
2540             parent = gst_object_get_parent (GST_OBJECT_CAST (child));
2541             if (parent == GST_OBJECT_CAST (element)) {
2542               /* element is still in bin, really error now */
2543               gst_object_unref (parent);
2544               goto done;
2545             }
2546             /* child removed from bin, let the resync code redo the state
2547              * change */
2548             GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2549                 "child '%s' was removed from the bin",
2550                 GST_ELEMENT_NAME (child));
2551
2552             if (parent)
2553               gst_object_unref (parent);
2554
2555             break;
2556           }
2557           case GST_STATE_CHANGE_NO_PREROLL:
2558             GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2559                 "child '%s' changed state to %d(%s) successfully without preroll",
2560                 GST_ELEMENT_NAME (child), next,
2561                 gst_element_state_get_name (next));
2562             have_no_preroll = TRUE;
2563             break;
2564           default:
2565             g_assert_not_reached ();
2566             break;
2567         }
2568         g_value_reset (&data);
2569         break;
2570       }
2571       case GST_ITERATOR_RESYNC:
2572         GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, element, "iterator doing resync");
2573         gst_iterator_resync (it);
2574         goto restart;
2575       default:
2576       case GST_ITERATOR_DONE:
2577         GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, element, "iterator done");
2578         done = TRUE;
2579         break;
2580     }
2581   }
2582
2583   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
2584   if (G_UNLIKELY (ret == GST_STATE_CHANGE_FAILURE))
2585     goto done;
2586
2587   if (have_no_preroll) {
2588     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin,
2589         "we have NO_PREROLL elements %s -> NO_PREROLL",
2590         gst_element_state_change_return_get_name (ret));
2591     ret = GST_STATE_CHANGE_NO_PREROLL;
2592   } else if (have_async) {
2593     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin,
2594         "we have ASYNC elements %s -> ASYNC",
2595         gst_element_state_change_return_get_name (ret));
2596     ret = GST_STATE_CHANGE_ASYNC;
2597   }
2598
2599 done:
2600   g_value_unset (&data);
2601   gst_iterator_free (it);
2602
2603   GST_OBJECT_LOCK (bin);
2604   bin->polling = FALSE;
2605   /* it's possible that we did not get ASYNC from the children while the bin is
2606    * simulating ASYNC behaviour by posting an ASYNC_DONE message on the bus with
2607    * itself as the source. In that case we still want to check if the state
2608    * change completed. */
2609   if (ret != GST_STATE_CHANGE_ASYNC && !bin->priv->pending_async_done) {
2610     /* no element returned ASYNC and there are no pending async_done messages,
2611      * we can just complete. */
2612     GST_DEBUG_OBJECT (bin, "no async elements");
2613     goto state_end;
2614   }
2615   /* when we get here an ASYNC element was found */
2616   if (GST_STATE_TARGET (bin) <= GST_STATE_READY) {
2617     /* we ignore ASYNC state changes when we go to READY or NULL */
2618     GST_DEBUG_OBJECT (bin, "target state %s <= READY",
2619         gst_element_state_get_name (GST_STATE_TARGET (bin)));
2620     goto state_end;
2621   }
2622
2623   GST_DEBUG_OBJECT (bin, "check async elements");
2624   /* check if all elements managed to commit their state already */
2625   if (!find_message (bin, NULL, GST_MESSAGE_ASYNC_START)) {
2626     /* nothing found, remove all old ASYNC_DONE messages. This can happen when
2627      * all the elements commited their state while we were doing the state
2628      * change. We will still return ASYNC for consistency but we commit the
2629      * state already so that a _get_state() will return immediately. */
2630     bin_remove_messages (bin, NULL, GST_MESSAGE_ASYNC_DONE);
2631
2632     GST_DEBUG_OBJECT (bin, "async elements commited");
2633     bin_handle_async_done (bin, GST_STATE_CHANGE_SUCCESS, FALSE, FALSE);
2634   }
2635
2636 state_end:
2637   bin->priv->pending_async_done = FALSE;
2638   GST_OBJECT_UNLOCK (bin);
2639
2640   GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, element,
2641       "done changing bin's state from %s to %s, now in %s, ret %s",
2642       gst_element_state_get_name (current),
2643       gst_element_state_get_name (next),
2644       gst_element_state_get_name (GST_STATE (element)),
2645       gst_element_state_change_return_get_name (ret));
2646
2647   return ret;
2648
2649   /* ERRORS */
2650 activate_failure:
2651   {
2652     GST_CAT_WARNING_OBJECT (GST_CAT_STATES, element,
2653         "failure (de)activating src pads");
2654     return GST_STATE_CHANGE_FAILURE;
2655   }
2656 }
2657
2658 /*
2659  * This function is a utility event handler for seek events.
2660  * It will send the event to all sinks or sources depending on the
2661  * event-direction.
2662  *
2663  * Applications are free to override this behaviour and
2664  * implement their own seek handler, but this will work for
2665  * pretty much all cases in practice.
2666  */
2667 static gboolean
2668 gst_bin_send_event (GstElement * element, GstEvent * event)
2669 {
2670   GstBin *bin = GST_BIN_CAST (element);
2671   GstIterator *iter;
2672   gboolean res = TRUE;
2673   gboolean done = FALSE;
2674   GValue data = { 0, };
2675
2676   if (GST_EVENT_IS_DOWNSTREAM (event)) {
2677     iter = gst_bin_iterate_sources (bin);
2678     GST_DEBUG_OBJECT (bin, "Sending %s event to src children",
2679         GST_EVENT_TYPE_NAME (event));
2680   } else {
2681     iter = gst_bin_iterate_sinks (bin);
2682     GST_DEBUG_OBJECT (bin, "Sending %s event to sink children",
2683         GST_EVENT_TYPE_NAME (event));
2684   }
2685
2686   while (!done) {
2687     switch (gst_iterator_next (iter, &data)) {
2688       case GST_ITERATOR_OK:
2689       {
2690         GstElement *child = g_value_get_object (&data);;
2691
2692         gst_event_ref (event);
2693         res &= gst_element_send_event (child, event);
2694         GST_LOG_OBJECT (child, "After handling %s event: %d",
2695             GST_EVENT_TYPE_NAME (event), res);
2696         break;
2697       }
2698       case GST_ITERATOR_RESYNC:
2699         gst_iterator_resync (iter);
2700         res = TRUE;
2701         break;
2702       case GST_ITERATOR_DONE:
2703         done = TRUE;
2704         break;
2705       case GST_ITERATOR_ERROR:
2706         g_assert_not_reached ();
2707         break;
2708     }
2709   }
2710   g_value_unset (&data);
2711   gst_iterator_free (iter);
2712   gst_event_unref (event);
2713
2714   return res;
2715 }
2716
2717 /* this is the function called by the threadpool. When async elements commit
2718  * their state, this function will attempt to bring the bin to the next state.
2719  */
2720 static void
2721 gst_bin_continue_func (BinContinueData * data)
2722 {
2723   GstBin *bin;
2724   GstState current, next, pending;
2725   GstStateChange transition;
2726
2727   bin = data->bin;
2728   pending = data->pending;
2729
2730   GST_DEBUG_OBJECT (bin, "waiting for state lock");
2731   GST_STATE_LOCK (bin);
2732
2733   GST_DEBUG_OBJECT (bin, "doing state continue");
2734   GST_OBJECT_LOCK (bin);
2735
2736   /* if a new state change happened after this thread was scheduled, we return
2737    * immediately. */
2738   if (data->cookie != GST_ELEMENT_CAST (bin)->state_cookie)
2739     goto interrupted;
2740
2741   current = GST_STATE (bin);
2742   next = GST_STATE_GET_NEXT (current, pending);
2743   transition = (GstStateChange) GST_STATE_TRANSITION (current, next);
2744
2745   GST_STATE_NEXT (bin) = next;
2746   GST_STATE_PENDING (bin) = pending;
2747   /* mark busy */
2748   GST_STATE_RETURN (bin) = GST_STATE_CHANGE_ASYNC;
2749   GST_OBJECT_UNLOCK (bin);
2750
2751   GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin,
2752       "continue state change %s to %s, final %s",
2753       gst_element_state_get_name (current),
2754       gst_element_state_get_name (next), gst_element_state_get_name (pending));
2755
2756   gst_element_change_state (GST_ELEMENT_CAST (bin), transition);
2757
2758   GST_STATE_UNLOCK (bin);
2759   GST_DEBUG_OBJECT (bin, "state continue done");
2760
2761   gst_object_unref (bin);
2762   g_slice_free (BinContinueData, data);
2763   return;
2764
2765 interrupted:
2766   {
2767     GST_OBJECT_UNLOCK (bin);
2768     GST_STATE_UNLOCK (bin);
2769     GST_DEBUG_OBJECT (bin, "state continue aborted due to intervening change");
2770     gst_object_unref (bin);
2771     g_slice_free (BinContinueData, data);
2772     return;
2773   }
2774 }
2775
2776 static GstBusSyncReply
2777 bin_bus_handler (GstBus * bus, GstMessage * message, GstBin * bin)
2778 {
2779   GstBinClass *bclass;
2780
2781   bclass = GST_BIN_GET_CLASS (bin);
2782   if (bclass->handle_message)
2783     bclass->handle_message (bin, message);
2784   else
2785     gst_message_unref (message);
2786
2787   return GST_BUS_DROP;
2788 }
2789
2790 static void
2791 bin_push_state_continue (BinContinueData * data)
2792 {
2793   GstBinClass *klass;
2794   GstBin *bin;
2795
2796   /* ref was taken */
2797   bin = data->bin;
2798   klass = GST_BIN_GET_CLASS (bin);
2799
2800   GST_DEBUG_OBJECT (bin, "pushing continue on thread pool");
2801   g_thread_pool_push (klass->pool, data, NULL);
2802 }
2803
2804 /* an element started an async state change, if we were not busy with a state
2805  * change, we perform a lost state.
2806  * This function is called with the OBJECT lock.
2807  */
2808 static void
2809 bin_handle_async_start (GstBin * bin)
2810 {
2811   GstState old_state, new_state;
2812   gboolean toplevel;
2813   GstMessage *amessage = NULL;
2814
2815   if (GST_STATE_RETURN (bin) == GST_STATE_CHANGE_FAILURE)
2816     goto had_error;
2817
2818   /* get our toplevel state */
2819   toplevel = BIN_IS_TOPLEVEL (bin);
2820
2821   /* prepare an ASYNC_START message, we always post the start message even if we
2822    * are busy with a state change or when we are NO_PREROLL. */
2823   if (!toplevel)
2824     /* non toplevel bin, prepare async-start for the parent */
2825     amessage = gst_message_new_async_start (GST_OBJECT_CAST (bin));
2826
2827   if (bin->polling || GST_STATE_PENDING (bin) != GST_STATE_VOID_PENDING)
2828     goto was_busy;
2829
2830   /* async starts are ignored when we are NO_PREROLL */
2831   if (GST_STATE_RETURN (bin) == GST_STATE_CHANGE_NO_PREROLL)
2832     goto was_no_preroll;
2833
2834   old_state = GST_STATE (bin);
2835
2836   /* when we PLAYING we go back to PAUSED, when preroll happens, we go back to
2837    * PLAYING after optionally redistributing the base_time. */
2838   if (old_state > GST_STATE_PAUSED)
2839     new_state = GST_STATE_PAUSED;
2840   else
2841     new_state = old_state;
2842
2843   GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin,
2844       "lost state of %s, new %s", gst_element_state_get_name (old_state),
2845       gst_element_state_get_name (new_state));
2846
2847   GST_STATE (bin) = new_state;
2848   GST_STATE_NEXT (bin) = new_state;
2849   GST_STATE_PENDING (bin) = new_state;
2850   GST_STATE_RETURN (bin) = GST_STATE_CHANGE_ASYNC;
2851   GST_OBJECT_UNLOCK (bin);
2852
2853   /* post message */
2854   _priv_gst_element_state_changed (GST_ELEMENT_CAST (bin), new_state, new_state,
2855       new_state);
2856
2857 post_start:
2858   if (amessage) {
2859     /* post our ASYNC_START. */
2860     GST_DEBUG_OBJECT (bin, "posting ASYNC_START to parent");
2861     gst_element_post_message (GST_ELEMENT_CAST (bin), amessage);
2862   }
2863   GST_OBJECT_LOCK (bin);
2864
2865   return;
2866
2867 had_error:
2868   {
2869     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin, "we had an error");
2870     return;
2871   }
2872 was_busy:
2873   {
2874     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin, "state change busy");
2875     GST_OBJECT_UNLOCK (bin);
2876     goto post_start;
2877   }
2878 was_no_preroll:
2879   {
2880     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin, "ignoring, we are NO_PREROLL");
2881     GST_OBJECT_UNLOCK (bin);
2882     goto post_start;
2883   }
2884 }
2885
2886 /* this function is called when there are no more async elements in the bin. We
2887  * post a state changed message and an ASYNC_DONE message.
2888  * This function is called with the OBJECT lock.
2889  */
2890 static void
2891 bin_handle_async_done (GstBin * bin, GstStateChangeReturn ret,
2892     gboolean flag_pending, gboolean reset_time)
2893 {
2894   GstState current, pending, target;
2895   GstStateChangeReturn old_ret;
2896   GstState old_state, old_next;
2897   gboolean toplevel, state_changed = FALSE;
2898   GstMessage *amessage = NULL;
2899   BinContinueData *cont = NULL;
2900
2901   if (GST_STATE_RETURN (bin) == GST_STATE_CHANGE_FAILURE)
2902     goto had_error;
2903
2904   pending = GST_STATE_PENDING (bin);
2905
2906   if (bin->polling)
2907     goto was_busy;
2908
2909   /* check if there is something to commit */
2910   if (pending == GST_STATE_VOID_PENDING)
2911     goto nothing_pending;
2912
2913   old_ret = GST_STATE_RETURN (bin);
2914   GST_STATE_RETURN (bin) = ret;
2915
2916   /* move to the next target state */
2917   target = GST_STATE_TARGET (bin);
2918   pending = GST_STATE_PENDING (bin) = target;
2919
2920   amessage = gst_message_new_async_done (GST_OBJECT_CAST (bin), reset_time);
2921
2922   old_state = GST_STATE (bin);
2923   /* this is the state we should go to next */
2924   old_next = GST_STATE_NEXT (bin);
2925
2926   if (old_next != GST_STATE_PLAYING) {
2927     GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin,
2928         "committing state from %s to %s, old pending %s",
2929         gst_element_state_get_name (old_state),
2930         gst_element_state_get_name (old_next),
2931         gst_element_state_get_name (pending));
2932
2933     /* update current state */
2934     current = GST_STATE (bin) = old_next;
2935   } else {
2936     GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin,
2937         "setting state from %s to %s, pending %s",
2938         gst_element_state_get_name (old_state),
2939         gst_element_state_get_name (old_state),
2940         gst_element_state_get_name (pending));
2941     current = old_state;
2942   }
2943
2944   /* get our toplevel state */
2945   toplevel = BIN_IS_TOPLEVEL (bin);
2946
2947   /* see if we reached the final state. If we are not toplevel, we also have to
2948    * stop here, the parent will continue our state. */
2949   if ((pending == current) || !toplevel) {
2950     GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin,
2951         "completed state change, pending VOID");
2952
2953     /* mark VOID pending */
2954     pending = GST_STATE_VOID_PENDING;
2955     GST_STATE_PENDING (bin) = pending;
2956     GST_STATE_NEXT (bin) = GST_STATE_VOID_PENDING;
2957   } else {
2958     GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin,
2959         "continue state change, pending %s",
2960         gst_element_state_get_name (pending));
2961
2962     cont = g_slice_new (BinContinueData);
2963
2964     /* ref to the bin */
2965     cont->bin = gst_object_ref (bin);
2966     /* cookie to detect concurrent state change */
2967     cont->cookie = GST_ELEMENT_CAST (bin)->state_cookie;
2968     /* pending target state */
2969     cont->pending = pending;
2970     /* mark busy */
2971     GST_STATE_RETURN (bin) = GST_STATE_CHANGE_ASYNC;
2972     GST_STATE_NEXT (bin) = GST_STATE_GET_NEXT (old_state, pending);
2973   }
2974
2975   if (old_next != GST_STATE_PLAYING) {
2976     if (old_state != old_next || old_ret == GST_STATE_CHANGE_ASYNC) {
2977       state_changed = TRUE;
2978     }
2979   }
2980   GST_OBJECT_UNLOCK (bin);
2981
2982   if (state_changed) {
2983     _priv_gst_element_state_changed (GST_ELEMENT_CAST (bin), old_state,
2984         old_next, pending);
2985   }
2986   if (amessage) {
2987     /* post our combined ASYNC_DONE when all is ASYNC_DONE. */
2988     GST_DEBUG_OBJECT (bin, "posting ASYNC_DONE to parent");
2989     gst_element_post_message (GST_ELEMENT_CAST (bin), amessage);
2990   }
2991
2992   GST_OBJECT_LOCK (bin);
2993   if (cont) {
2994     /* toplevel, start continue state */
2995     GST_DEBUG_OBJECT (bin, "all async-done, starting state continue");
2996     bin_push_state_continue (cont);
2997   } else {
2998     GST_DEBUG_OBJECT (bin, "state change complete");
2999     GST_STATE_BROADCAST (bin);
3000   }
3001   return;
3002
3003 had_error:
3004   {
3005     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin, "we had an error");
3006     return;
3007   }
3008 was_busy:
3009   {
3010     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin, "state change busy");
3011     /* if we were busy with a state change and we are requested to flag a
3012      * pending async done, we do so here */
3013     if (flag_pending)
3014       bin->priv->pending_async_done = TRUE;
3015     return;
3016   }
3017 nothing_pending:
3018   {
3019     GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin, "nothing pending");
3020     return;
3021   }
3022 }
3023
3024 static void
3025 bin_do_eos (GstBin * bin)
3026 {
3027   guint32 seqnum = 0;
3028   gboolean eos;
3029
3030   GST_OBJECT_LOCK (bin);
3031   /* If all sinks are EOS, we're in PLAYING and no state change is pending
3032    * we forward the EOS message to the parent bin or application
3033    */
3034   eos = GST_STATE (bin) == GST_STATE_PLAYING
3035       && GST_STATE_PENDING (bin) == GST_STATE_VOID_PENDING
3036       && is_eos (bin, &seqnum);
3037   GST_OBJECT_UNLOCK (bin);
3038
3039   if (eos
3040       && g_atomic_int_compare_and_exchange (&bin->priv->posted_eos, FALSE,
3041           TRUE)) {
3042     GstMessage *tmessage;
3043     tmessage = gst_message_new_eos (GST_OBJECT_CAST (bin));
3044     gst_message_set_seqnum (tmessage, seqnum);
3045     GST_DEBUG_OBJECT (bin,
3046         "all sinks posted EOS, posting seqnum #%" G_GUINT32_FORMAT, seqnum);
3047     gst_element_post_message (GST_ELEMENT_CAST (bin), tmessage);
3048   }
3049 }
3050
3051 /* must be called with the object lock. This function releases the lock to post
3052  * the message. */
3053 static void
3054 bin_do_message_forward (GstBin * bin, GstMessage * message)
3055 {
3056   if (bin->priv->message_forward) {
3057     GstMessage *forwarded;
3058
3059     GST_DEBUG_OBJECT (bin, "pass %s message upward",
3060         GST_MESSAGE_TYPE_NAME (message));
3061     GST_OBJECT_UNLOCK (bin);
3062
3063     /* we need to convert these messages to element messages so that our parent
3064      * bin can easily ignore them and so that the application can easily
3065      * distinguish between the internally forwarded and the real messages. */
3066     forwarded = gst_message_new_element (GST_OBJECT_CAST (bin),
3067         gst_structure_new ("GstBinForwarded",
3068             "message", GST_TYPE_MESSAGE, message, NULL));
3069
3070     gst_element_post_message (GST_ELEMENT_CAST (bin), forwarded);
3071
3072     GST_OBJECT_LOCK (bin);
3073   }
3074 }
3075
3076 /* handle child messages:
3077  *
3078  * This method is called synchronously when a child posts a message on
3079  * the internal bus.
3080  *
3081  * GST_MESSAGE_EOS: This message is only posted by sinks
3082  *     in the PLAYING state. If all sinks posted the EOS message, post
3083  *     one upwards.
3084  *
3085  * GST_MESSAGE_STATE_DIRTY: Deprecated
3086  *
3087  * GST_MESSAGE_SEGMENT_START: just collect, never forward upwards. If an
3088  *     element posts segment_start twice, only the last message is kept.
3089  *
3090  * GST_MESSAGE_SEGMENT_DONE: replace SEGMENT_START message from same poster
3091  *     with the segment_done message. If there are no more segment_start
3092  *     messages, post segment_done message upwards.
3093  *
3094  * GST_MESSAGE_DURATION: remove all previously cached duration messages.
3095  *     Whenever someone performs a duration query on the bin, we store the
3096  *     result so we can answer it quicker the next time. Any element that
3097  *     changes its duration marks our cached values invalid.
3098  *     This message is also posted upwards. This is currently disabled
3099  *     because too many elements don't post DURATION messages when the
3100  *     duration changes.
3101  *
3102  * GST_MESSAGE_CLOCK_LOST: This message is posted by an element when it
3103  *     can no longer provide a clock. The default bin behaviour is to
3104  *     check if the lost clock was the one provided by the bin. If so and
3105  *     we are currently in the PLAYING state, we forward the message to
3106  *     our parent.
3107  *     This message is also generated when we remove a clock provider from
3108  *     a bin. If this message is received by the application, it should
3109  *     PAUSE the pipeline and set it back to PLAYING to force a new clock
3110  *     and a new base_time distribution.
3111  *
3112  * GST_MESSAGE_CLOCK_PROVIDE: This message is generated when an element
3113  *     can provide a clock. This mostly happens when we add a new clock
3114  *     provider to the bin. The default behaviour of the bin is to mark the
3115  *     currently selected clock as dirty, which will perform a clock
3116  *     recalculation the next time we are asked to provide a clock.
3117  *     This message is never sent to the application but is forwarded to
3118  *     the parent.
3119  *
3120  * GST_MESSAGE_ASYNC_START: Create an internal ELEMENT message that stores
3121  *     the state of the element and the fact that the element will need a
3122  *     new base_time. This message is not forwarded to the application.
3123  *
3124  * GST_MESSAGE_ASYNC_DONE: Find the internal ELEMENT message we kept for the
3125  *     element when it posted ASYNC_START. If all elements are done, post a
3126  *     ASYNC_DONE message to the parent.
3127  *
3128  * OTHER: post upwards.
3129  */
3130 static void
3131 gst_bin_handle_message_func (GstBin * bin, GstMessage * message)
3132 {
3133   GstObject *src;
3134   GstMessageType type;
3135   GstMessage *tmessage;
3136   guint32 seqnum;
3137
3138   src = GST_MESSAGE_SRC (message);
3139   type = GST_MESSAGE_TYPE (message);
3140
3141   GST_DEBUG_OBJECT (bin, "[msg %p] handling child %s message of type %s",
3142       message, src ? GST_ELEMENT_NAME (src) : "(NULL)",
3143       GST_MESSAGE_TYPE_NAME (message));
3144
3145   switch (type) {
3146     case GST_MESSAGE_ERROR:
3147     {
3148       GST_OBJECT_LOCK (bin);
3149       /* flag error */
3150       GST_DEBUG_OBJECT (bin, "got ERROR message, unlocking state change");
3151       GST_STATE_RETURN (bin) = GST_STATE_CHANGE_FAILURE;
3152       GST_STATE_BROADCAST (bin);
3153       GST_OBJECT_UNLOCK (bin);
3154
3155       goto forward;
3156     }
3157     case GST_MESSAGE_EOS:
3158     {
3159
3160       /* collect all eos messages from the children */
3161       GST_OBJECT_LOCK (bin);
3162       bin_do_message_forward (bin, message);
3163       /* ref message for future use  */
3164       bin_replace_message (bin, message, GST_MESSAGE_EOS);
3165       GST_OBJECT_UNLOCK (bin);
3166
3167       bin_do_eos (bin);
3168       break;
3169     }
3170     case GST_MESSAGE_STATE_DIRTY:
3171     {
3172       GST_WARNING_OBJECT (bin, "received deprecated STATE_DIRTY message");
3173
3174       /* free message */
3175       gst_message_unref (message);
3176       break;
3177     }
3178     case GST_MESSAGE_SEGMENT_START:{
3179       gboolean post = FALSE;
3180       GstFormat format;
3181       gint64 position;
3182
3183       gst_message_parse_segment_start (message, &format, &position);
3184       seqnum = gst_message_get_seqnum (message);
3185
3186       GST_OBJECT_LOCK (bin);
3187       bin_do_message_forward (bin, message);
3188       /* if this is the first segment-start, post to parent but not to the
3189        * application */
3190       if (!find_message (bin, NULL, GST_MESSAGE_SEGMENT_START) &&
3191           (GST_OBJECT_PARENT (bin) != NULL)) {
3192         post = TRUE;
3193       }
3194       /* replace any previous segment_start message from this source
3195        * with the new segment start message */
3196       bin_replace_message (bin, message, GST_MESSAGE_SEGMENT_START);
3197       GST_OBJECT_UNLOCK (bin);
3198       if (post) {
3199         tmessage = gst_message_new_segment_start (GST_OBJECT_CAST (bin),
3200             format, position);
3201         gst_message_set_seqnum (tmessage, seqnum);
3202
3203         /* post segment start with initial format and position. */
3204         GST_DEBUG_OBJECT (bin, "posting SEGMENT_START (%u) bus message: %p",
3205             seqnum, message);
3206         gst_element_post_message (GST_ELEMENT_CAST (bin), tmessage);
3207       }
3208       break;
3209     }
3210     case GST_MESSAGE_SEGMENT_DONE:
3211     {
3212       gboolean post = FALSE;
3213       GstFormat format;
3214       gint64 position;
3215
3216       gst_message_parse_segment_done (message, &format, &position);
3217       seqnum = gst_message_get_seqnum (message);
3218
3219       GST_OBJECT_LOCK (bin);
3220       bin_do_message_forward (bin, message);
3221       bin_replace_message (bin, message, GST_MESSAGE_SEGMENT_START);
3222       /* if there are no more segment_start messages, everybody posted
3223        * a segment_done and we can post one on the bus. */
3224
3225       /* we don't care who still has a pending segment start */
3226       if (!find_message (bin, NULL, GST_MESSAGE_SEGMENT_START)) {
3227         /* nothing found */
3228         post = TRUE;
3229         /* remove all old segment_done messages */
3230         bin_remove_messages (bin, NULL, GST_MESSAGE_SEGMENT_DONE);
3231       }
3232       GST_OBJECT_UNLOCK (bin);
3233       if (post) {
3234         tmessage = gst_message_new_segment_done (GST_OBJECT_CAST (bin),
3235             format, position);
3236         gst_message_set_seqnum (tmessage, seqnum);
3237
3238         /* post segment done with latest format and position. */
3239         GST_DEBUG_OBJECT (bin, "posting SEGMENT_DONE (%u) bus message: %p",
3240             seqnum, message);
3241         gst_element_post_message (GST_ELEMENT_CAST (bin), tmessage);
3242       }
3243       break;
3244     }
3245     case GST_MESSAGE_DURATION:
3246     {
3247       /* remove all cached duration messages, next time somebody asks
3248        * for duration, we will recalculate. */
3249       GST_OBJECT_LOCK (bin);
3250       bin_remove_messages (bin, NULL, GST_MESSAGE_DURATION);
3251       GST_OBJECT_UNLOCK (bin);
3252       goto forward;
3253     }
3254     case GST_MESSAGE_CLOCK_LOST:
3255     {
3256       GstClock **provided_clock_p;
3257       GstElement **clock_provider_p;
3258       gboolean playing, provided, forward;
3259       GstClock *clock;
3260
3261       gst_message_parse_clock_lost (message, &clock);
3262
3263       GST_OBJECT_LOCK (bin);
3264       bin->clock_dirty = TRUE;
3265       /* if we lost the clock that we provided, post to parent but
3266        * only if we are PLAYING. */
3267       provided = (clock == bin->provided_clock);
3268       playing = (GST_STATE (bin) == GST_STATE_PLAYING);
3269       forward = playing & provided;
3270       if (provided) {
3271         GST_DEBUG_OBJECT (bin,
3272             "Lost clock %" GST_PTR_FORMAT " provided by %" GST_PTR_FORMAT,
3273             bin->provided_clock, bin->clock_provider);
3274         provided_clock_p = &bin->provided_clock;
3275         clock_provider_p = &bin->clock_provider;
3276         gst_object_replace ((GstObject **) provided_clock_p, NULL);
3277         gst_object_replace ((GstObject **) clock_provider_p, NULL);
3278       }
3279       GST_DEBUG_OBJECT (bin, "provided %d, playing %d, forward %d",
3280           provided, playing, forward);
3281       GST_OBJECT_UNLOCK (bin);
3282
3283       if (forward)
3284         goto forward;
3285
3286       /* free message */
3287       gst_message_unref (message);
3288       break;
3289     }
3290     case GST_MESSAGE_CLOCK_PROVIDE:
3291     {
3292       gboolean forward;
3293
3294       GST_OBJECT_LOCK (bin);
3295       bin->clock_dirty = TRUE;
3296       /* a new clock is available, post to parent but not
3297        * to the application */
3298       forward = GST_OBJECT_PARENT (bin) != NULL;
3299       GST_OBJECT_UNLOCK (bin);
3300
3301       if (forward)
3302         goto forward;
3303
3304       /* free message */
3305       gst_message_unref (message);
3306       break;
3307     }
3308     case GST_MESSAGE_ASYNC_START:
3309     {
3310       GstState target;
3311
3312       GST_DEBUG_OBJECT (bin, "ASYNC_START message %p, %s", message,
3313           src ? GST_OBJECT_NAME (src) : "(NULL)");
3314
3315       GST_OBJECT_LOCK (bin);
3316       bin_do_message_forward (bin, message);
3317
3318       /* we ignore the message if we are going to <= READY */
3319       if ((target = GST_STATE_TARGET (bin)) <= GST_STATE_READY)
3320         goto ignore_start_message;
3321
3322       /* takes ownership of the message */
3323       bin_replace_message (bin, message, GST_MESSAGE_ASYNC_START);
3324
3325       bin_handle_async_start (bin);
3326       GST_OBJECT_UNLOCK (bin);
3327       break;
3328
3329     ignore_start_message:
3330       {
3331         GST_DEBUG_OBJECT (bin, "ignoring message, target %s",
3332             gst_element_state_get_name (target));
3333         GST_OBJECT_UNLOCK (bin);
3334         gst_message_unref (message);
3335         break;
3336       }
3337     }
3338     case GST_MESSAGE_ASYNC_DONE:
3339     {
3340       gboolean reset_time;
3341       GstState target;
3342
3343       GST_DEBUG_OBJECT (bin, "ASYNC_DONE message %p, %s", message,
3344           src ? GST_OBJECT_NAME (src) : "(NULL)");
3345
3346       gst_message_parse_async_done (message, &reset_time);
3347
3348       GST_OBJECT_LOCK (bin);
3349       bin_do_message_forward (bin, message);
3350
3351       /* ignore messages if we are shutting down */
3352       if ((target = GST_STATE_TARGET (bin)) <= GST_STATE_READY)
3353         goto ignore_done_message;
3354
3355       bin_replace_message (bin, message, GST_MESSAGE_ASYNC_START);
3356       /* if there are no more ASYNC_START messages, everybody posted
3357        * a ASYNC_DONE and we can post one on the bus. When checking, we
3358        * don't care who still has a pending ASYNC_START */
3359       if (!find_message (bin, NULL, GST_MESSAGE_ASYNC_START)) {
3360         /* nothing found, remove all old ASYNC_DONE messages */
3361         bin_remove_messages (bin, NULL, GST_MESSAGE_ASYNC_DONE);
3362
3363         GST_DEBUG_OBJECT (bin, "async elements commited");
3364         /* when we get an async done message when a state change was busy, we
3365          * need to set the pending_done flag so that at the end of the state
3366          * change we can see if we need to verify pending async elements, hence
3367          * the TRUE argument here. */
3368         bin_handle_async_done (bin, GST_STATE_CHANGE_SUCCESS, TRUE, reset_time);
3369       } else {
3370         GST_DEBUG_OBJECT (bin, "there are more async elements pending");
3371       }
3372       GST_OBJECT_UNLOCK (bin);
3373       break;
3374
3375     ignore_done_message:
3376       {
3377         GST_DEBUG_OBJECT (bin, "ignoring message, target %s",
3378             gst_element_state_get_name (target));
3379         GST_OBJECT_UNLOCK (bin);
3380         gst_message_unref (message);
3381         break;
3382       }
3383     }
3384     case GST_MESSAGE_STRUCTURE_CHANGE:
3385     {
3386       gboolean busy;
3387
3388       gst_message_parse_structure_change (message, NULL, NULL, &busy);
3389
3390       GST_OBJECT_LOCK (bin);
3391       if (busy) {
3392         /* while the pad is busy, avoid following it when doing state changes.
3393          * Don't update the cookie yet, we will do that after the structure
3394          * change finished and we are ready to inspect the new updated
3395          * structure. */
3396         bin_replace_message (bin, message, GST_MESSAGE_STRUCTURE_CHANGE);
3397         message = NULL;
3398       } else {
3399         /* a pad link/unlink ended, signal the state change iterator that we
3400          * need to resync by updating the structure_cookie. */
3401         bin_remove_messages (bin, GST_MESSAGE_SRC (message),
3402             GST_MESSAGE_STRUCTURE_CHANGE);
3403         bin->priv->structure_cookie++;
3404       }
3405       GST_OBJECT_UNLOCK (bin);
3406
3407       if (message)
3408         gst_message_unref (message);
3409
3410       break;
3411     }
3412     default:
3413       goto forward;
3414   }
3415   return;
3416
3417 forward:
3418   {
3419     /* Send all other messages upward */
3420     GST_DEBUG_OBJECT (bin, "posting message upward");
3421     gst_element_post_message (GST_ELEMENT_CAST (bin), message);
3422     return;
3423   }
3424 }
3425
3426 /* generic struct passed to all query fold methods */
3427 typedef struct
3428 {
3429   GstQuery *query;
3430   gint64 min;
3431   gint64 max;
3432   gboolean live;
3433 } QueryFold;
3434
3435 typedef void (*QueryInitFunction) (GstBin * bin, QueryFold * fold);
3436 typedef void (*QueryDoneFunction) (GstBin * bin, QueryFold * fold);
3437
3438 /* for duration/position we collect all durations/positions and take
3439  * the MAX of all valid results */
3440 static void
3441 bin_query_min_max_init (GstBin * bin, QueryFold * fold)
3442 {
3443   fold->min = 0;
3444   fold->max = -1;
3445   fold->live = FALSE;
3446 }
3447
3448 static gboolean
3449 bin_query_duration_fold (const GValue * vitem, GValue * ret, QueryFold * fold)
3450 {
3451   GstElement *item = g_value_get_object (vitem);
3452
3453   if (gst_element_query (item, fold->query)) {
3454     gint64 duration;
3455
3456     g_value_set_boolean (ret, TRUE);
3457
3458     gst_query_parse_duration (fold->query, NULL, &duration);
3459
3460     GST_DEBUG_OBJECT (item, "got duration %" G_GINT64_FORMAT, duration);
3461
3462     if (duration > fold->max)
3463       fold->max = duration;
3464   }
3465
3466   return TRUE;
3467 }
3468
3469 static void
3470 bin_query_duration_done (GstBin * bin, QueryFold * fold)
3471 {
3472   GstFormat format;
3473
3474   gst_query_parse_duration (fold->query, &format, NULL);
3475   /* store max in query result */
3476   gst_query_set_duration (fold->query, format, fold->max);
3477
3478   GST_DEBUG_OBJECT (bin, "max duration %" G_GINT64_FORMAT, fold->max);
3479
3480   /* and cache now */
3481   GST_OBJECT_LOCK (bin);
3482   bin->messages = g_list_prepend (bin->messages,
3483       gst_message_new_duration (GST_OBJECT_CAST (bin), format, fold->max));
3484   GST_OBJECT_UNLOCK (bin);
3485 }
3486
3487 static gboolean
3488 bin_query_position_fold (const GValue * vitem, GValue * ret, QueryFold * fold)
3489 {
3490   GstElement *item = g_value_get_object (vitem);
3491
3492   if (gst_element_query (item, fold->query)) {
3493     gint64 position;
3494
3495     g_value_set_boolean (ret, TRUE);
3496
3497     gst_query_parse_position (fold->query, NULL, &position);
3498
3499     GST_DEBUG_OBJECT (item, "got position %" G_GINT64_FORMAT, position);
3500
3501     if (position > fold->max)
3502       fold->max = position;
3503   }
3504
3505   return TRUE;
3506 }
3507
3508 static void
3509 bin_query_position_done (GstBin * bin, QueryFold * fold)
3510 {
3511   GstFormat format;
3512
3513   gst_query_parse_position (fold->query, &format, NULL);
3514   /* store max in query result */
3515   gst_query_set_position (fold->query, format, fold->max);
3516
3517   GST_DEBUG_OBJECT (bin, "max position %" G_GINT64_FORMAT, fold->max);
3518 }
3519
3520 static gboolean
3521 bin_query_latency_fold (const GValue * vitem, GValue * ret, QueryFold * fold)
3522 {
3523   GstElement *item = g_value_get_object (vitem);
3524
3525   if (gst_element_query (item, fold->query)) {
3526     GstClockTime min, max;
3527     gboolean live;
3528
3529     gst_query_parse_latency (fold->query, &live, &min, &max);
3530
3531     GST_DEBUG_OBJECT (item,
3532         "got latency min %" GST_TIME_FORMAT ", max %" GST_TIME_FORMAT
3533         ", live %d", GST_TIME_ARGS (min), GST_TIME_ARGS (max), live);
3534
3535     /* for the combined latency we collect the MAX of all min latencies and
3536      * the MIN of all max latencies */
3537     if (live) {
3538       if (min > fold->min)
3539         fold->min = min;
3540       if (fold->max == -1)
3541         fold->max = max;
3542       else if (max < fold->max)
3543         fold->max = max;
3544       if (fold->live == FALSE)
3545         fold->live = live;
3546     }
3547   } else {
3548     g_value_set_boolean (ret, FALSE);
3549     GST_DEBUG_OBJECT (item, "failed query");
3550   }
3551
3552   return TRUE;
3553 }
3554
3555 static void
3556 bin_query_latency_done (GstBin * bin, QueryFold * fold)
3557 {
3558   /* store max in query result */
3559   gst_query_set_latency (fold->query, fold->live, fold->min, fold->max);
3560
3561   GST_DEBUG_OBJECT (bin,
3562       "latency min %" GST_TIME_FORMAT ", max %" GST_TIME_FORMAT
3563       ", live %d", GST_TIME_ARGS (fold->min), GST_TIME_ARGS (fold->max),
3564       fold->live);
3565 }
3566
3567 /* generic fold, return first valid result */
3568 static gboolean
3569 bin_query_generic_fold (const GValue * vitem, GValue * ret, QueryFold * fold)
3570 {
3571   GstElement *item = g_value_get_object (vitem);
3572   gboolean res;
3573
3574   if ((res = gst_element_query (item, fold->query))) {
3575     g_value_set_boolean (ret, TRUE);
3576     GST_DEBUG_OBJECT (item, "answered query %p", fold->query);
3577   }
3578
3579   /* and stop as soon as we have a valid result */
3580   return !res;
3581 }
3582
3583 static gboolean
3584 gst_bin_query (GstElement * element, GstQuery * query)
3585 {
3586   GstBin *bin = GST_BIN_CAST (element);
3587   GstIterator *iter;
3588   gboolean res = FALSE;
3589   GstIteratorFoldFunction fold_func;
3590   QueryInitFunction fold_init = NULL;
3591   QueryDoneFunction fold_done = NULL;
3592   QueryFold fold_data;
3593   GValue ret = { 0 };
3594
3595   switch (GST_QUERY_TYPE (query)) {
3596     case GST_QUERY_DURATION:
3597     {
3598       GList *cached;
3599       GstFormat qformat;
3600
3601       gst_query_parse_duration (query, &qformat, NULL);
3602
3603       /* find cached duration query */
3604       GST_OBJECT_LOCK (bin);
3605       for (cached = bin->messages; cached; cached = g_list_next (cached)) {
3606         GstMessage *message = (GstMessage *) cached->data;
3607
3608         if (GST_MESSAGE_TYPE (message) == GST_MESSAGE_DURATION &&
3609             GST_MESSAGE_SRC (message) == GST_OBJECT_CAST (bin)) {
3610           GstFormat format;
3611           gint64 duration;
3612
3613           gst_message_parse_duration (message, &format, &duration);
3614
3615           /* if cached same format, copy duration in query result */
3616           if (format == qformat) {
3617             GST_DEBUG_OBJECT (bin, "return cached duration %" G_GINT64_FORMAT,
3618                 duration);
3619             GST_OBJECT_UNLOCK (bin);
3620
3621             gst_query_set_duration (query, qformat, duration);
3622             res = TRUE;
3623             goto exit;
3624           }
3625         }
3626       }
3627       GST_OBJECT_UNLOCK (bin);
3628       /* no cached value found, iterate and collect durations */
3629       fold_func = (GstIteratorFoldFunction) bin_query_duration_fold;
3630       fold_init = bin_query_min_max_init;
3631       fold_done = bin_query_duration_done;
3632       break;
3633     }
3634     case GST_QUERY_POSITION:
3635     {
3636       fold_func = (GstIteratorFoldFunction) bin_query_position_fold;
3637       fold_init = bin_query_min_max_init;
3638       fold_done = bin_query_position_done;
3639       break;
3640     }
3641     case GST_QUERY_LATENCY:
3642     {
3643       fold_func = (GstIteratorFoldFunction) bin_query_latency_fold;
3644       fold_init = bin_query_min_max_init;
3645       fold_done = bin_query_latency_done;
3646       res = TRUE;
3647       break;
3648     }
3649     default:
3650       fold_func = (GstIteratorFoldFunction) bin_query_generic_fold;
3651       break;
3652   }
3653
3654   fold_data.query = query;
3655
3656   /* set the result of the query to FALSE initially */
3657   g_value_init (&ret, G_TYPE_BOOLEAN);
3658   g_value_set_boolean (&ret, res);
3659
3660   iter = gst_bin_iterate_sinks (bin);
3661   GST_DEBUG_OBJECT (bin, "Sending query %p (type %s) to sink children",
3662       query, GST_QUERY_TYPE_NAME (query));
3663
3664   if (fold_init)
3665     fold_init (bin, &fold_data);
3666
3667   while (TRUE) {
3668     GstIteratorResult ires;
3669
3670     ires = gst_iterator_fold (iter, fold_func, &ret, &fold_data);
3671
3672     switch (ires) {
3673       case GST_ITERATOR_RESYNC:
3674         gst_iterator_resync (iter);
3675         if (fold_init)
3676           fold_init (bin, &fold_data);
3677         g_value_set_boolean (&ret, res);
3678         break;
3679       case GST_ITERATOR_OK:
3680       case GST_ITERATOR_DONE:
3681         res = g_value_get_boolean (&ret);
3682         if (fold_done != NULL && res)
3683           fold_done (bin, &fold_data);
3684         goto done;
3685       default:
3686         res = FALSE;
3687         goto done;
3688     }
3689   }
3690 done:
3691   gst_iterator_free (iter);
3692
3693 exit:
3694   GST_DEBUG_OBJECT (bin, "query %p result %d", query, res);
3695
3696   return res;
3697 }
3698
3699 static gint
3700 compare_name (const GValue * velement, const gchar * name)
3701 {
3702   gint eq;
3703   GstElement *element = g_value_get_object (velement);
3704
3705   GST_OBJECT_LOCK (element);
3706   eq = strcmp (GST_ELEMENT_NAME (element), name);
3707   GST_OBJECT_UNLOCK (element);
3708
3709   return eq;
3710 }
3711
3712 /**
3713  * gst_bin_get_by_name:
3714  * @bin: a #GstBin
3715  * @name: the element name to search for
3716  *
3717  * Gets the element with the given name from a bin. This
3718  * function recurses into child bins.
3719  *
3720  * Returns NULL if no element with the given name is found in the bin.
3721  *
3722  * MT safe.  Caller owns returned reference.
3723  *
3724  * Returns: (transfer full): the #GstElement with the given name, or NULL
3725  */
3726 GstElement *
3727 gst_bin_get_by_name (GstBin * bin, const gchar * name)
3728 {
3729   GstIterator *children;
3730   GValue result = { 0, };
3731   GstElement *element;
3732   gboolean found;
3733
3734   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
3735
3736   GST_CAT_INFO (GST_CAT_PARENTAGE, "[%s]: looking up child element %s",
3737       GST_ELEMENT_NAME (bin), name);
3738
3739   children = gst_bin_iterate_recurse (bin);
3740   found = gst_iterator_find_custom (children,
3741       (GCompareFunc) compare_name, &result, (gpointer) name);
3742   gst_iterator_free (children);
3743
3744   if (found) {
3745     element = g_value_dup_object (&result);
3746     g_value_unset (&result);
3747   } else {
3748     element = NULL;
3749   }
3750
3751   return element;
3752 }
3753
3754 /**
3755  * gst_bin_get_by_name_recurse_up:
3756  * @bin: a #GstBin
3757  * @name: the element name to search for
3758  *
3759  * Gets the element with the given name from this bin. If the
3760  * element is not found, a recursion is performed on the parent bin.
3761  *
3762  * Returns NULL if:
3763  * - no element with the given name is found in the bin
3764  *
3765  * MT safe.  Caller owns returned reference.
3766  *
3767  * Returns: (transfer full): the #GstElement with the given name, or NULL
3768  */
3769 GstElement *
3770 gst_bin_get_by_name_recurse_up (GstBin * bin, const gchar * name)
3771 {
3772   GstElement *result;
3773
3774   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
3775   g_return_val_if_fail (name != NULL, NULL);
3776
3777   result = gst_bin_get_by_name (bin, name);
3778
3779   if (!result) {
3780     GstObject *parent;
3781
3782     parent = gst_object_get_parent (GST_OBJECT_CAST (bin));
3783     if (parent) {
3784       if (GST_IS_BIN (parent)) {
3785         result = gst_bin_get_by_name_recurse_up (GST_BIN_CAST (parent), name);
3786       }
3787       gst_object_unref (parent);
3788     }
3789   }
3790
3791   return result;
3792 }
3793
3794 static gint
3795 compare_interface (const GValue * velement, GValue * interface)
3796 {
3797   GstElement *element = g_value_get_object (velement);
3798   GType interface_type = (GType) g_value_get_pointer (interface);
3799   gint ret;
3800
3801   if (G_TYPE_CHECK_INSTANCE_TYPE (element, interface_type)) {
3802     ret = 0;
3803   } else {
3804     ret = 1;
3805   }
3806   return ret;
3807 }
3808
3809 /**
3810  * gst_bin_get_by_interface:
3811  * @bin: a #GstBin
3812  * @iface: the #GType of an interface
3813  *
3814  * Looks for an element inside the bin that implements the given
3815  * interface. If such an element is found, it returns the element.
3816  * You can cast this element to the given interface afterwards.  If you want
3817  * all elements that implement the interface, use
3818  * gst_bin_iterate_all_by_interface(). This function recurses into child bins.
3819  *
3820  * MT safe.  Caller owns returned reference.
3821  *
3822  * Returns: (transfer full): A #GstElement inside the bin implementing the interface
3823  */
3824 GstElement *
3825 gst_bin_get_by_interface (GstBin * bin, GType iface)
3826 {
3827   GstIterator *children;
3828   GValue result = { 0, };
3829   GstElement *element;
3830   gboolean found;
3831   GValue viface = { 0, };
3832
3833   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
3834   g_return_val_if_fail (G_TYPE_IS_INTERFACE (iface), NULL);
3835
3836   g_value_init (&viface, G_TYPE_POINTER);
3837   g_value_set_pointer (&viface, (gpointer) iface);
3838
3839   children = gst_bin_iterate_recurse (bin);
3840   found = gst_iterator_find_custom (children, (GCompareFunc) compare_interface,
3841       &result, &viface);
3842   gst_iterator_free (children);
3843
3844   if (found) {
3845     element = g_value_dup_object (&result);
3846     g_value_unset (&result);
3847   } else {
3848     element = NULL;
3849   }
3850   g_value_unset (&viface);
3851
3852   return element;
3853 }
3854
3855 /**
3856  * gst_bin_iterate_all_by_interface:
3857  * @bin: a #GstBin
3858  * @iface: the #GType of an interface
3859  *
3860  * Looks for all elements inside the bin that implements the given
3861  * interface. You can safely cast all returned elements to the given interface.
3862  * The function recurses inside child bins. The iterator will yield a series
3863  * of #GstElement that should be unreffed after use.
3864  *
3865  * Each element yielded by the iterator will have its refcount increased, so
3866  * unref after use.
3867  *
3868  * MT safe.  Caller owns returned value.
3869  *
3870  * Returns: (transfer full): a #GstIterator of #GstElement for all elements
3871  *          in the bin implementing the given interface, or NULL
3872  */
3873 GstIterator *
3874 gst_bin_iterate_all_by_interface (GstBin * bin, GType iface)
3875 {
3876   GstIterator *children;
3877   GstIterator *result;
3878   GValue viface = { 0, };
3879
3880   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
3881   g_return_val_if_fail (G_TYPE_IS_INTERFACE (iface), NULL);
3882
3883   g_value_init (&viface, G_TYPE_POINTER);
3884   g_value_set_pointer (&viface, (gpointer) iface);
3885
3886   children = gst_bin_iterate_recurse (bin);
3887   result = gst_iterator_filter (children, (GCompareFunc) compare_interface,
3888       &viface);
3889
3890   g_value_unset (&viface);
3891
3892   return result;
3893 }