tests: Update for negotiation related API changes
[platform/upstream/gstreamer.git] / gst / gstbin.c
1 /* GStreamer
2  *
3  * Copyright (C) 1999,2000 Erik Walthinsen <omega@cse.ogi.edu>
4  *                    2004 Wim Taymans <wim.taymans@gmail.com>
5  *
6  * gstbin.c: GstBin container object and support code
7  *
8  * This library is free software; you can redistribute it and/or
9  * modify it under the terms of the GNU Library General Public
10  * License as published by the Free Software Foundation; either
11  * version 2 of the License, or (at your option) any later version.
12  *
13  * This library is distributed in the hope that it will be useful,
14  * but WITHOUT ANY WARRANTY; without even the implied warranty of
15  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
16  * Library General Public License for more details.
17  *
18  * You should have received a copy of the GNU Library General Public
19  * License along with this library; if not, write to the
20  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
21  * Boston, MA 02111-1307, USA.
22  *
23  * MT safe.
24  */
25
26 /**
27  * SECTION:gstbin
28  * @short_description: Base class and element that can contain other elements
29  *
30  * #GstBin is an element that can contain other #GstElement, allowing them to be
31  * managed as a group.
32  * Pads from the child elements can be ghosted to the bin, see #GstGhostPad.
33  * This makes the bin look like any other elements and enables creation of
34  * higher-level abstraction elements.
35  *
36  * A new #GstBin is created with gst_bin_new(). Use a #GstPipeline instead if you
37  * want to create a toplevel bin because a normal bin doesn't have a bus or
38  * handle clock distribution of its own.
39  *
40  * After the bin has been created you will typically add elements to it with
41  * gst_bin_add(). You can remove elements with gst_bin_remove().
42  *
43  * An element can be retrieved from a bin with gst_bin_get_by_name(), using the
44  * elements name. gst_bin_get_by_name_recurse_up() is mainly used for internal
45  * purposes and will query the parent bins when the element is not found in the
46  * current bin.
47  *
48  * An iterator of elements in a bin can be retrieved with
49  * gst_bin_iterate_elements(). Various other iterators exist to retrieve the
50  * elements in a bin.
51  *
52  * gst_object_unref() is used to drop your reference to the bin.
53  *
54  * The #GstBin::element-added signal is fired whenever a new element is added to
55  * the bin. Likewise the #GstBin::element-removed signal is fired whenever an
56  * element is removed from the bin.
57  *
58  * <refsect2><title>Notes</title>
59  * <para>
60  * A #GstBin internally intercepts every #GstMessage posted by its children and
61  * implements the following default behaviour for each of them:
62  * <variablelist>
63  *   <varlistentry>
64  *     <term>GST_MESSAGE_EOS</term>
65  *     <listitem><para>This message is only posted by sinks in the PLAYING
66  *     state. If all sinks posted the EOS message, this bin will post and EOS
67  *     message upwards.</para></listitem>
68  *   </varlistentry>
69  *   <varlistentry>
70  *     <term>GST_MESSAGE_SEGMENT_START</term>
71  *     <listitem><para>just collected and never forwarded upwards.
72  *     The messages are used to decide when all elements have completed playback
73  *     of their segment.</para></listitem>
74  *   </varlistentry>
75  *   <varlistentry>
76  *     <term>GST_MESSAGE_SEGMENT_DONE</term>
77  *     <listitem><para> Is posted by #GstBin when all elements that posted
78  *     a SEGMENT_START have posted a SEGMENT_DONE.</para></listitem>
79  *   </varlistentry>
80  *   <varlistentry>
81  *     <term>GST_MESSAGE_DURATION</term>
82  *     <listitem><para> Is posted by an element that detected a change
83  *     in the stream duration. The default bin behaviour is to clear any
84  *     cached duration values so that the next duration query will perform
85  *     a full duration recalculation. The duration change is posted to the
86  *     application so that it can refetch the new duration with a duration
87  *     query. Note that these messages can be posted before the bin is
88  *     prerolled, in which case the duration query might fail.
89  *     </para></listitem>
90  *   </varlistentry>
91  *   <varlistentry>
92  *     <term>GST_MESSAGE_CLOCK_LOST</term>
93  *     <listitem><para> This message is posted by an element when it
94  *     can no longer provide a clock. The default bin behaviour is to
95  *     check if the lost clock was the one provided by the bin. If so and
96  *     the bin is currently in the PLAYING state, the message is forwarded to
97  *     the bin parent.
98  *     This message is also generated when a clock provider is removed from
99  *     the bin. If this message is received by the application, it should
100  *     PAUSE the pipeline and set it back to PLAYING to force a new clock
101  *     distribution.
102  *     </para></listitem>
103  *   </varlistentry>
104  *   <varlistentry>
105  *     <term>GST_MESSAGE_CLOCK_PROVIDE</term>
106  *     <listitem><para> This message is generated when an element
107  *     can provide a clock. This mostly happens when a new clock
108  *     provider is added to the bin. The default behaviour of the bin is to
109  *     mark the currently selected clock as dirty, which will perform a clock
110  *     recalculation the next time the bin is asked to provide a clock.
111  *     This message is never sent tot the application but is forwarded to
112  *     the parent of the bin.
113  *     </para></listitem>
114  *   </varlistentry>
115  *   <varlistentry>
116  *     <term>OTHERS</term>
117  *     <listitem><para> posted upwards.</para></listitem>
118  *   </varlistentry>
119  * </variablelist>
120  *
121  *
122  * A #GstBin implements the following default behaviour for answering to a
123  * #GstQuery:
124  * <variablelist>
125  *   <varlistentry>
126  *     <term>GST_QUERY_DURATION</term>
127  *     <listitem><para>If the query has been asked before with the same format
128  *     and the bin is a toplevel bin (ie. has no parent),
129  *     use the cached previous value. If no previous value was cached, the
130  *     query is sent to all sink elements in the bin and the MAXIMUM of all
131  *     values is returned. If the bin is a toplevel bin the value is cached.
132  *     If no sinks are available in the bin, the query fails.
133  *     </para></listitem>
134  *   </varlistentry>
135  *   <varlistentry>
136  *     <term>GST_QUERY_POSITION</term>
137  *     <listitem><para>The query is sent to all sink elements in the bin and the
138  *     MAXIMUM of all values is returned. If no sinks are available in the bin,
139  *     the query fails.
140  *     </para></listitem>
141  *   </varlistentry>
142  *   <varlistentry>
143  *     <term>OTHERS</term>
144  *     <listitem><para>the query is forwarded to all sink elements, the result
145  *     of the first sink that answers the query successfully is returned. If no
146  *     sink is in the bin, the query fails.</para></listitem>
147  *   </varlistentry>
148  * </variablelist>
149  *
150  * A #GstBin will by default forward any event sent to it to all sink elements.
151  * If all the sinks return TRUE, the bin will also return TRUE, else FALSE is
152  * returned. If no sinks are in the bin, the event handler will return TRUE.
153  *
154  * </para>
155  * </refsect2>
156  *
157  * Last reviewed on 2006-04-28 (0.10.6)
158  */
159
160 #include "gst_private.h"
161
162 #include "gstevent.h"
163 #include "gstbin.h"
164 #include "gstmarshal.h"
165 #include "gstinfo.h"
166 #include "gsterror.h"
167
168 #include "gstindex.h"
169 #include "gstindexfactory.h"
170 #include "gstutils.h"
171 #include "gstchildproxy.h"
172
173 /* latency is by default enabled now.
174  * live-preroll and no-live-preroll in the environment var GST_COMPAT
175  * to enables or disable it respectively.
176  */
177 static gboolean enable_latency = TRUE;
178
179 GST_DEBUG_CATEGORY_STATIC (bin_debug);
180 #define GST_CAT_DEFAULT bin_debug
181
182 /* a bin is toplevel if it has no parent or when it is configured to behave like
183  * a toplevel bin */
184 #define BIN_IS_TOPLEVEL(bin) ((GST_OBJECT_PARENT (bin) == NULL) || bin->priv->asynchandling)
185
186 #define GST_BIN_GET_PRIVATE(obj)  \
187    (G_TYPE_INSTANCE_GET_PRIVATE ((obj), GST_TYPE_BIN, GstBinPrivate))
188
189 struct _GstBinPrivate
190 {
191   gboolean asynchandling;
192   /* if we get an ASYNC_DONE message from ourselves, this means that the
193    * subclass will simulate ASYNC behaviour without having ASYNC children. When
194    * such an ASYNC_DONE message is posted while we are doing a state change, we
195    * have to process the message after finishing the state change even when no
196    * child returned GST_STATE_CHANGE_ASYNC. */
197   gboolean pending_async_done;
198
199   guint32 structure_cookie;
200
201   /* cached index */
202   GstIndex *index;
203   /* forward messages from our children */
204   gboolean message_forward;
205
206   gboolean posted_eos;
207 };
208
209 typedef struct
210 {
211   GstBin *bin;
212   guint32 cookie;
213   GstState pending;
214 } BinContinueData;
215
216 static void gst_bin_dispose (GObject * object);
217
218 static void gst_bin_set_property (GObject * object, guint prop_id,
219     const GValue * value, GParamSpec * pspec);
220 static void gst_bin_get_property (GObject * object, guint prop_id,
221     GValue * value, GParamSpec * pspec);
222
223 static GstStateChangeReturn gst_bin_change_state_func (GstElement * element,
224     GstStateChange transition);
225 static GstStateChangeReturn gst_bin_get_state_func (GstElement * element,
226     GstState * state, GstState * pending, GstClockTime timeout);
227 static void bin_handle_async_done (GstBin * bin, GstStateChangeReturn ret,
228     gboolean flag_pending);
229 static void bin_handle_async_start (GstBin * bin, gboolean new_base_time);
230 static void bin_push_state_continue (BinContinueData * data);
231 static void bin_do_eos (GstBin * bin);
232
233 static gboolean gst_bin_add_func (GstBin * bin, GstElement * element);
234 static gboolean gst_bin_remove_func (GstBin * bin, GstElement * element);
235
236 static void gst_bin_set_index_func (GstElement * element, GstIndex * index);
237 static GstIndex *gst_bin_get_index_func (GstElement * element);
238
239 static GstClock *gst_bin_provide_clock_func (GstElement * element);
240 static gboolean gst_bin_set_clock_func (GstElement * element, GstClock * clock);
241
242 static void gst_bin_handle_message_func (GstBin * bin, GstMessage * message);
243 static gboolean gst_bin_send_event (GstElement * element, GstEvent * event);
244 static GstBusSyncReply bin_bus_handler (GstBus * bus,
245     GstMessage * message, GstBin * bin);
246 static gboolean gst_bin_query (GstElement * element, GstQuery ** query);
247
248 static gboolean gst_bin_do_latency_func (GstBin * bin);
249
250 static void bin_remove_messages (GstBin * bin, GstObject * src,
251     GstMessageType types);
252 static void gst_bin_continue_func (BinContinueData * data);
253 static gint bin_element_is_sink (GstElement * child, GstBin * bin);
254 static gint bin_element_is_src (GstElement * child, GstBin * bin);
255
256 static GstIterator *gst_bin_sort_iterator_new (GstBin * bin);
257
258 /* Bin signals and properties */
259 enum
260 {
261   ELEMENT_ADDED,
262   ELEMENT_REMOVED,
263   DO_LATENCY,
264   LAST_SIGNAL
265 };
266
267 #define DEFAULT_ASYNC_HANDLING  FALSE
268 #define DEFAULT_MESSAGE_FORWARD FALSE
269
270 enum
271 {
272   PROP_0,
273   PROP_ASYNC_HANDLING,
274   PROP_MESSAGE_FORWARD,
275   PROP_LAST
276 };
277
278 static void gst_bin_child_proxy_init (gpointer g_iface, gpointer iface_data);
279
280 static guint gst_bin_signals[LAST_SIGNAL] = { 0 };
281
282 #define _do_init \
283 { \
284   const gchar *compat; \
285   static const GInterfaceInfo iface_info = { \
286     gst_bin_child_proxy_init, \
287     NULL, \
288     NULL}; \
289   \
290   g_type_add_interface_static (g_define_type_id, GST_TYPE_CHILD_PROXY, &iface_info); \
291   \
292   GST_DEBUG_CATEGORY_INIT (bin_debug, "bin", GST_DEBUG_BOLD, \
293       "debugging info for the 'bin' container element"); \
294   \
295   /* compatibility stuff */ \
296   compat = g_getenv ("GST_COMPAT"); \
297   if (compat != NULL) { \
298     if (strstr (compat, "no-live-preroll")) \
299       enable_latency = FALSE; \
300     else if (strstr (compat, "live-preroll")) \
301       enable_latency = TRUE; \
302   } \
303 }
304
305 #define gst_bin_parent_class parent_class
306 G_DEFINE_TYPE_WITH_CODE (GstBin, gst_bin, GST_TYPE_ELEMENT, _do_init);
307
308 static GstObject *
309 gst_bin_child_proxy_get_child_by_index (GstChildProxy * child_proxy,
310     guint index)
311 {
312   GstObject *res;
313   GstBin *bin;
314
315   bin = GST_BIN_CAST (child_proxy);
316
317   GST_OBJECT_LOCK (bin);
318   if ((res = g_list_nth_data (bin->children, index)))
319     gst_object_ref (res);
320   GST_OBJECT_UNLOCK (bin);
321
322   return res;
323 }
324
325 static guint
326 gst_bin_child_proxy_get_children_count (GstChildProxy * child_proxy)
327 {
328   guint num;
329   GstBin *bin;
330
331   bin = GST_BIN_CAST (child_proxy);
332
333   GST_OBJECT_LOCK (bin);
334   num = bin->numchildren;
335   GST_OBJECT_UNLOCK (bin);
336
337   return num;
338 }
339
340 static void
341 gst_bin_child_proxy_init (gpointer g_iface, gpointer iface_data)
342 {
343   GstChildProxyInterface *iface = g_iface;
344
345   iface->get_children_count = gst_bin_child_proxy_get_children_count;
346   iface->get_child_by_index = gst_bin_child_proxy_get_child_by_index;
347 }
348
349 static gboolean
350 _gst_boolean_accumulator (GSignalInvocationHint * ihint,
351     GValue * return_accu, const GValue * handler_return, gpointer dummy)
352 {
353   gboolean myboolean;
354
355   myboolean = g_value_get_boolean (handler_return);
356   if (!(ihint->run_type & G_SIGNAL_RUN_CLEANUP))
357     g_value_set_boolean (return_accu, myboolean);
358
359   GST_DEBUG ("invocation %d, %d", ihint->run_type, myboolean);
360
361   /* stop emission */
362   return FALSE;
363 }
364
365 static void
366 gst_bin_class_init (GstBinClass * klass)
367 {
368   GObjectClass *gobject_class;
369   GstObjectClass *gstobject_class;
370   GstElementClass *gstelement_class;
371   GError *err;
372
373   gobject_class = (GObjectClass *) klass;
374   gstobject_class = (GstObjectClass *) klass;
375   gstelement_class = (GstElementClass *) klass;
376
377   g_type_class_add_private (klass, sizeof (GstBinPrivate));
378
379   gobject_class->set_property = gst_bin_set_property;
380   gobject_class->get_property = gst_bin_get_property;
381
382   /**
383    * GstBin:async-handling
384    *
385    * If set to #TRUE, the bin will handle asynchronous state changes.
386    * This should be used only if the bin subclass is modifying the state
387    * of its children on its own.
388    *
389    * Since: 0.10.13
390    */
391   g_object_class_install_property (gobject_class, PROP_ASYNC_HANDLING,
392       g_param_spec_boolean ("async-handling", "Async Handling",
393           "The bin will handle Asynchronous state changes",
394           DEFAULT_ASYNC_HANDLING, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
395
396   /**
397    * GstBin::element-added:
398    * @bin: the #GstBin
399    * @element: the #GstElement that was added to the bin
400    *
401    * Will be emitted after the element was added to the bin.
402    */
403   gst_bin_signals[ELEMENT_ADDED] =
404       g_signal_new ("element-added", G_TYPE_FROM_CLASS (klass),
405       G_SIGNAL_RUN_FIRST, G_STRUCT_OFFSET (GstBinClass, element_added), NULL,
406       NULL, gst_marshal_VOID__OBJECT, G_TYPE_NONE, 1, GST_TYPE_ELEMENT);
407   /**
408    * GstBin::element-removed:
409    * @bin: the #GstBin
410    * @element: the #GstElement that was removed from the bin
411    *
412    * Will be emitted after the element was removed from the bin.
413    */
414   gst_bin_signals[ELEMENT_REMOVED] =
415       g_signal_new ("element-removed", G_TYPE_FROM_CLASS (klass),
416       G_SIGNAL_RUN_FIRST, G_STRUCT_OFFSET (GstBinClass, element_removed), NULL,
417       NULL, gst_marshal_VOID__OBJECT, G_TYPE_NONE, 1, GST_TYPE_ELEMENT);
418   /**
419    * GstBin::do-latency:
420    * @bin: the #GstBin
421    *
422    * Will be emitted when the bin needs to perform latency calculations. This
423    * signal is only emited for toplevel bins or when async-handling is
424    * enabled.
425    *
426    * Only one signal handler is invoked. If no signals are connected, the
427    * default handler is invoked, which will query and distribute the lowest
428    * possible latency to all sinks.
429    *
430    * Connect to this signal if the default latency calculations are not
431    * sufficient, like when you need different latencies for different sinks in
432    * the same pipeline.
433    *
434    * Since: 0.10.22
435    */
436   gst_bin_signals[DO_LATENCY] =
437       g_signal_new ("do-latency", G_TYPE_FROM_CLASS (klass),
438       G_SIGNAL_RUN_LAST, G_STRUCT_OFFSET (GstBinClass, do_latency),
439       _gst_boolean_accumulator, NULL, gst_marshal_BOOLEAN__VOID,
440       G_TYPE_BOOLEAN, 0, G_TYPE_NONE);
441
442   /**
443    * GstBin:message-forward
444    *
445    * Forward all children messages, even those that would normally be filtered by
446    * the bin. This can be interesting when one wants to be notified of the EOS
447    * state of individual elements, for example.
448    *
449    * The messages are converted to an ELEMENT message with the bin as the
450    * source. The structure of the message is named 'GstBinForwarded' and contains
451    * a field named 'message' of type GST_TYPE_MESSAGE that contains the original
452    * forwarded message.
453    *
454    * Since: 0.10.31
455    */
456   g_object_class_install_property (gobject_class, PROP_MESSAGE_FORWARD,
457       g_param_spec_boolean ("message-forward", "Message Forward",
458           "Forwards all children messages",
459           DEFAULT_MESSAGE_FORWARD, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
460
461   gobject_class->dispose = gst_bin_dispose;
462
463   gst_element_class_set_metadata (gstelement_class, "Generic bin",
464       "Generic/Bin",
465       "Simple container object",
466       "Erik Walthinsen <omega@cse.ogi.edu>,"
467       "Wim Taymans <wim.taymans@gmail.com>");
468
469   gstelement_class->change_state =
470       GST_DEBUG_FUNCPTR (gst_bin_change_state_func);
471   gstelement_class->get_state = GST_DEBUG_FUNCPTR (gst_bin_get_state_func);
472   gstelement_class->get_index = GST_DEBUG_FUNCPTR (gst_bin_get_index_func);
473   gstelement_class->set_index = GST_DEBUG_FUNCPTR (gst_bin_set_index_func);
474   gstelement_class->provide_clock =
475       GST_DEBUG_FUNCPTR (gst_bin_provide_clock_func);
476   gstelement_class->set_clock = GST_DEBUG_FUNCPTR (gst_bin_set_clock_func);
477
478   gstelement_class->send_event = GST_DEBUG_FUNCPTR (gst_bin_send_event);
479   gstelement_class->query = GST_DEBUG_FUNCPTR (gst_bin_query);
480
481   klass->add_element = GST_DEBUG_FUNCPTR (gst_bin_add_func);
482   klass->remove_element = GST_DEBUG_FUNCPTR (gst_bin_remove_func);
483   klass->handle_message = GST_DEBUG_FUNCPTR (gst_bin_handle_message_func);
484
485   klass->do_latency = GST_DEBUG_FUNCPTR (gst_bin_do_latency_func);
486
487   GST_DEBUG ("creating bin thread pool");
488   err = NULL;
489   klass->pool =
490       g_thread_pool_new ((GFunc) gst_bin_continue_func, NULL, -1, FALSE, &err);
491   if (err != NULL) {
492     g_critical ("could alloc threadpool %s", err->message);
493   }
494 }
495
496 static void
497 gst_bin_init (GstBin * bin)
498 {
499   GstBus *bus;
500
501   bin->numchildren = 0;
502   bin->children = NULL;
503   bin->children_cookie = 0;
504   bin->messages = NULL;
505   bin->provided_clock = NULL;
506   bin->clock_dirty = FALSE;
507
508   /* Set up a bus for listening to child elements */
509   bus = g_object_new (GST_TYPE_BUS, "enable-async", FALSE, NULL);
510   bin->child_bus = bus;
511   GST_DEBUG_OBJECT (bin, "using bus %" GST_PTR_FORMAT " to listen to children",
512       bus);
513   gst_bus_set_sync_handler (bus, (GstBusSyncHandler) bin_bus_handler, bin);
514
515   bin->priv = GST_BIN_GET_PRIVATE (bin);
516   bin->priv->asynchandling = DEFAULT_ASYNC_HANDLING;
517   bin->priv->structure_cookie = 0;
518   bin->priv->message_forward = DEFAULT_MESSAGE_FORWARD;
519 }
520
521 static void
522 gst_bin_dispose (GObject * object)
523 {
524   GstBin *bin = GST_BIN_CAST (object);
525   GstBus **child_bus_p = &bin->child_bus;
526   GstClock **provided_clock_p = &bin->provided_clock;
527   GstElement **clock_provider_p = &bin->clock_provider;
528   GstIndex **index_p = &bin->priv->index;
529
530   GST_CAT_DEBUG_OBJECT (GST_CAT_REFCOUNTING, object, "dispose");
531
532   GST_OBJECT_LOCK (object);
533   gst_object_replace ((GstObject **) child_bus_p, NULL);
534   gst_object_replace ((GstObject **) provided_clock_p, NULL);
535   gst_object_replace ((GstObject **) clock_provider_p, NULL);
536   gst_object_replace ((GstObject **) index_p, NULL);
537   bin_remove_messages (bin, NULL, GST_MESSAGE_ANY);
538   GST_OBJECT_UNLOCK (object);
539
540   while (bin->children) {
541     gst_bin_remove (bin, GST_ELEMENT_CAST (bin->children->data));
542   }
543   if (G_UNLIKELY (bin->children != NULL)) {
544     g_critical ("could not remove elements from bin '%s'",
545         GST_STR_NULL (GST_OBJECT_NAME (object)));
546   }
547
548   G_OBJECT_CLASS (parent_class)->dispose (object);
549 }
550
551 /**
552  * gst_bin_new:
553  * @name: the name of the new bin
554  *
555  * Creates a new bin with the given name.
556  *
557  * Returns: (transfer full): a new #GstBin
558  */
559 GstElement *
560 gst_bin_new (const gchar * name)
561 {
562   return gst_element_factory_make ("bin", name);
563 }
564
565 static void
566 gst_bin_set_property (GObject * object, guint prop_id,
567     const GValue * value, GParamSpec * pspec)
568 {
569   GstBin *gstbin;
570
571   gstbin = GST_BIN_CAST (object);
572
573   switch (prop_id) {
574     case PROP_ASYNC_HANDLING:
575       GST_OBJECT_LOCK (gstbin);
576       gstbin->priv->asynchandling = g_value_get_boolean (value);
577       GST_OBJECT_UNLOCK (gstbin);
578       break;
579     case PROP_MESSAGE_FORWARD:
580       GST_OBJECT_LOCK (gstbin);
581       gstbin->priv->message_forward = g_value_get_boolean (value);
582       GST_OBJECT_UNLOCK (gstbin);
583       break;
584     default:
585       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
586       break;
587   }
588 }
589
590 static void
591 gst_bin_get_property (GObject * object, guint prop_id,
592     GValue * value, GParamSpec * pspec)
593 {
594   GstBin *gstbin;
595
596   gstbin = GST_BIN_CAST (object);
597
598   switch (prop_id) {
599     case PROP_ASYNC_HANDLING:
600       GST_OBJECT_LOCK (gstbin);
601       g_value_set_boolean (value, gstbin->priv->asynchandling);
602       GST_OBJECT_UNLOCK (gstbin);
603       break;
604     case PROP_MESSAGE_FORWARD:
605       GST_OBJECT_LOCK (gstbin);
606       g_value_set_boolean (value, gstbin->priv->message_forward);
607       GST_OBJECT_UNLOCK (gstbin);
608       break;
609     default:
610       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
611       break;
612   }
613 }
614
615 /* return the cached index */
616 static GstIndex *
617 gst_bin_get_index_func (GstElement * element)
618 {
619   GstBin *bin;
620   GstIndex *result;
621
622   bin = GST_BIN_CAST (element);
623
624   GST_OBJECT_LOCK (bin);
625   if ((result = bin->priv->index))
626     gst_object_ref (result);
627   GST_OBJECT_UNLOCK (bin);
628
629   return result;
630 }
631
632 /* set the index on all elements in this bin
633  *
634  * MT safe
635  */
636 static void
637 gst_bin_set_index_func (GstElement * element, GstIndex * index)
638 {
639   GstBin *bin;
640   gboolean done;
641   GstIterator *it;
642   GstIndex *old;
643   GValue data = { 0, };
644
645   bin = GST_BIN_CAST (element);
646
647   GST_OBJECT_LOCK (bin);
648   old = bin->priv->index;
649   if (G_UNLIKELY (old == index))
650     goto was_set;
651   if (index)
652     gst_object_ref (index);
653   bin->priv->index = index;
654   GST_OBJECT_UNLOCK (bin);
655
656   if (old)
657     gst_object_unref (old);
658
659   it = gst_bin_iterate_elements (bin);
660
661   /* set the index on all elements in the bin */
662   done = FALSE;
663   while (!done) {
664     switch (gst_iterator_next (it, &data)) {
665       case GST_ITERATOR_OK:
666       {
667         GstElement *child = g_value_get_object (&data);
668
669         GST_DEBUG_OBJECT (bin, "setting index on '%s'",
670             GST_ELEMENT_NAME (child));
671         gst_element_set_index (child, index);
672
673         g_value_reset (&data);
674         break;
675       }
676       case GST_ITERATOR_RESYNC:
677         GST_DEBUG_OBJECT (bin, "iterator doing resync");
678         gst_iterator_resync (it);
679         break;
680       default:
681       case GST_ITERATOR_DONE:
682         GST_DEBUG_OBJECT (bin, "iterator done");
683         done = TRUE;
684         break;
685     }
686   }
687   g_value_unset (&data);
688   gst_iterator_free (it);
689   return;
690
691 was_set:
692   {
693     GST_DEBUG_OBJECT (bin, "index was already set");
694     GST_OBJECT_UNLOCK (bin);
695     return;
696   }
697 }
698
699 /* set the clock on all elements in this bin
700  *
701  * MT safe
702  */
703 static gboolean
704 gst_bin_set_clock_func (GstElement * element, GstClock * clock)
705 {
706   GstBin *bin;
707   gboolean done;
708   GstIterator *it;
709   gboolean res = TRUE;
710   GValue data = { 0, };
711
712   bin = GST_BIN_CAST (element);
713
714   it = gst_bin_iterate_elements (bin);
715
716   done = FALSE;
717   while (!done) {
718     switch (gst_iterator_next (it, &data)) {
719       case GST_ITERATOR_OK:
720       {
721         GstElement *child = g_value_get_object (&data);
722
723         res &= gst_element_set_clock (child, clock);
724
725         g_value_reset (&data);
726         break;
727       }
728       case GST_ITERATOR_RESYNC:
729         GST_DEBUG_OBJECT (bin, "iterator doing resync");
730         gst_iterator_resync (it);
731         res = TRUE;
732         break;
733       default:
734       case GST_ITERATOR_DONE:
735         GST_DEBUG_OBJECT (bin, "iterator done");
736         done = TRUE;
737         break;
738     }
739   }
740   g_value_unset (&data);
741   gst_iterator_free (it);
742
743   return res;
744 }
745
746 /* get the clock for this bin by asking all of the children in this bin
747  *
748  * The ref of the returned clock in increased so unref after usage.
749  *
750  * We loop the elements in state order and pick the last clock we can
751  * get. This makes sure we get a clock from the source.
752  *
753  * MT safe
754  */
755 static GstClock *
756 gst_bin_provide_clock_func (GstElement * element)
757 {
758   GstClock *result = NULL;
759   GstElement *provider = NULL;
760   GstBin *bin;
761   GstIterator *it;
762   gboolean done;
763   GValue val = { 0, };
764   GstClock **provided_clock_p;
765   GstElement **clock_provider_p;
766
767   bin = GST_BIN_CAST (element);
768
769   GST_OBJECT_LOCK (bin);
770   if (!bin->clock_dirty)
771     goto not_dirty;
772
773   GST_DEBUG_OBJECT (bin, "finding new clock");
774
775   it = gst_bin_sort_iterator_new (bin);
776   GST_OBJECT_UNLOCK (bin);
777
778   done = FALSE;
779   while (!done) {
780     switch (gst_iterator_next (it, &val)) {
781       case GST_ITERATOR_OK:
782       {
783         GstElement *child = g_value_get_object (&val);
784         GstClock *clock;
785
786         clock = gst_element_provide_clock (child);
787         if (clock) {
788           GST_DEBUG_OBJECT (bin, "found candidate clock %p by element %s",
789               clock, GST_ELEMENT_NAME (child));
790           if (result) {
791             gst_object_unref (result);
792             gst_object_unref (provider);
793           }
794           result = clock;
795           provider = gst_object_ref (child);
796         }
797
798         g_value_reset (&val);
799         break;
800       }
801       case GST_ITERATOR_RESYNC:
802         gst_iterator_resync (it);
803         break;
804       default:
805       case GST_ITERATOR_DONE:
806         done = TRUE;
807         break;
808     }
809   }
810   g_value_unset (&val);
811   gst_iterator_free (it);
812
813   GST_OBJECT_LOCK (bin);
814   if (!bin->clock_dirty) {
815     if (provider)
816       gst_object_unref (provider);
817     if (result)
818       gst_object_unref (result);
819     result = NULL;
820
821     goto not_dirty;
822   }
823
824   provided_clock_p = &bin->provided_clock;
825   clock_provider_p = &bin->clock_provider;
826   gst_object_replace ((GstObject **) provided_clock_p, (GstObject *) result);
827   gst_object_replace ((GstObject **) clock_provider_p, (GstObject *) provider);
828   bin->clock_dirty = FALSE;
829   GST_DEBUG_OBJECT (bin,
830       "provided new clock %" GST_PTR_FORMAT " by provider %" GST_PTR_FORMAT,
831       result, provider);
832   /* Provider is not being returned to caller, just the result */
833   if (provider)
834     gst_object_unref (provider);
835   GST_OBJECT_UNLOCK (bin);
836
837   return result;
838
839 not_dirty:
840   {
841     if ((result = bin->provided_clock))
842       gst_object_ref (result);
843     GST_DEBUG_OBJECT (bin, "returning old clock %p", result);
844     GST_OBJECT_UNLOCK (bin);
845
846     return result;
847   }
848 }
849
850 /*
851  * functions for manipulating cached messages
852  */
853 typedef struct
854 {
855   GstObject *src;
856   GstMessageType types;
857 } MessageFind;
858
859 /* check if a message is of given src and type */
860 static gint
861 message_check (GstMessage * message, MessageFind * target)
862 {
863   gboolean eq = TRUE;
864
865   if (target->src)
866     eq &= GST_MESSAGE_SRC (message) == target->src;
867   if (target->types)
868     eq &= (GST_MESSAGE_TYPE (message) & target->types) != 0;
869   GST_LOG ("looking at message %p: %d", message, eq);
870
871   return (eq ? 0 : 1);
872 }
873
874 static GList *
875 find_message (GstBin * bin, GstObject * src, GstMessageType types)
876 {
877   GList *result;
878   MessageFind find;
879
880   find.src = src;
881   find.types = types;
882
883   result = g_list_find_custom (bin->messages, &find,
884       (GCompareFunc) message_check);
885
886   if (result) {
887     GST_DEBUG_OBJECT (bin, "we found a message %p from %s matching types %08x",
888         result->data, GST_OBJECT_NAME (GST_MESSAGE_CAST (result->data)->src),
889         types);
890   } else {
891     GST_DEBUG_OBJECT (bin, "no message found matching types %08x", types);
892 #ifndef GST_DISABLE_GST_DEBUG
893     {
894       guint i;
895
896       for (i = 0; i < 32; i++)
897         if (types & (1 << i))
898           GST_DEBUG_OBJECT (bin, "  %s", gst_message_type_get_name (1 << i));
899     }
900 #endif
901   }
902
903   return result;
904 }
905
906 /* with LOCK, returns TRUE if message had a valid SRC, takes ownership of
907  * the message.
908  *
909  * A message that is cached and has the same SRC and type is replaced
910  * by the given message.
911  */
912 static gboolean
913 bin_replace_message (GstBin * bin, GstMessage * message, GstMessageType types)
914 {
915   GList *previous;
916   GstObject *src;
917   gboolean res = TRUE;
918
919   if ((src = GST_MESSAGE_SRC (message))) {
920     /* first find the previous message posted by this element */
921     if ((previous = find_message (bin, src, types))) {
922       GstMessage *previous_msg;
923
924       /* if we found a previous message, replace it */
925       previous_msg = previous->data;
926       previous->data = message;
927
928       GST_DEBUG_OBJECT (bin, "replace old message %s from %s with %s message",
929           GST_MESSAGE_TYPE_NAME (previous_msg), GST_ELEMENT_NAME (src),
930           GST_MESSAGE_TYPE_NAME (message));
931
932       gst_message_unref (previous_msg);
933     } else {
934       /* keep new message */
935       bin->messages = g_list_prepend (bin->messages, message);
936
937       GST_DEBUG_OBJECT (bin, "got new message %p, %s from %s",
938           message, GST_MESSAGE_TYPE_NAME (message), GST_ELEMENT_NAME (src));
939     }
940   } else {
941     GST_DEBUG_OBJECT (bin, "got message %s from (NULL), not processing",
942         GST_MESSAGE_TYPE_NAME (message));
943     res = FALSE;
944     gst_message_unref (message);
945   }
946   return res;
947 }
948
949 /* with LOCK. Remove all messages of given types */
950 static void
951 bin_remove_messages (GstBin * bin, GstObject * src, GstMessageType types)
952 {
953   MessageFind find;
954   GList *walk, *next;
955
956   find.src = src;
957   find.types = types;
958
959   for (walk = bin->messages; walk; walk = next) {
960     GstMessage *message = (GstMessage *) walk->data;
961
962     next = g_list_next (walk);
963
964     if (message_check (message, &find) == 0) {
965       GST_DEBUG_OBJECT (GST_MESSAGE_SRC (message),
966           "deleting message %p of types 0x%08x", message, types);
967       bin->messages = g_list_delete_link (bin->messages, walk);
968       gst_message_unref (message);
969     } else {
970       GST_DEBUG_OBJECT (GST_MESSAGE_SRC (message),
971           "not deleting message %p of type 0x%08x", message,
972           GST_MESSAGE_TYPE (message));
973     }
974   }
975 }
976
977
978 /* Check if the bin is EOS. We do this by scanning all sinks and
979  * checking if they posted an EOS message.
980  *
981  * call with bin LOCK */
982 static gboolean
983 is_eos (GstBin * bin, guint32 * seqnum)
984 {
985   gboolean result;
986   GList *walk, *msgs;
987
988   result = TRUE;
989   for (walk = bin->children; walk; walk = g_list_next (walk)) {
990     GstElement *element;
991
992     element = GST_ELEMENT_CAST (walk->data);
993     if (bin_element_is_sink (element, bin) == 0) {
994       /* check if element posted EOS */
995       if ((msgs =
996               find_message (bin, GST_OBJECT_CAST (element), GST_MESSAGE_EOS))) {
997         GST_DEBUG ("sink '%s' posted EOS", GST_ELEMENT_NAME (element));
998         *seqnum = gst_message_get_seqnum (GST_MESSAGE_CAST (msgs->data));
999       } else {
1000         GST_DEBUG ("sink '%s' did not post EOS yet",
1001             GST_ELEMENT_NAME (element));
1002         result = FALSE;
1003         break;
1004       }
1005     }
1006   }
1007   return result;
1008 }
1009
1010 static void
1011 unlink_pads (const GValue * item, gpointer user_data)
1012 {
1013   GstPad *pad;
1014   GstPad *peer;
1015
1016   pad = g_value_get_object (item);
1017
1018   if ((peer = gst_pad_get_peer (pad))) {
1019     if (gst_pad_get_direction (pad) == GST_PAD_SRC)
1020       gst_pad_unlink (pad, peer);
1021     else
1022       gst_pad_unlink (peer, pad);
1023     gst_object_unref (peer);
1024   }
1025 }
1026
1027 /* vmethod that adds an element to a bin
1028  *
1029  * MT safe
1030  */
1031 static gboolean
1032 gst_bin_add_func (GstBin * bin, GstElement * element)
1033 {
1034   gchar *elem_name;
1035   GstIterator *it;
1036   gboolean is_sink, is_source;
1037   GstMessage *clock_message = NULL, *async_message = NULL;
1038   GstStateChangeReturn ret;
1039
1040   GST_DEBUG_OBJECT (bin, "element :%s", GST_ELEMENT_NAME (element));
1041
1042   /* we obviously can't add ourself to ourself */
1043   if (G_UNLIKELY (GST_ELEMENT_CAST (element) == GST_ELEMENT_CAST (bin)))
1044     goto adding_itself;
1045
1046   /* get the element name to make sure it is unique in this bin. */
1047   GST_OBJECT_LOCK (element);
1048   elem_name = g_strdup (GST_ELEMENT_NAME (element));
1049   is_sink = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_IS_SINK);
1050   is_source = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_IS_SOURCE);
1051   GST_OBJECT_UNLOCK (element);
1052
1053   GST_OBJECT_LOCK (bin);
1054
1055   /* then check to see if the element's name is already taken in the bin,
1056    * we can safely take the lock here. This check is probably bogus because
1057    * you can safely change the element name after this check and before setting
1058    * the object parent. The window is very small though... */
1059   if (G_UNLIKELY (!gst_object_check_uniqueness (bin->children, elem_name)))
1060     goto duplicate_name;
1061
1062   /* set the element's parent and add the element to the bin's list of children */
1063   if (G_UNLIKELY (!gst_object_set_parent (GST_OBJECT_CAST (element),
1064               GST_OBJECT_CAST (bin))))
1065     goto had_parent;
1066
1067   /* if we add a sink we become a sink */
1068   if (is_sink) {
1069     GST_CAT_DEBUG_OBJECT (GST_CAT_PARENTAGE, bin, "element \"%s\" was sink",
1070         elem_name);
1071     GST_OBJECT_FLAG_SET (bin, GST_ELEMENT_IS_SINK);
1072   }
1073   if (is_source) {
1074     GST_CAT_DEBUG_OBJECT (GST_CAT_PARENTAGE, bin, "element \"%s\" was source",
1075         elem_name);
1076     GST_OBJECT_FLAG_SET (bin, GST_ELEMENT_IS_SOURCE);
1077   }
1078   if (gst_element_provides_clock (element)) {
1079     GST_DEBUG_OBJECT (bin, "element \"%s\" can provide a clock", elem_name);
1080     clock_message =
1081         gst_message_new_clock_provide (GST_OBJECT_CAST (element), NULL, TRUE);
1082   }
1083
1084   bin->children = g_list_prepend (bin->children, element);
1085   bin->numchildren++;
1086   bin->children_cookie++;
1087   bin->priv->structure_cookie++;
1088
1089   /* distribute the bus */
1090   gst_element_set_bus (element, bin->child_bus);
1091
1092   /* propagate the current base_time, start_time and clock */
1093   gst_element_set_base_time (element, GST_ELEMENT_CAST (bin)->base_time);
1094   gst_element_set_start_time (element, GST_ELEMENT_START_TIME (bin));
1095   /* it's possible that the element did not accept the clock but
1096    * that is not important right now. When the pipeline goes to PLAYING,
1097    * a new clock will be selected */
1098   gst_element_set_clock (element, GST_ELEMENT_CLOCK (bin));
1099   /* set the cached index on the children */
1100   if (bin->priv->index)
1101     gst_element_set_index (element, bin->priv->index);
1102
1103   ret = GST_STATE_RETURN (bin);
1104   /* no need to update the state if we are in error */
1105   if (ret == GST_STATE_CHANGE_FAILURE)
1106     goto no_state_recalc;
1107
1108   /* update the bin state, the new element could have been an ASYNC or
1109    * NO_PREROLL element */
1110   ret = GST_STATE_RETURN (element);
1111   GST_DEBUG_OBJECT (bin, "added %s element",
1112       gst_element_state_change_return_get_name (ret));
1113
1114   switch (ret) {
1115     case GST_STATE_CHANGE_ASYNC:
1116     {
1117       /* create message to track this aync element when it posts an async-done
1118        * message */
1119       async_message =
1120           gst_message_new_async_start (GST_OBJECT_CAST (element), FALSE);
1121       break;
1122     }
1123     case GST_STATE_CHANGE_NO_PREROLL:
1124       /* ignore all async elements we might have and commit our state */
1125       bin_handle_async_done (bin, ret, FALSE);
1126       break;
1127     case GST_STATE_CHANGE_FAILURE:
1128       break;
1129     default:
1130       break;
1131   }
1132
1133 no_state_recalc:
1134   GST_OBJECT_UNLOCK (bin);
1135
1136   /* post the messages on the bus of the element so that the bin can handle
1137    * them */
1138   if (clock_message)
1139     gst_element_post_message (GST_ELEMENT_CAST (element), clock_message);
1140
1141   if (async_message)
1142     gst_element_post_message (GST_ELEMENT_CAST (element), async_message);
1143
1144   /* unlink all linked pads */
1145   it = gst_element_iterate_pads (element);
1146   gst_iterator_foreach (it, (GstIteratorForeachFunction) unlink_pads, NULL);
1147   gst_iterator_free (it);
1148
1149   GST_CAT_DEBUG_OBJECT (GST_CAT_PARENTAGE, bin, "added element \"%s\"",
1150       elem_name);
1151   g_free (elem_name);
1152
1153   g_signal_emit (bin, gst_bin_signals[ELEMENT_ADDED], 0, element);
1154   gst_child_proxy_child_added ((GstObject *) bin, (GstObject *) element);
1155
1156   return TRUE;
1157
1158   /* ERROR handling here */
1159 adding_itself:
1160   {
1161     GST_OBJECT_LOCK (bin);
1162     g_warning ("Cannot add bin '%s' to itself", GST_ELEMENT_NAME (bin));
1163     GST_OBJECT_UNLOCK (bin);
1164     return FALSE;
1165   }
1166 duplicate_name:
1167   {
1168     g_warning ("Name '%s' is not unique in bin '%s', not adding",
1169         elem_name, GST_ELEMENT_NAME (bin));
1170     GST_OBJECT_UNLOCK (bin);
1171     g_free (elem_name);
1172     return FALSE;
1173   }
1174 had_parent:
1175   {
1176     g_warning ("Element '%s' already has parent", elem_name);
1177     GST_OBJECT_UNLOCK (bin);
1178     g_free (elem_name);
1179     return FALSE;
1180   }
1181 }
1182
1183 /**
1184  * gst_bin_add:
1185  * @bin: a #GstBin
1186  * @element: (transfer full): the #GstElement to add
1187  *
1188  * Adds the given element to the bin.  Sets the element's parent, and thus
1189  * takes ownership of the element. An element can only be added to one bin.
1190  *
1191  * If the element's pads are linked to other pads, the pads will be unlinked
1192  * before the element is added to the bin.
1193  *
1194  * <note>
1195  * When you add an element to an already-running pipeline, you will have to
1196  * take care to set the state of the newly-added element to the desired
1197  * state (usually PLAYING or PAUSED, same you set the pipeline to originally)
1198  * with gst_element_set_state(), or use gst_element_sync_state_with_parent().
1199  * The bin or pipeline will not take care of this for you.
1200  * </note>
1201  *
1202  * MT safe.
1203  *
1204  * Returns: TRUE if the element could be added, FALSE if
1205  * the bin does not want to accept the element.
1206  */
1207 gboolean
1208 gst_bin_add (GstBin * bin, GstElement * element)
1209 {
1210   GstBinClass *bclass;
1211   gboolean result;
1212
1213   g_return_val_if_fail (GST_IS_BIN (bin), FALSE);
1214   g_return_val_if_fail (GST_IS_ELEMENT (element), FALSE);
1215
1216   bclass = GST_BIN_GET_CLASS (bin);
1217
1218   if (G_UNLIKELY (bclass->add_element == NULL))
1219     goto no_function;
1220
1221   GST_CAT_DEBUG (GST_CAT_PARENTAGE, "adding element %s to bin %s",
1222       GST_STR_NULL (GST_ELEMENT_NAME (element)),
1223       GST_STR_NULL (GST_ELEMENT_NAME (bin)));
1224
1225   result = bclass->add_element (bin, element);
1226
1227   return result;
1228
1229   /* ERROR handling */
1230 no_function:
1231   {
1232     g_warning ("adding elements to bin '%s' is not supported",
1233         GST_ELEMENT_NAME (bin));
1234     return FALSE;
1235   }
1236 }
1237
1238 /* remove an element from the bin
1239  *
1240  * MT safe
1241  */
1242 static gboolean
1243 gst_bin_remove_func (GstBin * bin, GstElement * element)
1244 {
1245   gchar *elem_name;
1246   GstIterator *it;
1247   gboolean is_sink, is_source, othersink, othersource, found;
1248   GstMessage *clock_message = NULL;
1249   GstClock **provided_clock_p;
1250   GstElement **clock_provider_p;
1251   GList *walk, *next;
1252   gboolean other_async, this_async, have_no_preroll;
1253   GstStateChangeReturn ret;
1254
1255   GST_DEBUG_OBJECT (bin, "element :%s", GST_ELEMENT_NAME (element));
1256
1257   GST_OBJECT_LOCK (element);
1258   /* Check if the element is already being removed and immediately
1259    * return */
1260   if (G_UNLIKELY (GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_UNPARENTING)))
1261     goto already_removing;
1262
1263   GST_OBJECT_FLAG_SET (element, GST_ELEMENT_UNPARENTING);
1264   /* grab element name so we can print it */
1265   elem_name = g_strdup (GST_ELEMENT_NAME (element));
1266   is_sink = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_IS_SINK);
1267   is_source = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_IS_SOURCE);
1268   GST_OBJECT_UNLOCK (element);
1269
1270   /* unlink all linked pads */
1271   it = gst_element_iterate_pads (element);
1272   gst_iterator_foreach (it, (GstIteratorForeachFunction) unlink_pads, NULL);
1273   gst_iterator_free (it);
1274
1275   GST_OBJECT_LOCK (bin);
1276   found = FALSE;
1277   othersink = FALSE;
1278   othersource = FALSE;
1279   have_no_preroll = FALSE;
1280   /* iterate the elements, we collect which ones are async and no_preroll. We
1281    * also remove the element when we find it. */
1282   for (walk = bin->children; walk; walk = next) {
1283     GstElement *child = GST_ELEMENT_CAST (walk->data);
1284
1285     next = g_list_next (walk);
1286
1287     if (child == element) {
1288       found = TRUE;
1289       /* remove the element */
1290       bin->children = g_list_delete_link (bin->children, walk);
1291     } else {
1292       gboolean child_sink, child_source;
1293
1294       GST_OBJECT_LOCK (child);
1295       child_sink = GST_OBJECT_FLAG_IS_SET (child, GST_ELEMENT_IS_SINK);
1296       child_source = GST_OBJECT_FLAG_IS_SET (child, GST_ELEMENT_IS_SOURCE);
1297       /* when we remove a sink, check if there are other sinks. */
1298       if (is_sink && !othersink && child_sink)
1299         othersink = TRUE;
1300       if (is_source && !othersource && child_source)
1301         othersource = TRUE;
1302       /* check if we have NO_PREROLL children */
1303       if (GST_STATE_RETURN (child) == GST_STATE_CHANGE_NO_PREROLL)
1304         have_no_preroll = TRUE;
1305       GST_OBJECT_UNLOCK (child);
1306     }
1307   }
1308
1309   /* the element must have been in the bin's list of children */
1310   if (G_UNLIKELY (!found))
1311     goto not_in_bin;
1312
1313   /* we now removed the element from the list of elements, increment the cookie
1314    * so that others can detect a change in the children list. */
1315   bin->numchildren--;
1316   bin->children_cookie++;
1317   bin->priv->structure_cookie++;
1318
1319   if (is_sink && !othersink) {
1320     /* we're not a sink anymore */
1321     GST_DEBUG_OBJECT (bin, "we removed the last sink");
1322     GST_OBJECT_FLAG_UNSET (bin, GST_ELEMENT_IS_SINK);
1323   }
1324   if (is_source && !othersource) {
1325     /* we're not a source anymore */
1326     GST_DEBUG_OBJECT (bin, "we removed the last source");
1327     GST_OBJECT_FLAG_UNSET (bin, GST_ELEMENT_IS_SOURCE);
1328   }
1329
1330
1331   /* if the clock provider for this element is removed, we lost
1332    * the clock as well, we need to inform the parent of this
1333    * so that it can select a new clock */
1334   if (bin->clock_provider == element) {
1335     GST_DEBUG_OBJECT (bin, "element \"%s\" provided the clock", elem_name);
1336     bin->clock_dirty = TRUE;
1337     clock_message =
1338         gst_message_new_clock_lost (GST_OBJECT_CAST (bin), bin->provided_clock);
1339     provided_clock_p = &bin->provided_clock;
1340     clock_provider_p = &bin->clock_provider;
1341     gst_object_replace ((GstObject **) provided_clock_p, NULL);
1342     gst_object_replace ((GstObject **) clock_provider_p, NULL);
1343   }
1344
1345   /* remove messages for the element, if there was a pending ASYNC_START
1346    * message we must see if removing the element caused the bin to lose its
1347    * async state. */
1348   this_async = FALSE;
1349   other_async = FALSE;
1350   for (walk = bin->messages; walk; walk = next) {
1351     GstMessage *message = (GstMessage *) walk->data;
1352     GstElement *src = GST_ELEMENT_CAST (GST_MESSAGE_SRC (message));
1353     gboolean remove;
1354
1355     next = g_list_next (walk);
1356     remove = FALSE;
1357
1358     switch (GST_MESSAGE_TYPE (message)) {
1359       case GST_MESSAGE_ASYNC_START:
1360         if (src == element)
1361           this_async = TRUE;
1362         else
1363           other_async = TRUE;
1364
1365         GST_DEBUG_OBJECT (src, "looking at message %p", message);
1366         break;
1367       case GST_MESSAGE_STRUCTURE_CHANGE:
1368       {
1369         GstElement *owner;
1370
1371         GST_DEBUG_OBJECT (src, "looking at structure change message %p",
1372             message);
1373         /* it's unlikely that this message is still in the list of messages
1374          * because this would mean that a link/unlink is busy in another thread
1375          * while we remove the element. We still have to remove the message
1376          * because we might not receive the done message anymore when the element
1377          * is removed from the bin. */
1378         gst_message_parse_structure_change (message, NULL, &owner, NULL);
1379         if (owner == element)
1380           remove = TRUE;
1381         break;
1382       }
1383       default:
1384         break;
1385     }
1386     if (src == element)
1387       remove = TRUE;
1388
1389     if (remove) {
1390       /* delete all message types */
1391       GST_DEBUG_OBJECT (src, "deleting message %p of element \"%s\"",
1392           message, elem_name);
1393       bin->messages = g_list_delete_link (bin->messages, walk);
1394       gst_message_unref (message);
1395     }
1396   }
1397
1398   /* get last return */
1399   ret = GST_STATE_RETURN (bin);
1400
1401   /* no need to update the state if we are in error */
1402   if (ret == GST_STATE_CHANGE_FAILURE)
1403     goto no_state_recalc;
1404
1405   if (!other_async && this_async) {
1406     /* all other elements were not async and we removed the async one,
1407      * handle the async-done case because we are not async anymore now. */
1408     GST_DEBUG_OBJECT (bin,
1409         "we removed the last async element, have no_preroll %d",
1410         have_no_preroll);
1411
1412     /* the current state return of the bin depends on if there are no_preroll
1413      * elements in the pipeline or not */
1414     if (have_no_preroll)
1415       ret = GST_STATE_CHANGE_NO_PREROLL;
1416     else
1417       ret = GST_STATE_CHANGE_SUCCESS;
1418
1419     bin_handle_async_done (bin, ret, FALSE);
1420   } else {
1421     GST_DEBUG_OBJECT (bin,
1422         "recalc state preroll: %d, other async: %d, this async %d",
1423         have_no_preroll, other_async, this_async);
1424
1425     if (have_no_preroll) {
1426       ret = GST_STATE_CHANGE_NO_PREROLL;
1427     } else if (other_async) {
1428       /* there are other async elements and we were not doing an async state
1429        * change, change our pending state and go async */
1430       if (GST_STATE_PENDING (bin) == GST_STATE_VOID_PENDING) {
1431         GST_STATE_NEXT (bin) = GST_STATE (bin);
1432         GST_STATE_PENDING (bin) = GST_STATE (bin);
1433       }
1434       ret = GST_STATE_CHANGE_ASYNC;
1435     }
1436     GST_STATE_RETURN (bin) = ret;
1437   }
1438 no_state_recalc:
1439   GST_OBJECT_UNLOCK (bin);
1440
1441   if (clock_message)
1442     gst_element_post_message (GST_ELEMENT_CAST (bin), clock_message);
1443
1444   GST_CAT_INFO_OBJECT (GST_CAT_PARENTAGE, bin, "removed child \"%s\"",
1445       elem_name);
1446   g_free (elem_name);
1447
1448   gst_element_set_bus (element, NULL);
1449
1450   /* Clear the clock we provided to the element */
1451   gst_element_set_clock (element, NULL);
1452
1453   /* we ref here because after the _unparent() the element can be disposed
1454    * and we still need it to reset the UNPARENTING flag and fire a signal. */
1455   gst_object_ref (element);
1456   gst_object_unparent (GST_OBJECT_CAST (element));
1457
1458   GST_OBJECT_LOCK (element);
1459   GST_OBJECT_FLAG_UNSET (element, GST_ELEMENT_UNPARENTING);
1460   GST_OBJECT_UNLOCK (element);
1461
1462   g_signal_emit (bin, gst_bin_signals[ELEMENT_REMOVED], 0, element);
1463   gst_child_proxy_child_removed ((GstObject *) bin, (GstObject *) element);
1464
1465   /* element is really out of our control now */
1466   gst_object_unref (element);
1467
1468   return TRUE;
1469
1470   /* ERROR handling */
1471 not_in_bin:
1472   {
1473     g_warning ("Element '%s' is not in bin '%s'", elem_name,
1474         GST_ELEMENT_NAME (bin));
1475     GST_OBJECT_UNLOCK (bin);
1476     g_free (elem_name);
1477     return FALSE;
1478   }
1479 already_removing:
1480   {
1481     GST_CAT_INFO_OBJECT (GST_CAT_PARENTAGE, bin, "already removing child");
1482     GST_OBJECT_UNLOCK (element);
1483     return FALSE;
1484   }
1485 }
1486
1487 /**
1488  * gst_bin_remove:
1489  * @bin: a #GstBin
1490  * @element: (transfer none): the #GstElement to remove
1491  *
1492  * Removes the element from the bin, unparenting it as well.
1493  * Unparenting the element means that the element will be dereferenced,
1494  * so if the bin holds the only reference to the element, the element
1495  * will be freed in the process of removing it from the bin.  If you
1496  * want the element to still exist after removing, you need to call
1497  * gst_object_ref() before removing it from the bin.
1498  *
1499  * If the element's pads are linked to other pads, the pads will be unlinked
1500  * before the element is removed from the bin.
1501  *
1502  * MT safe.
1503  *
1504  * Returns: TRUE if the element could be removed, FALSE if
1505  * the bin does not want to remove the element.
1506  */
1507 gboolean
1508 gst_bin_remove (GstBin * bin, GstElement * element)
1509 {
1510   GstBinClass *bclass;
1511   gboolean result;
1512
1513   g_return_val_if_fail (GST_IS_BIN (bin), FALSE);
1514   g_return_val_if_fail (GST_IS_ELEMENT (element), FALSE);
1515
1516   bclass = GST_BIN_GET_CLASS (bin);
1517
1518   if (G_UNLIKELY (bclass->remove_element == NULL))
1519     goto no_function;
1520
1521   GST_CAT_DEBUG (GST_CAT_PARENTAGE, "removing element %s from bin %s",
1522       GST_ELEMENT_NAME (element), GST_ELEMENT_NAME (bin));
1523
1524   result = bclass->remove_element (bin, element);
1525
1526   return result;
1527
1528   /* ERROR handling */
1529 no_function:
1530   {
1531     g_warning ("removing elements from bin '%s' is not supported",
1532         GST_ELEMENT_NAME (bin));
1533     return FALSE;
1534   }
1535 }
1536
1537 /**
1538  * gst_bin_iterate_elements:
1539  * @bin: a #GstBin
1540  *
1541  * Gets an iterator for the elements in this bin.
1542  *
1543  * Each element yielded by the iterator will have its refcount increased, so
1544  * unref after use.
1545  *
1546  * MT safe.  Caller owns returned value.
1547  *
1548  * Returns: (transfer full): a #GstIterator of #GstElement, or NULL
1549  */
1550 GstIterator *
1551 gst_bin_iterate_elements (GstBin * bin)
1552 {
1553   GstIterator *result;
1554
1555   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
1556
1557   GST_OBJECT_LOCK (bin);
1558   result = gst_iterator_new_list (GST_TYPE_ELEMENT,
1559       GST_OBJECT_GET_LOCK (bin),
1560       &bin->children_cookie, &bin->children, (GObject *) bin, NULL);
1561   GST_OBJECT_UNLOCK (bin);
1562
1563   return result;
1564 }
1565
1566 static GstIteratorItem
1567 iterate_child_recurse (GstIterator * it, const GValue * item)
1568 {
1569   GstElement *child = g_value_get_object (item);
1570
1571   if (GST_IS_BIN (child)) {
1572     GstIterator *other = gst_bin_iterate_recurse (GST_BIN_CAST (child));
1573
1574     gst_iterator_push (it, other);
1575   }
1576   return GST_ITERATOR_ITEM_PASS;
1577 }
1578
1579 /**
1580  * gst_bin_iterate_recurse:
1581  * @bin: a #GstBin
1582  *
1583  * Gets an iterator for the elements in this bin.
1584  * This iterator recurses into GstBin children.
1585  *
1586  * Each element yielded by the iterator will have its refcount increased, so
1587  * unref after use.
1588  *
1589  * MT safe.  Caller owns returned value.
1590  *
1591  * Returns: (transfer full): a #GstIterator of #GstElement, or NULL
1592  */
1593 GstIterator *
1594 gst_bin_iterate_recurse (GstBin * bin)
1595 {
1596   GstIterator *result;
1597
1598   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
1599
1600   GST_OBJECT_LOCK (bin);
1601   result = gst_iterator_new_list (GST_TYPE_ELEMENT,
1602       GST_OBJECT_GET_LOCK (bin),
1603       &bin->children_cookie,
1604       &bin->children,
1605       (GObject *) bin, (GstIteratorItemFunction) iterate_child_recurse);
1606   GST_OBJECT_UNLOCK (bin);
1607
1608   return result;
1609 }
1610
1611 /* returns 0 when TRUE because this is a GCompareFunc */
1612 /* MT safe */
1613 static gint
1614 bin_element_is_sink (GstElement * child, GstBin * bin)
1615 {
1616   gboolean is_sink;
1617
1618   /* we lock the child here for the remainder of the function to
1619    * get its name and flag safely. */
1620   GST_OBJECT_LOCK (child);
1621   is_sink = GST_OBJECT_FLAG_IS_SET (child, GST_ELEMENT_IS_SINK);
1622
1623   GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin,
1624       "child %s %s sink", GST_OBJECT_NAME (child), is_sink ? "is" : "is not");
1625
1626   GST_OBJECT_UNLOCK (child);
1627   return is_sink ? 0 : 1;
1628 }
1629
1630 static gint
1631 sink_iterator_filter (const GValue * vchild, GValue * vbin)
1632 {
1633   GstBin *bin = g_value_get_object (vbin);
1634   GstElement *child = g_value_get_object (vchild);
1635
1636   return (bin_element_is_sink (child, bin));
1637 }
1638
1639 /**
1640  * gst_bin_iterate_sinks:
1641  * @bin: a #GstBin
1642  *
1643  * Gets an iterator for all elements in the bin that have the
1644  * #GST_ELEMENT_IS_SINK flag set.
1645  *
1646  * Each element yielded by the iterator will have its refcount increased, so
1647  * unref after use.
1648  *
1649  * MT safe.  Caller owns returned value.
1650  *
1651  * Returns: (transfer full): a #GstIterator of #GstElement, or NULL
1652  */
1653 GstIterator *
1654 gst_bin_iterate_sinks (GstBin * bin)
1655 {
1656   GstIterator *children;
1657   GstIterator *result;
1658   GValue vbin = { 0, };
1659
1660   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
1661
1662   g_value_init (&vbin, GST_TYPE_BIN);
1663   g_value_set_object (&vbin, bin);
1664
1665   children = gst_bin_iterate_elements (bin);
1666   result = gst_iterator_filter (children,
1667       (GCompareFunc) sink_iterator_filter, &vbin);
1668
1669   g_value_unset (&vbin);
1670
1671   return result;
1672 }
1673
1674 /* returns 0 when TRUE because this is a GCompareFunc */
1675 /* MT safe */
1676 static gint
1677 bin_element_is_src (GstElement * child, GstBin * bin)
1678 {
1679   gboolean is_src;
1680
1681   /* we lock the child here for the remainder of the function to
1682    * get its name and other info safely. */
1683   GST_OBJECT_LOCK (child);
1684   is_src = GST_OBJECT_FLAG_IS_SET (child, GST_ELEMENT_IS_SOURCE);
1685
1686   GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin,
1687       "child %s %s src", GST_OBJECT_NAME (child), is_src ? "is" : "is not");
1688
1689   GST_OBJECT_UNLOCK (child);
1690   return is_src ? 0 : 1;
1691 }
1692
1693 static gint
1694 src_iterator_filter (const GValue * vchild, GValue * vbin)
1695 {
1696   GstBin *bin = g_value_get_object (vbin);
1697   GstElement *child = g_value_get_object (vchild);
1698
1699   return (bin_element_is_src (child, bin));
1700 }
1701
1702 /**
1703  * gst_bin_iterate_sources:
1704  * @bin: a #GstBin
1705  *
1706  * Gets an iterator for all elements in the bin that have the
1707  * #GST_ELEMENT_IS_SOURCE flag set.
1708  *
1709  * Each element yielded by the iterator will have its refcount increased, so
1710  * unref after use.
1711  *
1712  * MT safe.  Caller owns returned value.
1713  *
1714  * Returns: (transfer full): a #GstIterator of #GstElement, or NULL
1715  */
1716 GstIterator *
1717 gst_bin_iterate_sources (GstBin * bin)
1718 {
1719   GstIterator *children;
1720   GstIterator *result;
1721   GValue vbin = { 0, };
1722
1723   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
1724
1725   g_value_init (&vbin, GST_TYPE_BIN);
1726   g_value_set_object (&vbin, bin);
1727
1728   children = gst_bin_iterate_elements (bin);
1729   result = gst_iterator_filter (children,
1730       (GCompareFunc) src_iterator_filter, &vbin);
1731
1732   g_value_unset (&vbin);
1733
1734   return result;
1735 }
1736
1737 /*
1738  * MT safe
1739  */
1740 static GstStateChangeReturn
1741 gst_bin_get_state_func (GstElement * element, GstState * state,
1742     GstState * pending, GstClockTime timeout)
1743 {
1744   GstStateChangeReturn ret;
1745
1746   GST_CAT_INFO_OBJECT (GST_CAT_STATES, element, "getting state");
1747
1748   ret =
1749       GST_ELEMENT_CLASS (parent_class)->get_state (element, state, pending,
1750       timeout);
1751
1752   return ret;
1753 }
1754
1755 /***********************************************
1756  * Topologically sorted iterator
1757  * see http://en.wikipedia.org/wiki/Topological_sorting
1758  *
1759  * For each element in the graph, an entry is kept in a HashTable
1760  * with its number of srcpad connections (degree).
1761  * We then change state of all elements without dependencies
1762  * (degree 0) and decrement the degree of all elements connected
1763  * on the sinkpads. When an element reaches degree 0, its state is
1764  * changed next.
1765  * When all elements are handled the algorithm stops.
1766  */
1767 typedef struct _GstBinSortIterator
1768 {
1769   GstIterator it;
1770   GQueue *queue;                /* elements queued for state change */
1771   GstBin *bin;                  /* bin we iterate */
1772   gint mode;                    /* adding or removing dependency */
1773   GstElement *best;             /* next element with least dependencies */
1774   gint best_deg;                /* best degree */
1775   GHashTable *hash;             /* hashtable with element dependencies */
1776   gboolean dirty;               /* we detected structure change */
1777 } GstBinSortIterator;
1778
1779 static void
1780 gst_bin_sort_iterator_copy (const GstBinSortIterator * it,
1781     GstBinSortIterator * copy)
1782 {
1783   GHashTableIter iter;
1784   gpointer key, value;
1785
1786   copy->queue = g_queue_copy (it->queue);
1787   g_queue_foreach (copy->queue, (GFunc) gst_object_ref, NULL);
1788
1789   copy->bin = gst_object_ref (it->bin);
1790   if (it->best)
1791     copy->best = gst_object_ref (it->best);
1792
1793   copy->hash = g_hash_table_new (NULL, NULL);
1794   g_hash_table_iter_init (&iter, it->hash);
1795   while (g_hash_table_iter_next (&iter, &key, &value))
1796     g_hash_table_insert (copy->hash, key, value);
1797 }
1798
1799 /* we add and subtract 1 to make sure we don't confuse NULL and 0 */
1800 #define HASH_SET_DEGREE(bit, elem, deg) \
1801     g_hash_table_replace (bit->hash, elem, GINT_TO_POINTER(deg+1))
1802 #define HASH_GET_DEGREE(bit, elem) \
1803     (GPOINTER_TO_INT(g_hash_table_lookup (bit->hash, elem))-1)
1804
1805 /* add element to queue of next elements in the iterator.
1806  * We push at the tail to give higher priority elements a
1807  * chance first */
1808 static void
1809 add_to_queue (GstBinSortIterator * bit, GstElement * element)
1810 {
1811   GST_DEBUG_OBJECT (bit->bin, "adding '%s' to queue",
1812       GST_ELEMENT_NAME (element));
1813   gst_object_ref (element);
1814   g_queue_push_tail (bit->queue, element);
1815   HASH_SET_DEGREE (bit, element, -1);
1816 }
1817
1818 static void
1819 remove_from_queue (GstBinSortIterator * bit, GstElement * element)
1820 {
1821   GList *find;
1822
1823   if ((find = g_queue_find (bit->queue, element))) {
1824     GST_DEBUG_OBJECT (bit->bin, "removing '%s' from queue",
1825         GST_ELEMENT_NAME (element));
1826
1827     g_queue_delete_link (bit->queue, find);
1828     gst_object_unref (element);
1829   } else {
1830     GST_DEBUG_OBJECT (bit->bin, "unable to remove '%s' from queue",
1831         GST_ELEMENT_NAME (element));
1832   }
1833 }
1834
1835 /* clear the queue, unref all objects as we took a ref when
1836  * we added them to the queue */
1837 static void
1838 clear_queue (GQueue * queue)
1839 {
1840   gpointer p;
1841
1842   while ((p = g_queue_pop_head (queue)))
1843     gst_object_unref (p);
1844 }
1845
1846 /* set all degrees to 0. Elements marked as a sink are
1847  * added to the queue immediatly. Since we only look at the SINK flag of the
1848  * element, it is possible that we add non-sinks to the queue. These will be
1849  * removed from the queue again when we can prove that it provides data for some
1850  * other element. */
1851 static void
1852 reset_degree (GstElement * element, GstBinSortIterator * bit)
1853 {
1854   gboolean is_sink;
1855
1856   /* sinks are added right away */
1857   GST_OBJECT_LOCK (element);
1858   is_sink = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_IS_SINK);
1859   GST_OBJECT_UNLOCK (element);
1860
1861   if (is_sink) {
1862     add_to_queue (bit, element);
1863   } else {
1864     /* others are marked with 0 and handled when sinks are done */
1865     HASH_SET_DEGREE (bit, element, 0);
1866   }
1867 }
1868
1869 /* adjust the degree of all elements connected to the given
1870  * element. If a degree of an element drops to 0, it is
1871  * added to the queue of elements to schedule next.
1872  *
1873  * We have to make sure not to cross the bin boundary this element
1874  * belongs to.
1875  */
1876 static void
1877 update_degree (GstElement * element, GstBinSortIterator * bit)
1878 {
1879   gboolean linked = FALSE;
1880
1881   GST_OBJECT_LOCK (element);
1882   /* don't touch degree if element has no sinkpads */
1883   if (element->numsinkpads != 0) {
1884     /* loop over all sinkpads, decrement degree for all connected
1885      * elements in this bin */
1886     GList *pads;
1887
1888     for (pads = element->sinkpads; pads; pads = g_list_next (pads)) {
1889       GstPad *pad, *peer;
1890
1891       pad = GST_PAD_CAST (pads->data);
1892
1893       /* we're iterating over the sinkpads, check if it's busy in a link/unlink */
1894       if (G_UNLIKELY (find_message (bit->bin, GST_OBJECT_CAST (pad),
1895                   GST_MESSAGE_STRUCTURE_CHANGE))) {
1896         /* mark the iterator as dirty because we won't be updating the degree
1897          * of the peer parent now. This would result in the 'loop detected'
1898          * later on because the peer parent element could become the best next
1899          * element with a degree > 0. We will simply continue our state
1900          * changes and we'll eventually resync when the unlink completed and
1901          * the iterator cookie is updated. */
1902         bit->dirty = TRUE;
1903         continue;
1904       }
1905
1906       if ((peer = gst_pad_get_peer (pad))) {
1907         GstElement *peer_element;
1908
1909         if ((peer_element = gst_pad_get_parent_element (peer))) {
1910           GST_OBJECT_LOCK (peer_element);
1911           /* check that we don't go outside of this bin */
1912           if (GST_OBJECT_CAST (peer_element)->parent ==
1913               GST_OBJECT_CAST (bit->bin)) {
1914             gint old_deg, new_deg;
1915
1916             old_deg = HASH_GET_DEGREE (bit, peer_element);
1917
1918             /* check to see if we added an element as sink that was not really a
1919              * sink because it was connected to some other element. */
1920             if (old_deg == -1) {
1921               remove_from_queue (bit, peer_element);
1922               old_deg = 0;
1923             }
1924             new_deg = old_deg + bit->mode;
1925
1926             GST_DEBUG_OBJECT (bit->bin,
1927                 "change element %s, degree %d->%d, linked to %s",
1928                 GST_ELEMENT_NAME (peer_element), old_deg, new_deg,
1929                 GST_ELEMENT_NAME (element));
1930
1931             /* update degree, it is possible that an element was in 0 and
1932              * reaches -1 here. This would mean that the element had no sinkpads
1933              * but became linked while the state change was happening. We will
1934              * resync on this with the structure change message. */
1935             if (new_deg == 0) {
1936               /* degree hit 0, add to queue */
1937               add_to_queue (bit, peer_element);
1938             } else {
1939               HASH_SET_DEGREE (bit, peer_element, new_deg);
1940             }
1941             linked = TRUE;
1942           }
1943           GST_OBJECT_UNLOCK (peer_element);
1944           gst_object_unref (peer_element);
1945         }
1946         gst_object_unref (peer);
1947       }
1948     }
1949   }
1950   if (!linked) {
1951     GST_DEBUG_OBJECT (bit->bin, "element %s not linked on any sinkpads",
1952         GST_ELEMENT_NAME (element));
1953   }
1954   GST_OBJECT_UNLOCK (element);
1955 }
1956
1957 /* find the next best element not handled yet. This is the one
1958  * with the lowest non-negative degree */
1959 static void
1960 find_element (GstElement * element, GstBinSortIterator * bit)
1961 {
1962   gint degree;
1963
1964   /* element is already handled */
1965   if ((degree = HASH_GET_DEGREE (bit, element)) < 0)
1966     return;
1967
1968   /* first element or element with smaller degree */
1969   if (bit->best == NULL || bit->best_deg > degree) {
1970     bit->best = element;
1971     bit->best_deg = degree;
1972   }
1973 }
1974
1975 /* get next element in iterator. the returned element has the
1976  * refcount increased */
1977 static GstIteratorResult
1978 gst_bin_sort_iterator_next (GstBinSortIterator * bit, GValue * result)
1979 {
1980   GstElement *best;
1981   GstBin *bin = bit->bin;
1982
1983   /* empty queue, we have to find a next best element */
1984   if (g_queue_is_empty (bit->queue)) {
1985
1986     bit->best = NULL;
1987     bit->best_deg = G_MAXINT;
1988     g_list_foreach (bin->children, (GFunc) find_element, bit);
1989     if ((best = bit->best)) {
1990       /* when we detected an unlink, don't warn because our degrees might be
1991        * screwed up. We will resync later */
1992       if (bit->best_deg != 0 && !bit->dirty) {
1993         /* we don't fail on this one yet */
1994         GST_WARNING_OBJECT (bin, "loop dected in graph");
1995         g_warning ("loop detected in the graph of bin '%s'!!",
1996             GST_ELEMENT_NAME (bin));
1997       }
1998       /* best unhandled element, schedule as next element */
1999       GST_DEBUG_OBJECT (bin, "queue empty, next best: %s",
2000           GST_ELEMENT_NAME (best));
2001       HASH_SET_DEGREE (bit, best, -1);
2002       g_value_set_object (result, best);
2003     } else {
2004       GST_DEBUG_OBJECT (bin, "queue empty, elements exhausted");
2005       /* no more unhandled elements, we are done */
2006       return GST_ITERATOR_DONE;
2007     }
2008   } else {
2009     /* everything added to the queue got reffed */
2010     best = g_queue_pop_head (bit->queue);
2011     g_value_set_object (result, best);
2012     gst_object_unref (best);
2013   }
2014
2015   GST_DEBUG_OBJECT (bin, "queue head gives %s", GST_ELEMENT_NAME (best));
2016   /* update degrees of linked elements */
2017   update_degree (best, bit);
2018
2019   return GST_ITERATOR_OK;
2020 }
2021
2022 /* clear queues, recalculate the degrees and restart. */
2023 static void
2024 gst_bin_sort_iterator_resync (GstBinSortIterator * bit)
2025 {
2026   GstBin *bin = bit->bin;
2027
2028   GST_DEBUG_OBJECT (bin, "resync");
2029   bit->dirty = FALSE;
2030   clear_queue (bit->queue);
2031   /* reset degrees */
2032   g_list_foreach (bin->children, (GFunc) reset_degree, bit);
2033   /* calc degrees, incrementing */
2034   bit->mode = 1;
2035   g_list_foreach (bin->children, (GFunc) update_degree, bit);
2036   /* for the rest of the function we decrement the degrees */
2037   bit->mode = -1;
2038 }
2039
2040 /* clear queues, unref bin and free iterator. */
2041 static void
2042 gst_bin_sort_iterator_free (GstBinSortIterator * bit)
2043 {
2044   GstBin *bin = bit->bin;
2045
2046   GST_DEBUG_OBJECT (bin, "free");
2047   clear_queue (bit->queue);
2048   g_queue_free (bit->queue);
2049   g_hash_table_destroy (bit->hash);
2050   gst_object_unref (bin);
2051 }
2052
2053 /* should be called with the bin LOCK held */
2054 static GstIterator *
2055 gst_bin_sort_iterator_new (GstBin * bin)
2056 {
2057   GstBinSortIterator *result;
2058
2059   /* we don't need an ItemFunction because we ref the items in the _next
2060    * method already */
2061   result = (GstBinSortIterator *)
2062       gst_iterator_new (sizeof (GstBinSortIterator),
2063       GST_TYPE_ELEMENT,
2064       GST_OBJECT_GET_LOCK (bin),
2065       &bin->priv->structure_cookie,
2066       (GstIteratorCopyFunction) gst_bin_sort_iterator_copy,
2067       (GstIteratorNextFunction) gst_bin_sort_iterator_next,
2068       (GstIteratorItemFunction) NULL,
2069       (GstIteratorResyncFunction) gst_bin_sort_iterator_resync,
2070       (GstIteratorFreeFunction) gst_bin_sort_iterator_free);
2071   result->queue = g_queue_new ();
2072   result->hash = g_hash_table_new (NULL, NULL);
2073   gst_object_ref (bin);
2074   result->bin = bin;
2075   gst_bin_sort_iterator_resync (result);
2076
2077   return (GstIterator *) result;
2078 }
2079
2080 /**
2081  * gst_bin_iterate_sorted:
2082  * @bin: a #GstBin
2083  *
2084  * Gets an iterator for the elements in this bin in topologically
2085  * sorted order. This means that the elements are returned from
2086  * the most downstream elements (sinks) to the sources.
2087  *
2088  * This function is used internally to perform the state changes
2089  * of the bin elements and for clock selection.
2090  *
2091  * Each element yielded by the iterator will have its refcount increased, so
2092  * unref after use.
2093  *
2094  * MT safe.  Caller owns returned value.
2095  *
2096  * Returns: (transfer full): a #GstIterator of #GstElement, or NULL
2097  */
2098 GstIterator *
2099 gst_bin_iterate_sorted (GstBin * bin)
2100 {
2101   GstIterator *result;
2102
2103   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
2104
2105   GST_OBJECT_LOCK (bin);
2106   result = gst_bin_sort_iterator_new (bin);
2107   GST_OBJECT_UNLOCK (bin);
2108
2109   return result;
2110 }
2111
2112 static GstStateChangeReturn
2113 gst_bin_element_set_state (GstBin * bin, GstElement * element,
2114     GstClockTime base_time, GstClockTime start_time, GstState current,
2115     GstState next)
2116 {
2117   GstStateChangeReturn ret;
2118   GstState pending, child_current, child_pending;
2119   gboolean locked;
2120   GList *found;
2121
2122   GST_STATE_LOCK (element);
2123
2124   GST_OBJECT_LOCK (element);
2125   /* set base_time and start time on child */
2126   GST_ELEMENT_START_TIME (element) = start_time;
2127   element->base_time = base_time;
2128   /* peel off the locked flag */
2129   locked = GST_OBJECT_FLAG_IS_SET (element, GST_ELEMENT_LOCKED_STATE);
2130   /* Get the previous set_state result to preserve NO_PREROLL and ASYNC */
2131   ret = GST_STATE_RETURN (element);
2132   child_current = GST_STATE (element);
2133   child_pending = GST_STATE_PENDING (element);
2134   GST_OBJECT_UNLOCK (element);
2135
2136   /* skip locked elements */
2137   if (G_UNLIKELY (locked))
2138     goto locked;
2139
2140   /* if the element was no preroll, just start changing the state regardless
2141    * if it had async elements (in the case of a bin) because they won't preroll
2142    * anyway. */
2143   if (G_UNLIKELY (ret == GST_STATE_CHANGE_NO_PREROLL)) {
2144     GST_DEBUG_OBJECT (element, "element is NO_PREROLL, ignore async elements");
2145     goto no_preroll;
2146   }
2147
2148   GST_OBJECT_LOCK (bin);
2149   pending = GST_STATE_PENDING (bin);
2150
2151   /* Try not to change the state of elements that are already in the state we're
2152    * going to */
2153   if (!(next == GST_STATE_PLAYING || child_pending != GST_STATE_VOID_PENDING ||
2154           (child_pending == GST_STATE_VOID_PENDING &&
2155               ((pending > child_current && next > child_current) ||
2156                   (pending < child_current && next < child_current)))))
2157     goto unneeded;
2158
2159   /* the element was busy with an upwards async state change, we must wait for
2160    * an ASYNC_DONE message before we attemp to change the state. */
2161   if ((found =
2162           find_message (bin, GST_OBJECT_CAST (element),
2163               GST_MESSAGE_ASYNC_START))) {
2164 #ifndef GST_DISABLE_GST_DEBUG
2165     GstMessage *message = GST_MESSAGE_CAST (found->data);
2166
2167     GST_DEBUG_OBJECT (element, "element message %p, %s async busy",
2168         message, GST_ELEMENT_NAME (GST_MESSAGE_SRC (message)));
2169 #endif
2170     /* only wait for upward state changes */
2171     if (next > current) {
2172       /* We found an async element check if we can force its state to change or
2173        * if we have to wait for it to preroll. */
2174       if (G_UNLIKELY (!enable_latency)) {
2175         g_warning ("Future versions of GStreamer will wait for element \"%s\"\n"
2176             "\tto preroll in order to perform correct latency calculations.\n"
2177             "\tPlease verify that the application continues to work correctly by\n"
2178             "\tsetting the environment variable GST_COMPAT to a value containing\n"
2179             "\tthe string 'live-preroll'.", GST_ELEMENT_NAME (element));
2180         goto no_latency;
2181       }
2182       goto was_busy;
2183     }
2184   }
2185 no_latency:
2186   GST_OBJECT_UNLOCK (bin);
2187
2188 no_preroll:
2189   GST_DEBUG_OBJECT (bin,
2190       "setting element %s to %s, base_time %" GST_TIME_FORMAT,
2191       GST_ELEMENT_NAME (element), gst_element_state_get_name (next),
2192       GST_TIME_ARGS (base_time));
2193
2194   /* change state */
2195   ret = gst_element_set_state (element, next);
2196
2197   GST_STATE_UNLOCK (element);
2198
2199   return ret;
2200
2201 locked:
2202   {
2203     GST_DEBUG_OBJECT (element,
2204         "element is locked, return previous return %s",
2205         gst_element_state_change_return_get_name (ret));
2206     GST_STATE_UNLOCK (element);
2207     return ret;
2208   }
2209 was_busy:
2210   {
2211     GST_DEBUG_OBJECT (element, "element was busy, delaying state change");
2212     GST_OBJECT_UNLOCK (bin);
2213     GST_STATE_UNLOCK (element);
2214     return GST_STATE_CHANGE_ASYNC;
2215   }
2216 unneeded:
2217   {
2218     GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2219         "skipping transition from %s to  %s, since bin pending"
2220         " is %s : last change state return follows",
2221         gst_element_state_get_name (child_current),
2222         gst_element_state_get_name (next),
2223         gst_element_state_get_name (pending));
2224     GST_OBJECT_UNLOCK (bin);
2225     GST_STATE_UNLOCK (element);
2226     return ret;
2227   }
2228 }
2229
2230 /* gst_iterator_fold functions for pads_activate
2231  * Stop the iterator if activating one pad failed. */
2232 static gboolean
2233 activate_pads (const GValue * vpad, GValue * ret, gboolean * active)
2234 {
2235   GstPad *pad = g_value_get_object (vpad);
2236   gboolean cont = TRUE;
2237
2238   if (!(cont = gst_pad_set_active (pad, *active)))
2239     g_value_set_boolean (ret, FALSE);
2240
2241   /* unref the object that was reffed for us by _fold */
2242   return cont;
2243 }
2244
2245 /* returns false on error or early cutout of the fold, true if all
2246  * pads in @iter were (de)activated successfully. */
2247 static gboolean
2248 iterator_activate_fold_with_resync (GstIterator * iter, gpointer user_data)
2249 {
2250   GstIteratorResult ires;
2251   GValue ret = { 0 };
2252
2253   /* no need to unset this later, it's just a boolean */
2254   g_value_init (&ret, G_TYPE_BOOLEAN);
2255   g_value_set_boolean (&ret, TRUE);
2256
2257   while (1) {
2258     ires = gst_iterator_fold (iter, (GstIteratorFoldFunction) activate_pads,
2259         &ret, user_data);
2260     switch (ires) {
2261       case GST_ITERATOR_RESYNC:
2262         /* need to reset the result again */
2263         g_value_set_boolean (&ret, TRUE);
2264         gst_iterator_resync (iter);
2265         break;
2266       case GST_ITERATOR_DONE:
2267         /* all pads iterated, return collected value */
2268         goto done;
2269       default:
2270         /* iterator returned _ERROR or premature end with _OK,
2271          * mark an error and exit */
2272         g_value_set_boolean (&ret, FALSE);
2273         goto done;
2274     }
2275   }
2276 done:
2277   /* return collected value */
2278   return g_value_get_boolean (&ret);
2279 }
2280
2281 /* is called with STATE_LOCK
2282  */
2283 static gboolean
2284 gst_bin_src_pads_activate (GstBin * bin, gboolean active)
2285 {
2286   GstIterator *iter;
2287   gboolean fold_ok;
2288
2289   GST_DEBUG_OBJECT (bin, "src_pads_activate with active %d", active);
2290
2291   iter = gst_element_iterate_src_pads ((GstElement *) bin);
2292   fold_ok = iterator_activate_fold_with_resync (iter, &active);
2293   gst_iterator_free (iter);
2294   if (G_UNLIKELY (!fold_ok))
2295     goto failed;
2296
2297   GST_DEBUG_OBJECT (bin, "pads_activate successful");
2298
2299   return TRUE;
2300
2301   /* ERRORS */
2302 failed:
2303   {
2304     GST_DEBUG_OBJECT (bin, "source pads_activate failed");
2305     return FALSE;
2306   }
2307 }
2308
2309 /**
2310  * gst_bin_recalculate_latency:
2311  * @bin: a #GstBin
2312  *
2313  * Query @bin for the current latency using and reconfigures this latency to all the
2314  * elements with a LATENCY event.
2315  *
2316  * This method is typically called on the pipeline when a #GST_MESSAGE_LATENCY
2317  * is posted on the bus.
2318  *
2319  * This function simply emits the 'do-latency' signal so any custom latency
2320  * calculations will be performed.
2321  *
2322  * Returns: %TRUE if the latency could be queried and reconfigured.
2323  *
2324  * Since: 0.10.22.
2325  */
2326 gboolean
2327 gst_bin_recalculate_latency (GstBin * bin)
2328 {
2329   gboolean res;
2330
2331   g_signal_emit (bin, gst_bin_signals[DO_LATENCY], 0, &res);
2332   GST_DEBUG_OBJECT (bin, "latency returned %d", res);
2333
2334   return res;
2335 }
2336
2337 static gboolean
2338 gst_bin_do_latency_func (GstBin * bin)
2339 {
2340   GstQuery *query;
2341   GstElement *element;
2342   GstClockTime min_latency, max_latency;
2343   gboolean res;
2344
2345   g_return_val_if_fail (GST_IS_BIN (bin), FALSE);
2346
2347   element = GST_ELEMENT_CAST (bin);
2348
2349   GST_DEBUG_OBJECT (element, "querying latency");
2350
2351   query = gst_query_new_latency ();
2352   if ((res = gst_element_query (element, &query))) {
2353     gboolean live;
2354
2355     gst_query_parse_latency (query, &live, &min_latency, &max_latency);
2356
2357     GST_DEBUG_OBJECT (element,
2358         "got min latency %" GST_TIME_FORMAT ", max latency %"
2359         GST_TIME_FORMAT ", live %d", GST_TIME_ARGS (min_latency),
2360         GST_TIME_ARGS (max_latency), live);
2361
2362     if (max_latency < min_latency) {
2363       /* this is an impossible situation, some parts of the pipeline might not
2364        * work correctly. We post a warning for now. */
2365       GST_ELEMENT_WARNING (element, CORE, CLOCK, (NULL),
2366           ("Impossible to configure latency: max %" GST_TIME_FORMAT " < min %"
2367               GST_TIME_FORMAT ". Add queues or other buffering elements.",
2368               GST_TIME_ARGS (max_latency), GST_TIME_ARGS (min_latency)));
2369     }
2370
2371     /* configure latency on elements */
2372     res = gst_element_send_event (element, gst_event_new_latency (min_latency));
2373     if (res) {
2374       GST_INFO_OBJECT (element, "configured latency of %" GST_TIME_FORMAT,
2375           GST_TIME_ARGS (min_latency));
2376     } else {
2377       GST_WARNING_OBJECT (element,
2378           "did not really configure latency of %" GST_TIME_FORMAT,
2379           GST_TIME_ARGS (min_latency));
2380     }
2381   } else {
2382     /* this is not a real problem, we just don't configure any latency. */
2383     GST_WARNING_OBJECT (element, "failed to query latency");
2384   }
2385   gst_query_unref (query);
2386
2387   return res;
2388 }
2389
2390 static GstStateChangeReturn
2391 gst_bin_change_state_func (GstElement * element, GstStateChange transition)
2392 {
2393   GstBin *bin;
2394   GstStateChangeReturn ret;
2395   GstState current, next;
2396   gboolean have_async;
2397   gboolean have_no_preroll;
2398   GstClockTime base_time, start_time;
2399   GstIterator *it;
2400   gboolean done;
2401   GValue data = { 0, };
2402
2403   /* we don't need to take the STATE_LOCK, it is already taken */
2404   current = (GstState) GST_STATE_TRANSITION_CURRENT (transition);
2405   next = (GstState) GST_STATE_TRANSITION_NEXT (transition);
2406
2407   GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, element,
2408       "changing state of children from %s to %s",
2409       gst_element_state_get_name (current), gst_element_state_get_name (next));
2410
2411   bin = GST_BIN_CAST (element);
2412
2413   switch (next) {
2414     case GST_STATE_PLAYING:
2415     {
2416       gboolean toplevel;
2417
2418       GST_OBJECT_LOCK (bin);
2419       toplevel = BIN_IS_TOPLEVEL (bin);
2420       GST_OBJECT_UNLOCK (bin);
2421
2422       if (toplevel)
2423         gst_bin_recalculate_latency (bin);
2424       break;
2425     }
2426     case GST_STATE_PAUSED:
2427       /* Clear EOS list on next PAUSED */
2428       GST_OBJECT_LOCK (bin);
2429       GST_DEBUG_OBJECT (element, "clearing EOS elements");
2430       bin_remove_messages (bin, NULL, GST_MESSAGE_EOS);
2431       bin->priv->posted_eos = FALSE;
2432       GST_OBJECT_UNLOCK (bin);
2433       if (current == GST_STATE_READY)
2434         if (!(gst_bin_src_pads_activate (bin, TRUE)))
2435           goto activate_failure;
2436       break;
2437     case GST_STATE_READY:
2438       /* Clear message list on next READY */
2439       GST_OBJECT_LOCK (bin);
2440       GST_DEBUG_OBJECT (element, "clearing all cached messages");
2441       bin_remove_messages (bin, NULL, GST_MESSAGE_ANY);
2442       GST_OBJECT_UNLOCK (bin);
2443       if (current == GST_STATE_PAUSED)
2444         if (!(gst_bin_src_pads_activate (bin, FALSE)))
2445           goto activate_failure;
2446       break;
2447     case GST_STATE_NULL:
2448       if (current == GST_STATE_READY)
2449         if (!(gst_bin_src_pads_activate (bin, FALSE)))
2450           goto activate_failure;
2451       break;
2452     default:
2453       break;
2454   }
2455
2456   /* this flag is used to make the async state changes return immediatly. We
2457    * don't want them to interfere with this state change */
2458   GST_OBJECT_LOCK (bin);
2459   bin->polling = TRUE;
2460   GST_OBJECT_UNLOCK (bin);
2461
2462   /* iterate in state change order */
2463   it = gst_bin_iterate_sorted (bin);
2464
2465   /* mark if we've seen an ASYNC element in the bin when we did a state change.
2466    * Note how we don't reset this value when a resync happens, the reason being
2467    * that the async element posted ASYNC_START and we want to post ASYNC_DONE
2468    * even after a resync when the async element is gone */
2469   have_async = FALSE;
2470
2471 restart:
2472   /* take base_time */
2473   base_time = gst_element_get_base_time (element);
2474   start_time = gst_element_get_start_time (element);
2475
2476   have_no_preroll = FALSE;
2477
2478   done = FALSE;
2479   while (!done) {
2480     switch (gst_iterator_next (it, &data)) {
2481       case GST_ITERATOR_OK:
2482       {
2483         GstElement *child;
2484
2485         child = g_value_get_object (&data);
2486
2487         /* set state and base_time now */
2488         ret = gst_bin_element_set_state (bin, child, base_time, start_time,
2489             current, next);
2490
2491         switch (ret) {
2492           case GST_STATE_CHANGE_SUCCESS:
2493             GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2494                 "child '%s' changed state to %d(%s) successfully",
2495                 GST_ELEMENT_NAME (child), next,
2496                 gst_element_state_get_name (next));
2497             break;
2498           case GST_STATE_CHANGE_ASYNC:
2499           {
2500             GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2501                 "child '%s' is changing state asynchronously to %s",
2502                 GST_ELEMENT_NAME (child), gst_element_state_get_name (next));
2503             have_async = TRUE;
2504             break;
2505           }
2506           case GST_STATE_CHANGE_FAILURE:{
2507             GstObject *parent;
2508
2509             GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2510                 "child '%s' failed to go to state %d(%s)",
2511                 GST_ELEMENT_NAME (child),
2512                 next, gst_element_state_get_name (next));
2513
2514             /* Only fail if the child is still inside
2515              * this bin. It might've been removed already
2516              * because of the error by the bin subclass
2517              * to ignore the error.  */
2518             parent = gst_object_get_parent (GST_OBJECT_CAST (child));
2519             if (parent == GST_OBJECT_CAST (element)) {
2520               /* element is still in bin, really error now */
2521               gst_object_unref (parent);
2522               goto done;
2523             }
2524             /* child removed from bin, let the resync code redo the state
2525              * change */
2526             GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2527                 "child '%s' was removed from the bin",
2528                 GST_ELEMENT_NAME (child));
2529
2530             if (parent)
2531               gst_object_unref (parent);
2532
2533             break;
2534           }
2535           case GST_STATE_CHANGE_NO_PREROLL:
2536             GST_CAT_INFO_OBJECT (GST_CAT_STATES, element,
2537                 "child '%s' changed state to %d(%s) successfully without preroll",
2538                 GST_ELEMENT_NAME (child), next,
2539                 gst_element_state_get_name (next));
2540             have_no_preroll = TRUE;
2541             break;
2542           default:
2543             g_assert_not_reached ();
2544             break;
2545         }
2546         g_value_reset (&data);
2547         break;
2548       }
2549       case GST_ITERATOR_RESYNC:
2550         GST_CAT_DEBUG (GST_CAT_STATES, "iterator doing resync");
2551         gst_iterator_resync (it);
2552         goto restart;
2553       default:
2554       case GST_ITERATOR_DONE:
2555         GST_CAT_DEBUG (GST_CAT_STATES, "iterator done");
2556         done = TRUE;
2557         break;
2558     }
2559   }
2560
2561   ret = GST_ELEMENT_CLASS (parent_class)->change_state (element, transition);
2562   if (G_UNLIKELY (ret == GST_STATE_CHANGE_FAILURE))
2563     goto done;
2564
2565   if (have_no_preroll) {
2566     GST_CAT_DEBUG (GST_CAT_STATES,
2567         "we have NO_PREROLL elements %s -> NO_PREROLL",
2568         gst_element_state_change_return_get_name (ret));
2569     ret = GST_STATE_CHANGE_NO_PREROLL;
2570   } else if (have_async) {
2571     GST_CAT_DEBUG (GST_CAT_STATES, "we have ASYNC elements %s -> ASYNC",
2572         gst_element_state_change_return_get_name (ret));
2573     ret = GST_STATE_CHANGE_ASYNC;
2574   }
2575
2576 done:
2577   g_value_unset (&data);
2578   gst_iterator_free (it);
2579
2580   GST_OBJECT_LOCK (bin);
2581   bin->polling = FALSE;
2582   /* it's possible that we did not get ASYNC from the children while the bin is
2583    * simulating ASYNC behaviour by posting an ASYNC_DONE message on the bus with
2584    * itself as the source. In that case we still want to check if the state
2585    * change completed. */
2586   if (ret != GST_STATE_CHANGE_ASYNC && !bin->priv->pending_async_done) {
2587     /* no element returned ASYNC and there are no pending async_done messages,
2588      * we can just complete. */
2589     GST_DEBUG_OBJECT (bin, "no async elements");
2590     goto state_end;
2591   }
2592   /* when we get here an ASYNC element was found */
2593   if (GST_STATE_TARGET (bin) <= GST_STATE_READY) {
2594     /* we ignore ASYNC state changes when we go to READY or NULL */
2595     GST_DEBUG_OBJECT (bin, "target state %s <= READY",
2596         gst_element_state_get_name (GST_STATE_TARGET (bin)));
2597     goto state_end;
2598   }
2599
2600   GST_DEBUG_OBJECT (bin, "check async elements");
2601   /* check if all elements managed to commit their state already */
2602   if (!find_message (bin, NULL, GST_MESSAGE_ASYNC_START)) {
2603     /* nothing found, remove all old ASYNC_DONE messages. This can happen when
2604      * all the elements commited their state while we were doing the state
2605      * change. We will still return ASYNC for consistency but we commit the
2606      * state already so that a _get_state() will return immediatly. */
2607     bin_remove_messages (bin, NULL, GST_MESSAGE_ASYNC_DONE);
2608
2609     GST_DEBUG_OBJECT (bin, "async elements commited");
2610     bin_handle_async_done (bin, GST_STATE_CHANGE_SUCCESS, FALSE);
2611   }
2612
2613 state_end:
2614   bin->priv->pending_async_done = FALSE;
2615   GST_OBJECT_UNLOCK (bin);
2616
2617   GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, element,
2618       "done changing bin's state from %s to %s, now in %s, ret %s",
2619       gst_element_state_get_name (current),
2620       gst_element_state_get_name (next),
2621       gst_element_state_get_name (GST_STATE (element)),
2622       gst_element_state_change_return_get_name (ret));
2623
2624   bin_do_eos (bin);
2625
2626   return ret;
2627
2628   /* ERRORS */
2629 activate_failure:
2630   {
2631     GST_CAT_WARNING_OBJECT (GST_CAT_STATES, element,
2632         "failure (de)activating src pads");
2633     return GST_STATE_CHANGE_FAILURE;
2634   }
2635 }
2636
2637 /*
2638  * This function is a utility event handler for seek events.
2639  * It will send the event to all sinks or sources depending on the
2640  * event-direction.
2641  *
2642  * Applications are free to override this behaviour and
2643  * implement their own seek handler, but this will work for
2644  * pretty much all cases in practice.
2645  */
2646 static gboolean
2647 gst_bin_send_event (GstElement * element, GstEvent * event)
2648 {
2649   GstBin *bin = GST_BIN_CAST (element);
2650   GstIterator *iter;
2651   gboolean res = TRUE;
2652   gboolean done = FALSE;
2653   GValue data = { 0, };
2654
2655   if (GST_EVENT_IS_DOWNSTREAM (event)) {
2656     iter = gst_bin_iterate_sources (bin);
2657     GST_DEBUG_OBJECT (bin, "Sending %s event to src children",
2658         GST_EVENT_TYPE_NAME (event));
2659   } else {
2660     iter = gst_bin_iterate_sinks (bin);
2661     GST_DEBUG_OBJECT (bin, "Sending %s event to sink children",
2662         GST_EVENT_TYPE_NAME (event));
2663   }
2664
2665   while (!done) {
2666     switch (gst_iterator_next (iter, &data)) {
2667       case GST_ITERATOR_OK:
2668       {
2669         GstElement *child = g_value_get_object (&data);;
2670
2671         gst_event_ref (event);
2672         res &= gst_element_send_event (child, event);
2673         g_value_reset (&data);
2674         break;
2675       }
2676       case GST_ITERATOR_RESYNC:
2677         gst_iterator_resync (iter);
2678         res = TRUE;
2679         break;
2680       case GST_ITERATOR_DONE:
2681         done = TRUE;
2682         break;
2683       case GST_ITERATOR_ERROR:
2684         g_assert_not_reached ();
2685         break;
2686     }
2687   }
2688   g_value_unset (&data);
2689   gst_iterator_free (iter);
2690   gst_event_unref (event);
2691
2692   return res;
2693 }
2694
2695 /* this is the function called by the threadpool. When async elements commit
2696  * their state, this function will attempt to bring the bin to the next state.
2697  */
2698 static void
2699 gst_bin_continue_func (BinContinueData * data)
2700 {
2701   GstBin *bin;
2702   GstState current, next, pending;
2703   GstStateChange transition;
2704
2705   bin = data->bin;
2706   pending = data->pending;
2707
2708   GST_DEBUG_OBJECT (bin, "waiting for state lock");
2709   GST_STATE_LOCK (bin);
2710
2711   GST_DEBUG_OBJECT (bin, "doing state continue");
2712   GST_OBJECT_LOCK (bin);
2713
2714   /* if a new state change happened after this thread was scheduled, we return
2715    * immediatly. */
2716   if (data->cookie != GST_ELEMENT_CAST (bin)->state_cookie)
2717     goto interrupted;
2718
2719   current = GST_STATE (bin);
2720   next = GST_STATE_GET_NEXT (current, pending);
2721   transition = (GstStateChange) GST_STATE_TRANSITION (current, next);
2722
2723   GST_STATE_NEXT (bin) = next;
2724   GST_STATE_PENDING (bin) = pending;
2725   /* mark busy */
2726   GST_STATE_RETURN (bin) = GST_STATE_CHANGE_ASYNC;
2727   GST_OBJECT_UNLOCK (bin);
2728
2729   GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin,
2730       "continue state change %s to %s, final %s",
2731       gst_element_state_get_name (current),
2732       gst_element_state_get_name (next), gst_element_state_get_name (pending));
2733
2734   gst_element_change_state (GST_ELEMENT_CAST (bin), transition);
2735
2736   GST_STATE_UNLOCK (bin);
2737   GST_DEBUG_OBJECT (bin, "state continue done");
2738
2739   bin_do_eos (bin);
2740
2741   gst_object_unref (bin);
2742   g_slice_free (BinContinueData, data);
2743   return;
2744
2745 interrupted:
2746   {
2747     GST_OBJECT_UNLOCK (bin);
2748     GST_STATE_UNLOCK (bin);
2749     GST_DEBUG_OBJECT (bin, "state continue aborted due to intervening change");
2750     gst_object_unref (bin);
2751     g_slice_free (BinContinueData, data);
2752     return;
2753   }
2754 }
2755
2756 static GstBusSyncReply
2757 bin_bus_handler (GstBus * bus, GstMessage * message, GstBin * bin)
2758 {
2759   GstBinClass *bclass;
2760
2761   bclass = GST_BIN_GET_CLASS (bin);
2762   if (bclass->handle_message)
2763     bclass->handle_message (bin, message);
2764   else
2765     gst_message_unref (message);
2766
2767   return GST_BUS_DROP;
2768 }
2769
2770 static void
2771 bin_push_state_continue (BinContinueData * data)
2772 {
2773   GstBinClass *klass;
2774   GstBin *bin;
2775
2776   /* ref was taken */
2777   bin = data->bin;
2778   klass = GST_BIN_GET_CLASS (bin);
2779
2780   GST_DEBUG_OBJECT (bin, "pushing continue on thread pool");
2781   g_thread_pool_push (klass->pool, data, NULL);
2782 }
2783
2784 /* an element started an async state change, if we were not busy with a state
2785  * change, we perform a lost state.
2786  * This function is called with the OBJECT lock.
2787  */
2788 static void
2789 bin_handle_async_start (GstBin * bin, gboolean new_base_time)
2790 {
2791   GstState old_state, new_state;
2792   gboolean toplevel;
2793   GstMessage *amessage = NULL;
2794
2795   if (GST_STATE_RETURN (bin) == GST_STATE_CHANGE_FAILURE)
2796     goto had_error;
2797
2798   /* get our toplevel state */
2799   toplevel = BIN_IS_TOPLEVEL (bin);
2800
2801   /* prepare an ASYNC_START message, we always post the start message even if we
2802    * are busy with a state change or when we are NO_PREROLL. */
2803   if (!toplevel)
2804     /* non toplevel bin, prepare async-start for the parent */
2805     amessage =
2806         gst_message_new_async_start (GST_OBJECT_CAST (bin), new_base_time);
2807
2808   if (bin->polling || GST_STATE_PENDING (bin) != GST_STATE_VOID_PENDING)
2809     goto was_busy;
2810
2811   /* async starts are ignored when we are NO_PREROLL */
2812   if (GST_STATE_RETURN (bin) == GST_STATE_CHANGE_NO_PREROLL)
2813     goto was_no_preroll;
2814
2815   old_state = GST_STATE (bin);
2816
2817   /* when we PLAYING we go back to PAUSED, when preroll happens, we go back to
2818    * PLAYING after optionally redistributing the base_time. */
2819   if (old_state > GST_STATE_PAUSED)
2820     new_state = GST_STATE_PAUSED;
2821   else
2822     new_state = old_state;
2823
2824   GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin,
2825       "lost state of %s, new %s", gst_element_state_get_name (old_state),
2826       gst_element_state_get_name (new_state));
2827
2828   GST_STATE (bin) = new_state;
2829   GST_STATE_NEXT (bin) = new_state;
2830   GST_STATE_PENDING (bin) = new_state;
2831   GST_STATE_RETURN (bin) = GST_STATE_CHANGE_ASYNC;
2832   GST_OBJECT_UNLOCK (bin);
2833
2834   /* post message */
2835   gst_element_post_message (GST_ELEMENT_CAST (bin),
2836       gst_message_new_state_changed (GST_OBJECT_CAST (bin),
2837           new_state, new_state, new_state));
2838
2839 post_start:
2840   if (amessage) {
2841     /* post our ASYNC_START. */
2842     GST_DEBUG_OBJECT (bin, "posting ASYNC_START to parent");
2843     gst_element_post_message (GST_ELEMENT_CAST (bin), amessage);
2844   }
2845   GST_OBJECT_LOCK (bin);
2846
2847   return;
2848
2849 had_error:
2850   {
2851     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin, "we had an error");
2852     return;
2853   }
2854 was_busy:
2855   {
2856     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin, "state change busy");
2857     GST_OBJECT_UNLOCK (bin);
2858     goto post_start;
2859   }
2860 was_no_preroll:
2861   {
2862     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin, "ignoring, we are NO_PREROLL");
2863     GST_OBJECT_UNLOCK (bin);
2864     goto post_start;
2865   }
2866 }
2867
2868 /* this function is called when there are no more async elements in the bin. We
2869  * post a state changed message and an ASYNC_DONE message.
2870  * This function is called with the OBJECT lock.
2871  */
2872 static void
2873 bin_handle_async_done (GstBin * bin, GstStateChangeReturn ret,
2874     gboolean flag_pending)
2875 {
2876   GstState current, pending, target;
2877   GstStateChangeReturn old_ret;
2878   GstState old_state, old_next;
2879   gboolean toplevel;
2880   GstMessage *smessage = NULL, *amessage = NULL;
2881   BinContinueData *cont = NULL;
2882
2883   if (GST_STATE_RETURN (bin) == GST_STATE_CHANGE_FAILURE)
2884     goto had_error;
2885
2886   pending = GST_STATE_PENDING (bin);
2887
2888   if (bin->polling)
2889     goto was_busy;
2890
2891   /* check if there is something to commit */
2892   if (pending == GST_STATE_VOID_PENDING)
2893     goto nothing_pending;
2894
2895   old_ret = GST_STATE_RETURN (bin);
2896   GST_STATE_RETURN (bin) = ret;
2897
2898   /* move to the next target state */
2899   target = GST_STATE_TARGET (bin);
2900   pending = GST_STATE_PENDING (bin) = target;
2901
2902   amessage = gst_message_new_async_done (GST_OBJECT_CAST (bin));
2903
2904   old_state = GST_STATE (bin);
2905   /* this is the state we should go to next */
2906   old_next = GST_STATE_NEXT (bin);
2907
2908   if (old_next != GST_STATE_PLAYING) {
2909     GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin,
2910         "committing state from %s to %s, old pending %s",
2911         gst_element_state_get_name (old_state),
2912         gst_element_state_get_name (old_next),
2913         gst_element_state_get_name (pending));
2914
2915     /* update current state */
2916     current = GST_STATE (bin) = old_next;
2917   } else {
2918     GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin,
2919         "setting state from %s to %s, pending %s",
2920         gst_element_state_get_name (old_state),
2921         gst_element_state_get_name (old_state),
2922         gst_element_state_get_name (pending));
2923     current = old_state;
2924   }
2925
2926   /* get our toplevel state */
2927   toplevel = BIN_IS_TOPLEVEL (bin);
2928
2929   /* see if we reached the final state. If we are not toplevel, we also have to
2930    * stop here, the parent will continue our state. */
2931   if ((pending == current) || !toplevel) {
2932     GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin,
2933         "completed state change, pending VOID");
2934
2935     /* mark VOID pending */
2936     pending = GST_STATE_VOID_PENDING;
2937     GST_STATE_PENDING (bin) = pending;
2938     GST_STATE_NEXT (bin) = GST_STATE_VOID_PENDING;
2939   } else {
2940     GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin,
2941         "continue state change, pending %s",
2942         gst_element_state_get_name (pending));
2943
2944     cont = g_slice_new (BinContinueData);
2945
2946     /* ref to the bin */
2947     cont->bin = gst_object_ref (bin);
2948     /* cookie to detect concurrent state change */
2949     cont->cookie = GST_ELEMENT_CAST (bin)->state_cookie;
2950     /* pending target state */
2951     cont->pending = pending;
2952     /* mark busy */
2953     GST_STATE_RETURN (bin) = GST_STATE_CHANGE_ASYNC;
2954     GST_STATE_NEXT (bin) = GST_STATE_GET_NEXT (old_state, pending);
2955   }
2956
2957   if (old_next != GST_STATE_PLAYING) {
2958     if (old_state != old_next || old_ret == GST_STATE_CHANGE_ASYNC) {
2959       smessage = gst_message_new_state_changed (GST_OBJECT_CAST (bin),
2960           old_state, old_next, pending);
2961     }
2962   }
2963   GST_OBJECT_UNLOCK (bin);
2964
2965   if (smessage) {
2966     GST_DEBUG_OBJECT (bin, "posting state change message");
2967     gst_element_post_message (GST_ELEMENT_CAST (bin), smessage);
2968   }
2969   if (amessage) {
2970     /* post our combined ASYNC_DONE when all is ASYNC_DONE. */
2971     GST_DEBUG_OBJECT (bin, "posting ASYNC_DONE to parent");
2972     gst_element_post_message (GST_ELEMENT_CAST (bin), amessage);
2973   }
2974
2975   if (!cont)
2976     bin_do_eos (bin);
2977
2978   GST_OBJECT_LOCK (bin);
2979   if (cont) {
2980     /* toplevel, start continue state */
2981     GST_DEBUG_OBJECT (bin, "all async-done, starting state continue");
2982     bin_push_state_continue (cont);
2983   } else {
2984     GST_DEBUG_OBJECT (bin, "state change complete");
2985     GST_STATE_BROADCAST (bin);
2986   }
2987   return;
2988
2989 had_error:
2990   {
2991     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin, "we had an error");
2992     return;
2993   }
2994 was_busy:
2995   {
2996     GST_CAT_DEBUG_OBJECT (GST_CAT_STATES, bin, "state change busy");
2997     /* if we were busy with a state change and we are requested to flag a
2998      * pending async done, we do so here */
2999     if (flag_pending)
3000       bin->priv->pending_async_done = TRUE;
3001     return;
3002   }
3003 nothing_pending:
3004   {
3005     GST_CAT_INFO_OBJECT (GST_CAT_STATES, bin, "nothing pending");
3006     return;
3007   }
3008 }
3009
3010 static void
3011 bin_do_eos (GstBin * bin)
3012 {
3013   guint32 seqnum = 0;
3014   gboolean eos;
3015
3016   GST_OBJECT_LOCK (bin);
3017   /* If all sinks are EOS, we're in PLAYING and no state change is pending
3018    * we forward the EOS message to the parent bin or application
3019    */
3020   eos = GST_STATE (bin) == GST_STATE_PLAYING
3021       && GST_STATE_PENDING (bin) == GST_STATE_VOID_PENDING
3022       && is_eos (bin, &seqnum);
3023   GST_OBJECT_UNLOCK (bin);
3024
3025   if (eos
3026       && g_atomic_int_compare_and_exchange (&bin->priv->posted_eos, FALSE,
3027           TRUE)) {
3028     GstMessage *tmessage;
3029     tmessage = gst_message_new_eos (GST_OBJECT_CAST (bin));
3030     gst_message_set_seqnum (tmessage, seqnum);
3031     GST_DEBUG_OBJECT (bin,
3032         "all sinks posted EOS, posting seqnum #%" G_GUINT32_FORMAT, seqnum);
3033     gst_element_post_message (GST_ELEMENT_CAST (bin), tmessage);
3034   }
3035 }
3036
3037 /* must be called with the object lock. This function releases the lock to post
3038  * the message. */
3039 static void
3040 bin_do_message_forward (GstBin * bin, GstMessage * message)
3041 {
3042   if (bin->priv->message_forward) {
3043     GstMessage *forwarded;
3044
3045     GST_DEBUG_OBJECT (bin, "pass %s message upward",
3046         GST_MESSAGE_TYPE_NAME (message));
3047     GST_OBJECT_UNLOCK (bin);
3048
3049     /* we need to convert these messages to element messages so that our parent
3050      * bin can easily ignore them and so that the application can easily
3051      * distinguish between the internally forwarded and the real messages. */
3052     forwarded = gst_message_new_element (GST_OBJECT_CAST (bin),
3053         gst_structure_new ("GstBinForwarded",
3054             "message", GST_TYPE_MESSAGE, message, NULL));
3055
3056     gst_element_post_message (GST_ELEMENT_CAST (bin), forwarded);
3057
3058     GST_OBJECT_LOCK (bin);
3059   }
3060 }
3061
3062 /* handle child messages:
3063  *
3064  * This method is called synchronously when a child posts a message on
3065  * the internal bus.
3066  *
3067  * GST_MESSAGE_EOS: This message is only posted by sinks
3068  *     in the PLAYING state. If all sinks posted the EOS message, post
3069  *     one upwards.
3070  *
3071  * GST_MESSAGE_STATE_DIRTY: Deprecated
3072  *
3073  * GST_MESSAGE_SEGMENT_START: just collect, never forward upwards. If an
3074  *     element posts segment_start twice, only the last message is kept.
3075  *
3076  * GST_MESSAGE_SEGMENT_DONE: replace SEGMENT_START message from same poster
3077  *     with the segment_done message. If there are no more segment_start
3078  *     messages, post segment_done message upwards.
3079  *
3080  * GST_MESSAGE_DURATION: remove all previously cached duration messages.
3081  *     Whenever someone performs a duration query on the bin, we store the
3082  *     result so we can answer it quicker the next time. Any element that
3083  *     changes its duration marks our cached values invalid.
3084  *     This message is also posted upwards. This is currently disabled
3085  *     because too many elements don't post DURATION messages when the
3086  *     duration changes.
3087  *
3088  * GST_MESSAGE_CLOCK_LOST: This message is posted by an element when it
3089  *     can no longer provide a clock. The default bin behaviour is to
3090  *     check if the lost clock was the one provided by the bin. If so and
3091  *     we are currently in the PLAYING state, we forward the message to
3092  *     our parent.
3093  *     This message is also generated when we remove a clock provider from
3094  *     a bin. If this message is received by the application, it should
3095  *     PAUSE the pipeline and set it back to PLAYING to force a new clock
3096  *     and a new base_time distribution.
3097  *
3098  * GST_MESSAGE_CLOCK_PROVIDE: This message is generated when an element
3099  *     can provide a clock. This mostly happens when we add a new clock
3100  *     provider to the bin. The default behaviour of the bin is to mark the
3101  *     currently selected clock as dirty, which will perform a clock
3102  *     recalculation the next time we are asked to provide a clock.
3103  *     This message is never sent to the application but is forwarded to
3104  *     the parent.
3105  *
3106  * GST_MESSAGE_ASYNC_START: Create an internal ELEMENT message that stores
3107  *     the state of the element and the fact that the element will need a
3108  *     new base_time. This message is not forwarded to the application.
3109  *
3110  * GST_MESSAGE_ASYNC_DONE: Find the internal ELEMENT message we kept for the
3111  *     element when it posted ASYNC_START. If all elements are done, post a
3112  *     ASYNC_DONE message to the parent.
3113  *
3114  * OTHER: post upwards.
3115  */
3116 static void
3117 gst_bin_handle_message_func (GstBin * bin, GstMessage * message)
3118 {
3119   GstObject *src;
3120   GstMessageType type;
3121   GstMessage *tmessage;
3122   guint32 seqnum;
3123
3124   src = GST_MESSAGE_SRC (message);
3125   type = GST_MESSAGE_TYPE (message);
3126
3127   GST_DEBUG_OBJECT (bin, "[msg %p] handling child %s message of type %s",
3128       message, src ? GST_ELEMENT_NAME (src) : "(NULL)",
3129       GST_MESSAGE_TYPE_NAME (message));
3130
3131   switch (type) {
3132     case GST_MESSAGE_ERROR:
3133     {
3134       GST_OBJECT_LOCK (bin);
3135       /* flag error */
3136       GST_DEBUG_OBJECT (bin, "got ERROR message, unlocking state change");
3137       GST_STATE_RETURN (bin) = GST_STATE_CHANGE_FAILURE;
3138       GST_STATE_BROADCAST (bin);
3139       GST_OBJECT_UNLOCK (bin);
3140
3141       goto forward;
3142     }
3143     case GST_MESSAGE_EOS:
3144     {
3145
3146       /* collect all eos messages from the children */
3147       GST_OBJECT_LOCK (bin);
3148       bin_do_message_forward (bin, message);
3149       /* ref message for future use  */
3150       bin_replace_message (bin, message, GST_MESSAGE_EOS);
3151       GST_OBJECT_UNLOCK (bin);
3152
3153       bin_do_eos (bin);
3154       break;
3155     }
3156     case GST_MESSAGE_STATE_DIRTY:
3157     {
3158       GST_WARNING_OBJECT (bin, "received deprecated STATE_DIRTY message");
3159
3160       /* free message */
3161       gst_message_unref (message);
3162       break;
3163     }
3164     case GST_MESSAGE_SEGMENT_START:{
3165       gboolean post = FALSE;
3166       GstFormat format;
3167       gint64 position;
3168
3169       gst_message_parse_segment_start (message, &format, &position);
3170       seqnum = gst_message_get_seqnum (message);
3171
3172       GST_OBJECT_LOCK (bin);
3173       bin_do_message_forward (bin, message);
3174       /* if this is the first segment-start, post to parent but not to the
3175        * application */
3176       if (!find_message (bin, NULL, GST_MESSAGE_SEGMENT_START) &&
3177           (GST_OBJECT_PARENT (bin) != NULL)) {
3178         post = TRUE;
3179       }
3180       /* replace any previous segment_start message from this source
3181        * with the new segment start message */
3182       bin_replace_message (bin, message, GST_MESSAGE_SEGMENT_START);
3183       GST_OBJECT_UNLOCK (bin);
3184       if (post) {
3185         tmessage = gst_message_new_segment_start (GST_OBJECT_CAST (bin),
3186             format, position);
3187         gst_message_set_seqnum (tmessage, seqnum);
3188
3189         /* post segment start with initial format and position. */
3190         GST_DEBUG_OBJECT (bin, "posting SEGMENT_START (%u) bus message: %p",
3191             seqnum, message);
3192         gst_element_post_message (GST_ELEMENT_CAST (bin), tmessage);
3193       }
3194       break;
3195     }
3196     case GST_MESSAGE_SEGMENT_DONE:
3197     {
3198       gboolean post = FALSE;
3199       GstFormat format;
3200       gint64 position;
3201
3202       gst_message_parse_segment_done (message, &format, &position);
3203       seqnum = gst_message_get_seqnum (message);
3204
3205       GST_OBJECT_LOCK (bin);
3206       bin_do_message_forward (bin, message);
3207       bin_replace_message (bin, message, GST_MESSAGE_SEGMENT_START);
3208       /* if there are no more segment_start messages, everybody posted
3209        * a segment_done and we can post one on the bus. */
3210
3211       /* we don't care who still has a pending segment start */
3212       if (!find_message (bin, NULL, GST_MESSAGE_SEGMENT_START)) {
3213         /* nothing found */
3214         post = TRUE;
3215         /* remove all old segment_done messages */
3216         bin_remove_messages (bin, NULL, GST_MESSAGE_SEGMENT_DONE);
3217       }
3218       GST_OBJECT_UNLOCK (bin);
3219       if (post) {
3220         tmessage = gst_message_new_segment_done (GST_OBJECT_CAST (bin),
3221             format, position);
3222         gst_message_set_seqnum (tmessage, seqnum);
3223
3224         /* post segment done with latest format and position. */
3225         GST_DEBUG_OBJECT (bin, "posting SEGMENT_DONE (%u) bus message: %p",
3226             seqnum, message);
3227         gst_element_post_message (GST_ELEMENT_CAST (bin), tmessage);
3228       }
3229       break;
3230     }
3231     case GST_MESSAGE_DURATION:
3232     {
3233       /* remove all cached duration messages, next time somebody asks
3234        * for duration, we will recalculate. */
3235       GST_OBJECT_LOCK (bin);
3236       bin_remove_messages (bin, NULL, GST_MESSAGE_DURATION);
3237       GST_OBJECT_UNLOCK (bin);
3238       goto forward;
3239     }
3240     case GST_MESSAGE_CLOCK_LOST:
3241     {
3242       GstClock **provided_clock_p;
3243       GstElement **clock_provider_p;
3244       gboolean playing, provided, forward;
3245       GstClock *clock;
3246
3247       gst_message_parse_clock_lost (message, &clock);
3248
3249       GST_OBJECT_LOCK (bin);
3250       bin->clock_dirty = TRUE;
3251       /* if we lost the clock that we provided, post to parent but
3252        * only if we are PLAYING. */
3253       provided = (clock == bin->provided_clock);
3254       playing = (GST_STATE (bin) == GST_STATE_PLAYING);
3255       forward = playing & provided;
3256       if (provided) {
3257         GST_DEBUG_OBJECT (bin,
3258             "Lost clock %" GST_PTR_FORMAT " provided by %" GST_PTR_FORMAT,
3259             bin->provided_clock, bin->clock_provider);
3260         provided_clock_p = &bin->provided_clock;
3261         clock_provider_p = &bin->clock_provider;
3262         gst_object_replace ((GstObject **) provided_clock_p, NULL);
3263         gst_object_replace ((GstObject **) clock_provider_p, NULL);
3264       }
3265       GST_DEBUG_OBJECT (bin, "provided %d, playing %d, forward %d",
3266           provided, playing, forward);
3267       GST_OBJECT_UNLOCK (bin);
3268
3269       if (forward)
3270         goto forward;
3271
3272       /* free message */
3273       gst_message_unref (message);
3274       break;
3275     }
3276     case GST_MESSAGE_CLOCK_PROVIDE:
3277     {
3278       gboolean forward;
3279
3280       GST_OBJECT_LOCK (bin);
3281       bin->clock_dirty = TRUE;
3282       /* a new clock is available, post to parent but not
3283        * to the application */
3284       forward = GST_OBJECT_PARENT (bin) != NULL;
3285       GST_OBJECT_UNLOCK (bin);
3286
3287       if (forward)
3288         goto forward;
3289
3290       /* free message */
3291       gst_message_unref (message);
3292       break;
3293     }
3294     case GST_MESSAGE_ASYNC_START:
3295     {
3296       gboolean new_base_time;
3297       GstState target;
3298
3299       GST_DEBUG_OBJECT (bin, "ASYNC_START message %p, %s", message,
3300           src ? GST_OBJECT_NAME (src) : "(NULL)");
3301
3302       gst_message_parse_async_start (message, &new_base_time);
3303
3304       GST_OBJECT_LOCK (bin);
3305       bin_do_message_forward (bin, message);
3306
3307       /* we ignore the message if we are going to <= READY */
3308       if ((target = GST_STATE_TARGET (bin)) <= GST_STATE_READY)
3309         goto ignore_start_message;
3310
3311       /* takes ownership of the message */
3312       bin_replace_message (bin, message, GST_MESSAGE_ASYNC_START);
3313
3314       bin_handle_async_start (bin, new_base_time);
3315       GST_OBJECT_UNLOCK (bin);
3316       break;
3317
3318     ignore_start_message:
3319       {
3320         GST_DEBUG_OBJECT (bin, "ignoring message, target %s",
3321             gst_element_state_get_name (target));
3322         GST_OBJECT_UNLOCK (bin);
3323         gst_message_unref (message);
3324         break;
3325       }
3326     }
3327     case GST_MESSAGE_ASYNC_DONE:
3328     {
3329       GstState target;
3330
3331       GST_DEBUG_OBJECT (bin, "ASYNC_DONE message %p, %s", message,
3332           src ? GST_OBJECT_NAME (src) : "(NULL)");
3333
3334       GST_OBJECT_LOCK (bin);
3335       bin_do_message_forward (bin, message);
3336
3337       /* ignore messages if we are shutting down */
3338       if ((target = GST_STATE_TARGET (bin)) <= GST_STATE_READY)
3339         goto ignore_done_message;
3340
3341       bin_replace_message (bin, message, GST_MESSAGE_ASYNC_START);
3342       /* if there are no more ASYNC_START messages, everybody posted
3343        * a ASYNC_DONE and we can post one on the bus. When checking, we
3344        * don't care who still has a pending ASYNC_START */
3345       if (!find_message (bin, NULL, GST_MESSAGE_ASYNC_START)) {
3346         /* nothing found, remove all old ASYNC_DONE messages */
3347         bin_remove_messages (bin, NULL, GST_MESSAGE_ASYNC_DONE);
3348
3349         GST_DEBUG_OBJECT (bin, "async elements commited");
3350         /* when we get an async done message when a state change was busy, we
3351          * need to set the pending_done flag so that at the end of the state
3352          * change we can see if we need to verify pending async elements, hence
3353          * the TRUE argument here. */
3354         bin_handle_async_done (bin, GST_STATE_CHANGE_SUCCESS, TRUE);
3355       } else {
3356         GST_DEBUG_OBJECT (bin, "there are more async elements pending");
3357       }
3358       GST_OBJECT_UNLOCK (bin);
3359       break;
3360
3361     ignore_done_message:
3362       {
3363         GST_DEBUG_OBJECT (bin, "ignoring message, target %s",
3364             gst_element_state_get_name (target));
3365         GST_OBJECT_UNLOCK (bin);
3366         gst_message_unref (message);
3367         break;
3368       }
3369     }
3370     case GST_MESSAGE_STRUCTURE_CHANGE:
3371     {
3372       gboolean busy;
3373
3374       gst_message_parse_structure_change (message, NULL, NULL, &busy);
3375
3376       GST_OBJECT_LOCK (bin);
3377       if (busy) {
3378         /* while the pad is busy, avoid following it when doing state changes.
3379          * Don't update the cookie yet, we will do that after the structure
3380          * change finished and we are ready to inspect the new updated
3381          * structure. */
3382         bin_replace_message (bin, message, GST_MESSAGE_STRUCTURE_CHANGE);
3383         message = NULL;
3384       } else {
3385         /* a pad link/unlink ended, signal the state change iterator that we
3386          * need to resync by updating the structure_cookie. */
3387         bin_remove_messages (bin, GST_MESSAGE_SRC (message),
3388             GST_MESSAGE_STRUCTURE_CHANGE);
3389         bin->priv->structure_cookie++;
3390       }
3391       GST_OBJECT_UNLOCK (bin);
3392
3393       if (message)
3394         gst_message_unref (message);
3395
3396       break;
3397     }
3398     default:
3399       goto forward;
3400   }
3401   return;
3402
3403 forward:
3404   {
3405     /* Send all other messages upward */
3406     GST_DEBUG_OBJECT (bin, "posting message upward");
3407     gst_element_post_message (GST_ELEMENT_CAST (bin), message);
3408     return;
3409   }
3410 }
3411
3412 /* generic struct passed to all query fold methods */
3413 typedef struct
3414 {
3415   GstQuery **query;
3416   gint64 min;
3417   gint64 max;
3418   gboolean live;
3419 } QueryFold;
3420
3421 typedef void (*QueryInitFunction) (GstBin * bin, QueryFold * fold);
3422 typedef void (*QueryDoneFunction) (GstBin * bin, QueryFold * fold);
3423
3424 /* for duration/position we collect all durations/positions and take
3425  * the MAX of all valid results */
3426 static void
3427 bin_query_min_max_init (GstBin * bin, QueryFold * fold)
3428 {
3429   fold->min = 0;
3430   fold->max = -1;
3431   fold->live = FALSE;
3432 }
3433
3434 static gboolean
3435 bin_query_duration_fold (const GValue * vitem, GValue * ret, QueryFold * fold)
3436 {
3437   GstElement *item = g_value_get_object (vitem);
3438
3439   if (gst_element_query (item, fold->query)) {
3440     gint64 duration;
3441
3442     g_value_set_boolean (ret, TRUE);
3443
3444     gst_query_parse_duration (*fold->query, NULL, &duration);
3445
3446     GST_DEBUG_OBJECT (item, "got duration %" G_GINT64_FORMAT, duration);
3447
3448     if (duration > fold->max)
3449       fold->max = duration;
3450   }
3451
3452   return TRUE;
3453 }
3454
3455 static void
3456 bin_query_duration_done (GstBin * bin, QueryFold * fold)
3457 {
3458   GstFormat format;
3459
3460   gst_query_parse_duration (*fold->query, &format, NULL);
3461   *fold->query = gst_query_make_writable (*fold->query);
3462   /* store max in query result */
3463   gst_query_set_duration (*fold->query, format, fold->max);
3464
3465   GST_DEBUG_OBJECT (bin, "max duration %" G_GINT64_FORMAT, fold->max);
3466
3467   /* and cache now */
3468   GST_OBJECT_LOCK (bin);
3469   bin->messages = g_list_prepend (bin->messages,
3470       gst_message_new_duration (GST_OBJECT_CAST (bin), format, fold->max));
3471   GST_OBJECT_UNLOCK (bin);
3472 }
3473
3474 static gboolean
3475 bin_query_position_fold (const GValue * vitem, GValue * ret, QueryFold * fold)
3476 {
3477   GstElement *item = g_value_get_object (vitem);
3478
3479   if (gst_element_query (item, fold->query)) {
3480     gint64 position;
3481
3482     g_value_set_boolean (ret, TRUE);
3483
3484     gst_query_parse_position (*fold->query, NULL, &position);
3485
3486     GST_DEBUG_OBJECT (item, "got position %" G_GINT64_FORMAT, position);
3487
3488     if (position > fold->max)
3489       fold->max = position;
3490   }
3491
3492   return TRUE;
3493 }
3494
3495 static void
3496 bin_query_position_done (GstBin * bin, QueryFold * fold)
3497 {
3498   GstFormat format;
3499
3500   gst_query_parse_position (*fold->query, &format, NULL);
3501   *fold->query = gst_query_make_writable (*fold->query);
3502   /* store max in query result */
3503   gst_query_set_position (*fold->query, format, fold->max);
3504
3505   GST_DEBUG_OBJECT (bin, "max position %" G_GINT64_FORMAT, fold->max);
3506 }
3507
3508 static gboolean
3509 bin_query_latency_fold (const GValue * vitem, GValue * ret, QueryFold * fold)
3510 {
3511   GstElement *item = g_value_get_object (vitem);
3512
3513   if (gst_element_query (item, fold->query)) {
3514     GstClockTime min, max;
3515     gboolean live;
3516
3517     gst_query_parse_latency (*fold->query, &live, &min, &max);
3518
3519     GST_DEBUG_OBJECT (item,
3520         "got latency min %" GST_TIME_FORMAT ", max %" GST_TIME_FORMAT
3521         ", live %d", GST_TIME_ARGS (min), GST_TIME_ARGS (max), live);
3522
3523     /* for the combined latency we collect the MAX of all min latencies and
3524      * the MIN of all max latencies */
3525     if (live) {
3526       if (min > fold->min)
3527         fold->min = min;
3528       if (fold->max == -1)
3529         fold->max = max;
3530       else if (max < fold->max)
3531         fold->max = max;
3532       if (fold->live == FALSE)
3533         fold->live = live;
3534     }
3535   } else {
3536     g_value_set_boolean (ret, FALSE);
3537     GST_DEBUG_OBJECT (item, "failed query");
3538   }
3539
3540   return TRUE;
3541 }
3542
3543 static void
3544 bin_query_latency_done (GstBin * bin, QueryFold * fold)
3545 {
3546   /* store max in query result */
3547   *fold->query = gst_query_make_writable (*fold->query);
3548   gst_query_set_latency (*fold->query, fold->live, fold->min, fold->max);
3549
3550   GST_DEBUG_OBJECT (bin,
3551       "latency min %" GST_TIME_FORMAT ", max %" GST_TIME_FORMAT
3552       ", live %d", GST_TIME_ARGS (fold->min), GST_TIME_ARGS (fold->max),
3553       fold->live);
3554 }
3555
3556 /* generic fold, return first valid result */
3557 static gboolean
3558 bin_query_generic_fold (const GValue * vitem, GValue * ret, QueryFold * fold)
3559 {
3560   GstElement *item = g_value_get_object (vitem);
3561   gboolean res;
3562
3563   if ((res = gst_element_query (item, fold->query))) {
3564     g_value_set_boolean (ret, TRUE);
3565     GST_DEBUG_OBJECT (item, "answered query %" GST_PTR_FORMAT, *fold->query);
3566   }
3567
3568   /* and stop as soon as we have a valid result */
3569   return !res;
3570 }
3571
3572 static gboolean
3573 gst_bin_query (GstElement * element, GstQuery ** query)
3574 {
3575   GstBin *bin = GST_BIN_CAST (element);
3576   GstIterator *iter;
3577   gboolean res = FALSE;
3578   GstIteratorFoldFunction fold_func;
3579   QueryInitFunction fold_init = NULL;
3580   QueryDoneFunction fold_done = NULL;
3581   QueryFold fold_data;
3582   GValue ret = { 0 };
3583
3584   switch (GST_QUERY_TYPE (*query)) {
3585     case GST_QUERY_DURATION:
3586     {
3587       GList *cached;
3588       GstFormat qformat;
3589
3590       gst_query_parse_duration (*query, &qformat, NULL);
3591
3592       /* find cached duration query */
3593       GST_OBJECT_LOCK (bin);
3594       for (cached = bin->messages; cached; cached = g_list_next (cached)) {
3595         GstMessage *message = (GstMessage *) cached->data;
3596
3597         if (GST_MESSAGE_TYPE (message) == GST_MESSAGE_DURATION &&
3598             GST_MESSAGE_SRC (message) == GST_OBJECT_CAST (bin)) {
3599           GstFormat format;
3600           gint64 duration;
3601
3602           gst_message_parse_duration (message, &format, &duration);
3603
3604           /* if cached same format, copy duration in query result */
3605           if (format == qformat) {
3606             GST_DEBUG_OBJECT (bin, "return cached duration %" G_GINT64_FORMAT,
3607                 duration);
3608             GST_OBJECT_UNLOCK (bin);
3609
3610             *query = gst_query_make_writable (*query);
3611             gst_query_set_duration (*query, qformat, duration);
3612             res = TRUE;
3613             goto exit;
3614           }
3615         }
3616       }
3617       GST_OBJECT_UNLOCK (bin);
3618       /* no cached value found, iterate and collect durations */
3619       fold_func = (GstIteratorFoldFunction) bin_query_duration_fold;
3620       fold_init = bin_query_min_max_init;
3621       fold_done = bin_query_duration_done;
3622       break;
3623     }
3624     case GST_QUERY_POSITION:
3625     {
3626       fold_func = (GstIteratorFoldFunction) bin_query_position_fold;
3627       fold_init = bin_query_min_max_init;
3628       fold_done = bin_query_position_done;
3629       break;
3630     }
3631     case GST_QUERY_LATENCY:
3632     {
3633       fold_func = (GstIteratorFoldFunction) bin_query_latency_fold;
3634       fold_init = bin_query_min_max_init;
3635       fold_done = bin_query_latency_done;
3636       res = TRUE;
3637       break;
3638     }
3639     default:
3640       fold_func = (GstIteratorFoldFunction) bin_query_generic_fold;
3641       break;
3642   }
3643
3644   fold_data.query = query;
3645
3646   /* set the result of the query to FALSE initially */
3647   g_value_init (&ret, G_TYPE_BOOLEAN);
3648   g_value_set_boolean (&ret, res);
3649
3650   iter = gst_bin_iterate_sinks (bin);
3651   GST_DEBUG_OBJECT (bin, "Sending query %p (type %s) to sink children",
3652       query, GST_QUERY_TYPE_NAME (*query));
3653
3654   if (fold_init)
3655     fold_init (bin, &fold_data);
3656
3657   while (TRUE) {
3658     GstIteratorResult ires;
3659
3660     ires = gst_iterator_fold (iter, fold_func, &ret, &fold_data);
3661
3662     switch (ires) {
3663       case GST_ITERATOR_RESYNC:
3664         gst_iterator_resync (iter);
3665         if (fold_init)
3666           fold_init (bin, &fold_data);
3667         g_value_set_boolean (&ret, res);
3668         break;
3669       case GST_ITERATOR_OK:
3670       case GST_ITERATOR_DONE:
3671         res = g_value_get_boolean (&ret);
3672         if (fold_done != NULL && res)
3673           fold_done (bin, &fold_data);
3674         goto done;
3675       default:
3676         res = FALSE;
3677         goto done;
3678     }
3679   }
3680 done:
3681   gst_iterator_free (iter);
3682
3683 exit:
3684   GST_DEBUG_OBJECT (bin, "query %p result %d", query, res);
3685
3686   return res;
3687 }
3688
3689 static gint
3690 compare_name (const GValue * velement, const gchar * name)
3691 {
3692   gint eq;
3693   GstElement *element = g_value_get_object (velement);
3694
3695   GST_OBJECT_LOCK (element);
3696   eq = strcmp (GST_ELEMENT_NAME (element), name);
3697   GST_OBJECT_UNLOCK (element);
3698
3699   return eq;
3700 }
3701
3702 /**
3703  * gst_bin_get_by_name:
3704  * @bin: a #GstBin
3705  * @name: the element name to search for
3706  *
3707  * Gets the element with the given name from a bin. This
3708  * function recurses into child bins.
3709  *
3710  * Returns NULL if no element with the given name is found in the bin.
3711  *
3712  * MT safe.  Caller owns returned reference.
3713  *
3714  * Returns: (transfer full): the #GstElement with the given name, or NULL
3715  */
3716 GstElement *
3717 gst_bin_get_by_name (GstBin * bin, const gchar * name)
3718 {
3719   GstIterator *children;
3720   GValue result = { 0, };
3721   GstElement *element;
3722   gboolean found;
3723
3724   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
3725
3726   GST_CAT_INFO (GST_CAT_PARENTAGE, "[%s]: looking up child element %s",
3727       GST_ELEMENT_NAME (bin), name);
3728
3729   children = gst_bin_iterate_recurse (bin);
3730   found = gst_iterator_find_custom (children,
3731       (GCompareFunc) compare_name, &result, (gpointer) name);
3732   gst_iterator_free (children);
3733
3734   if (found) {
3735     element = g_value_dup_object (&result);
3736     g_value_unset (&result);
3737   } else {
3738     element = NULL;
3739   }
3740
3741   return element;
3742 }
3743
3744 /**
3745  * gst_bin_get_by_name_recurse_up:
3746  * @bin: a #GstBin
3747  * @name: the element name to search for
3748  *
3749  * Gets the element with the given name from this bin. If the
3750  * element is not found, a recursion is performed on the parent bin.
3751  *
3752  * Returns NULL if:
3753  * - no element with the given name is found in the bin
3754  *
3755  * MT safe.  Caller owns returned reference.
3756  *
3757  * Returns: (transfer full): the #GstElement with the given name, or NULL
3758  */
3759 GstElement *
3760 gst_bin_get_by_name_recurse_up (GstBin * bin, const gchar * name)
3761 {
3762   GstElement *result;
3763
3764   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
3765   g_return_val_if_fail (name != NULL, NULL);
3766
3767   result = gst_bin_get_by_name (bin, name);
3768
3769   if (!result) {
3770     GstObject *parent;
3771
3772     parent = gst_object_get_parent (GST_OBJECT_CAST (bin));
3773     if (parent) {
3774       if (GST_IS_BIN (parent)) {
3775         result = gst_bin_get_by_name_recurse_up (GST_BIN_CAST (parent), name);
3776       }
3777       gst_object_unref (parent);
3778     }
3779   }
3780
3781   return result;
3782 }
3783
3784 static gint
3785 compare_interface (const GValue * velement, GValue * interface)
3786 {
3787   GstElement *element = g_value_get_object (velement);
3788   GType interface_type = (GType) g_value_get_pointer (interface);
3789   gint ret;
3790
3791   if (G_TYPE_CHECK_INSTANCE_TYPE (element, interface_type)) {
3792     ret = 0;
3793   } else {
3794     ret = 1;
3795   }
3796   return ret;
3797 }
3798
3799 /**
3800  * gst_bin_get_by_interface:
3801  * @bin: a #GstBin
3802  * @iface: the #GType of an interface
3803  *
3804  * Looks for an element inside the bin that implements the given
3805  * interface. If such an element is found, it returns the element.
3806  * You can cast this element to the given interface afterwards.  If you want
3807  * all elements that implement the interface, use
3808  * gst_bin_iterate_all_by_interface(). This function recurses into child bins.
3809  *
3810  * MT safe.  Caller owns returned reference.
3811  *
3812  * Returns: (transfer full): A #GstElement inside the bin implementing the interface
3813  */
3814 GstElement *
3815 gst_bin_get_by_interface (GstBin * bin, GType iface)
3816 {
3817   GstIterator *children;
3818   GValue result = { 0, };
3819   GstElement *element;
3820   gboolean found;
3821   GValue viface = { 0, };
3822
3823   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
3824   g_return_val_if_fail (G_TYPE_IS_INTERFACE (iface), NULL);
3825
3826   g_value_init (&viface, G_TYPE_POINTER);
3827   g_value_set_pointer (&viface, (gpointer) iface);
3828
3829   children = gst_bin_iterate_recurse (bin);
3830   found = gst_iterator_find_custom (children, (GCompareFunc) compare_interface,
3831       &result, &viface);
3832   gst_iterator_free (children);
3833
3834   if (found) {
3835     element = g_value_dup_object (&result);
3836     g_value_unset (&result);
3837   } else {
3838     element = NULL;
3839   }
3840   g_value_unset (&viface);
3841
3842   return element;
3843 }
3844
3845 /**
3846  * gst_bin_iterate_all_by_interface:
3847  * @bin: a #GstBin
3848  * @iface: the #GType of an interface
3849  *
3850  * Looks for all elements inside the bin that implements the given
3851  * interface. You can safely cast all returned elements to the given interface.
3852  * The function recurses inside child bins. The iterator will yield a series
3853  * of #GstElement that should be unreffed after use.
3854  *
3855  * Each element yielded by the iterator will have its refcount increased, so
3856  * unref after use.
3857  *
3858  * MT safe.  Caller owns returned value.
3859  *
3860  * Returns: (transfer full): a #GstIterator of #GstElement for all elements
3861  *          in the bin implementing the given interface, or NULL
3862  */
3863 GstIterator *
3864 gst_bin_iterate_all_by_interface (GstBin * bin, GType iface)
3865 {
3866   GstIterator *children;
3867   GstIterator *result;
3868   GValue viface = { 0, };
3869
3870   g_return_val_if_fail (GST_IS_BIN (bin), NULL);
3871   g_return_val_if_fail (G_TYPE_IS_INTERFACE (iface), NULL);
3872
3873   g_value_init (&viface, G_TYPE_POINTER);
3874   g_value_set_pointer (&viface, (gpointer) iface);
3875
3876   children = gst_bin_iterate_recurse (bin);
3877   result = gst_iterator_filter (children, (GCompareFunc) compare_interface,
3878       &viface);
3879
3880   g_value_unset (&viface);
3881
3882   return result;
3883 }