libs/gst/base/gstaggregator.c

   1 /* GStreamer aggregator base class
   2  * Copyright (C) 2014 Mathieu Duponchelle <mathieu.duponchelle@opencreed.com>
   3  * Copyright (C) 2014 Thibault Saunier <tsaunier@gnome.org>
   4  *
   5  * gstaggregator.c:
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Library General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Library General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Library General Public
  18  * License along with this library; if not, write to the
  19  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  20  * Boston, MA 02110-1301, USA.
  21  */
  22 /**
  23  * SECTION: gstaggregator
  24  * @short_description: manages a set of pads with the purpose of
  25  * aggregating their buffers.
  26  * @see_also: gstcollectpads for historical reasons.
  27  *
  28  * Manages a set of pads with the purpose of aggregating their buffers.
  29  * Control is given to the subclass when all pads have data.
  30  * <itemizedlist>
  31  *  <listitem><para>
  32  *    Base class for mixers and muxers. Subclasses should at least implement
  33  *    the #GstAggregatorClass.aggregate() virtual method.
  34  *  </para></listitem>
  35  *  <listitem><para>
  36  *    When data is queued on all pads, tha aggregate vmethod is called.
  37  *  </para></listitem>
  38  *  <listitem><para>
  39  *    One can peek at the data on any given GstAggregatorPad with the
  40  *    gst_aggregator_pad_get_buffer () method, and take ownership of it
  41  *    with the gst_aggregator_pad_steal_buffer () method. When a buffer
  42  *    has been taken with steal_buffer (), a new buffer can be queued
  43  *    on that pad.
  44  *  </para></listitem>
  45  *  <listitem><para>
  46  *    If the subclass wishes to push a buffer downstream in its aggregate
  47  *    implementation, it should do so through the
  48  *    gst_aggregator_finish_buffer () method. This method will take care
  49  *    of sending and ordering mandatory events such as stream start, caps
  50  *    and segment.
  51  *  </para></listitem>
  52  *  <listitem><para>
  53  *    Same goes for EOS events, which should not be pushed directly by the
  54  *    subclass, it should instead return GST_FLOW_EOS in its aggregate
  55  *    implementation.
  56  *  </para></listitem>
  57  *  <listitem><para>
  58  *    Note that the aggregator logic regarding gap event handling is to turn
  59  *    these into gap buffers with matching PTS and duration. It will also
  60  *    flag these buffers with GST_BUFFER_FLAG_GAP and GST_BUFFER_FLAG_DROPPABLE
  61  *    to ease their identification and subsequent processing.
  62  *  </para></listitem>
  63  * </itemizedlist>
  64  */
  65
  66 #ifdef HAVE_CONFIG_H
  67 #  include "config.h"
  68 #endif
  69
  70 #include <string.h>             /* strlen */
  71
  72 #include "gstaggregator.h"
  73
  74 typedef enum
  75 {
  76   GST_AGGREGATOR_START_TIME_SELECTION_ZERO,
  77   GST_AGGREGATOR_START_TIME_SELECTION_FIRST,
  78   GST_AGGREGATOR_START_TIME_SELECTION_SET
  79 } GstAggregatorStartTimeSelection;
  80
  81 static GType
  82 gst_aggregator_start_time_selection_get_type (void)
  83 {
  84   static GType gtype = 0;
  85
  86   if (gtype == 0) {
  87     static const GEnumValue values[] = {
  88       {GST_AGGREGATOR_START_TIME_SELECTION_ZERO,
  89           "Start at 0 running time (default)", "zero"},
  90       {GST_AGGREGATOR_START_TIME_SELECTION_FIRST,
  91           "Start at first observed input running time", "first"},
  92       {GST_AGGREGATOR_START_TIME_SELECTION_SET,
  93           "Set start time with start-time property", "set"},
  94       {0, NULL, NULL}
  95     };
  96
  97     gtype = g_enum_register_static ("GstAggregatorStartTimeSelection", values);
  98   }
  99   return gtype;
 100 }
 101
 102 /*  Might become API */
 103 static void gst_aggregator_merge_tags (GstAggregator * aggregator,
 104     const GstTagList * tags, GstTagMergeMode mode);
 105 static void gst_aggregator_set_latency_property (GstAggregator * agg,
 106     gint64 latency);
 107 static gint64 gst_aggregator_get_latency_property (GstAggregator * agg);
 108
 109
 110 /* Locking order, locks in this element must always be taken in this order
 111  *
 112  * standard sink pad stream lock -> GST_PAD_STREAM_LOCK (aggpad)
 113  * Aggregator pad flush lock -> PAD_FLUSH_LOCK(aggpad)
 114  * standard src pad stream lock -> GST_PAD_STREAM_LOCK (srcpad)
 115  * Aggregator src lock -> SRC_LOCK(agg) w/ SRC_WAIT/BROADCAST
 116  * standard element object lock -> GST_OBJECT_LOCK(agg)
 117  * Aggregator pad lock -> PAD_LOCK (aggpad) w/ PAD_WAIT/BROADCAST_EVENT(aggpad)
 118  * standard src pad object lock -> GST_OBJECT_LOCK(srcpad)
 119  * standard sink pad object lock -> GST_OBJECT_LOCK(aggpad)
 120  */
 121
 122
 123 static GstClockTime gst_aggregator_get_latency_unlocked (GstAggregator * self);
 124
 125 GST_DEBUG_CATEGORY_STATIC (aggregator_debug);
 126 #define GST_CAT_DEFAULT aggregator_debug
 127
 128 /* GstAggregatorPad definitions */
 129 #define PAD_LOCK(pad)   G_STMT_START {                                  \
 130   GST_TRACE_OBJECT (pad, "Taking PAD lock from thread %p",              \
 131         g_thread_self());                                               \
 132   g_mutex_lock(&pad->priv->lock);                                       \
 133   GST_TRACE_OBJECT (pad, "Took PAD lock from thread %p",                \
 134         g_thread_self());                                               \
 135   } G_STMT_END
 136
 137 #define PAD_UNLOCK(pad)  G_STMT_START {                                 \
 138   GST_TRACE_OBJECT (pad, "Releasing PAD lock from thread %p",           \
 139       g_thread_self());                                                 \
 140   g_mutex_unlock(&pad->priv->lock);                                     \
 141   GST_TRACE_OBJECT (pad, "Release PAD lock from thread %p",             \
 142         g_thread_self());                                               \
 143   } G_STMT_END
 144
 145
 146 #define PAD_WAIT_EVENT(pad)   G_STMT_START {                            \
 147   GST_LOG_OBJECT (pad, "Waiting for buffer to be consumed thread %p",   \
 148         g_thread_self());                                               \
 149   g_cond_wait(&(((GstAggregatorPad* )pad)->priv->event_cond),           \
 150       (&((GstAggregatorPad*)pad)->priv->lock));                         \
 151   GST_LOG_OBJECT (pad, "DONE Waiting for buffer to be consumed on thread %p", \
 152         g_thread_self());                                               \
 153   } G_STMT_END
 154
 155 #define PAD_BROADCAST_EVENT(pad) G_STMT_START {                        \
 156   GST_LOG_OBJECT (pad, "Signaling buffer consumed from thread %p",     \
 157         g_thread_self());                                              \
 158   g_cond_broadcast(&(((GstAggregatorPad* )pad)->priv->event_cond));    \
 159   } G_STMT_END
 160
 161
 162 #define PAD_FLUSH_LOCK(pad)     G_STMT_START {                          \
 163   GST_TRACE_OBJECT (pad, "Taking lock from thread %p",                  \
 164         g_thread_self());                                               \
 165   g_mutex_lock(&pad->priv->flush_lock);                                 \
 166   GST_TRACE_OBJECT (pad, "Took lock from thread %p",                    \
 167         g_thread_self());                                               \
 168   } G_STMT_END
 169
 170 #define PAD_FLUSH_UNLOCK(pad)   G_STMT_START {                          \
 171   GST_TRACE_OBJECT (pad, "Releasing lock from thread %p",               \
 172         g_thread_self());                                               \
 173   g_mutex_unlock(&pad->priv->flush_lock);                               \
 174   GST_TRACE_OBJECT (pad, "Release lock from thread %p",                 \
 175         g_thread_self());                                               \
 176   } G_STMT_END
 177
 178 #define SRC_LOCK(self)   G_STMT_START {                             \
 179   GST_TRACE_OBJECT (self, "Taking src lock from thread %p",         \
 180       g_thread_self());                                             \
 181   g_mutex_lock(&self->priv->src_lock);                              \
 182   GST_TRACE_OBJECT (self, "Took src lock from thread %p",           \
 183         g_thread_self());                                           \
 184   } G_STMT_END
 185
 186 #define SRC_UNLOCK(self)  G_STMT_START {                            \
 187   GST_TRACE_OBJECT (self, "Releasing src lock from thread %p",      \
 188         g_thread_self());                                           \
 189   g_mutex_unlock(&self->priv->src_lock);                            \
 190   GST_TRACE_OBJECT (self, "Released src lock from thread %p",       \
 191         g_thread_self());                                           \
 192   } G_STMT_END
 193
 194 #define SRC_WAIT(self) G_STMT_START {                               \
 195   GST_LOG_OBJECT (self, "Waiting for src on thread %p",             \
 196         g_thread_self());                                           \
 197   g_cond_wait(&(self->priv->src_cond), &(self->priv->src_lock));    \
 198   GST_LOG_OBJECT (self, "DONE Waiting for src on thread %p",        \
 199         g_thread_self());                                           \
 200   } G_STMT_END
 201
 202 #define SRC_BROADCAST(self) G_STMT_START {                          \
 203     GST_LOG_OBJECT (self, "Signaling src from thread %p",           \
 204         g_thread_self());                                           \
 205     if (self->priv->aggregate_id)                                   \
 206       gst_clock_id_unschedule (self->priv->aggregate_id);           \
 207     g_cond_broadcast(&(self->priv->src_cond));                      \
 208   } G_STMT_END
 209
 210 struct _GstAggregatorPadPrivate
 211 {
 212   /* Following fields are protected by the PAD_LOCK */
 213   GstFlowReturn flow_return;
 214   gboolean pending_flush_start;
 215   gboolean pending_flush_stop;
 216   gboolean pending_eos;
 217
 218   gboolean first_buffer;
 219
 220   GQueue buffers;
 221   guint num_buffers;
 222   GstClockTime head_position;
 223   GstClockTime tail_position;
 224   GstClockTime head_time;
 225   GstClockTime tail_time;
 226   GstClockTime time_level;
 227
 228   gboolean eos;
 229
 230   GMutex lock;
 231   GCond event_cond;
 232   /* This lock prevents a flush start processing happening while
 233    * the chain function is also happening.
 234    */
 235   GMutex flush_lock;
 236 };
 237
 238 static gboolean
 239 gst_aggregator_pad_flush (GstAggregatorPad * aggpad, GstAggregator * agg)
 240 {
 241   GstAggregatorPadClass *klass = GST_AGGREGATOR_PAD_GET_CLASS (aggpad);
 242
 243   PAD_LOCK (aggpad);
 244   aggpad->priv->pending_eos = FALSE;
 245   aggpad->priv->eos = FALSE;
 246   aggpad->priv->flow_return = GST_FLOW_OK;
 247   GST_OBJECT_LOCK (aggpad);
 248   gst_segment_init (&aggpad->segment, GST_FORMAT_UNDEFINED);
 249   gst_segment_init (&aggpad->clip_segment, GST_FORMAT_UNDEFINED);
 250   GST_OBJECT_UNLOCK (aggpad);
 251   aggpad->priv->head_position = GST_CLOCK_TIME_NONE;
 252   aggpad->priv->tail_position = GST_CLOCK_TIME_NONE;
 253   aggpad->priv->head_time = GST_CLOCK_TIME_NONE;
 254   aggpad->priv->tail_time = GST_CLOCK_TIME_NONE;
 255   aggpad->priv->time_level = 0;
 256   PAD_UNLOCK (aggpad);
 257
 258   if (klass->flush)
 259     return klass->flush (aggpad, agg);
 260
 261   return TRUE;
 262 }
 263
 264 /*************************************
 265  * GstAggregator implementation  *
 266  *************************************/
 267 static GstElementClass *aggregator_parent_class = NULL;
 268
 269 /* All members are protected by the object lock unless otherwise noted */
 270
 271 struct _GstAggregatorPrivate
 272 {
 273   gint padcount;
 274
 275   /* Our state is >= PAUSED */
 276   gboolean running;             /* protected by src_lock */
 277
 278   gint seqnum;
 279   gboolean send_stream_start;   /* protected by srcpad stream lock */
 280   gboolean send_segment;
 281   gboolean flush_seeking;
 282   gboolean pending_flush_start;
 283   gboolean send_eos;            /* protected by srcpad stream lock */
 284
 285   GstCaps *srccaps;             /* protected by the srcpad stream lock */
 286
 287   GstTagList *tags;
 288   gboolean tags_changed;
 289
 290   gboolean peer_latency_live;   /* protected by src_lock */
 291   GstClockTime peer_latency_min;        /* protected by src_lock */
 292   GstClockTime peer_latency_max;        /* protected by src_lock */
 293   gboolean has_peer_latency;
 294
 295   GstClockTime sub_latency_min; /* protected by src_lock */
 296   GstClockTime sub_latency_max; /* protected by src_lock */
 297
 298   /* aggregate */
 299   GstClockID aggregate_id;      /* protected by src_lock */
 300   GMutex src_lock;
 301   GCond src_cond;
 302
 303   gboolean first_buffer;
 304   GstAggregatorStartTimeSelection start_time_selection;
 305   GstClockTime start_time;
 306
 307   /* properties */
 308   gint64 latency;               /* protected by both src_lock and all pad locks */
 309 };
 310
 311 typedef struct
 312 {
 313   GstEvent *event;
 314   gboolean result;
 315   gboolean flush;
 316   gboolean only_to_active_pads;
 317
 318   gboolean one_actually_seeked;
 319 } EventData;
 320
 321 #define DEFAULT_LATENCY              0
 322 #define DEFAULT_START_TIME_SELECTION GST_AGGREGATOR_START_TIME_SELECTION_ZERO
 323 #define DEFAULT_START_TIME           (-1)
 324
 325 enum
 326 {
 327   PROP_0,
 328   PROP_LATENCY,
 329   PROP_START_TIME_SELECTION,
 330   PROP_START_TIME,
 331   PROP_LAST
 332 };
 333
 334 static GstFlowReturn gst_aggregator_pad_chain_internal (GstAggregator * self,
 335     GstAggregatorPad * aggpad, GstBuffer * buffer, gboolean head);
 336
 337 /**
 338  * gst_aggregator_iterate_sinkpads:
 339  * @self: The #GstAggregator
 340  * @func: (scope call): The function to call.
 341  * @user_data: (closure): The data to pass to @func.
 342  *
 343  * Iterate the sinkpads of aggregator to call a function on them.
 344  *
 345  * This method guarantees that @func will be called only once for each
 346  * sink pad.
 347  */
 348 gboolean
 349 gst_aggregator_iterate_sinkpads (GstAggregator * self,
 350     GstAggregatorPadForeachFunc func, gpointer user_data)
 351 {
 352   gboolean result = FALSE;
 353   GstIterator *iter;
 354   gboolean done = FALSE;
 355   GValue item = { 0, };
 356   GList *seen_pads = NULL;
 357
 358   iter = gst_element_iterate_sink_pads (GST_ELEMENT (self));
 359
 360   if (!iter)
 361     goto no_iter;
 362
 363   while (!done) {
 364     switch (gst_iterator_next (iter, &item)) {
 365       case GST_ITERATOR_OK:
 366       {
 367         GstAggregatorPad *pad;
 368
 369         pad = g_value_get_object (&item);
 370
 371         /* if already pushed, skip. FIXME, find something faster to tag pads */
 372         if (pad == NULL || g_list_find (seen_pads, pad)) {
 373           g_value_reset (&item);
 374           break;
 375         }
 376
 377         GST_LOG_OBJECT (pad, "calling function %s on pad",
 378             GST_DEBUG_FUNCPTR_NAME (func));
 379
 380         result = func (self, pad, user_data);
 381
 382         done = !result;
 383
 384         seen_pads = g_list_prepend (seen_pads, pad);
 385
 386         g_value_reset (&item);
 387         break;
 388       }
 389       case GST_ITERATOR_RESYNC:
 390         gst_iterator_resync (iter);
 391         break;
 392       case GST_ITERATOR_ERROR:
 393         GST_ERROR_OBJECT (self,
 394             "Could not iterate over internally linked pads");
 395         done = TRUE;
 396         break;
 397       case GST_ITERATOR_DONE:
 398         done = TRUE;
 399         break;
 400     }
 401   }
 402   g_value_unset (&item);
 403   gst_iterator_free (iter);
 404
 405   if (seen_pads == NULL) {
 406     GST_DEBUG_OBJECT (self, "No pad seen");
 407     return FALSE;
 408   }
 409
 410   g_list_free (seen_pads);
 411
 412 no_iter:
 413   return result;
 414 }
 415
 416 static gboolean
 417 gst_aggregator_pad_queue_is_empty (GstAggregatorPad * pad)
 418 {
 419   return (g_queue_peek_tail (&pad->priv->buffers) == NULL);
 420 }
 421
 422 static gboolean
 423 gst_aggregator_check_pads_ready (GstAggregator * self)
 424 {
 425   GstAggregatorPad *pad;
 426   GList *l, *sinkpads;
 427
 428   GST_LOG_OBJECT (self, "checking pads");
 429
 430   GST_OBJECT_LOCK (self);
 431
 432   sinkpads = GST_ELEMENT_CAST (self)->sinkpads;
 433   if (sinkpads == NULL)
 434     goto no_sinkpads;
 435
 436   for (l = sinkpads; l != NULL; l = l->next) {
 437     pad = l->data;
 438
 439     PAD_LOCK (pad);
 440
 441     /* In live mode, having a single pad with buffers is enough to
 442      * generate a start time from it. In non-live mode all pads need
 443      * to have a buffer
 444      */
 445     if (self->priv->peer_latency_live &&
 446         !gst_aggregator_pad_queue_is_empty (pad))
 447       self->priv->first_buffer = FALSE;
 448
 449     if (gst_aggregator_pad_queue_is_empty (pad) && !pad->priv->eos) {
 450       PAD_UNLOCK (pad);
 451       goto pad_not_ready;
 452     }
 453     PAD_UNLOCK (pad);
 454
 455   }
 456
 457   self->priv->first_buffer = FALSE;
 458
 459   GST_OBJECT_UNLOCK (self);
 460   GST_LOG_OBJECT (self, "pads are ready");
 461   return TRUE;
 462
 463 no_sinkpads:
 464   {
 465     GST_LOG_OBJECT (self, "pads not ready: no sink pads");
 466     GST_OBJECT_UNLOCK (self);
 467     return FALSE;
 468   }
 469 pad_not_ready:
 470   {
 471     GST_LOG_OBJECT (pad, "pad not ready to be aggregated yet");
 472     GST_OBJECT_UNLOCK (self);
 473     return FALSE;
 474   }
 475 }
 476
 477 static void
 478 gst_aggregator_reset_flow_values (GstAggregator * self)
 479 {
 480   GST_OBJECT_LOCK (self);
 481   self->priv->send_stream_start = TRUE;
 482   self->priv->send_segment = TRUE;
 483   gst_segment_init (&self->segment, GST_FORMAT_TIME);
 484   self->priv->first_buffer = TRUE;
 485   GST_OBJECT_UNLOCK (self);
 486 }
 487
 488 static inline void
 489 gst_aggregator_push_mandatory_events (GstAggregator * self)
 490 {
 491   GstAggregatorPrivate *priv = self->priv;
 492   GstEvent *segment = NULL;
 493   GstEvent *tags = NULL;
 494
 495   if (self->priv->send_stream_start) {
 496     gchar s_id[32];
 497
 498     GST_INFO_OBJECT (self, "pushing stream start");
 499     /* stream-start (FIXME: create id based on input ids) */
 500     g_snprintf (s_id, sizeof (s_id), "agg-%08x", g_random_int ());
 501     if (!gst_pad_push_event (self->srcpad, gst_event_new_stream_start (s_id))) {
 502       GST_WARNING_OBJECT (self->srcpad, "Sending stream start event failed");
 503     }
 504     self->priv->send_stream_start = FALSE;
 505   }
 506
 507   if (self->priv->srccaps) {
 508
 509     GST_INFO_OBJECT (self, "pushing caps: %" GST_PTR_FORMAT,
 510         self->priv->srccaps);
 511     if (!gst_pad_push_event (self->srcpad,
 512             gst_event_new_caps (self->priv->srccaps))) {
 513       GST_WARNING_OBJECT (self->srcpad, "Sending caps event failed");
 514     }
 515     gst_caps_unref (self->priv->srccaps);
 516     self->priv->srccaps = NULL;
 517   }
 518
 519   GST_OBJECT_LOCK (self);
 520   if (self->priv->send_segment && !self->priv->flush_seeking) {
 521     segment = gst_event_new_segment (&self->segment);
 522
 523     if (!self->priv->seqnum)
 524       self->priv->seqnum = gst_event_get_seqnum (segment);
 525     else
 526       gst_event_set_seqnum (segment, self->priv->seqnum);
 527     self->priv->send_segment = FALSE;
 528
 529     GST_DEBUG_OBJECT (self, "pushing segment %" GST_PTR_FORMAT, segment);
 530   }
 531
 532   if (priv->tags && priv->tags_changed && !self->priv->flush_seeking) {
 533     tags = gst_event_new_tag (gst_tag_list_ref (priv->tags));
 534     priv->tags_changed = FALSE;
 535   }
 536   GST_OBJECT_UNLOCK (self);
 537
 538   if (segment)
 539     gst_pad_push_event (self->srcpad, segment);
 540   if (tags)
 541     gst_pad_push_event (self->srcpad, tags);
 542
 543 }
 544
 545 /**
 546  * gst_aggregator_set_src_caps:
 547  * @self: The #GstAggregator
 548  * @caps: The #GstCaps to set on the src pad.
 549  *
 550  * Sets the caps to be used on the src pad.
 551  */
 552 void
 553 gst_aggregator_set_src_caps (GstAggregator * self, GstCaps * caps)
 554 {
 555   GST_PAD_STREAM_LOCK (self->srcpad);
 556   gst_caps_replace (&self->priv->srccaps, caps);
 557   gst_aggregator_push_mandatory_events (self);
 558   GST_PAD_STREAM_UNLOCK (self->srcpad);
 559 }
 560
 561 /**
 562  * gst_aggregator_finish_buffer:
 563  * @self: The #GstAggregator
 564  * @buffer: (transfer full): the #GstBuffer to push.
 565  *
 566  * This method will push the provided output buffer downstream. If needed,
 567  * mandatory events such as stream-start, caps, and segment events will be
 568  * sent before pushing the buffer.
 569  */
 570 GstFlowReturn
 571 gst_aggregator_finish_buffer (GstAggregator * self, GstBuffer * buffer)
 572 {
 573   gst_aggregator_push_mandatory_events (self);
 574
 575   GST_OBJECT_LOCK (self);
 576   if (!self->priv->flush_seeking && gst_pad_is_active (self->srcpad)) {
 577     GST_TRACE_OBJECT (self, "pushing buffer %" GST_PTR_FORMAT, buffer);
 578     GST_OBJECT_UNLOCK (self);
 579     return gst_pad_push (self->srcpad, buffer);
 580   } else {
 581     GST_INFO_OBJECT (self, "Not pushing (active: %i, flushing: %i)",
 582         self->priv->flush_seeking, gst_pad_is_active (self->srcpad));
 583     GST_OBJECT_UNLOCK (self);
 584     gst_buffer_unref (buffer);
 585     return GST_FLOW_OK;
 586   }
 587 }
 588
 589 static void
 590 gst_aggregator_push_eos (GstAggregator * self)
 591 {
 592   GstEvent *event;
 593   gst_aggregator_push_mandatory_events (self);
 594
 595   event = gst_event_new_eos ();
 596
 597   GST_OBJECT_LOCK (self);
 598   self->priv->send_eos = FALSE;
 599   gst_event_set_seqnum (event, self->priv->seqnum);
 600   GST_OBJECT_UNLOCK (self);
 601
 602   gst_pad_push_event (self->srcpad, event);
 603 }
 604
 605 static GstClockTime
 606 gst_aggregator_get_next_time (GstAggregator * self)
 607 {
 608   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (self);
 609
 610   if (klass->get_next_time)
 611     return klass->get_next_time (self);
 612
 613   return GST_CLOCK_TIME_NONE;
 614 }
 615
 616 static gboolean
 617 gst_aggregator_wait_and_check (GstAggregator * self, gboolean * timeout)
 618 {
 619   GstClockTime latency;
 620   GstClockTime start;
 621   gboolean res;
 622
 623   *timeout = FALSE;
 624
 625   SRC_LOCK (self);
 626
 627   latency = gst_aggregator_get_latency_unlocked (self);
 628
 629   if (gst_aggregator_check_pads_ready (self)) {
 630     GST_DEBUG_OBJECT (self, "all pads have data");
 631     SRC_UNLOCK (self);
 632
 633     return TRUE;
 634   }
 635
 636   /* Before waiting, check if we're actually still running */
 637   if (!self->priv->running || !self->priv->send_eos) {
 638     SRC_UNLOCK (self);
 639
 640     return FALSE;
 641   }
 642
 643   start = gst_aggregator_get_next_time (self);
 644
 645   /* If we're not live, or if we use the running time
 646    * of the first buffer as start time, we wait until
 647    * all pads have buffers.
 648    * Otherwise (i.e. if we are live!), we wait on the clock
 649    * and if a pad does not have a buffer in time we ignore
 650    * that pad.
 651    */
 652   if (!GST_CLOCK_TIME_IS_VALID (latency) ||
 653       !GST_IS_CLOCK (GST_ELEMENT_CLOCK (self)) ||
 654       !GST_CLOCK_TIME_IS_VALID (start) ||
 655       (self->priv->first_buffer
 656           && self->priv->start_time_selection ==
 657           GST_AGGREGATOR_START_TIME_SELECTION_FIRST)) {
 658     /* We wake up here when something happened, and below
 659      * then check if we're ready now. If we return FALSE,
 660      * we will be directly called again.
 661      */
 662     SRC_WAIT (self);
 663   } else {
 664     GstClockTime base_time, time;
 665     GstClock *clock;
 666     GstClockReturn status;
 667     GstClockTimeDiff jitter;
 668
 669     GST_DEBUG_OBJECT (self, "got subclass start time: %" GST_TIME_FORMAT,
 670         GST_TIME_ARGS (start));
 671
 672     GST_OBJECT_LOCK (self);
 673     base_time = GST_ELEMENT_CAST (self)->base_time;
 674     clock = GST_ELEMENT_CLOCK (self);
 675     if (clock)
 676       gst_object_ref (clock);
 677     GST_OBJECT_UNLOCK (self);
 678
 679     time = base_time + start;
 680     time += latency;
 681
 682     GST_DEBUG_OBJECT (self, "possibly waiting for clock to reach %"
 683         GST_TIME_FORMAT " (base %" GST_TIME_FORMAT " start %" GST_TIME_FORMAT
 684         " latency %" GST_TIME_FORMAT " current %" GST_TIME_FORMAT ")",
 685         GST_TIME_ARGS (time),
 686         GST_TIME_ARGS (GST_ELEMENT_CAST (self)->base_time),
 687         GST_TIME_ARGS (start), GST_TIME_ARGS (latency),
 688         GST_TIME_ARGS (gst_clock_get_time (clock)));
 689
 690     self->priv->aggregate_id = gst_clock_new_single_shot_id (clock, time);
 691     gst_object_unref (clock);
 692     SRC_UNLOCK (self);
 693
 694     jitter = 0;
 695     status = gst_clock_id_wait (self->priv->aggregate_id, &jitter);
 696
 697     SRC_LOCK (self);
 698     if (self->priv->aggregate_id) {
 699       gst_clock_id_unref (self->priv->aggregate_id);
 700       self->priv->aggregate_id = NULL;
 701     }
 702
 703     GST_DEBUG_OBJECT (self,
 704         "clock returned %d (jitter: %s%" GST_TIME_FORMAT ")",
 705         status, (jitter < 0 ? "-" : " "),
 706         GST_TIME_ARGS ((jitter < 0 ? -jitter : jitter)));
 707
 708     /* we timed out */
 709     if (status == GST_CLOCK_OK || status == GST_CLOCK_EARLY) {
 710       SRC_UNLOCK (self);
 711       *timeout = TRUE;
 712       return TRUE;
 713     }
 714   }
 715
 716   res = gst_aggregator_check_pads_ready (self);
 717   SRC_UNLOCK (self);
 718
 719   return res;
 720 }
 721
 722 static gboolean
 723 check_events (GstAggregator * self, GstAggregatorPad * pad, gpointer user_data)
 724 {
 725   GstEvent *event = NULL;
 726   GstAggregatorClass *klass = NULL;
 727   gboolean *processed_event = user_data;
 728
 729   do {
 730     event = NULL;
 731
 732     PAD_LOCK (pad);
 733     if (gst_aggregator_pad_queue_is_empty (pad) && pad->priv->pending_eos) {
 734       pad->priv->pending_eos = FALSE;
 735       pad->priv->eos = TRUE;
 736     }
 737     if (GST_IS_EVENT (g_queue_peek_tail (&pad->priv->buffers))) {
 738       event = g_queue_pop_tail (&pad->priv->buffers);
 739       PAD_BROADCAST_EVENT (pad);
 740     }
 741     PAD_UNLOCK (pad);
 742     if (event) {
 743       if (processed_event)
 744         *processed_event = TRUE;
 745       if (klass == NULL)
 746         klass = GST_AGGREGATOR_GET_CLASS (self);
 747
 748       GST_LOG_OBJECT (pad, "Processing %" GST_PTR_FORMAT, event);
 749       klass->sink_event (self, pad, event);
 750     }
 751   } while (event != NULL);
 752
 753   return TRUE;
 754 }
 755
 756 static void
 757 gst_aggregator_pad_set_flushing (GstAggregatorPad * aggpad,
 758     GstFlowReturn flow_return, gboolean full)
 759 {
 760   GList *item;
 761
 762   PAD_LOCK (aggpad);
 763   if (flow_return == GST_FLOW_NOT_LINKED)
 764     aggpad->priv->flow_return = MIN (flow_return, aggpad->priv->flow_return);
 765   else
 766     aggpad->priv->flow_return = flow_return;
 767
 768   item = g_queue_peek_head_link (&aggpad->priv->buffers);
 769   while (item) {
 770     GList *next = item->next;
 771
 772     /* In partial flush, we do like the pad, we get rid of non-sticky events
 773      * and EOS/SEGMENT.
 774      */
 775     if (full || GST_IS_BUFFER (item->data) ||
 776         GST_EVENT_TYPE (item->data) == GST_EVENT_EOS ||
 777         GST_EVENT_TYPE (item->data) == GST_EVENT_SEGMENT ||
 778         !GST_EVENT_IS_STICKY (item->data)) {
 779       gst_mini_object_unref (item->data);
 780       g_queue_delete_link (&aggpad->priv->buffers, item);
 781     }
 782     item = next;
 783   }
 784   aggpad->priv->num_buffers = 0;
 785
 786   PAD_BROADCAST_EVENT (aggpad);
 787   PAD_UNLOCK (aggpad);
 788 }
 789
 790 static void
 791 gst_aggregator_aggregate_func (GstAggregator * self)
 792 {
 793   GstAggregatorPrivate *priv = self->priv;
 794   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (self);
 795   gboolean timeout = FALSE;
 796
 797   if (self->priv->running == FALSE) {
 798     GST_DEBUG_OBJECT (self, "Not running anymore");
 799     return;
 800   }
 801
 802   GST_LOG_OBJECT (self, "Checking aggregate");
 803   while (priv->send_eos && priv->running) {
 804     GstFlowReturn flow_return;
 805     gboolean processed_event = FALSE;
 806
 807     gst_aggregator_iterate_sinkpads (self, check_events, NULL);
 808
 809     if (!gst_aggregator_wait_and_check (self, &timeout))
 810       continue;
 811
 812     gst_aggregator_iterate_sinkpads (self, check_events, &processed_event);
 813     if (processed_event)
 814       continue;
 815
 816     GST_TRACE_OBJECT (self, "Actually aggregating!");
 817     flow_return = klass->aggregate (self, timeout);
 818
 819     GST_OBJECT_LOCK (self);
 820     if (flow_return == GST_FLOW_FLUSHING && priv->flush_seeking) {
 821       /* We don't want to set the pads to flushing, but we want to
 822        * stop the thread, so just break here */
 823       GST_OBJECT_UNLOCK (self);
 824       break;
 825     }
 826     GST_OBJECT_UNLOCK (self);
 827
 828     if (flow_return == GST_FLOW_EOS || flow_return == GST_FLOW_ERROR) {
 829       gst_aggregator_push_eos (self);
 830     }
 831
 832     GST_LOG_OBJECT (self, "flow return is %s", gst_flow_get_name (flow_return));
 833
 834     if (flow_return != GST_FLOW_OK) {
 835       GList *item;
 836
 837       GST_OBJECT_LOCK (self);
 838       for (item = GST_ELEMENT (self)->sinkpads; item; item = item->next) {
 839         GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (item->data);
 840
 841         gst_aggregator_pad_set_flushing (aggpad, flow_return, TRUE);
 842       }
 843       GST_OBJECT_UNLOCK (self);
 844       break;
 845     }
 846   }
 847
 848   /* Pause the task here, the only ways to get here are:
 849    * 1) We're stopping, in which case the task is stopped anyway
 850    * 2) We got a flow error above, in which case it might take
 851    *    some time to forward the flow return upstream and we
 852    *    would otherwise call the task function over and over
 853    *    again without doing anything
 854    */
 855   gst_pad_pause_task (self->srcpad);
 856 }
 857
 858 static gboolean
 859 gst_aggregator_start (GstAggregator * self)
 860 {
 861   GstAggregatorClass *klass;
 862   gboolean result;
 863
 864   self->priv->running = TRUE;
 865   self->priv->send_stream_start = TRUE;
 866   self->priv->send_segment = TRUE;
 867   self->priv->send_eos = TRUE;
 868   self->priv->srccaps = NULL;
 869
 870   klass = GST_AGGREGATOR_GET_CLASS (self);
 871
 872   if (klass->start)
 873     result = klass->start (self);
 874   else
 875     result = TRUE;
 876
 877   return result;
 878 }
 879
 880 static gboolean
 881 _check_pending_flush_stop (GstAggregatorPad * pad)
 882 {
 883   gboolean res;
 884
 885   PAD_LOCK (pad);
 886   res = (!pad->priv->pending_flush_stop && !pad->priv->pending_flush_start);
 887   PAD_UNLOCK (pad);
 888
 889   return res;
 890 }
 891
 892 static gboolean
 893 gst_aggregator_stop_srcpad_task (GstAggregator * self, GstEvent * flush_start)
 894 {
 895   gboolean res = TRUE;
 896
 897   GST_INFO_OBJECT (self, "%s srcpad task",
 898       flush_start ? "Pausing" : "Stopping");
 899
 900   SRC_LOCK (self);
 901   self->priv->running = FALSE;
 902   SRC_BROADCAST (self);
 903   SRC_UNLOCK (self);
 904
 905   if (flush_start) {
 906     res = gst_pad_push_event (self->srcpad, flush_start);
 907   }
 908
 909   gst_pad_stop_task (self->srcpad);
 910
 911   return res;
 912 }
 913
 914 static void
 915 gst_aggregator_start_srcpad_task (GstAggregator * self)
 916 {
 917   GST_INFO_OBJECT (self, "Starting srcpad task");
 918
 919   self->priv->running = TRUE;
 920   gst_pad_start_task (GST_PAD (self->srcpad),
 921       (GstTaskFunction) gst_aggregator_aggregate_func, self, NULL);
 922 }
 923
 924 static GstFlowReturn
 925 gst_aggregator_flush (GstAggregator * self)
 926 {
 927   GstFlowReturn ret = GST_FLOW_OK;
 928   GstAggregatorPrivate *priv = self->priv;
 929   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (self);
 930
 931   GST_DEBUG_OBJECT (self, "Flushing everything");
 932   GST_OBJECT_LOCK (self);
 933   priv->send_segment = TRUE;
 934   priv->flush_seeking = FALSE;
 935   priv->tags_changed = FALSE;
 936   GST_OBJECT_UNLOCK (self);
 937   if (klass->flush)
 938     ret = klass->flush (self);
 939
 940   return ret;
 941 }
 942
 943
 944 /* Called with GstAggregator's object lock held */
 945
 946 static gboolean
 947 gst_aggregator_all_flush_stop_received_locked (GstAggregator * self)
 948 {
 949   GList *tmp;
 950   GstAggregatorPad *tmppad;
 951
 952   for (tmp = GST_ELEMENT (self)->sinkpads; tmp; tmp = tmp->next) {
 953     tmppad = (GstAggregatorPad *) tmp->data;
 954
 955     if (_check_pending_flush_stop (tmppad) == FALSE) {
 956       GST_DEBUG_OBJECT (tmppad, "Is not last %i -- %i",
 957           tmppad->priv->pending_flush_start, tmppad->priv->pending_flush_stop);
 958       return FALSE;
 959     }
 960   }
 961
 962   return TRUE;
 963 }
 964
 965 static void
 966 gst_aggregator_flush_start (GstAggregator * self, GstAggregatorPad * aggpad,
 967     GstEvent * event)
 968 {
 969   GstAggregatorPrivate *priv = self->priv;
 970   GstAggregatorPadPrivate *padpriv = aggpad->priv;
 971
 972   gst_aggregator_pad_set_flushing (aggpad, GST_FLOW_FLUSHING, FALSE);
 973
 974   PAD_FLUSH_LOCK (aggpad);
 975   PAD_LOCK (aggpad);
 976   if (padpriv->pending_flush_start) {
 977     GST_DEBUG_OBJECT (aggpad, "Expecting FLUSH_STOP now");
 978
 979     padpriv->pending_flush_start = FALSE;
 980     padpriv->pending_flush_stop = TRUE;
 981   }
 982   PAD_UNLOCK (aggpad);
 983
 984   GST_OBJECT_LOCK (self);
 985   if (priv->flush_seeking) {
 986     /* If flush_seeking we forward the first FLUSH_START */
 987     if (priv->pending_flush_start) {
 988       priv->pending_flush_start = FALSE;
 989       GST_OBJECT_UNLOCK (self);
 990
 991       GST_INFO_OBJECT (self, "Flushing, pausing srcpad task");
 992       gst_aggregator_stop_srcpad_task (self, event);
 993
 994       GST_INFO_OBJECT (self, "Getting STREAM_LOCK while seeking");
 995       GST_PAD_STREAM_LOCK (self->srcpad);
 996       GST_LOG_OBJECT (self, "GOT STREAM_LOCK");
 997       event = NULL;
 998     } else {
 999       GST_OBJECT_UNLOCK (self);
1000       gst_event_unref (event);
1001     }
1002   } else {
1003     GST_OBJECT_UNLOCK (self);
1004     gst_event_unref (event);
1005   }
1006   PAD_FLUSH_UNLOCK (aggpad);
1007 }
1008
1009 /* Must be called with the the PAD_LOCK held */
1010 static void
1011 update_time_level (GstAggregatorPad * aggpad, gboolean head)
1012 {
1013   if (head) {
1014     if (GST_CLOCK_TIME_IS_VALID (aggpad->priv->head_position) &&
1015         aggpad->clip_segment.format == GST_FORMAT_TIME)
1016       aggpad->priv->head_time =
1017           gst_segment_to_running_time (&aggpad->clip_segment,
1018           GST_FORMAT_TIME, aggpad->priv->head_position);
1019     else
1020       aggpad->priv->head_time = GST_CLOCK_TIME_NONE;
1021   } else {
1022     if (GST_CLOCK_TIME_IS_VALID (aggpad->priv->tail_position) &&
1023         aggpad->segment.format == GST_FORMAT_TIME)
1024       aggpad->priv->tail_time =
1025           gst_segment_to_running_time (&aggpad->segment,
1026           GST_FORMAT_TIME, aggpad->priv->tail_position);
1027     else
1028       aggpad->priv->tail_time = aggpad->priv->head_time;
1029   }
1030
1031   if (aggpad->priv->head_time == GST_CLOCK_TIME_NONE ||
1032       aggpad->priv->tail_time == GST_CLOCK_TIME_NONE) {
1033     aggpad->priv->time_level = 0;
1034     return;
1035   }
1036
1037   if (aggpad->priv->tail_time > aggpad->priv->head_time)
1038     aggpad->priv->time_level = 0;
1039   else
1040     aggpad->priv->time_level = aggpad->priv->head_time -
1041         aggpad->priv->tail_time;
1042 }
1043
1044
1045 /* GstAggregator vmethods default implementations */
1046 static gboolean
1047 gst_aggregator_default_sink_event (GstAggregator * self,
1048     GstAggregatorPad * aggpad, GstEvent * event)
1049 {
1050   gboolean res = TRUE;
1051   GstPad *pad = GST_PAD (aggpad);
1052   GstAggregatorPrivate *priv = self->priv;
1053
1054   switch (GST_EVENT_TYPE (event)) {
1055     case GST_EVENT_FLUSH_START:
1056     {
1057       gst_aggregator_flush_start (self, aggpad, event);
1058       /* We forward only in one case: right after flush_seeking */
1059       event = NULL;
1060       goto eat;
1061     }
1062     case GST_EVENT_FLUSH_STOP:
1063     {
1064       GST_DEBUG_OBJECT (aggpad, "Got FLUSH_STOP");
1065
1066       gst_aggregator_pad_flush (aggpad, self);
1067       GST_OBJECT_LOCK (self);
1068       if (priv->flush_seeking) {
1069         g_atomic_int_set (&aggpad->priv->pending_flush_stop, FALSE);
1070         if (gst_aggregator_all_flush_stop_received_locked (self)) {
1071           GST_OBJECT_UNLOCK (self);
1072           /* That means we received FLUSH_STOP/FLUSH_STOP on
1073            * all sinkpads -- Seeking is Done... sending FLUSH_STOP */
1074           gst_aggregator_flush (self);
1075           gst_pad_push_event (self->srcpad, event);
1076           event = NULL;
1077           SRC_LOCK (self);
1078           priv->send_eos = TRUE;
1079           SRC_BROADCAST (self);
1080           SRC_UNLOCK (self);
1081
1082           GST_INFO_OBJECT (self, "Releasing source pad STREAM_LOCK");
1083           GST_PAD_STREAM_UNLOCK (self->srcpad);
1084           gst_aggregator_start_srcpad_task (self);
1085         } else {
1086           GST_OBJECT_UNLOCK (self);
1087         }
1088       } else {
1089         GST_OBJECT_UNLOCK (self);
1090       }
1091
1092       aggpad->priv->first_buffer = TRUE;
1093
1094       /* We never forward the event */
1095       goto eat;
1096     }
1097     case GST_EVENT_EOS:
1098     {
1099       GST_DEBUG_OBJECT (aggpad, "EOS");
1100
1101       /* We still have a buffer, and we don't want the subclass to have to
1102        * check for it. Mark pending_eos, eos will be set when steal_buffer is
1103        * called
1104        */
1105       SRC_LOCK (self);
1106       PAD_LOCK (aggpad);
1107       if (gst_aggregator_pad_queue_is_empty (aggpad)) {
1108         aggpad->priv->eos = TRUE;
1109       } else {
1110         aggpad->priv->pending_eos = TRUE;
1111       }
1112       PAD_UNLOCK (aggpad);
1113
1114       SRC_BROADCAST (self);
1115       SRC_UNLOCK (self);
1116       goto eat;
1117     }
1118     case GST_EVENT_SEGMENT:
1119     {
1120       PAD_LOCK (aggpad);
1121       GST_OBJECT_LOCK (aggpad);
1122       gst_event_copy_segment (event, &aggpad->segment);
1123       update_time_level (aggpad, FALSE);
1124       GST_OBJECT_UNLOCK (aggpad);
1125       PAD_UNLOCK (aggpad);
1126
1127       GST_OBJECT_LOCK (self);
1128       self->priv->seqnum = gst_event_get_seqnum (event);
1129       GST_OBJECT_UNLOCK (self);
1130       goto eat;
1131     }
1132     case GST_EVENT_STREAM_START:
1133     {
1134       goto eat;
1135     }
1136     case GST_EVENT_GAP:
1137     {
1138       GstClockTime pts, endpts;
1139       GstClockTime duration;
1140       GstBuffer *gapbuf;
1141
1142       gst_event_parse_gap (event, &pts, &duration);
1143       gapbuf = gst_buffer_new ();
1144
1145       if (GST_CLOCK_TIME_IS_VALID (duration))
1146         endpts = pts + duration;
1147       else
1148         endpts = GST_CLOCK_TIME_NONE;
1149
1150       GST_OBJECT_LOCK (aggpad);
1151       res = gst_segment_clip (&aggpad->segment, GST_FORMAT_TIME, pts, endpts,
1152           &pts, &endpts);
1153       GST_OBJECT_UNLOCK (aggpad);
1154
1155       if (!res) {
1156         GST_WARNING_OBJECT (self, "GAP event outside segment, dropping");
1157         goto eat;
1158       }
1159
1160       if (GST_CLOCK_TIME_IS_VALID (endpts) && GST_CLOCK_TIME_IS_VALID (pts))
1161         duration = endpts - pts;
1162       else
1163         duration = GST_CLOCK_TIME_NONE;
1164
1165       GST_BUFFER_PTS (gapbuf) = pts;
1166       GST_BUFFER_DURATION (gapbuf) = duration;
1167       GST_BUFFER_FLAG_SET (gapbuf, GST_BUFFER_FLAG_GAP);
1168       GST_BUFFER_FLAG_SET (gapbuf, GST_BUFFER_FLAG_DROPPABLE);
1169
1170       if (gst_aggregator_pad_chain_internal (self, aggpad, gapbuf, FALSE) !=
1171           GST_FLOW_OK) {
1172         GST_WARNING_OBJECT (self, "Failed to chain gap buffer");
1173         res = FALSE;
1174       }
1175
1176       goto eat;
1177     }
1178     case GST_EVENT_TAG:
1179     {
1180       GstTagList *tags;
1181
1182       gst_event_parse_tag (event, &tags);
1183
1184       if (gst_tag_list_get_scope (tags) == GST_TAG_SCOPE_STREAM) {
1185         gst_aggregator_merge_tags (self, tags, GST_TAG_MERGE_REPLACE);
1186         gst_event_unref (event);
1187         event = NULL;
1188         goto eat;
1189       }
1190       break;
1191     }
1192     default:
1193     {
1194       break;
1195     }
1196   }
1197
1198   GST_DEBUG_OBJECT (pad, "Forwarding event: %" GST_PTR_FORMAT, event);
1199   return gst_pad_event_default (pad, GST_OBJECT (self), event);
1200
1201 eat:
1202   GST_DEBUG_OBJECT (pad, "Eating event: %" GST_PTR_FORMAT, event);
1203   if (event)
1204     gst_event_unref (event);
1205
1206   return res;
1207 }
1208
1209 static inline gboolean
1210 gst_aggregator_stop_pad (GstAggregator * self, GstAggregatorPad * pad,
1211     gpointer unused_udata)
1212 {
1213   gst_aggregator_pad_flush (pad, self);
1214
1215   return TRUE;
1216 }
1217
1218 static gboolean
1219 gst_aggregator_stop (GstAggregator * agg)
1220 {
1221   GstAggregatorClass *klass;
1222   gboolean result;
1223
1224   gst_aggregator_reset_flow_values (agg);
1225
1226   gst_aggregator_iterate_sinkpads (agg, gst_aggregator_stop_pad, NULL);
1227
1228   klass = GST_AGGREGATOR_GET_CLASS (agg);
1229
1230   if (klass->stop)
1231     result = klass->stop (agg);
1232   else
1233     result = TRUE;
1234
1235   agg->priv->has_peer_latency = FALSE;
1236   agg->priv->peer_latency_live = FALSE;
1237   agg->priv->peer_latency_min = agg->priv->peer_latency_max = FALSE;
1238
1239   if (agg->priv->tags)
1240     gst_tag_list_unref (agg->priv->tags);
1241   agg->priv->tags = NULL;
1242
1243   return result;
1244 }
1245
1246 /* GstElement vmethods implementations */
1247 static GstStateChangeReturn
1248 gst_aggregator_change_state (GstElement * element, GstStateChange transition)
1249 {
1250   GstStateChangeReturn ret;
1251   GstAggregator *self = GST_AGGREGATOR (element);
1252
1253   switch (transition) {
1254     case GST_STATE_CHANGE_READY_TO_PAUSED:
1255       if (!gst_aggregator_start (self))
1256         goto error_start;
1257       break;
1258     default:
1259       break;
1260   }
1261
1262   if ((ret =
1263           GST_ELEMENT_CLASS (aggregator_parent_class)->change_state (element,
1264               transition)) == GST_STATE_CHANGE_FAILURE)
1265     goto failure;
1266
1267
1268   switch (transition) {
1269     case GST_STATE_CHANGE_PAUSED_TO_READY:
1270       if (!gst_aggregator_stop (self)) {
1271         /* What to do in this case? Error out? */
1272         GST_ERROR_OBJECT (self, "Subclass failed to stop.");
1273       }
1274       break;
1275     default:
1276       break;
1277   }
1278
1279   return ret;
1280
1281 /* ERRORS */
1282 failure:
1283   {
1284     GST_ERROR_OBJECT (element, "parent failed state change");
1285     return ret;
1286   }
1287 error_start:
1288   {
1289     GST_ERROR_OBJECT (element, "Subclass failed to start");
1290     return GST_STATE_CHANGE_FAILURE;
1291   }
1292 }
1293
1294 static void
1295 gst_aggregator_release_pad (GstElement * element, GstPad * pad)
1296 {
1297   GstAggregator *self = GST_AGGREGATOR (element);
1298   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
1299
1300   GST_INFO_OBJECT (pad, "Removing pad");
1301
1302   SRC_LOCK (self);
1303   gst_aggregator_pad_set_flushing (aggpad, GST_FLOW_FLUSHING, TRUE);
1304   gst_element_remove_pad (element, pad);
1305
1306   self->priv->has_peer_latency = FALSE;
1307   SRC_BROADCAST (self);
1308   SRC_UNLOCK (self);
1309 }
1310
1311 static GstAggregatorPad *
1312 gst_aggregator_default_create_new_pad (GstAggregator * self,
1313     GstPadTemplate * templ, const gchar * req_name, const GstCaps * caps)
1314 {
1315   GstAggregatorPad *agg_pad;
1316   GstElementClass *klass = GST_ELEMENT_GET_CLASS (self);
1317   GstAggregatorPrivate *priv = self->priv;
1318
1319   if (templ == gst_element_class_get_pad_template (klass, "sink_%u")) {
1320     gint serial = 0;
1321     gchar *name = NULL;
1322
1323     GST_OBJECT_LOCK (self);
1324     if (req_name == NULL || strlen (req_name) < 6
1325         || !g_str_has_prefix (req_name, "sink_")) {
1326       /* no name given when requesting the pad, use next available int */
1327       priv->padcount++;
1328     } else {
1329       /* parse serial number from requested padname */
1330       serial = g_ascii_strtoull (&req_name[5], NULL, 10);
1331       if (serial >= priv->padcount)
1332         priv->padcount = serial;
1333     }
1334
1335     name = g_strdup_printf ("sink_%u", priv->padcount);
1336     agg_pad = g_object_new (GST_AGGREGATOR_GET_CLASS (self)->sinkpads_type,
1337         "name", name, "direction", GST_PAD_SINK, "template", templ, NULL);
1338     g_free (name);
1339
1340     GST_OBJECT_UNLOCK (self);
1341
1342     return agg_pad;
1343   } else {
1344     return NULL;
1345   }
1346 }
1347
1348 static GstPad *
1349 gst_aggregator_request_new_pad (GstElement * element,
1350     GstPadTemplate * templ, const gchar * req_name, const GstCaps * caps)
1351 {
1352   GstAggregator *self;
1353   GstAggregatorPad *agg_pad;
1354   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (element);
1355   GstAggregatorPrivate *priv = GST_AGGREGATOR (element)->priv;
1356
1357   self = GST_AGGREGATOR (element);
1358
1359   agg_pad = klass->create_new_pad (self, templ, req_name, caps);
1360   if (!agg_pad) {
1361     GST_ERROR_OBJECT (element, "Couldn't create new pad");
1362     return NULL;
1363   }
1364
1365   GST_DEBUG_OBJECT (element, "Adding pad %s", GST_PAD_NAME (agg_pad));
1366   self->priv->has_peer_latency = FALSE;
1367
1368   if (priv->running)
1369     gst_pad_set_active (GST_PAD (agg_pad), TRUE);
1370
1371   /* add the pad to the element */
1372   gst_element_add_pad (element, GST_PAD (agg_pad));
1373
1374   return GST_PAD (agg_pad);
1375 }
1376
1377 /* Must be called with SRC_LOCK held */
1378
1379 static gboolean
1380 gst_aggregator_query_latency_unlocked (GstAggregator * self, GstQuery * query)
1381 {
1382   gboolean query_ret, live;
1383   GstClockTime our_latency, min, max;
1384
1385   query_ret = gst_pad_query_default (self->srcpad, GST_OBJECT (self), query);
1386
1387   if (!query_ret) {
1388     GST_WARNING_OBJECT (self, "Latency query failed");
1389     return FALSE;
1390   }
1391
1392   gst_query_parse_latency (query, &live, &min, &max);
1393
1394   our_latency = self->priv->latency;
1395
1396   if (G_UNLIKELY (!GST_CLOCK_TIME_IS_VALID (min))) {
1397     GST_ERROR_OBJECT (self, "Invalid minimum latency %" GST_TIME_FORMAT
1398         ". Please file a bug at " PACKAGE_BUGREPORT ".", GST_TIME_ARGS (min));
1399     return FALSE;
1400   }
1401
1402   if (min > max && GST_CLOCK_TIME_IS_VALID (max)) {
1403     GST_ELEMENT_WARNING (self, CORE, CLOCK, (NULL),
1404         ("Impossible to configure latency: max %" GST_TIME_FORMAT " < min %"
1405             GST_TIME_FORMAT ". Add queues or other buffering elements.",
1406             GST_TIME_ARGS (max), GST_TIME_ARGS (min)));
1407     return FALSE;
1408   }
1409
1410   self->priv->peer_latency_live = live;
1411   self->priv->peer_latency_min = min;
1412   self->priv->peer_latency_max = max;
1413   self->priv->has_peer_latency = TRUE;
1414
1415   /* add our own */
1416   min += our_latency;
1417   min += self->priv->sub_latency_min;
1418   if (GST_CLOCK_TIME_IS_VALID (self->priv->sub_latency_max)
1419       && GST_CLOCK_TIME_IS_VALID (max))
1420     max += self->priv->sub_latency_max + our_latency;
1421   else
1422     max = GST_CLOCK_TIME_NONE;
1423
1424   SRC_BROADCAST (self);
1425
1426   GST_DEBUG_OBJECT (self, "configured latency live:%s min:%" G_GINT64_FORMAT
1427       " max:%" G_GINT64_FORMAT, live ? "true" : "false", min, max);
1428
1429   gst_query_set_latency (query, live, min, max);
1430
1431   return query_ret;
1432 }
1433
1434 /*
1435  * MUST be called with the src_lock held.
1436  *
1437  * See  gst_aggregator_get_latency() for doc
1438  */
1439 static GstClockTime
1440 gst_aggregator_get_latency_unlocked (GstAggregator * self)
1441 {
1442   GstClockTime latency;
1443
1444   g_return_val_if_fail (GST_IS_AGGREGATOR (self), 0);
1445
1446   if (!self->priv->has_peer_latency) {
1447     GstQuery *query = gst_query_new_latency ();
1448     gboolean ret;
1449
1450     ret = gst_aggregator_query_latency_unlocked (self, query);
1451     gst_query_unref (query);
1452     if (!ret)
1453       return GST_CLOCK_TIME_NONE;
1454   }
1455
1456   if (!self->priv->has_peer_latency || !self->priv->peer_latency_live)
1457     return GST_CLOCK_TIME_NONE;
1458
1459   /* latency_min is never GST_CLOCK_TIME_NONE by construction */
1460   latency = self->priv->peer_latency_min;
1461
1462   /* add our own */
1463   latency += self->priv->latency;
1464   latency += self->priv->sub_latency_min;
1465
1466   return latency;
1467 }
1468
1469 /**
1470  * gst_aggregator_get_latency:
1471  * @self: a #GstAggregator
1472  *
1473  * Retrieves the latency values reported by @self in response to the latency
1474  * query, or %GST_CLOCK_TIME_NONE if there is not live source connected and the element
1475  * will not wait for the clock.
1476  *
1477  * Typically only called by subclasses.
1478  *
1479  * Returns: The latency or %GST_CLOCK_TIME_NONE if the element does not sync
1480  */
1481 GstClockTime
1482 gst_aggregator_get_latency (GstAggregator * self)
1483 {
1484   GstClockTime ret;
1485
1486   SRC_LOCK (self);
1487   ret = gst_aggregator_get_latency_unlocked (self);
1488   SRC_UNLOCK (self);
1489
1490   return ret;
1491 }
1492
1493 static gboolean
1494 gst_aggregator_send_event (GstElement * element, GstEvent * event)
1495 {
1496   GstAggregator *self = GST_AGGREGATOR (element);
1497
1498   GST_STATE_LOCK (element);
1499   if (GST_EVENT_TYPE (event) == GST_EVENT_SEEK &&
1500       GST_STATE (element) < GST_STATE_PAUSED) {
1501     gdouble rate;
1502     GstFormat fmt;
1503     GstSeekFlags flags;
1504     GstSeekType start_type, stop_type;
1505     gint64 start, stop;
1506
1507     gst_event_parse_seek (event, &rate, &fmt, &flags, &start_type,
1508         &start, &stop_type, &stop);
1509
1510     GST_OBJECT_LOCK (self);
1511     gst_segment_do_seek (&self->segment, rate, fmt, flags, start_type, start,
1512         stop_type, stop, NULL);
1513     self->priv->seqnum = gst_event_get_seqnum (event);
1514     self->priv->first_buffer = FALSE;
1515     GST_OBJECT_UNLOCK (self);
1516
1517     GST_DEBUG_OBJECT (element, "Storing segment %" GST_PTR_FORMAT, event);
1518   }
1519   GST_STATE_UNLOCK (element);
1520
1521
1522   return GST_ELEMENT_CLASS (aggregator_parent_class)->send_event (element,
1523       event);
1524 }
1525
1526 static gboolean
1527 gst_aggregator_default_src_query (GstAggregator * self, GstQuery * query)
1528 {
1529   gboolean res = TRUE;
1530
1531   switch (GST_QUERY_TYPE (query)) {
1532     case GST_QUERY_SEEKING:
1533     {
1534       GstFormat format;
1535
1536       /* don't pass it along as some (file)sink might claim it does
1537        * whereas with a collectpads in between that will not likely work */
1538       gst_query_parse_seeking (query, &format, NULL, NULL, NULL);
1539       gst_query_set_seeking (query, format, FALSE, 0, -1);
1540       res = TRUE;
1541
1542       break;
1543     }
1544     case GST_QUERY_LATENCY:
1545       SRC_LOCK (self);
1546       res = gst_aggregator_query_latency_unlocked (self, query);
1547       SRC_UNLOCK (self);
1548       break;
1549     default:
1550       return gst_pad_query_default (self->srcpad, GST_OBJECT (self), query);
1551   }
1552
1553   return res;
1554 }
1555
1556 static gboolean
1557 gst_aggregator_event_forward_func (GstPad * pad, gpointer user_data)
1558 {
1559   EventData *evdata = user_data;
1560   gboolean ret = TRUE;
1561   GstPad *peer = gst_pad_get_peer (pad);
1562   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
1563
1564   if (peer) {
1565     if (evdata->only_to_active_pads && aggpad->priv->first_buffer) {
1566       GST_DEBUG_OBJECT (pad, "not sending event to inactive pad");
1567       ret = TRUE;
1568     } else {
1569       ret = gst_pad_send_event (peer, gst_event_ref (evdata->event));
1570       GST_DEBUG_OBJECT (pad, "return of event push is %d", ret);
1571       gst_object_unref (peer);
1572     }
1573   }
1574
1575   if (ret == FALSE) {
1576     if (GST_EVENT_TYPE (evdata->event) == GST_EVENT_SEEK) {
1577       GstQuery *seeking = gst_query_new_seeking (GST_FORMAT_TIME);
1578
1579       GST_DEBUG_OBJECT (pad, "Event %" GST_PTR_FORMAT " failed", evdata->event);
1580
1581       if (gst_pad_query (peer, seeking)) {
1582         gboolean seekable;
1583
1584         gst_query_parse_seeking (seeking, NULL, &seekable, NULL, NULL);
1585
1586         if (seekable == FALSE) {
1587           GST_INFO_OBJECT (pad,
1588               "Source not seekable, We failed but it does not matter!");
1589
1590           ret = TRUE;
1591         }
1592       } else {
1593         GST_ERROR_OBJECT (pad, "Query seeking FAILED");
1594       }
1595
1596       gst_query_unref (seeking);
1597     }
1598
1599     if (evdata->flush) {
1600       PAD_LOCK (aggpad);
1601       aggpad->priv->pending_flush_start = FALSE;
1602       aggpad->priv->pending_flush_stop = FALSE;
1603       PAD_UNLOCK (aggpad);
1604     }
1605   } else {
1606     evdata->one_actually_seeked = TRUE;
1607   }
1608
1609   evdata->result &= ret;
1610
1611   /* Always send to all pads */
1612   return FALSE;
1613 }
1614
1615 static EventData
1616 gst_aggregator_forward_event_to_all_sinkpads (GstAggregator * self,
1617     GstEvent * event, gboolean flush, gboolean only_to_active_pads)
1618 {
1619   EventData evdata;
1620
1621   evdata.event = event;
1622   evdata.result = TRUE;
1623   evdata.flush = flush;
1624   evdata.one_actually_seeked = FALSE;
1625   evdata.only_to_active_pads = only_to_active_pads;
1626
1627   /* We first need to set all pads as flushing in a first pass
1628    * as flush_start flush_stop is sometimes sent synchronously
1629    * while we send the seek event */
1630   if (flush) {
1631     GList *l;
1632
1633     GST_OBJECT_LOCK (self);
1634     for (l = GST_ELEMENT_CAST (self)->sinkpads; l != NULL; l = l->next) {
1635       GstAggregatorPad *pad = l->data;
1636
1637       PAD_LOCK (pad);
1638       pad->priv->pending_flush_start = TRUE;
1639       pad->priv->pending_flush_stop = FALSE;
1640       PAD_UNLOCK (pad);
1641     }
1642     GST_OBJECT_UNLOCK (self);
1643   }
1644
1645   gst_pad_forward (self->srcpad, gst_aggregator_event_forward_func, &evdata);
1646
1647   gst_event_unref (event);
1648
1649   return evdata;
1650 }
1651
1652 static gboolean
1653 gst_aggregator_do_seek (GstAggregator * self, GstEvent * event)
1654 {
1655   gdouble rate;
1656   GstFormat fmt;
1657   GstSeekFlags flags;
1658   GstSeekType start_type, stop_type;
1659   gint64 start, stop;
1660   gboolean flush;
1661   EventData evdata;
1662   GstAggregatorPrivate *priv = self->priv;
1663
1664   gst_event_parse_seek (event, &rate, &fmt, &flags, &start_type,
1665       &start, &stop_type, &stop);
1666
1667   GST_INFO_OBJECT (self, "starting SEEK");
1668
1669   flush = flags & GST_SEEK_FLAG_FLUSH;
1670
1671   GST_OBJECT_LOCK (self);
1672   if (flush) {
1673     priv->pending_flush_start = TRUE;
1674     priv->flush_seeking = TRUE;
1675   }
1676
1677   gst_segment_do_seek (&self->segment, rate, fmt, flags, start_type, start,
1678       stop_type, stop, NULL);
1679
1680   /* Seeking sets a position */
1681   self->priv->first_buffer = FALSE;
1682   GST_OBJECT_UNLOCK (self);
1683
1684   /* forward the seek upstream */
1685   evdata =
1686       gst_aggregator_forward_event_to_all_sinkpads (self, event, flush, FALSE);
1687   event = NULL;
1688
1689   if (!evdata.result || !evdata.one_actually_seeked) {
1690     GST_OBJECT_LOCK (self);
1691     priv->flush_seeking = FALSE;
1692     priv->pending_flush_start = FALSE;
1693     GST_OBJECT_UNLOCK (self);
1694   }
1695
1696   GST_INFO_OBJECT (self, "seek done, result: %d", evdata.result);
1697
1698   return evdata.result;
1699 }
1700
1701 static gboolean
1702 gst_aggregator_default_src_event (GstAggregator * self, GstEvent * event)
1703 {
1704   EventData evdata;
1705   gboolean res = TRUE;
1706
1707   switch (GST_EVENT_TYPE (event)) {
1708     case GST_EVENT_SEEK:
1709     {
1710       gst_event_ref (event);
1711       res = gst_aggregator_do_seek (self, event);
1712       gst_event_unref (event);
1713       event = NULL;
1714       goto done;
1715     }
1716     case GST_EVENT_NAVIGATION:
1717     {
1718       /* navigation is rather pointless. */
1719       res = FALSE;
1720       gst_event_unref (event);
1721       goto done;
1722     }
1723     default:
1724     {
1725       break;
1726     }
1727   }
1728
1729   /* Don't forward QOS events to pads that had no active buffer yet. Otherwise
1730    * they will receive a QOS event that has earliest_time=0 (because we can't
1731    * have negative timestamps), and consider their buffer as too late */
1732   evdata =
1733       gst_aggregator_forward_event_to_all_sinkpads (self, event, FALSE,
1734       GST_EVENT_TYPE (event) == GST_EVENT_QOS);
1735   res = evdata.result;
1736
1737 done:
1738   return res;
1739 }
1740
1741 static gboolean
1742 gst_aggregator_src_pad_event_func (GstPad * pad, GstObject * parent,
1743     GstEvent * event)
1744 {
1745   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (parent);
1746
1747   return klass->src_event (GST_AGGREGATOR (parent), event);
1748 }
1749
1750 static gboolean
1751 gst_aggregator_src_pad_query_func (GstPad * pad, GstObject * parent,
1752     GstQuery * query)
1753 {
1754   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (parent);
1755
1756   return klass->src_query (GST_AGGREGATOR (parent), query);
1757 }
1758
1759 static gboolean
1760 gst_aggregator_src_pad_activate_mode_func (GstPad * pad,
1761     GstObject * parent, GstPadMode mode, gboolean active)
1762 {
1763   GstAggregator *self = GST_AGGREGATOR (parent);
1764   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (parent);
1765
1766   if (klass->src_activate) {
1767     if (klass->src_activate (self, mode, active) == FALSE) {
1768       return FALSE;
1769     }
1770   }
1771
1772   if (active == TRUE) {
1773     switch (mode) {
1774       case GST_PAD_MODE_PUSH:
1775       {
1776         GST_INFO_OBJECT (pad, "Activating pad!");
1777         gst_aggregator_start_srcpad_task (self);
1778         return TRUE;
1779       }
1780       default:
1781       {
1782         GST_ERROR_OBJECT (pad, "Only supported mode is PUSH");
1783         return FALSE;
1784       }
1785     }
1786   }
1787
1788   /* deactivating */
1789   GST_INFO_OBJECT (self, "Deactivating srcpad");
1790   gst_aggregator_stop_srcpad_task (self, FALSE);
1791
1792   return TRUE;
1793 }
1794
1795 static gboolean
1796 gst_aggregator_default_sink_query (GstAggregator * self,
1797     GstAggregatorPad * aggpad, GstQuery * query)
1798 {
1799   GstPad *pad = GST_PAD (aggpad);
1800
1801   return gst_pad_query_default (pad, GST_OBJECT (self), query);
1802 }
1803
1804 static void
1805 gst_aggregator_finalize (GObject * object)
1806 {
1807   GstAggregator *self = (GstAggregator *) object;
1808
1809   g_mutex_clear (&self->priv->src_lock);
1810   g_cond_clear (&self->priv->src_cond);
1811
1812   G_OBJECT_CLASS (aggregator_parent_class)->finalize (object);
1813 }
1814
1815 /*
1816  * gst_aggregator_set_latency_property:
1817  * @agg: a #GstAggregator
1818  * @latency: the new latency value (in nanoseconds).
1819  *
1820  * Sets the new latency value to @latency. This value is used to limit the
1821  * amount of time a pad waits for data to appear before considering the pad
1822  * as unresponsive.
1823  */
1824 static void
1825 gst_aggregator_set_latency_property (GstAggregator * self, gint64 latency)
1826 {
1827   gboolean changed;
1828
1829   g_return_if_fail (GST_IS_AGGREGATOR (self));
1830   g_return_if_fail (GST_CLOCK_TIME_IS_VALID (latency));
1831
1832   SRC_LOCK (self);
1833   changed = (self->priv->latency != latency);
1834
1835   if (changed) {
1836     GList *item;
1837
1838     GST_OBJECT_LOCK (self);
1839     /* First lock all the pads */
1840     for (item = GST_ELEMENT_CAST (self)->sinkpads; item; item = item->next) {
1841       GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (item->data);
1842       PAD_LOCK (aggpad);
1843     }
1844
1845     self->priv->latency = latency;
1846
1847     SRC_BROADCAST (self);
1848
1849     /* Now wake up the pads */
1850     for (item = GST_ELEMENT_CAST (self)->sinkpads; item; item = item->next) {
1851       GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (item->data);
1852       PAD_BROADCAST_EVENT (aggpad);
1853       PAD_UNLOCK (aggpad);
1854     }
1855     GST_OBJECT_UNLOCK (self);
1856   }
1857
1858   SRC_UNLOCK (self);
1859
1860   if (changed)
1861     gst_element_post_message (GST_ELEMENT_CAST (self),
1862         gst_message_new_latency (GST_OBJECT_CAST (self)));
1863 }
1864
1865 /*
1866  * gst_aggregator_get_latency_property:
1867  * @agg: a #GstAggregator
1868  *
1869  * Gets the latency value. See gst_aggregator_set_latency for
1870  * more details.
1871  *
1872  * Returns: The time in nanoseconds to wait for data to arrive on a sink pad
1873  * before a pad is deemed unresponsive. A value of -1 means an
1874  * unlimited time.
1875  */
1876 static gint64
1877 gst_aggregator_get_latency_property (GstAggregator * agg)
1878 {
1879   gint64 res;
1880
1881   g_return_val_if_fail (GST_IS_AGGREGATOR (agg), -1);
1882
1883   GST_OBJECT_LOCK (agg);
1884   res = agg->priv->latency;
1885   GST_OBJECT_UNLOCK (agg);
1886
1887   return res;
1888 }
1889
1890 static void
1891 gst_aggregator_set_property (GObject * object, guint prop_id,
1892     const GValue * value, GParamSpec * pspec)
1893 {
1894   GstAggregator *agg = GST_AGGREGATOR (object);
1895
1896   switch (prop_id) {
1897     case PROP_LATENCY:
1898       gst_aggregator_set_latency_property (agg, g_value_get_int64 (value));
1899       break;
1900     case PROP_START_TIME_SELECTION:
1901       agg->priv->start_time_selection = g_value_get_enum (value);
1902       break;
1903     case PROP_START_TIME:
1904       agg->priv->start_time = g_value_get_uint64 (value);
1905       break;
1906     default:
1907       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
1908       break;
1909   }
1910 }
1911
1912 static void
1913 gst_aggregator_get_property (GObject * object, guint prop_id,
1914     GValue * value, GParamSpec * pspec)
1915 {
1916   GstAggregator *agg = GST_AGGREGATOR (object);
1917
1918   switch (prop_id) {
1919     case PROP_LATENCY:
1920       g_value_set_int64 (value, gst_aggregator_get_latency_property (agg));
1921       break;
1922     case PROP_START_TIME_SELECTION:
1923       g_value_set_enum (value, agg->priv->start_time_selection);
1924       break;
1925     case PROP_START_TIME:
1926       g_value_set_uint64 (value, agg->priv->start_time);
1927       break;
1928     default:
1929       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
1930       break;
1931   }
1932 }
1933
1934 /* GObject vmethods implementations */
1935 static void
1936 gst_aggregator_class_init (GstAggregatorClass * klass)
1937 {
1938   GObjectClass *gobject_class = (GObjectClass *) klass;
1939   GstElementClass *gstelement_class = (GstElementClass *) klass;
1940
1941   aggregator_parent_class = g_type_class_peek_parent (klass);
1942   g_type_class_add_private (klass, sizeof (GstAggregatorPrivate));
1943
1944   GST_DEBUG_CATEGORY_INIT (aggregator_debug, "aggregator",
1945       GST_DEBUG_FG_MAGENTA, "GstAggregator");
1946
1947   klass->sinkpads_type = GST_TYPE_AGGREGATOR_PAD;
1948
1949   klass->sink_event = gst_aggregator_default_sink_event;
1950   klass->sink_query = gst_aggregator_default_sink_query;
1951
1952   klass->src_event = gst_aggregator_default_src_event;
1953   klass->src_query = gst_aggregator_default_src_query;
1954
1955   klass->create_new_pad = gst_aggregator_default_create_new_pad;
1956
1957   gstelement_class->request_new_pad =
1958       GST_DEBUG_FUNCPTR (gst_aggregator_request_new_pad);
1959   gstelement_class->send_event = GST_DEBUG_FUNCPTR (gst_aggregator_send_event);
1960   gstelement_class->release_pad =
1961       GST_DEBUG_FUNCPTR (gst_aggregator_release_pad);
1962   gstelement_class->change_state =
1963       GST_DEBUG_FUNCPTR (gst_aggregator_change_state);
1964
1965   gobject_class->set_property = gst_aggregator_set_property;
1966   gobject_class->get_property = gst_aggregator_get_property;
1967   gobject_class->finalize = gst_aggregator_finalize;
1968
1969   g_object_class_install_property (gobject_class, PROP_LATENCY,
1970       g_param_spec_int64 ("latency", "Buffer latency",
1971           "Additional latency in live mode to allow upstream "
1972           "to take longer to produce buffers for the current "
1973           "position (in nanoseconds)", 0,
1974           (G_MAXLONG == G_MAXINT64) ? G_MAXINT64 : (G_MAXLONG * GST_SECOND - 1),
1975           DEFAULT_LATENCY, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
1976
1977   g_object_class_install_property (gobject_class, PROP_START_TIME_SELECTION,
1978       g_param_spec_enum ("start-time-selection", "Start Time Selection",
1979           "Decides which start time is output",
1980           gst_aggregator_start_time_selection_get_type (),
1981           DEFAULT_START_TIME_SELECTION,
1982           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
1983
1984   g_object_class_install_property (gobject_class, PROP_START_TIME,
1985       g_param_spec_uint64 ("start-time", "Start Time",
1986           "Start time to use if start-time-selection=set", 0,
1987           G_MAXUINT64,
1988           DEFAULT_START_TIME, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
1989
1990   GST_DEBUG_REGISTER_FUNCPTR (gst_aggregator_stop_pad);
1991 }
1992
1993 static void
1994 gst_aggregator_init (GstAggregator * self, GstAggregatorClass * klass)
1995 {
1996   GstPadTemplate *pad_template;
1997   GstAggregatorPrivate *priv;
1998
1999   g_return_if_fail (klass->aggregate != NULL);
2000
2001   self->priv =
2002       G_TYPE_INSTANCE_GET_PRIVATE (self, GST_TYPE_AGGREGATOR,
2003       GstAggregatorPrivate);
2004
2005   priv = self->priv;
2006
2007   pad_template =
2008       gst_element_class_get_pad_template (GST_ELEMENT_CLASS (klass), "src");
2009   g_return_if_fail (pad_template != NULL);
2010
2011   priv->padcount = -1;
2012   priv->tags_changed = FALSE;
2013
2014   self->priv->peer_latency_live = FALSE;
2015   self->priv->peer_latency_min = self->priv->sub_latency_min = 0;
2016   self->priv->peer_latency_max = self->priv->sub_latency_max = 0;
2017   self->priv->has_peer_latency = FALSE;
2018   gst_aggregator_reset_flow_values (self);
2019
2020   self->srcpad = gst_pad_new_from_template (pad_template, "src");
2021
2022   gst_pad_set_event_function (self->srcpad,
2023       GST_DEBUG_FUNCPTR (gst_aggregator_src_pad_event_func));
2024   gst_pad_set_query_function (self->srcpad,
2025       GST_DEBUG_FUNCPTR (gst_aggregator_src_pad_query_func));
2026   gst_pad_set_activatemode_function (self->srcpad,
2027       GST_DEBUG_FUNCPTR (gst_aggregator_src_pad_activate_mode_func));
2028
2029   gst_element_add_pad (GST_ELEMENT (self), self->srcpad);
2030
2031   self->priv->latency = DEFAULT_LATENCY;
2032   self->priv->start_time_selection = DEFAULT_START_TIME_SELECTION;
2033   self->priv->start_time = DEFAULT_START_TIME;
2034
2035   g_mutex_init (&self->priv->src_lock);
2036   g_cond_init (&self->priv->src_cond);
2037 }
2038
2039 /* we can't use G_DEFINE_ABSTRACT_TYPE because we need the klass in the _init
2040  * method to get to the padtemplates */
2041 GType
2042 gst_aggregator_get_type (void)
2043 {
2044   static volatile gsize type = 0;
2045
2046   if (g_once_init_enter (&type)) {
2047     GType _type;
2048     static const GTypeInfo info = {
2049       sizeof (GstAggregatorClass),
2050       NULL,
2051       NULL,
2052       (GClassInitFunc) gst_aggregator_class_init,
2053       NULL,
2054       NULL,
2055       sizeof (GstAggregator),
2056       0,
2057       (GInstanceInitFunc) gst_aggregator_init,
2058     };
2059
2060     _type = g_type_register_static (GST_TYPE_ELEMENT,
2061         "GstAggregator", &info, G_TYPE_FLAG_ABSTRACT);
2062     g_once_init_leave (&type, _type);
2063   }
2064   return type;
2065 }
2066
2067 /* Must be called with SRC lock and PAD lock held */
2068 static gboolean
2069 gst_aggregator_pad_has_space (GstAggregator * self, GstAggregatorPad * aggpad)
2070 {
2071   /* Empty queue always has space */
2072   if (g_queue_get_length (&aggpad->priv->buffers) == 0)
2073     return TRUE;
2074
2075   /* We also want at least two buffers, one is being processed and one is ready
2076    * for the next iteration when we operate in live mode. */
2077   if (self->priv->peer_latency_live && aggpad->priv->num_buffers < 2)
2078     return TRUE;
2079
2080   /* zero latency, if there is a buffer, it's full */
2081   if (self->priv->latency == 0)
2082     return FALSE;
2083
2084   /* Allow no more buffers than the latency */
2085   return (aggpad->priv->time_level <= self->priv->latency);
2086 }
2087
2088 /* Must be called with the PAD_LOCK held */
2089 static void
2090 apply_buffer (GstAggregatorPad * aggpad, GstBuffer * buffer, gboolean head)
2091 {
2092   GstClockTime timestamp;
2093
2094   if (GST_BUFFER_DTS_IS_VALID (buffer))
2095     timestamp = GST_BUFFER_DTS (buffer);
2096   else
2097     timestamp = GST_BUFFER_PTS (buffer);
2098
2099   if (timestamp == GST_CLOCK_TIME_NONE) {
2100     if (head)
2101       timestamp = aggpad->priv->head_position;
2102     else
2103       timestamp = aggpad->priv->tail_position;
2104   }
2105
2106   /* add duration */
2107   if (GST_BUFFER_DURATION_IS_VALID (buffer))
2108     timestamp += GST_BUFFER_DURATION (buffer);
2109
2110   if (head)
2111     aggpad->priv->head_position = timestamp;
2112   else
2113     aggpad->priv->tail_position = timestamp;
2114
2115   update_time_level (aggpad, head);
2116 }
2117
2118 static GstFlowReturn
2119 gst_aggregator_pad_chain_internal (GstAggregator * self,
2120     GstAggregatorPad * aggpad, GstBuffer * buffer, gboolean head)
2121 {
2122   GstBuffer *actual_buf = buffer;
2123   GstAggregatorClass *aggclass = GST_AGGREGATOR_GET_CLASS (self);
2124   GstFlowReturn flow_return;
2125   GstClockTime buf_pts;
2126
2127   GST_DEBUG_OBJECT (aggpad, "Start chaining a buffer %" GST_PTR_FORMAT, buffer);
2128
2129   PAD_FLUSH_LOCK (aggpad);
2130
2131   PAD_LOCK (aggpad);
2132   flow_return = aggpad->priv->flow_return;
2133   if (flow_return != GST_FLOW_OK)
2134     goto flushing;
2135
2136   if (aggpad->priv->pending_eos == TRUE)
2137     goto eos;
2138
2139   flow_return = aggpad->priv->flow_return;
2140   if (flow_return != GST_FLOW_OK)
2141     goto flushing;
2142
2143   PAD_UNLOCK (aggpad);
2144
2145   if (aggclass->clip && head) {
2146     aggclass->clip (self, aggpad, buffer, &actual_buf);
2147   }
2148
2149   if (actual_buf == NULL) {
2150     GST_LOG_OBJECT (actual_buf, "Buffer dropped by clip function");
2151     goto done;
2152   }
2153
2154   buf_pts = GST_BUFFER_PTS (actual_buf);
2155
2156   aggpad->priv->first_buffer = FALSE;
2157
2158   for (;;) {
2159     SRC_LOCK (self);
2160     GST_OBJECT_LOCK (self);
2161     PAD_LOCK (aggpad);
2162     if (gst_aggregator_pad_has_space (self, aggpad)
2163         && aggpad->priv->flow_return == GST_FLOW_OK) {
2164       if (head)
2165         g_queue_push_head (&aggpad->priv->buffers, actual_buf);
2166       else
2167         g_queue_push_tail (&aggpad->priv->buffers, actual_buf);
2168       apply_buffer (aggpad, actual_buf, head);
2169       aggpad->priv->num_buffers++;
2170       actual_buf = buffer = NULL;
2171       SRC_BROADCAST (self);
2172       break;
2173     }
2174
2175     flow_return = aggpad->priv->flow_return;
2176     if (flow_return != GST_FLOW_OK) {
2177       GST_OBJECT_UNLOCK (self);
2178       SRC_UNLOCK (self);
2179       goto flushing;
2180     }
2181     GST_DEBUG_OBJECT (aggpad, "Waiting for buffer to be consumed");
2182     GST_OBJECT_UNLOCK (self);
2183     SRC_UNLOCK (self);
2184     PAD_WAIT_EVENT (aggpad);
2185
2186     PAD_UNLOCK (aggpad);
2187   }
2188
2189   if (self->priv->first_buffer) {
2190     GstClockTime start_time;
2191
2192     switch (self->priv->start_time_selection) {
2193       case GST_AGGREGATOR_START_TIME_SELECTION_ZERO:
2194       default:
2195         start_time = 0;
2196         break;
2197       case GST_AGGREGATOR_START_TIME_SELECTION_FIRST:
2198         GST_OBJECT_LOCK (aggpad);
2199         if (aggpad->segment.format == GST_FORMAT_TIME) {
2200           start_time = buf_pts;
2201           if (start_time != -1) {
2202             start_time = MAX (start_time, aggpad->segment.start);
2203             start_time =
2204                 gst_segment_to_running_time (&aggpad->segment, GST_FORMAT_TIME,
2205                 start_time);
2206           }
2207         } else {
2208           start_time = 0;
2209           GST_WARNING_OBJECT (aggpad,
2210               "Ignoring request of selecting the first start time "
2211               "as the segment is a %s segment instead of a time segment",
2212               gst_format_get_name (aggpad->segment.format));
2213         }
2214         GST_OBJECT_UNLOCK (aggpad);
2215         break;
2216       case GST_AGGREGATOR_START_TIME_SELECTION_SET:
2217         start_time = self->priv->start_time;
2218         if (start_time == -1)
2219           start_time = 0;
2220         break;
2221     }
2222
2223     if (start_time != -1) {
2224       if (self->segment.position == -1)
2225         self->segment.position = start_time;
2226       else
2227         self->segment.position = MIN (start_time, self->segment.position);
2228
2229       GST_DEBUG_OBJECT (self, "Selecting start time %" GST_TIME_FORMAT,
2230           GST_TIME_ARGS (start_time));
2231     }
2232   }
2233
2234   PAD_UNLOCK (aggpad);
2235   GST_OBJECT_UNLOCK (self);
2236   SRC_UNLOCK (self);
2237
2238 done:
2239
2240   PAD_FLUSH_UNLOCK (aggpad);
2241
2242   GST_DEBUG_OBJECT (aggpad, "Done chaining");
2243
2244   return flow_return;
2245
2246 flushing:
2247   PAD_UNLOCK (aggpad);
2248   PAD_FLUSH_UNLOCK (aggpad);
2249
2250   GST_DEBUG_OBJECT (aggpad, "Pad is %s, dropping buffer",
2251       gst_flow_get_name (flow_return));
2252   if (buffer)
2253     gst_buffer_unref (buffer);
2254
2255   return flow_return;
2256
2257 eos:
2258   PAD_UNLOCK (aggpad);
2259   PAD_FLUSH_UNLOCK (aggpad);
2260
2261   gst_buffer_unref (buffer);
2262   GST_DEBUG_OBJECT (aggpad, "We are EOS already...");
2263
2264   return GST_FLOW_EOS;
2265 }
2266
2267 static GstFlowReturn
2268 gst_aggregator_pad_chain (GstPad * pad, GstObject * object, GstBuffer * buffer)
2269 {
2270   return gst_aggregator_pad_chain_internal (GST_AGGREGATOR_CAST (object),
2271       GST_AGGREGATOR_PAD_CAST (pad), buffer, TRUE);
2272 }
2273
2274 static gboolean
2275 gst_aggregator_pad_query_func (GstPad * pad, GstObject * parent,
2276     GstQuery * query)
2277 {
2278   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
2279   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (parent);
2280
2281   if (GST_QUERY_IS_SERIALIZED (query)) {
2282     PAD_LOCK (aggpad);
2283
2284     while (!gst_aggregator_pad_queue_is_empty (aggpad)
2285         && aggpad->priv->flow_return == GST_FLOW_OK) {
2286       GST_DEBUG_OBJECT (aggpad, "Waiting for buffer to be consumed");
2287       PAD_WAIT_EVENT (aggpad);
2288     }
2289
2290     if (aggpad->priv->flow_return != GST_FLOW_OK)
2291       goto flushing;
2292
2293     PAD_UNLOCK (aggpad);
2294   }
2295
2296   return klass->sink_query (GST_AGGREGATOR (parent),
2297       GST_AGGREGATOR_PAD (pad), query);
2298
2299 flushing:
2300   GST_DEBUG_OBJECT (aggpad, "Pad is %s, dropping query",
2301       gst_flow_get_name (aggpad->priv->flow_return));
2302   PAD_UNLOCK (aggpad);
2303   return FALSE;
2304 }
2305
2306 static gboolean
2307 gst_aggregator_pad_event_func (GstPad * pad, GstObject * parent,
2308     GstEvent * event)
2309 {
2310   GstAggregator *self = GST_AGGREGATOR (parent);
2311   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
2312   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (parent);
2313
2314   if (GST_EVENT_IS_SERIALIZED (event) && GST_EVENT_TYPE (event) != GST_EVENT_EOS
2315       /* && GST_EVENT_TYPE (event) != GST_EVENT_SEGMENT_DONE */ ) {
2316     SRC_LOCK (self);
2317     PAD_LOCK (aggpad);
2318
2319     if (aggpad->priv->flow_return != GST_FLOW_OK
2320         && GST_EVENT_TYPE (event) != GST_EVENT_FLUSH_STOP)
2321       goto flushing;
2322
2323     if (GST_EVENT_TYPE (event) == GST_EVENT_SEGMENT) {
2324       GST_OBJECT_LOCK (aggpad);
2325       gst_event_copy_segment (event, &aggpad->clip_segment);
2326       aggpad->priv->head_position = aggpad->clip_segment.position;
2327       update_time_level (aggpad, TRUE);
2328       GST_OBJECT_UNLOCK (aggpad);
2329     }
2330
2331     if (!gst_aggregator_pad_queue_is_empty (aggpad) &&
2332         GST_EVENT_TYPE (event) != GST_EVENT_FLUSH_STOP) {
2333       GST_DEBUG_OBJECT (aggpad, "Store event in queue: %" GST_PTR_FORMAT,
2334           event);
2335       g_queue_push_head (&aggpad->priv->buffers, event);
2336       event = NULL;
2337       SRC_BROADCAST (self);
2338     }
2339     PAD_UNLOCK (aggpad);
2340     SRC_UNLOCK (self);
2341   }
2342
2343   if (event)
2344     return klass->sink_event (self, aggpad, event);
2345   else
2346     return TRUE;
2347
2348 flushing:
2349   GST_DEBUG_OBJECT (aggpad, "Pad is %s, dropping event",
2350       gst_flow_get_name (aggpad->priv->flow_return));
2351   PAD_UNLOCK (aggpad);
2352   SRC_UNLOCK (self);
2353   if (GST_EVENT_IS_STICKY (event))
2354     gst_pad_store_sticky_event (pad, event);
2355   gst_event_unref (event);
2356   return FALSE;
2357 }
2358
2359 static gboolean
2360 gst_aggregator_pad_activate_mode_func (GstPad * pad,
2361     GstObject * parent, GstPadMode mode, gboolean active)
2362 {
2363   GstAggregator *self = GST_AGGREGATOR (parent);
2364   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
2365
2366   if (active == FALSE) {
2367     SRC_LOCK (self);
2368     gst_aggregator_pad_set_flushing (aggpad, GST_FLOW_FLUSHING, TRUE);
2369     SRC_BROADCAST (self);
2370     SRC_UNLOCK (self);
2371   } else {
2372     PAD_LOCK (aggpad);
2373     aggpad->priv->flow_return = GST_FLOW_OK;
2374     PAD_BROADCAST_EVENT (aggpad);
2375     PAD_UNLOCK (aggpad);
2376   }
2377
2378   return TRUE;
2379 }
2380
2381 /***********************************
2382  * GstAggregatorPad implementation  *
2383  ************************************/
2384 G_DEFINE_TYPE (GstAggregatorPad, gst_aggregator_pad, GST_TYPE_PAD);
2385
2386 static void
2387 gst_aggregator_pad_constructed (GObject * object)
2388 {
2389   GstPad *pad = GST_PAD (object);
2390
2391   gst_pad_set_chain_function (pad,
2392       GST_DEBUG_FUNCPTR (gst_aggregator_pad_chain));
2393   gst_pad_set_event_function (pad,
2394       GST_DEBUG_FUNCPTR (gst_aggregator_pad_event_func));
2395   gst_pad_set_query_function (pad,
2396       GST_DEBUG_FUNCPTR (gst_aggregator_pad_query_func));
2397   gst_pad_set_activatemode_function (pad,
2398       GST_DEBUG_FUNCPTR (gst_aggregator_pad_activate_mode_func));
2399 }
2400
2401 static void
2402 gst_aggregator_pad_finalize (GObject * object)
2403 {
2404   GstAggregatorPad *pad = (GstAggregatorPad *) object;
2405
2406   g_cond_clear (&pad->priv->event_cond);
2407   g_mutex_clear (&pad->priv->flush_lock);
2408   g_mutex_clear (&pad->priv->lock);
2409
2410   G_OBJECT_CLASS (gst_aggregator_pad_parent_class)->finalize (object);
2411 }
2412
2413 static void
2414 gst_aggregator_pad_dispose (GObject * object)
2415 {
2416   GstAggregatorPad *pad = (GstAggregatorPad *) object;
2417
2418   gst_aggregator_pad_set_flushing (pad, GST_FLOW_FLUSHING, TRUE);
2419
2420   G_OBJECT_CLASS (gst_aggregator_pad_parent_class)->dispose (object);
2421 }
2422
2423 static void
2424 gst_aggregator_pad_class_init (GstAggregatorPadClass * klass)
2425 {
2426   GObjectClass *gobject_class = (GObjectClass *) klass;
2427
2428   g_type_class_add_private (klass, sizeof (GstAggregatorPadPrivate));
2429
2430   gobject_class->constructed = gst_aggregator_pad_constructed;
2431   gobject_class->finalize = gst_aggregator_pad_finalize;
2432   gobject_class->dispose = gst_aggregator_pad_dispose;
2433 }
2434
2435 static void
2436 gst_aggregator_pad_init (GstAggregatorPad * pad)
2437 {
2438   pad->priv =
2439       G_TYPE_INSTANCE_GET_PRIVATE (pad, GST_TYPE_AGGREGATOR_PAD,
2440       GstAggregatorPadPrivate);
2441
2442   g_queue_init (&pad->priv->buffers);
2443   g_cond_init (&pad->priv->event_cond);
2444
2445   g_mutex_init (&pad->priv->flush_lock);
2446   g_mutex_init (&pad->priv->lock);
2447
2448   pad->priv->first_buffer = TRUE;
2449 }
2450
2451 /**
2452  * gst_aggregator_pad_steal_buffer:
2453  * @pad: the pad to get buffer from
2454  *
2455  * Steal the ref to the buffer currently queued in @pad.
2456  *
2457  * Returns: (transfer full): The buffer in @pad or NULL if no buffer was
2458  *   queued. You should unref the buffer after usage.
2459  */
2460 GstBuffer *
2461 gst_aggregator_pad_steal_buffer (GstAggregatorPad * pad)
2462 {
2463   GstBuffer *buffer = NULL;
2464
2465   PAD_LOCK (pad);
2466   if (GST_IS_BUFFER (g_queue_peek_tail (&pad->priv->buffers)))
2467     buffer = g_queue_pop_tail (&pad->priv->buffers);
2468
2469   if (buffer) {
2470     apply_buffer (pad, buffer, FALSE);
2471     pad->priv->num_buffers--;
2472     GST_TRACE_OBJECT (pad, "Consuming buffer");
2473     if (gst_aggregator_pad_queue_is_empty (pad) && pad->priv->pending_eos) {
2474       pad->priv->pending_eos = FALSE;
2475       pad->priv->eos = TRUE;
2476     }
2477     PAD_BROADCAST_EVENT (pad);
2478     GST_DEBUG_OBJECT (pad, "Consumed: %" GST_PTR_FORMAT, buffer);
2479   }
2480   PAD_UNLOCK (pad);
2481
2482   return buffer;
2483 }
2484
2485 /**
2486  * gst_aggregator_pad_drop_buffer:
2487  * @pad: the pad where to drop any pending buffer
2488  *
2489  * Drop the buffer currently queued in @pad.
2490  *
2491  * Returns: TRUE if there was a buffer queued in @pad, or FALSE if not.
2492  */
2493 gboolean
2494 gst_aggregator_pad_drop_buffer (GstAggregatorPad * pad)
2495 {
2496   GstBuffer *buf;
2497
2498   buf = gst_aggregator_pad_steal_buffer (pad);
2499
2500   if (buf == NULL)
2501     return FALSE;
2502
2503   gst_buffer_unref (buf);
2504   return TRUE;
2505 }
2506
2507 /**
2508  * gst_aggregator_pad_get_buffer:
2509  * @pad: the pad to get buffer from
2510  *
2511  * Returns: (transfer full): A reference to the buffer in @pad or
2512  * NULL if no buffer was queued. You should unref the buffer after
2513  * usage.
2514  */
2515 GstBuffer *
2516 gst_aggregator_pad_get_buffer (GstAggregatorPad * pad)
2517 {
2518   GstBuffer *buffer = NULL;
2519
2520   PAD_LOCK (pad);
2521   buffer = g_queue_peek_tail (&pad->priv->buffers);
2522   /* The tail should always be a buffer, because if it is an event,
2523    * it will be consumed immeditaly in gst_aggregator_steal_buffer */
2524
2525   if (GST_IS_BUFFER (buffer))
2526     gst_buffer_ref (buffer);
2527   else
2528     buffer = NULL;
2529   PAD_UNLOCK (pad);
2530
2531   return buffer;
2532 }
2533
2534 gboolean
2535 gst_aggregator_pad_is_eos (GstAggregatorPad * pad)
2536 {
2537   gboolean is_eos;
2538
2539   PAD_LOCK (pad);
2540   is_eos = pad->priv->eos;
2541   PAD_UNLOCK (pad);
2542
2543   return is_eos;
2544 }
2545
2546 /**
2547  * gst_aggregator_merge_tags:
2548  * @self: a #GstAggregator
2549  * @tags: a #GstTagList to merge
2550  * @mode: the #GstTagMergeMode to use
2551  *
2552  * Adds tags to so-called pending tags, which will be processed
2553  * before pushing out data downstream.
2554  *
2555  * Note that this is provided for convenience, and the subclass is
2556  * not required to use this and can still do tag handling on its own.
2557  *
2558  * MT safe.
2559  */
2560 void
2561 gst_aggregator_merge_tags (GstAggregator * self,
2562     const GstTagList * tags, GstTagMergeMode mode)
2563 {
2564   GstTagList *otags;
2565
2566   g_return_if_fail (GST_IS_AGGREGATOR (self));
2567   g_return_if_fail (tags == NULL || GST_IS_TAG_LIST (tags));
2568
2569   /* FIXME Check if we can use OBJECT lock here! */
2570   GST_OBJECT_LOCK (self);
2571   if (tags)
2572     GST_DEBUG_OBJECT (self, "merging tags %" GST_PTR_FORMAT, tags);
2573   otags = self->priv->tags;
2574   self->priv->tags = gst_tag_list_merge (self->priv->tags, tags, mode);
2575   if (otags)
2576     gst_tag_list_unref (otags);
2577   self->priv->tags_changed = TRUE;
2578   GST_OBJECT_UNLOCK (self);
2579 }
2580
2581 /**
2582  * gst_aggregator_set_latency:
2583  * @self: a #GstAggregator
2584  * @min_latency: minimum latency
2585  * @max_latency: maximum latency
2586  *
2587  * Lets #GstAggregator sub-classes tell the baseclass what their internal
2588  * latency is. Will also post a LATENCY message on the bus so the pipeline
2589  * can reconfigure its global latency.
2590  */
2591 void
2592 gst_aggregator_set_latency (GstAggregator * self,
2593     GstClockTime min_latency, GstClockTime max_latency)
2594 {
2595   gboolean changed = FALSE;
2596
2597   g_return_if_fail (GST_IS_AGGREGATOR (self));
2598   g_return_if_fail (GST_CLOCK_TIME_IS_VALID (min_latency));
2599   g_return_if_fail (max_latency >= min_latency);
2600
2601   SRC_LOCK (self);
2602   if (self->priv->sub_latency_min != min_latency) {
2603     self->priv->sub_latency_min = min_latency;
2604     changed = TRUE;
2605   }
2606   if (self->priv->sub_latency_max != max_latency) {
2607     self->priv->sub_latency_max = max_latency;
2608     changed = TRUE;
2609   }
2610
2611   if (changed)
2612     SRC_BROADCAST (self);
2613   SRC_UNLOCK (self);
2614
2615   if (changed) {
2616     gst_element_post_message (GST_ELEMENT_CAST (self),
2617         gst_message_new_latency (GST_OBJECT_CAST (self)));
2618   }
2619 }