libs/gst/base/gstaggregator.c

   1 /* GStreamer aggregator base class
   2  * Copyright (C) 2014 Mathieu Duponchelle <mathieu.duponchelle@opencreed.com>
   3  * Copyright (C) 2014 Thibault Saunier <tsaunier@gnome.org>
   4  *
   5  * gstaggregator.c:
   6  *
   7  * This library is free software; you can redistribute it and/or
   8  * modify it under the terms of the GNU Library General Public
   9  * License as published by the Free Software Foundation; either
  10  * version 2 of the License, or (at your option) any later version.
  11  *
  12  * This library is distributed in the hope that it will be useful,
  13  * but WITHOUT ANY WARRANTY; without even the implied warranty of
  14  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  15  * Library General Public License for more details.
  16  *
  17  * You should have received a copy of the GNU Library General Public
  18  * License along with this library; if not, write to the
  19  * Free Software Foundation, Inc., 51 Franklin St, Fifth Floor,
  20  * Boston, MA 02110-1301, USA.
  21  */
  22 /**
  23  * SECTION: gstaggregator
  24  * @title: GstAggregator
  25  * @short_description: Base class for mixers and muxers, manages a set of input
  26  *     pads and aggregates their streams
  27  * @see_also: gstcollectpads for historical reasons.
  28  *
  29  * Manages a set of pads with the purpose of aggregating their buffers.
  30  * Control is given to the subclass when all pads have data.
  31  *
  32  *  * Base class for mixers and muxers. Subclasses should at least implement
  33  *    the #GstAggregatorClass.aggregate() virtual method.
  34  *
  35  *  * Installs a #GstPadChainFunction, a #GstPadEventFullFunction and a
  36  *    #GstPadQueryFunction to queue all serialized data packets per sink pad.
  37  *    Subclasses should not overwrite those, but instead implement
  38  *    #GstAggregatorClass.sink_event() and #GstAggregatorClass.sink_query() as
  39  *    needed.
  40  *
  41  *  * When data is queued on all pads, the aggregate vmethod is called.
  42  *
  43  *  * One can peek at the data on any given GstAggregatorPad with the
  44  *    gst_aggregator_pad_peek_buffer () method, and remove it from the pad
  45  *    with the gst_aggregator_pad_pop_buffer () method. When a buffer
  46  *    has been taken with pop_buffer (), a new buffer can be queued
  47  *    on that pad.
  48  *
  49  *  * If the subclass wishes to push a buffer downstream in its aggregate
  50  *    implementation, it should do so through the
  51  *    gst_aggregator_finish_buffer () method. This method will take care
  52  *    of sending and ordering mandatory events such as stream start, caps
  53  *    and segment.
  54  *
  55  *  * Same goes for EOS events, which should not be pushed directly by the
  56  *    subclass, it should instead return GST_FLOW_EOS in its aggregate
  57  *    implementation.
  58  *
  59  *  * Note that the aggregator logic regarding gap event handling is to turn
  60  *    these into gap buffers with matching PTS and duration. It will also
  61  *    flag these buffers with GST_BUFFER_FLAG_GAP and GST_BUFFER_FLAG_DROPPABLE
  62  *    to ease their identification and subsequent processing.
  63  *
  64  *  * Subclasses must use (a subclass of) #GstAggregatorPad for both their
  65  *    sink and source pads.
  66  *    See gst_element_class_add_static_pad_template_with_gtype().
  67  *
  68  * This class used to live in gst-plugins-bad and was moved to core.
  69  *
  70  * Since: 1.14
  71  */
  72
  73 /**
  74  * SECTION: gstaggregatorpad
  75  * @title: GstAggregatorPad
  76  * @short_description: #GstPad subclass for pads managed by #GstAggregator
  77  * @see_also: gstcollectpads for historical reasons.
  78  *
  79  * Pads managed by a #GstAggregor subclass.
  80  *
  81  * This class used to live in gst-plugins-bad and was moved to core.
  82  *
  83  * Since: 1.14
  84  */
  85
  86 #ifdef HAVE_CONFIG_H
  87 #  include "config.h"
  88 #endif
  89
  90 #include <string.h>             /* strlen */
  91
  92 #include "gstaggregator.h"
  93
  94 typedef enum
  95 {
  96   GST_AGGREGATOR_START_TIME_SELECTION_ZERO,
  97   GST_AGGREGATOR_START_TIME_SELECTION_FIRST,
  98   GST_AGGREGATOR_START_TIME_SELECTION_SET
  99 } GstAggregatorStartTimeSelection;
 100
 101 static GType
 102 gst_aggregator_start_time_selection_get_type (void)
 103 {
 104   static GType gtype = 0;
 105
 106   if (gtype == 0) {
 107     static const GEnumValue values[] = {
 108       {GST_AGGREGATOR_START_TIME_SELECTION_ZERO,
 109           "Start at 0 running time (default)", "zero"},
 110       {GST_AGGREGATOR_START_TIME_SELECTION_FIRST,
 111           "Start at first observed input running time", "first"},
 112       {GST_AGGREGATOR_START_TIME_SELECTION_SET,
 113           "Set start time with start-time property", "set"},
 114       {0, NULL, NULL}
 115     };
 116
 117     gtype = g_enum_register_static ("GstAggregatorStartTimeSelection", values);
 118   }
 119   return gtype;
 120 }
 121
 122 /*  Might become API */
 123 #if 0
 124 static void gst_aggregator_merge_tags (GstAggregator * aggregator,
 125     const GstTagList * tags, GstTagMergeMode mode);
 126 #endif
 127 static void gst_aggregator_set_latency_property (GstAggregator * agg,
 128     GstClockTime latency);
 129 static GstClockTime gst_aggregator_get_latency_property (GstAggregator * agg);
 130
 131 static GstClockTime gst_aggregator_get_latency_unlocked (GstAggregator * self);
 132
 133 static void gst_aggregator_pad_buffer_consumed (GstAggregatorPad * pad,
 134     GstBuffer * buffer);
 135
 136 GST_DEBUG_CATEGORY_STATIC (aggregator_debug);
 137 #define GST_CAT_DEFAULT aggregator_debug
 138
 139 /* Locking order, locks in this element must always be taken in this order
 140  *
 141  * standard sink pad stream lock -> GST_PAD_STREAM_LOCK (aggpad)
 142  * Aggregator pad flush lock -> PAD_FLUSH_LOCK(aggpad)
 143  * standard src pad stream lock -> GST_PAD_STREAM_LOCK (srcpad)
 144  * Aggregator src lock -> SRC_LOCK(agg) w/ SRC_WAIT/BROADCAST
 145  * standard element object lock -> GST_OBJECT_LOCK(agg)
 146  * Aggregator pad lock -> PAD_LOCK (aggpad) w/ PAD_WAIT/BROADCAST_EVENT(aggpad)
 147  * standard src pad object lock -> GST_OBJECT_LOCK(srcpad)
 148  * standard sink pad object lock -> GST_OBJECT_LOCK(aggpad)
 149  */
 150
 151 /* GstAggregatorPad definitions */
 152 #define PAD_LOCK(pad)   G_STMT_START {                                  \
 153   GST_TRACE_OBJECT (pad, "Taking PAD lock from thread %p",              \
 154         g_thread_self());                                               \
 155   g_mutex_lock(&pad->priv->lock);                                       \
 156   GST_TRACE_OBJECT (pad, "Took PAD lock from thread %p",                \
 157         g_thread_self());                                               \
 158   } G_STMT_END
 159
 160 #define PAD_UNLOCK(pad)  G_STMT_START {                                 \
 161   GST_TRACE_OBJECT (pad, "Releasing PAD lock from thread %p",           \
 162       g_thread_self());                                                 \
 163   g_mutex_unlock(&pad->priv->lock);                                     \
 164   GST_TRACE_OBJECT (pad, "Release PAD lock from thread %p",             \
 165         g_thread_self());                                               \
 166   } G_STMT_END
 167
 168
 169 #define PAD_WAIT_EVENT(pad)   G_STMT_START {                            \
 170   GST_LOG_OBJECT (pad, "Waiting for buffer to be consumed thread %p",   \
 171         g_thread_self());                                               \
 172   g_cond_wait(&(((GstAggregatorPad* )pad)->priv->event_cond),           \
 173       (&((GstAggregatorPad*)pad)->priv->lock));                         \
 174   GST_LOG_OBJECT (pad, "DONE Waiting for buffer to be consumed on thread %p", \
 175         g_thread_self());                                               \
 176   } G_STMT_END
 177
 178 #define PAD_BROADCAST_EVENT(pad) G_STMT_START {                        \
 179   GST_LOG_OBJECT (pad, "Signaling buffer consumed from thread %p",     \
 180         g_thread_self());                                              \
 181   g_cond_broadcast(&(((GstAggregatorPad* )pad)->priv->event_cond));    \
 182   } G_STMT_END
 183
 184
 185 #define PAD_FLUSH_LOCK(pad)     G_STMT_START {                          \
 186   GST_TRACE_OBJECT (pad, "Taking lock from thread %p",                  \
 187         g_thread_self());                                               \
 188   g_mutex_lock(&pad->priv->flush_lock);                                 \
 189   GST_TRACE_OBJECT (pad, "Took lock from thread %p",                    \
 190         g_thread_self());                                               \
 191   } G_STMT_END
 192
 193 #define PAD_FLUSH_UNLOCK(pad)   G_STMT_START {                          \
 194   GST_TRACE_OBJECT (pad, "Releasing lock from thread %p",               \
 195         g_thread_self());                                               \
 196   g_mutex_unlock(&pad->priv->flush_lock);                               \
 197   GST_TRACE_OBJECT (pad, "Release lock from thread %p",                 \
 198         g_thread_self());                                               \
 199   } G_STMT_END
 200
 201 #define SRC_LOCK(self)   G_STMT_START {                             \
 202   GST_TRACE_OBJECT (self, "Taking src lock from thread %p",         \
 203       g_thread_self());                                             \
 204   g_mutex_lock(&self->priv->src_lock);                              \
 205   GST_TRACE_OBJECT (self, "Took src lock from thread %p",           \
 206         g_thread_self());                                           \
 207   } G_STMT_END
 208
 209 #define SRC_UNLOCK(self)  G_STMT_START {                            \
 210   GST_TRACE_OBJECT (self, "Releasing src lock from thread %p",      \
 211         g_thread_self());                                           \
 212   g_mutex_unlock(&self->priv->src_lock);                            \
 213   GST_TRACE_OBJECT (self, "Released src lock from thread %p",       \
 214         g_thread_self());                                           \
 215   } G_STMT_END
 216
 217 #define SRC_WAIT(self) G_STMT_START {                               \
 218   GST_LOG_OBJECT (self, "Waiting for src on thread %p",             \
 219         g_thread_self());                                           \
 220   g_cond_wait(&(self->priv->src_cond), &(self->priv->src_lock));    \
 221   GST_LOG_OBJECT (self, "DONE Waiting for src on thread %p",        \
 222         g_thread_self());                                           \
 223   } G_STMT_END
 224
 225 #define SRC_BROADCAST(self) G_STMT_START {                          \
 226     GST_LOG_OBJECT (self, "Signaling src from thread %p",           \
 227         g_thread_self());                                           \
 228     if (self->priv->aggregate_id)                                   \
 229       gst_clock_id_unschedule (self->priv->aggregate_id);           \
 230     g_cond_broadcast(&(self->priv->src_cond));                      \
 231   } G_STMT_END
 232
 233 struct _GstAggregatorPadPrivate
 234 {
 235   /* Following fields are protected by the PAD_LOCK */
 236   GstFlowReturn flow_return;
 237   gboolean pending_flush_start;
 238   gboolean pending_flush_stop;
 239
 240   gboolean first_buffer;
 241
 242   GQueue data;                  /* buffers, events and queries */
 243   GstBuffer *clipped_buffer;
 244   guint num_buffers;
 245
 246   /* used to track fill state of queues, only used with live-src and when
 247    * latency property is set to > 0 */
 248   GstClockTime head_position;
 249   GstClockTime tail_position;
 250   GstClockTime head_time;       /* running time */
 251   GstClockTime tail_time;
 252   GstClockTime time_level;      /* how much head is ahead of tail */
 253   GstSegment head_segment;      /* segment before the queue */
 254
 255   gboolean negotiated;
 256
 257   gboolean eos;
 258
 259   GMutex lock;
 260   GCond event_cond;
 261   /* This lock prevents a flush start processing happening while
 262    * the chain function is also happening.
 263    */
 264   GMutex flush_lock;
 265
 266   /* properties */
 267   gboolean emit_signals;
 268 };
 269
 270 /* Must be called with PAD_LOCK held */
 271 static void
 272 gst_aggregator_pad_reset_unlocked (GstAggregatorPad * aggpad)
 273 {
 274   aggpad->priv->eos = FALSE;
 275   aggpad->priv->flow_return = GST_FLOW_OK;
 276   GST_OBJECT_LOCK (aggpad);
 277   gst_segment_init (&aggpad->segment, GST_FORMAT_UNDEFINED);
 278   gst_segment_init (&aggpad->priv->head_segment, GST_FORMAT_UNDEFINED);
 279   GST_OBJECT_UNLOCK (aggpad);
 280   aggpad->priv->head_position = GST_CLOCK_TIME_NONE;
 281   aggpad->priv->tail_position = GST_CLOCK_TIME_NONE;
 282   aggpad->priv->head_time = GST_CLOCK_TIME_NONE;
 283   aggpad->priv->tail_time = GST_CLOCK_TIME_NONE;
 284   aggpad->priv->time_level = 0;
 285   aggpad->priv->first_buffer = TRUE;
 286 }
 287
 288 static gboolean
 289 gst_aggregator_pad_flush (GstAggregatorPad * aggpad, GstAggregator * agg)
 290 {
 291   GstAggregatorPadClass *klass = GST_AGGREGATOR_PAD_GET_CLASS (aggpad);
 292
 293   PAD_LOCK (aggpad);
 294   gst_aggregator_pad_reset_unlocked (aggpad);
 295   PAD_UNLOCK (aggpad);
 296
 297   if (klass->flush)
 298     return (klass->flush (aggpad, agg) == GST_FLOW_OK);
 299
 300   return TRUE;
 301 }
 302
 303 /*************************************
 304  * GstAggregator implementation  *
 305  *************************************/
 306 static GstElementClass *aggregator_parent_class = NULL;
 307 static gint aggregator_private_offset = 0;
 308
 309 /* All members are protected by the object lock unless otherwise noted */
 310
 311 struct _GstAggregatorPrivate
 312 {
 313   gint max_padserial;
 314
 315   /* Our state is >= PAUSED */
 316   gboolean running;             /* protected by src_lock */
 317
 318   /* seqnum from seek or segment,
 319    * to be applied to synthetic segment/eos events */
 320   gint seqnum;
 321   gboolean send_stream_start;   /* protected by srcpad stream lock */
 322   gboolean send_segment;
 323   gboolean flush_seeking;
 324   gboolean pending_flush_start;
 325   gboolean send_eos;            /* protected by srcpad stream lock */
 326
 327   GstCaps *srccaps;             /* protected by the srcpad stream lock */
 328
 329   GstTagList *tags;
 330   gboolean tags_changed;
 331
 332   gboolean peer_latency_live;   /* protected by src_lock */
 333   GstClockTime peer_latency_min;        /* protected by src_lock */
 334   GstClockTime peer_latency_max;        /* protected by src_lock */
 335   gboolean has_peer_latency;    /* protected by src_lock */
 336
 337   GstClockTime sub_latency_min; /* protected by src_lock */
 338   GstClockTime sub_latency_max; /* protected by src_lock */
 339
 340   GstClockTime upstream_latency_min;    /* protected by src_lock */
 341
 342   /* aggregate */
 343   GstClockID aggregate_id;      /* protected by src_lock */
 344   GMutex src_lock;
 345   GCond src_cond;
 346
 347   gboolean first_buffer;        /* protected by object lock */
 348   GstAggregatorStartTimeSelection start_time_selection;
 349   GstClockTime start_time;
 350
 351   /* protected by the object lock */
 352   GstQuery *allocation_query;
 353   GstAllocator *allocator;
 354   GstBufferPool *pool;
 355   GstAllocationParams allocation_params;
 356
 357   /* properties */
 358   gint64 latency;               /* protected by both src_lock and all pad locks */
 359 };
 360
 361 /* Seek event forwarding helper */
 362 typedef struct
 363 {
 364   /* parameters */
 365   GstEvent *event;
 366   gboolean flush;
 367   gboolean only_to_active_pads;
 368
 369   /* results */
 370   gboolean result;
 371   gboolean one_actually_seeked;
 372 } EventData;
 373
 374 #define DEFAULT_LATENCY              0
 375 #define DEFAULT_MIN_UPSTREAM_LATENCY              0
 376 #define DEFAULT_START_TIME_SELECTION GST_AGGREGATOR_START_TIME_SELECTION_ZERO
 377 #define DEFAULT_START_TIME           (-1)
 378
 379 enum
 380 {
 381   PROP_0,
 382   PROP_LATENCY,
 383   PROP_MIN_UPSTREAM_LATENCY,
 384   PROP_START_TIME_SELECTION,
 385   PROP_START_TIME,
 386   PROP_LAST
 387 };
 388
 389 static GstFlowReturn gst_aggregator_pad_chain_internal (GstAggregator * self,
 390     GstAggregatorPad * aggpad, GstBuffer * buffer, gboolean head);
 391
 392 static gboolean
 393 gst_aggregator_pad_queue_is_empty (GstAggregatorPad * pad)
 394 {
 395   return (g_queue_peek_tail (&pad->priv->data) == NULL &&
 396       pad->priv->clipped_buffer == NULL);
 397 }
 398
 399 static gboolean
 400 gst_aggregator_check_pads_ready (GstAggregator * self)
 401 {
 402   GstAggregatorPad *pad = NULL;
 403   GList *l, *sinkpads;
 404   gboolean have_buffer = TRUE;
 405   gboolean have_event_or_query = FALSE;
 406
 407   GST_LOG_OBJECT (self, "checking pads");
 408
 409   GST_OBJECT_LOCK (self);
 410
 411   sinkpads = GST_ELEMENT_CAST (self)->sinkpads;
 412   if (sinkpads == NULL)
 413     goto no_sinkpads;
 414
 415   for (l = sinkpads; l != NULL; l = l->next) {
 416     pad = l->data;
 417
 418     PAD_LOCK (pad);
 419
 420     if (pad->priv->num_buffers == 0) {
 421       if (!gst_aggregator_pad_queue_is_empty (pad))
 422         have_event_or_query = TRUE;
 423       if (!pad->priv->eos) {
 424         have_buffer = FALSE;
 425
 426         /* If not live we need data on all pads, so leave the loop */
 427         if (!self->priv->peer_latency_live) {
 428           PAD_UNLOCK (pad);
 429           goto pad_not_ready;
 430         }
 431       }
 432     } else if (self->priv->peer_latency_live) {
 433       /* In live mode, having a single pad with buffers is enough to
 434        * generate a start time from it. In non-live mode all pads need
 435        * to have a buffer
 436        */
 437       self->priv->first_buffer = FALSE;
 438     }
 439
 440     PAD_UNLOCK (pad);
 441   }
 442
 443   if (!have_buffer && !have_event_or_query)
 444     goto pad_not_ready;
 445
 446   if (have_buffer)
 447     self->priv->first_buffer = FALSE;
 448
 449   GST_OBJECT_UNLOCK (self);
 450   GST_LOG_OBJECT (self, "pads are ready");
 451   return TRUE;
 452
 453 no_sinkpads:
 454   {
 455     GST_LOG_OBJECT (self, "pads not ready: no sink pads");
 456     GST_OBJECT_UNLOCK (self);
 457     return FALSE;
 458   }
 459 pad_not_ready:
 460   {
 461     if (have_event_or_query)
 462       GST_LOG_OBJECT (pad, "pad not ready to be aggregated yet,"
 463           " but waking up for serialized event");
 464     else
 465       GST_LOG_OBJECT (pad, "pad not ready to be aggregated yet");
 466     GST_OBJECT_UNLOCK (self);
 467     return have_event_or_query;
 468   }
 469 }
 470
 471 static void
 472 gst_aggregator_reset_flow_values (GstAggregator * self)
 473 {
 474   GST_OBJECT_LOCK (self);
 475   self->priv->send_stream_start = TRUE;
 476   self->priv->send_segment = TRUE;
 477   gst_segment_init (&GST_AGGREGATOR_PAD (self->srcpad)->segment,
 478       GST_FORMAT_TIME);
 479   self->priv->first_buffer = TRUE;
 480   GST_OBJECT_UNLOCK (self);
 481 }
 482
 483 static inline void
 484 gst_aggregator_push_mandatory_events (GstAggregator * self)
 485 {
 486   GstAggregatorPrivate *priv = self->priv;
 487   GstEvent *segment = NULL;
 488   GstEvent *tags = NULL;
 489
 490   if (self->priv->send_stream_start) {
 491     gchar s_id[32];
 492
 493     GST_INFO_OBJECT (self, "pushing stream start");
 494     /* stream-start (FIXME: create id based on input ids) */
 495     g_snprintf (s_id, sizeof (s_id), "agg-%08x", g_random_int ());
 496     if (!gst_pad_push_event (GST_PAD (self->srcpad),
 497             gst_event_new_stream_start (s_id))) {
 498       GST_WARNING_OBJECT (self->srcpad, "Sending stream start event failed");
 499     }
 500     self->priv->send_stream_start = FALSE;
 501   }
 502
 503   if (self->priv->srccaps) {
 504
 505     GST_INFO_OBJECT (self, "pushing caps: %" GST_PTR_FORMAT,
 506         self->priv->srccaps);
 507     if (!gst_pad_push_event (GST_PAD (self->srcpad),
 508             gst_event_new_caps (self->priv->srccaps))) {
 509       GST_WARNING_OBJECT (self->srcpad, "Sending caps event failed");
 510     }
 511     gst_caps_unref (self->priv->srccaps);
 512     self->priv->srccaps = NULL;
 513   }
 514
 515   GST_OBJECT_LOCK (self);
 516   if (self->priv->send_segment && !self->priv->flush_seeking) {
 517     segment =
 518         gst_event_new_segment (&GST_AGGREGATOR_PAD (self->srcpad)->segment);
 519
 520     if (!self->priv->seqnum)
 521       /* This code-path is in preparation to be able to run without a source
 522        * connected. Then we won't have a seq-num from a segment event. */
 523       self->priv->seqnum = gst_event_get_seqnum (segment);
 524     else
 525       gst_event_set_seqnum (segment, self->priv->seqnum);
 526     self->priv->send_segment = FALSE;
 527
 528     GST_DEBUG_OBJECT (self, "pushing segment %" GST_PTR_FORMAT, segment);
 529   }
 530
 531   if (priv->tags && priv->tags_changed && !self->priv->flush_seeking) {
 532     tags = gst_event_new_tag (gst_tag_list_ref (priv->tags));
 533     priv->tags_changed = FALSE;
 534   }
 535   GST_OBJECT_UNLOCK (self);
 536
 537   if (segment)
 538     gst_pad_push_event (self->srcpad, segment);
 539   if (tags)
 540     gst_pad_push_event (self->srcpad, tags);
 541
 542 }
 543
 544 /**
 545  * gst_aggregator_set_src_caps:
 546  * @self: The #GstAggregator
 547  * @caps: The #GstCaps to set on the src pad.
 548  *
 549  * Sets the caps to be used on the src pad.
 550  */
 551 void
 552 gst_aggregator_set_src_caps (GstAggregator * self, GstCaps * caps)
 553 {
 554   GST_PAD_STREAM_LOCK (self->srcpad);
 555   gst_caps_replace (&self->priv->srccaps, caps);
 556   gst_aggregator_push_mandatory_events (self);
 557   GST_PAD_STREAM_UNLOCK (self->srcpad);
 558 }
 559
 560 static GstFlowReturn
 561 gst_aggregator_default_finish_buffer (GstAggregator * self, GstBuffer * buffer)
 562 {
 563   gst_aggregator_push_mandatory_events (self);
 564
 565   GST_OBJECT_LOCK (self);
 566   if (!self->priv->flush_seeking && gst_pad_is_active (self->srcpad)) {
 567     GST_TRACE_OBJECT (self, "pushing buffer %" GST_PTR_FORMAT, buffer);
 568     GST_OBJECT_UNLOCK (self);
 569     return gst_pad_push (self->srcpad, buffer);
 570   } else {
 571     GST_INFO_OBJECT (self, "Not pushing (active: %i, flushing: %i)",
 572         self->priv->flush_seeking, gst_pad_is_active (self->srcpad));
 573     GST_OBJECT_UNLOCK (self);
 574     gst_buffer_unref (buffer);
 575     return GST_FLOW_OK;
 576   }
 577 }
 578
 579 /**
 580  * gst_aggregator_finish_buffer:
 581  * @aggregator: The #GstAggregator
 582  * @buffer: (transfer full): the #GstBuffer to push.
 583  *
 584  * This method will push the provided output buffer downstream. If needed,
 585  * mandatory events such as stream-start, caps, and segment events will be
 586  * sent before pushing the buffer.
 587  */
 588 GstFlowReturn
 589 gst_aggregator_finish_buffer (GstAggregator * aggregator, GstBuffer * buffer)
 590 {
 591   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (aggregator);
 592
 593   g_assert (klass->finish_buffer != NULL);
 594
 595   return klass->finish_buffer (aggregator, buffer);
 596 }
 597
 598 static void
 599 gst_aggregator_push_eos (GstAggregator * self)
 600 {
 601   GstEvent *event;
 602   gst_aggregator_push_mandatory_events (self);
 603
 604   event = gst_event_new_eos ();
 605
 606   GST_OBJECT_LOCK (self);
 607   self->priv->send_eos = FALSE;
 608   gst_event_set_seqnum (event, self->priv->seqnum);
 609   GST_OBJECT_UNLOCK (self);
 610
 611   gst_pad_push_event (self->srcpad, event);
 612 }
 613
 614 static GstClockTime
 615 gst_aggregator_get_next_time (GstAggregator * self)
 616 {
 617   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (self);
 618
 619   if (klass->get_next_time)
 620     return klass->get_next_time (self);
 621
 622   return GST_CLOCK_TIME_NONE;
 623 }
 624
 625 static gboolean
 626 gst_aggregator_wait_and_check (GstAggregator * self, gboolean * timeout)
 627 {
 628   GstClockTime latency;
 629   GstClockTime start;
 630   gboolean res;
 631
 632   *timeout = FALSE;
 633
 634   SRC_LOCK (self);
 635
 636   latency = gst_aggregator_get_latency_unlocked (self);
 637
 638   if (gst_aggregator_check_pads_ready (self)) {
 639     GST_DEBUG_OBJECT (self, "all pads have data");
 640     SRC_UNLOCK (self);
 641
 642     return TRUE;
 643   }
 644
 645   /* Before waiting, check if we're actually still running */
 646   if (!self->priv->running || !self->priv->send_eos) {
 647     SRC_UNLOCK (self);
 648
 649     return FALSE;
 650   }
 651
 652   start = gst_aggregator_get_next_time (self);
 653
 654   /* If we're not live, or if we use the running time
 655    * of the first buffer as start time, we wait until
 656    * all pads have buffers.
 657    * Otherwise (i.e. if we are live!), we wait on the clock
 658    * and if a pad does not have a buffer in time we ignore
 659    * that pad.
 660    */
 661   GST_OBJECT_LOCK (self);
 662   if (!GST_CLOCK_TIME_IS_VALID (latency) ||
 663       !GST_IS_CLOCK (GST_ELEMENT_CLOCK (self)) ||
 664       !GST_CLOCK_TIME_IS_VALID (start) ||
 665       (self->priv->first_buffer
 666           && self->priv->start_time_selection ==
 667           GST_AGGREGATOR_START_TIME_SELECTION_FIRST)) {
 668     /* We wake up here when something happened, and below
 669      * then check if we're ready now. If we return FALSE,
 670      * we will be directly called again.
 671      */
 672     GST_OBJECT_UNLOCK (self);
 673     SRC_WAIT (self);
 674   } else {
 675     GstClockTime base_time, time;
 676     GstClock *clock;
 677     GstClockReturn status;
 678     GstClockTimeDiff jitter;
 679
 680     GST_DEBUG_OBJECT (self, "got subclass start time: %" GST_TIME_FORMAT,
 681         GST_TIME_ARGS (start));
 682
 683     base_time = GST_ELEMENT_CAST (self)->base_time;
 684     clock = gst_object_ref (GST_ELEMENT_CLOCK (self));
 685     GST_OBJECT_UNLOCK (self);
 686
 687     time = base_time + start;
 688     time += latency;
 689
 690     GST_DEBUG_OBJECT (self, "possibly waiting for clock to reach %"
 691         GST_TIME_FORMAT " (base %" GST_TIME_FORMAT " start %" GST_TIME_FORMAT
 692         " latency %" GST_TIME_FORMAT " current %" GST_TIME_FORMAT ")",
 693         GST_TIME_ARGS (time),
 694         GST_TIME_ARGS (base_time),
 695         GST_TIME_ARGS (start), GST_TIME_ARGS (latency),
 696         GST_TIME_ARGS (gst_clock_get_time (clock)));
 697
 698     self->priv->aggregate_id = gst_clock_new_single_shot_id (clock, time);
 699     gst_object_unref (clock);
 700     SRC_UNLOCK (self);
 701
 702     jitter = 0;
 703     status = gst_clock_id_wait (self->priv->aggregate_id, &jitter);
 704
 705     SRC_LOCK (self);
 706     if (self->priv->aggregate_id) {
 707       gst_clock_id_unref (self->priv->aggregate_id);
 708       self->priv->aggregate_id = NULL;
 709     }
 710
 711     GST_DEBUG_OBJECT (self,
 712         "clock returned %d (jitter: %" GST_STIME_FORMAT ")",
 713         status, GST_STIME_ARGS (jitter));
 714
 715     /* we timed out */
 716     if (status == GST_CLOCK_OK || status == GST_CLOCK_EARLY) {
 717       SRC_UNLOCK (self);
 718       *timeout = TRUE;
 719       return TRUE;
 720     }
 721   }
 722
 723   res = gst_aggregator_check_pads_ready (self);
 724   SRC_UNLOCK (self);
 725
 726   return res;
 727 }
 728
 729 typedef struct
 730 {
 731   gboolean processed_event;
 732   GstFlowReturn flow_ret;
 733 } DoHandleEventsAndQueriesData;
 734
 735 static gboolean
 736 gst_aggregator_do_events_and_queries (GstElement * self, GstPad * epad,
 737     gpointer user_data)
 738 {
 739   GstAggregatorPad *pad = GST_AGGREGATOR_PAD_CAST (epad);
 740   GstAggregator *aggregator = GST_AGGREGATOR_CAST (self);
 741   GstEvent *event = NULL;
 742   GstQuery *query = NULL;
 743   GstAggregatorClass *klass = NULL;
 744   DoHandleEventsAndQueriesData *data = user_data;
 745
 746   do {
 747     event = NULL;
 748     query = NULL;
 749
 750     PAD_LOCK (pad);
 751     if (pad->priv->clipped_buffer == NULL &&
 752         !GST_IS_BUFFER (g_queue_peek_tail (&pad->priv->data))) {
 753       if (GST_IS_EVENT (g_queue_peek_tail (&pad->priv->data)))
 754         event = gst_event_ref (g_queue_peek_tail (&pad->priv->data));
 755       if (GST_IS_QUERY (g_queue_peek_tail (&pad->priv->data)))
 756         query = g_queue_peek_tail (&pad->priv->data);
 757     }
 758     PAD_UNLOCK (pad);
 759     if (event || query) {
 760       gboolean ret;
 761
 762       data->processed_event = TRUE;
 763       if (klass == NULL)
 764         klass = GST_AGGREGATOR_GET_CLASS (self);
 765
 766       if (event) {
 767         GST_LOG_OBJECT (pad, "Processing %" GST_PTR_FORMAT, event);
 768         gst_event_ref (event);
 769         ret = klass->sink_event (aggregator, pad, event);
 770
 771         PAD_LOCK (pad);
 772         if (GST_EVENT_TYPE (event) == GST_EVENT_CAPS) {
 773           pad->priv->negotiated = ret;
 774           if (!ret)
 775             pad->priv->flow_return = data->flow_ret = GST_FLOW_NOT_NEGOTIATED;
 776         }
 777         if (g_queue_peek_tail (&pad->priv->data) == event)
 778           gst_event_unref (g_queue_pop_tail (&pad->priv->data));
 779         gst_event_unref (event);
 780       } else if (query) {
 781         GST_LOG_OBJECT (pad, "Processing %" GST_PTR_FORMAT, query);
 782         ret = klass->sink_query (aggregator, pad, query);
 783
 784         PAD_LOCK (pad);
 785         if (g_queue_peek_tail (&pad->priv->data) == query) {
 786           GstStructure *s;
 787
 788           s = gst_query_writable_structure (query);
 789           gst_structure_set (s, "gst-aggregator-retval", G_TYPE_BOOLEAN, ret,
 790               NULL);
 791           g_queue_pop_tail (&pad->priv->data);
 792         }
 793       }
 794
 795       PAD_BROADCAST_EVENT (pad);
 796       PAD_UNLOCK (pad);
 797     }
 798   } while (event || query);
 799
 800   return TRUE;
 801 }
 802
 803 static gboolean
 804 gst_aggregator_pad_skip_buffers (GstElement * self, GstPad * epad,
 805     gpointer user_data)
 806 {
 807   GList *item;
 808   GstAggregatorPad *aggpad = (GstAggregatorPad *) epad;
 809   GstAggregator *agg = (GstAggregator *) self;
 810   GstAggregatorPadClass *klass = GST_AGGREGATOR_PAD_GET_CLASS (aggpad);
 811
 812   if (!klass->skip_buffer)
 813     return FALSE;
 814
 815   PAD_LOCK (aggpad);
 816
 817   item = g_queue_peek_head_link (&aggpad->priv->data);
 818   while (item) {
 819     GList *next = item->next;
 820
 821     if (GST_IS_BUFFER (item->data)
 822         && klass->skip_buffer (aggpad, agg, item->data)) {
 823       GST_LOG_OBJECT (aggpad, "Skipping %" GST_PTR_FORMAT, item->data);
 824       gst_aggregator_pad_buffer_consumed (aggpad, GST_BUFFER (item->data));
 825       gst_buffer_unref (item->data);
 826       g_queue_delete_link (&aggpad->priv->data, item);
 827     } else {
 828       break;
 829     }
 830
 831     item = next;
 832   }
 833
 834   PAD_UNLOCK (aggpad);
 835
 836   return TRUE;
 837 }
 838
 839 static void
 840 gst_aggregator_pad_set_flushing (GstAggregatorPad * aggpad,
 841     GstFlowReturn flow_return, gboolean full)
 842 {
 843   GList *item;
 844
 845   PAD_LOCK (aggpad);
 846   if (flow_return == GST_FLOW_NOT_LINKED)
 847     aggpad->priv->flow_return = MIN (flow_return, aggpad->priv->flow_return);
 848   else
 849     aggpad->priv->flow_return = flow_return;
 850
 851   item = g_queue_peek_head_link (&aggpad->priv->data);
 852   while (item) {
 853     GList *next = item->next;
 854
 855     /* In partial flush, we do like the pad, we get rid of non-sticky events
 856      * and EOS/SEGMENT.
 857      */
 858     if (full || GST_IS_BUFFER (item->data) ||
 859         GST_EVENT_TYPE (item->data) == GST_EVENT_EOS ||
 860         GST_EVENT_TYPE (item->data) == GST_EVENT_SEGMENT ||
 861         !GST_EVENT_IS_STICKY (item->data)) {
 862       if (!GST_IS_QUERY (item->data))
 863         gst_mini_object_unref (item->data);
 864       g_queue_delete_link (&aggpad->priv->data, item);
 865     }
 866     item = next;
 867   }
 868   aggpad->priv->num_buffers = 0;
 869   gst_buffer_replace (&aggpad->priv->clipped_buffer, NULL);
 870
 871   PAD_BROADCAST_EVENT (aggpad);
 872   PAD_UNLOCK (aggpad);
 873 }
 874
 875 static GstFlowReturn
 876 gst_aggregator_default_update_src_caps (GstAggregator * agg, GstCaps * caps,
 877     GstCaps ** ret)
 878 {
 879   *ret = gst_caps_ref (caps);
 880
 881   return GST_FLOW_OK;
 882 }
 883
 884 static GstCaps *
 885 gst_aggregator_default_fixate_src_caps (GstAggregator * agg, GstCaps * caps)
 886 {
 887   caps = gst_caps_fixate (caps);
 888
 889   return caps;
 890 }
 891
 892 static gboolean
 893 gst_aggregator_default_negotiated_src_caps (GstAggregator * agg, GstCaps * caps)
 894 {
 895   return TRUE;
 896 }
 897
 898
 899 /* takes ownership of the pool, allocator and query */
 900 static gboolean
 901 gst_aggregator_set_allocation (GstAggregator * self,
 902     GstBufferPool * pool, GstAllocator * allocator,
 903     GstAllocationParams * params, GstQuery * query)
 904 {
 905   GstAllocator *oldalloc;
 906   GstBufferPool *oldpool;
 907   GstQuery *oldquery;
 908
 909   GST_DEBUG ("storing allocation query");
 910
 911   GST_OBJECT_LOCK (self);
 912   oldpool = self->priv->pool;
 913   self->priv->pool = pool;
 914
 915   oldalloc = self->priv->allocator;
 916   self->priv->allocator = allocator;
 917
 918   oldquery = self->priv->allocation_query;
 919   self->priv->allocation_query = query;
 920
 921   if (params)
 922     self->priv->allocation_params = *params;
 923   else
 924     gst_allocation_params_init (&self->priv->allocation_params);
 925   GST_OBJECT_UNLOCK (self);
 926
 927   if (oldpool) {
 928     GST_DEBUG_OBJECT (self, "deactivating old pool %p", oldpool);
 929     gst_buffer_pool_set_active (oldpool, FALSE);
 930     gst_object_unref (oldpool);
 931   }
 932   if (oldalloc) {
 933     gst_object_unref (oldalloc);
 934   }
 935   if (oldquery) {
 936     gst_query_unref (oldquery);
 937   }
 938   return TRUE;
 939 }
 940
 941
 942 static gboolean
 943 gst_aggregator_decide_allocation (GstAggregator * self, GstQuery * query)
 944 {
 945   GstAggregatorClass *aggclass = GST_AGGREGATOR_GET_CLASS (self);
 946
 947   if (aggclass->decide_allocation)
 948     if (!aggclass->decide_allocation (self, query))
 949       return FALSE;
 950
 951   return TRUE;
 952 }
 953
 954 static gboolean
 955 gst_aggregator_do_allocation (GstAggregator * self, GstCaps * caps)
 956 {
 957   GstQuery *query;
 958   gboolean result = TRUE;
 959   GstBufferPool *pool = NULL;
 960   GstAllocator *allocator;
 961   GstAllocationParams params;
 962
 963   /* find a pool for the negotiated caps now */
 964   GST_DEBUG_OBJECT (self, "doing allocation query");
 965   query = gst_query_new_allocation (caps, TRUE);
 966   if (!gst_pad_peer_query (self->srcpad, query)) {
 967     /* not a problem, just debug a little */
 968     GST_DEBUG_OBJECT (self, "peer ALLOCATION query failed");
 969   }
 970
 971   GST_DEBUG_OBJECT (self, "calling decide_allocation");
 972   result = gst_aggregator_decide_allocation (self, query);
 973
 974   GST_DEBUG_OBJECT (self, "ALLOCATION (%d) params: %" GST_PTR_FORMAT, result,
 975       query);
 976
 977   if (!result)
 978     goto no_decide_allocation;
 979
 980   /* we got configuration from our peer or the decide_allocation method,
 981    * parse them */
 982   if (gst_query_get_n_allocation_params (query) > 0) {
 983     gst_query_parse_nth_allocation_param (query, 0, &allocator, &params);
 984   } else {
 985     allocator = NULL;
 986     gst_allocation_params_init (&params);
 987   }
 988
 989   if (gst_query_get_n_allocation_pools (query) > 0)
 990     gst_query_parse_nth_allocation_pool (query, 0, &pool, NULL, NULL, NULL);
 991
 992   /* now store */
 993   result =
 994       gst_aggregator_set_allocation (self, pool, allocator, &params, query);
 995
 996   return result;
 997
 998   /* Errors */
 999 no_decide_allocation:
1000   {
1001     GST_WARNING_OBJECT (self, "Failed to decide allocation");
1002     gst_query_unref (query);
1003
1004     return result;
1005   }
1006
1007 }
1008
1009 /* WITH SRC_LOCK held */
1010 static GstFlowReturn
1011 gst_aggregator_update_src_caps (GstAggregator * self)
1012 {
1013   GstAggregatorClass *agg_klass = GST_AGGREGATOR_GET_CLASS (self);
1014   GstCaps *downstream_caps, *template_caps, *caps = NULL;
1015   GstFlowReturn ret = GST_FLOW_OK;
1016
1017   template_caps = gst_pad_get_pad_template_caps (self->srcpad);
1018   downstream_caps = gst_pad_peer_query_caps (self->srcpad, template_caps);
1019
1020   if (gst_caps_is_empty (downstream_caps)) {
1021     GST_INFO_OBJECT (self, "Downstream caps (%"
1022         GST_PTR_FORMAT ") not compatible with pad template caps (%"
1023         GST_PTR_FORMAT ")", downstream_caps, template_caps);
1024     ret = GST_FLOW_NOT_NEGOTIATED;
1025     goto done;
1026   }
1027
1028   g_assert (agg_klass->update_src_caps);
1029   GST_DEBUG_OBJECT (self, "updating caps from %" GST_PTR_FORMAT,
1030       downstream_caps);
1031   ret = agg_klass->update_src_caps (self, downstream_caps, &caps);
1032   if (ret < GST_FLOW_OK) {
1033     GST_WARNING_OBJECT (self, "Subclass failed to update provided caps");
1034     goto done;
1035   }
1036   if ((caps == NULL || gst_caps_is_empty (caps)) && ret >= GST_FLOW_OK) {
1037     ret = GST_FLOW_NOT_NEGOTIATED;
1038     goto done;
1039   }
1040   GST_DEBUG_OBJECT (self, "               to %" GST_PTR_FORMAT, caps);
1041
1042 #ifdef GST_ENABLE_EXTRA_CHECKS
1043   if (!gst_caps_is_subset (caps, template_caps)) {
1044     GstCaps *intersection;
1045
1046     GST_ERROR_OBJECT (self,
1047         "update_src_caps returned caps %" GST_PTR_FORMAT
1048         " which are not a real subset of the template caps %"
1049         GST_PTR_FORMAT, caps, template_caps);
1050     g_warning ("%s: update_src_caps returned caps which are not a real "
1051         "subset of the filter caps", GST_ELEMENT_NAME (self));
1052
1053     intersection =
1054         gst_caps_intersect_full (template_caps, caps, GST_CAPS_INTERSECT_FIRST);
1055     gst_caps_unref (caps);
1056     caps = intersection;
1057   }
1058 #endif
1059
1060   if (gst_caps_is_any (caps)) {
1061     goto done;
1062   }
1063
1064   if (!gst_caps_is_fixed (caps)) {
1065     g_assert (agg_klass->fixate_src_caps);
1066
1067     GST_DEBUG_OBJECT (self, "fixate caps from %" GST_PTR_FORMAT, caps);
1068     if (!(caps = agg_klass->fixate_src_caps (self, caps))) {
1069       GST_WARNING_OBJECT (self, "Subclass failed to fixate provided caps");
1070       ret = GST_FLOW_NOT_NEGOTIATED;
1071       goto done;
1072     }
1073     GST_DEBUG_OBJECT (self, "             to %" GST_PTR_FORMAT, caps);
1074   }
1075
1076   if (agg_klass->negotiated_src_caps) {
1077     if (!agg_klass->negotiated_src_caps (self, caps)) {
1078       GST_WARNING_OBJECT (self, "Subclass failed to accept negotiated caps");
1079       ret = GST_FLOW_NOT_NEGOTIATED;
1080       goto done;
1081     }
1082   }
1083
1084   gst_aggregator_set_src_caps (self, caps);
1085
1086   if (!gst_aggregator_do_allocation (self, caps)) {
1087     GST_WARNING_OBJECT (self, "Allocation negotiation failed");
1088     ret = GST_FLOW_NOT_NEGOTIATED;
1089   }
1090
1091 done:
1092   gst_caps_unref (downstream_caps);
1093   gst_caps_unref (template_caps);
1094
1095   if (caps)
1096     gst_caps_unref (caps);
1097
1098   return ret;
1099 }
1100
1101 static void
1102 gst_aggregator_aggregate_func (GstAggregator * self)
1103 {
1104   GstAggregatorPrivate *priv = self->priv;
1105   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (self);
1106   gboolean timeout = FALSE;
1107
1108   if (self->priv->running == FALSE) {
1109     GST_DEBUG_OBJECT (self, "Not running anymore");
1110     return;
1111   }
1112
1113   GST_LOG_OBJECT (self, "Checking aggregate");
1114   while (priv->send_eos && priv->running) {
1115     GstFlowReturn flow_return = GST_FLOW_OK;
1116     DoHandleEventsAndQueriesData events_query_data = { FALSE, GST_FLOW_OK };
1117
1118     gst_element_foreach_sink_pad (GST_ELEMENT_CAST (self),
1119         gst_aggregator_do_events_and_queries, &events_query_data);
1120
1121     if ((flow_return = events_query_data.flow_ret) != GST_FLOW_OK)
1122       goto handle_error;
1123
1124     if (self->priv->peer_latency_live)
1125       gst_element_foreach_sink_pad (GST_ELEMENT_CAST (self),
1126           gst_aggregator_pad_skip_buffers, NULL);
1127
1128     /* Ensure we have buffers ready (either in clipped_buffer or at the head of
1129      * the queue */
1130     if (!gst_aggregator_wait_and_check (self, &timeout))
1131       continue;
1132
1133     events_query_data.processed_event = FALSE;
1134     events_query_data.flow_ret = GST_FLOW_OK;
1135     gst_element_foreach_sink_pad (GST_ELEMENT_CAST (self),
1136         gst_aggregator_do_events_and_queries, &events_query_data);
1137
1138     if ((flow_return = events_query_data.flow_ret) != GST_FLOW_OK)
1139       goto handle_error;
1140
1141     if (events_query_data.processed_event)
1142       continue;
1143
1144     if (gst_pad_check_reconfigure (GST_AGGREGATOR_SRC_PAD (self))) {
1145       flow_return = gst_aggregator_update_src_caps (self);
1146       if (flow_return != GST_FLOW_OK)
1147         gst_pad_mark_reconfigure (GST_AGGREGATOR_SRC_PAD (self));
1148     }
1149
1150     if (timeout || flow_return >= GST_FLOW_OK) {
1151       GST_TRACE_OBJECT (self, "Actually aggregating!");
1152       flow_return = klass->aggregate (self, timeout);
1153     }
1154
1155     if (flow_return == GST_AGGREGATOR_FLOW_NEED_DATA)
1156       continue;
1157
1158     GST_OBJECT_LOCK (self);
1159     if (flow_return == GST_FLOW_FLUSHING && priv->flush_seeking) {
1160       /* We don't want to set the pads to flushing, but we want to
1161        * stop the thread, so just break here */
1162       GST_OBJECT_UNLOCK (self);
1163       break;
1164     }
1165     GST_OBJECT_UNLOCK (self);
1166
1167     if (flow_return == GST_FLOW_EOS || flow_return == GST_FLOW_ERROR) {
1168       gst_aggregator_push_eos (self);
1169     }
1170
1171   handle_error:
1172     GST_LOG_OBJECT (self, "flow return is %s", gst_flow_get_name (flow_return));
1173
1174     if (flow_return != GST_FLOW_OK) {
1175       GList *item;
1176
1177       GST_OBJECT_LOCK (self);
1178       for (item = GST_ELEMENT (self)->sinkpads; item; item = item->next) {
1179         GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (item->data);
1180
1181         gst_aggregator_pad_set_flushing (aggpad, flow_return, TRUE);
1182       }
1183       GST_OBJECT_UNLOCK (self);
1184       break;
1185     }
1186   }
1187
1188   /* Pause the task here, the only ways to get here are:
1189    * 1) We're stopping, in which case the task is stopped anyway
1190    * 2) We got a flow error above, in which case it might take
1191    *    some time to forward the flow return upstream and we
1192    *    would otherwise call the task function over and over
1193    *    again without doing anything
1194    */
1195   gst_pad_pause_task (self->srcpad);
1196 }
1197
1198 static gboolean
1199 gst_aggregator_start (GstAggregator * self)
1200 {
1201   GstAggregatorClass *klass;
1202   gboolean result;
1203
1204   self->priv->send_stream_start = TRUE;
1205   self->priv->send_segment = TRUE;
1206   self->priv->send_eos = TRUE;
1207   self->priv->srccaps = NULL;
1208
1209   gst_aggregator_set_allocation (self, NULL, NULL, NULL, NULL);
1210
1211   klass = GST_AGGREGATOR_GET_CLASS (self);
1212
1213   if (klass->start)
1214     result = klass->start (self);
1215   else
1216     result = TRUE;
1217
1218   return result;
1219 }
1220
1221 static gboolean
1222 _check_pending_flush_stop (GstAggregatorPad * pad)
1223 {
1224   gboolean res;
1225
1226   PAD_LOCK (pad);
1227   res = (!pad->priv->pending_flush_stop && !pad->priv->pending_flush_start);
1228   PAD_UNLOCK (pad);
1229
1230   return res;
1231 }
1232
1233 static gboolean
1234 gst_aggregator_stop_srcpad_task (GstAggregator * self, GstEvent * flush_start)
1235 {
1236   gboolean res = TRUE;
1237
1238   GST_INFO_OBJECT (self, "%s srcpad task",
1239       flush_start ? "Pausing" : "Stopping");
1240
1241   SRC_LOCK (self);
1242   self->priv->running = FALSE;
1243   SRC_BROADCAST (self);
1244   SRC_UNLOCK (self);
1245
1246   if (flush_start) {
1247     res = gst_pad_push_event (self->srcpad, flush_start);
1248   }
1249
1250   gst_pad_stop_task (self->srcpad);
1251
1252   return res;
1253 }
1254
1255 static void
1256 gst_aggregator_start_srcpad_task (GstAggregator * self)
1257 {
1258   GST_INFO_OBJECT (self, "Starting srcpad task");
1259
1260   self->priv->running = TRUE;
1261   gst_pad_start_task (GST_PAD (self->srcpad),
1262       (GstTaskFunction) gst_aggregator_aggregate_func, self, NULL);
1263 }
1264
1265 static GstFlowReturn
1266 gst_aggregator_flush (GstAggregator * self)
1267 {
1268   GstFlowReturn ret = GST_FLOW_OK;
1269   GstAggregatorPrivate *priv = self->priv;
1270   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (self);
1271
1272   GST_DEBUG_OBJECT (self, "Flushing everything");
1273   GST_OBJECT_LOCK (self);
1274   priv->send_segment = TRUE;
1275   priv->flush_seeking = FALSE;
1276   priv->tags_changed = FALSE;
1277   GST_OBJECT_UNLOCK (self);
1278   if (klass->flush)
1279     ret = klass->flush (self);
1280
1281   return ret;
1282 }
1283
1284
1285 /* Called with GstAggregator's object lock held */
1286
1287 static gboolean
1288 gst_aggregator_all_flush_stop_received_locked (GstAggregator * self)
1289 {
1290   GList *tmp;
1291   GstAggregatorPad *tmppad;
1292
1293   for (tmp = GST_ELEMENT (self)->sinkpads; tmp; tmp = tmp->next) {
1294     tmppad = (GstAggregatorPad *) tmp->data;
1295
1296     if (_check_pending_flush_stop (tmppad) == FALSE) {
1297       GST_DEBUG_OBJECT (tmppad, "Is not last %i -- %i",
1298           tmppad->priv->pending_flush_start, tmppad->priv->pending_flush_stop);
1299       return FALSE;
1300     }
1301   }
1302
1303   return TRUE;
1304 }
1305
1306 static void
1307 gst_aggregator_flush_start (GstAggregator * self, GstAggregatorPad * aggpad,
1308     GstEvent * event)
1309 {
1310   GstAggregatorPrivate *priv = self->priv;
1311   GstAggregatorPadPrivate *padpriv = aggpad->priv;
1312
1313   gst_aggregator_pad_set_flushing (aggpad, GST_FLOW_FLUSHING, FALSE);
1314
1315   PAD_FLUSH_LOCK (aggpad);
1316   PAD_LOCK (aggpad);
1317   if (padpriv->pending_flush_start) {
1318     GST_DEBUG_OBJECT (aggpad, "Expecting FLUSH_STOP now");
1319
1320     padpriv->pending_flush_start = FALSE;
1321     padpriv->pending_flush_stop = TRUE;
1322   }
1323   PAD_UNLOCK (aggpad);
1324
1325   GST_OBJECT_LOCK (self);
1326   if (priv->flush_seeking) {
1327     /* If flush_seeking we forward the first FLUSH_START */
1328     if (priv->pending_flush_start) {
1329       priv->pending_flush_start = FALSE;
1330       GST_OBJECT_UNLOCK (self);
1331
1332       GST_INFO_OBJECT (self, "Flushing, pausing srcpad task");
1333       gst_aggregator_stop_srcpad_task (self, event);
1334
1335       GST_INFO_OBJECT (self, "Getting STREAM_LOCK while seeking");
1336       GST_PAD_STREAM_LOCK (self->srcpad);
1337       GST_LOG_OBJECT (self, "GOT STREAM_LOCK");
1338       event = NULL;
1339     } else {
1340       GST_OBJECT_UNLOCK (self);
1341       gst_event_unref (event);
1342     }
1343   } else {
1344     GST_OBJECT_UNLOCK (self);
1345     gst_event_unref (event);
1346   }
1347   PAD_FLUSH_UNLOCK (aggpad);
1348 }
1349
1350 /* Must be called with the the PAD_LOCK held */
1351 static void
1352 update_time_level (GstAggregatorPad * aggpad, gboolean head)
1353 {
1354   GstAggregatorPadPrivate *priv = aggpad->priv;
1355
1356   if (head) {
1357     if (GST_CLOCK_TIME_IS_VALID (priv->head_position) &&
1358         priv->head_segment.format == GST_FORMAT_TIME)
1359       priv->head_time = gst_segment_to_running_time (&priv->head_segment,
1360           GST_FORMAT_TIME, priv->head_position);
1361     else
1362       priv->head_time = GST_CLOCK_TIME_NONE;
1363
1364     if (!GST_CLOCK_TIME_IS_VALID (priv->tail_time))
1365       priv->tail_time = priv->head_time;
1366   } else {
1367     if (GST_CLOCK_TIME_IS_VALID (priv->tail_position) &&
1368         aggpad->segment.format == GST_FORMAT_TIME)
1369       priv->tail_time = gst_segment_to_running_time (&aggpad->segment,
1370           GST_FORMAT_TIME, priv->tail_position);
1371     else
1372       priv->tail_time = priv->head_time;
1373   }
1374
1375   if (priv->head_time == GST_CLOCK_TIME_NONE ||
1376       priv->tail_time == GST_CLOCK_TIME_NONE) {
1377     priv->time_level = 0;
1378     return;
1379   }
1380
1381   if (priv->tail_time > priv->head_time)
1382     priv->time_level = 0;
1383   else
1384     priv->time_level = priv->head_time - priv->tail_time;
1385 }
1386
1387
1388 /* GstAggregator vmethods default implementations */
1389 static gboolean
1390 gst_aggregator_default_sink_event (GstAggregator * self,
1391     GstAggregatorPad * aggpad, GstEvent * event)
1392 {
1393   gboolean res = TRUE;
1394   GstPad *pad = GST_PAD (aggpad);
1395   GstAggregatorPrivate *priv = self->priv;
1396
1397   GST_DEBUG_OBJECT (aggpad, "Got event: %" GST_PTR_FORMAT, event);
1398
1399   switch (GST_EVENT_TYPE (event)) {
1400     case GST_EVENT_FLUSH_START:
1401     {
1402       gst_aggregator_flush_start (self, aggpad, event);
1403       /* We forward only in one case: right after flush_seeking */
1404       event = NULL;
1405       goto eat;
1406     }
1407     case GST_EVENT_FLUSH_STOP:
1408     {
1409       gst_aggregator_pad_flush (aggpad, self);
1410       GST_OBJECT_LOCK (self);
1411       if (priv->flush_seeking) {
1412         g_atomic_int_set (&aggpad->priv->pending_flush_stop, FALSE);
1413         if (gst_aggregator_all_flush_stop_received_locked (self)) {
1414           GST_OBJECT_UNLOCK (self);
1415           /* That means we received FLUSH_STOP/FLUSH_STOP on
1416            * all sinkpads -- Seeking is Done... sending FLUSH_STOP */
1417           gst_aggregator_flush (self);
1418           gst_pad_push_event (self->srcpad, event);
1419           event = NULL;
1420           SRC_LOCK (self);
1421           priv->send_eos = TRUE;
1422           SRC_BROADCAST (self);
1423           SRC_UNLOCK (self);
1424
1425           GST_INFO_OBJECT (self, "Releasing source pad STREAM_LOCK");
1426           GST_PAD_STREAM_UNLOCK (self->srcpad);
1427           gst_aggregator_start_srcpad_task (self);
1428         } else {
1429           GST_OBJECT_UNLOCK (self);
1430         }
1431       } else {
1432         GST_OBJECT_UNLOCK (self);
1433       }
1434
1435       /* We never forward the event */
1436       goto eat;
1437     }
1438     case GST_EVENT_EOS:
1439     {
1440       SRC_LOCK (self);
1441       PAD_LOCK (aggpad);
1442       g_assert (aggpad->priv->num_buffers == 0);
1443       aggpad->priv->eos = TRUE;
1444       PAD_UNLOCK (aggpad);
1445       SRC_BROADCAST (self);
1446       SRC_UNLOCK (self);
1447       goto eat;
1448     }
1449     case GST_EVENT_SEGMENT:
1450     {
1451       PAD_LOCK (aggpad);
1452       GST_OBJECT_LOCK (aggpad);
1453       gst_event_copy_segment (event, &aggpad->segment);
1454       /* We've got a new segment, tail_position is now meaningless
1455        * and may interfere with the time_level calculation
1456        */
1457       aggpad->priv->tail_position = GST_CLOCK_TIME_NONE;
1458       update_time_level (aggpad, FALSE);
1459       GST_OBJECT_UNLOCK (aggpad);
1460       PAD_UNLOCK (aggpad);
1461
1462       GST_OBJECT_LOCK (self);
1463       self->priv->seqnum = gst_event_get_seqnum (event);
1464       GST_OBJECT_UNLOCK (self);
1465       goto eat;
1466     }
1467     case GST_EVENT_STREAM_START:
1468     {
1469       goto eat;
1470     }
1471     case GST_EVENT_GAP:
1472     {
1473       GstClockTime pts, endpts;
1474       GstClockTime duration;
1475       GstBuffer *gapbuf;
1476
1477       gst_event_parse_gap (event, &pts, &duration);
1478
1479       if (GST_CLOCK_TIME_IS_VALID (duration))
1480         endpts = pts + duration;
1481       else
1482         endpts = GST_CLOCK_TIME_NONE;
1483
1484       GST_OBJECT_LOCK (aggpad);
1485       res = gst_segment_clip (&aggpad->segment, GST_FORMAT_TIME, pts, endpts,
1486           &pts, &endpts);
1487       GST_OBJECT_UNLOCK (aggpad);
1488
1489       if (!res) {
1490         GST_WARNING_OBJECT (self, "GAP event outside segment, dropping");
1491         goto eat;
1492       }
1493
1494       if (GST_CLOCK_TIME_IS_VALID (endpts) && GST_CLOCK_TIME_IS_VALID (pts))
1495         duration = endpts - pts;
1496       else
1497         duration = GST_CLOCK_TIME_NONE;
1498
1499       gapbuf = gst_buffer_new ();
1500       GST_BUFFER_PTS (gapbuf) = pts;
1501       GST_BUFFER_DURATION (gapbuf) = duration;
1502       GST_BUFFER_FLAG_SET (gapbuf, GST_BUFFER_FLAG_GAP);
1503       GST_BUFFER_FLAG_SET (gapbuf, GST_BUFFER_FLAG_DROPPABLE);
1504
1505       /* Remove GAP event so we can replace it with the buffer */
1506       PAD_LOCK (aggpad);
1507       if (g_queue_peek_tail (&aggpad->priv->data) == event)
1508         gst_event_unref (g_queue_pop_tail (&aggpad->priv->data));
1509       PAD_UNLOCK (aggpad);
1510
1511       if (gst_aggregator_pad_chain_internal (self, aggpad, gapbuf, FALSE) !=
1512           GST_FLOW_OK) {
1513         GST_WARNING_OBJECT (self, "Failed to chain gap buffer");
1514         res = FALSE;
1515       }
1516
1517       goto eat;
1518     }
1519     case GST_EVENT_TAG:
1520       goto eat;
1521     default:
1522     {
1523       break;
1524     }
1525   }
1526
1527   GST_DEBUG_OBJECT (pad, "Forwarding event: %" GST_PTR_FORMAT, event);
1528   return gst_pad_event_default (pad, GST_OBJECT (self), event);
1529
1530 eat:
1531   GST_DEBUG_OBJECT (pad, "Eating event: %" GST_PTR_FORMAT, event);
1532   if (event)
1533     gst_event_unref (event);
1534
1535   return res;
1536 }
1537
1538 static gboolean
1539 gst_aggregator_stop_pad (GstElement * self, GstPad * epad, gpointer user_data)
1540 {
1541   GstAggregatorPad *pad = GST_AGGREGATOR_PAD_CAST (epad);
1542   GstAggregator *agg = GST_AGGREGATOR_CAST (self);
1543
1544   gst_aggregator_pad_flush (pad, agg);
1545
1546   PAD_LOCK (pad);
1547   pad->priv->flow_return = GST_FLOW_FLUSHING;
1548   pad->priv->negotiated = FALSE;
1549   PAD_BROADCAST_EVENT (pad);
1550   PAD_UNLOCK (pad);
1551
1552   return TRUE;
1553 }
1554
1555 static gboolean
1556 gst_aggregator_stop (GstAggregator * agg)
1557 {
1558   GstAggregatorClass *klass;
1559   gboolean result;
1560
1561   gst_aggregator_reset_flow_values (agg);
1562
1563   /* Application needs to make sure no pads are added while it shuts us down */
1564   gst_element_foreach_sink_pad (GST_ELEMENT_CAST (agg),
1565       gst_aggregator_stop_pad, NULL);
1566
1567   klass = GST_AGGREGATOR_GET_CLASS (agg);
1568
1569   if (klass->stop)
1570     result = klass->stop (agg);
1571   else
1572     result = TRUE;
1573
1574   agg->priv->has_peer_latency = FALSE;
1575   agg->priv->peer_latency_live = FALSE;
1576   agg->priv->peer_latency_min = agg->priv->peer_latency_max = 0;
1577
1578   if (agg->priv->tags)
1579     gst_tag_list_unref (agg->priv->tags);
1580   agg->priv->tags = NULL;
1581
1582   gst_aggregator_set_allocation (agg, NULL, NULL, NULL, NULL);
1583
1584   return result;
1585 }
1586
1587 /* GstElement vmethods implementations */
1588 static GstStateChangeReturn
1589 gst_aggregator_change_state (GstElement * element, GstStateChange transition)
1590 {
1591   GstStateChangeReturn ret;
1592   GstAggregator *self = GST_AGGREGATOR (element);
1593
1594   switch (transition) {
1595     case GST_STATE_CHANGE_READY_TO_PAUSED:
1596       if (!gst_aggregator_start (self))
1597         goto error_start;
1598       break;
1599     default:
1600       break;
1601   }
1602
1603   if ((ret =
1604           GST_ELEMENT_CLASS (aggregator_parent_class)->change_state (element,
1605               transition)) == GST_STATE_CHANGE_FAILURE)
1606     goto failure;
1607
1608
1609   switch (transition) {
1610     case GST_STATE_CHANGE_PAUSED_TO_READY:
1611       if (!gst_aggregator_stop (self)) {
1612         /* What to do in this case? Error out? */
1613         GST_ERROR_OBJECT (self, "Subclass failed to stop.");
1614       }
1615       break;
1616     default:
1617       break;
1618   }
1619
1620   return ret;
1621
1622 /* ERRORS */
1623 failure:
1624   {
1625     GST_ERROR_OBJECT (element, "parent failed state change");
1626     return ret;
1627   }
1628 error_start:
1629   {
1630     GST_ERROR_OBJECT (element, "Subclass failed to start");
1631     return GST_STATE_CHANGE_FAILURE;
1632   }
1633 }
1634
1635 static void
1636 gst_aggregator_release_pad (GstElement * element, GstPad * pad)
1637 {
1638   GstAggregator *self = GST_AGGREGATOR (element);
1639   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
1640
1641   GST_INFO_OBJECT (pad, "Removing pad");
1642
1643   SRC_LOCK (self);
1644   gst_aggregator_pad_set_flushing (aggpad, GST_FLOW_FLUSHING, TRUE);
1645   gst_element_remove_pad (element, pad);
1646
1647   self->priv->has_peer_latency = FALSE;
1648   SRC_BROADCAST (self);
1649   SRC_UNLOCK (self);
1650 }
1651
1652 static GstAggregatorPad *
1653 gst_aggregator_default_create_new_pad (GstAggregator * self,
1654     GstPadTemplate * templ, const gchar * req_name, const GstCaps * caps)
1655 {
1656   GstAggregatorPad *agg_pad;
1657   GstAggregatorPrivate *priv = self->priv;
1658   gint serial = 0;
1659   gchar *name = NULL;
1660   GType pad_type =
1661       GST_PAD_TEMPLATE_GTYPE (templ) ==
1662       G_TYPE_NONE ? GST_TYPE_AGGREGATOR_PAD : GST_PAD_TEMPLATE_GTYPE (templ);
1663
1664   if (templ->direction != GST_PAD_SINK)
1665     goto not_sink;
1666
1667   if (templ->presence != GST_PAD_REQUEST)
1668     goto not_request;
1669
1670   GST_OBJECT_LOCK (self);
1671   if (req_name == NULL || strlen (req_name) < 6
1672       || !g_str_has_prefix (req_name, "sink_")
1673       || strrchr (req_name, '%') != NULL) {
1674     /* no name given when requesting the pad, use next available int */
1675     serial = ++priv->max_padserial;
1676   } else {
1677     gchar *endptr = NULL;
1678
1679     /* parse serial number from requested padname */
1680     serial = g_ascii_strtoull (&req_name[5], &endptr, 10);
1681     if (endptr != NULL && *endptr == '\0') {
1682       if (serial > priv->max_padserial) {
1683         priv->max_padserial = serial;
1684       }
1685     } else {
1686       serial = ++priv->max_padserial;
1687     }
1688   }
1689
1690   name = g_strdup_printf ("sink_%u", serial);
1691   g_assert (g_type_is_a (pad_type, GST_TYPE_AGGREGATOR_PAD));
1692   agg_pad = g_object_new (pad_type,
1693       "name", name, "direction", GST_PAD_SINK, "template", templ, NULL);
1694   g_free (name);
1695
1696   GST_OBJECT_UNLOCK (self);
1697
1698   return agg_pad;
1699
1700   /* errors */
1701 not_sink:
1702   {
1703     GST_WARNING_OBJECT (self, "request new pad that is not a SINK pad");
1704     return NULL;
1705   }
1706 not_request:
1707   {
1708     GST_WARNING_OBJECT (self, "request new pad that is not a REQUEST pad");
1709     return NULL;
1710   }
1711 }
1712
1713 static GstPad *
1714 gst_aggregator_request_new_pad (GstElement * element,
1715     GstPadTemplate * templ, const gchar * req_name, const GstCaps * caps)
1716 {
1717   GstAggregator *self;
1718   GstAggregatorPad *agg_pad;
1719   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (element);
1720   GstAggregatorPrivate *priv = GST_AGGREGATOR (element)->priv;
1721
1722   self = GST_AGGREGATOR (element);
1723
1724   agg_pad = klass->create_new_pad (self, templ, req_name, caps);
1725   if (!agg_pad) {
1726     GST_ERROR_OBJECT (element, "Couldn't create new pad");
1727     return NULL;
1728   }
1729
1730   GST_DEBUG_OBJECT (element, "Adding pad %s", GST_PAD_NAME (agg_pad));
1731
1732   if (priv->running)
1733     gst_pad_set_active (GST_PAD (agg_pad), TRUE);
1734
1735   /* add the pad to the element */
1736   gst_element_add_pad (element, GST_PAD (agg_pad));
1737
1738   return GST_PAD (agg_pad);
1739 }
1740
1741 /* Must be called with SRC_LOCK held */
1742
1743 static gboolean
1744 gst_aggregator_query_latency_unlocked (GstAggregator * self, GstQuery * query)
1745 {
1746   gboolean query_ret, live;
1747   GstClockTime our_latency, min, max;
1748
1749   query_ret = gst_pad_query_default (self->srcpad, GST_OBJECT (self), query);
1750
1751   if (!query_ret) {
1752     GST_WARNING_OBJECT (self, "Latency query failed");
1753     return FALSE;
1754   }
1755
1756   gst_query_parse_latency (query, &live, &min, &max);
1757
1758   if (G_UNLIKELY (!GST_CLOCK_TIME_IS_VALID (min))) {
1759     GST_ERROR_OBJECT (self, "Invalid minimum latency %" GST_TIME_FORMAT
1760         ". Please file a bug at " PACKAGE_BUGREPORT ".", GST_TIME_ARGS (min));
1761     return FALSE;
1762   }
1763
1764   if (self->priv->upstream_latency_min > min) {
1765     GstClockTimeDiff diff =
1766         GST_CLOCK_DIFF (min, self->priv->upstream_latency_min);
1767
1768     min += diff;
1769     if (GST_CLOCK_TIME_IS_VALID (max)) {
1770       max += diff;
1771     }
1772   }
1773
1774   if (min > max && GST_CLOCK_TIME_IS_VALID (max)) {
1775     GST_ELEMENT_WARNING (self, CORE, CLOCK, (NULL),
1776         ("Impossible to configure latency: max %" GST_TIME_FORMAT " < min %"
1777             GST_TIME_FORMAT ". Add queues or other buffering elements.",
1778             GST_TIME_ARGS (max), GST_TIME_ARGS (min)));
1779     return FALSE;
1780   }
1781
1782   our_latency = self->priv->latency;
1783
1784   self->priv->peer_latency_live = live;
1785   self->priv->peer_latency_min = min;
1786   self->priv->peer_latency_max = max;
1787   self->priv->has_peer_latency = TRUE;
1788
1789   /* add our own */
1790   min += our_latency;
1791   min += self->priv->sub_latency_min;
1792   if (GST_CLOCK_TIME_IS_VALID (self->priv->sub_latency_max)
1793       && GST_CLOCK_TIME_IS_VALID (max))
1794     max += self->priv->sub_latency_max + our_latency;
1795   else
1796     max = GST_CLOCK_TIME_NONE;
1797
1798   SRC_BROADCAST (self);
1799
1800   GST_DEBUG_OBJECT (self, "configured latency live:%s min:%" G_GINT64_FORMAT
1801       " max:%" G_GINT64_FORMAT, live ? "true" : "false", min, max);
1802
1803   gst_query_set_latency (query, live, min, max);
1804
1805   return query_ret;
1806 }
1807
1808 /*
1809  * MUST be called with the src_lock held.
1810  *
1811  * See  gst_aggregator_get_latency() for doc
1812  */
1813 static GstClockTime
1814 gst_aggregator_get_latency_unlocked (GstAggregator * self)
1815 {
1816   GstClockTime latency;
1817
1818   g_return_val_if_fail (GST_IS_AGGREGATOR (self), 0);
1819
1820   if (!self->priv->has_peer_latency) {
1821     GstQuery *query = gst_query_new_latency ();
1822     gboolean ret;
1823
1824     ret = gst_aggregator_query_latency_unlocked (self, query);
1825     gst_query_unref (query);
1826     if (!ret)
1827       return GST_CLOCK_TIME_NONE;
1828   }
1829
1830   if (!self->priv->has_peer_latency || !self->priv->peer_latency_live)
1831     return GST_CLOCK_TIME_NONE;
1832
1833   /* latency_min is never GST_CLOCK_TIME_NONE by construction */
1834   latency = self->priv->peer_latency_min;
1835
1836   /* add our own */
1837   latency += self->priv->latency;
1838   latency += self->priv->sub_latency_min;
1839
1840   return latency;
1841 }
1842
1843 /**
1844  * gst_aggregator_get_latency:
1845  * @self: a #GstAggregator
1846  *
1847  * Retrieves the latency values reported by @self in response to the latency
1848  * query, or %GST_CLOCK_TIME_NONE if there is not live source connected and the element
1849  * will not wait for the clock.
1850  *
1851  * Typically only called by subclasses.
1852  *
1853  * Returns: The latency or %GST_CLOCK_TIME_NONE if the element does not sync
1854  */
1855 GstClockTime
1856 gst_aggregator_get_latency (GstAggregator * self)
1857 {
1858   GstClockTime ret;
1859
1860   SRC_LOCK (self);
1861   ret = gst_aggregator_get_latency_unlocked (self);
1862   SRC_UNLOCK (self);
1863
1864   return ret;
1865 }
1866
1867 static gboolean
1868 gst_aggregator_send_event (GstElement * element, GstEvent * event)
1869 {
1870   GstAggregator *self = GST_AGGREGATOR (element);
1871
1872   GST_STATE_LOCK (element);
1873   if (GST_EVENT_TYPE (event) == GST_EVENT_SEEK &&
1874       GST_STATE (element) < GST_STATE_PAUSED) {
1875     gdouble rate;
1876     GstFormat fmt;
1877     GstSeekFlags flags;
1878     GstSeekType start_type, stop_type;
1879     gint64 start, stop;
1880
1881     gst_event_parse_seek (event, &rate, &fmt, &flags, &start_type,
1882         &start, &stop_type, &stop);
1883
1884     GST_OBJECT_LOCK (self);
1885     gst_segment_do_seek (&GST_AGGREGATOR_PAD (self->srcpad)->segment, rate, fmt,
1886         flags, start_type, start, stop_type, stop, NULL);
1887     self->priv->seqnum = gst_event_get_seqnum (event);
1888     self->priv->first_buffer = FALSE;
1889     GST_OBJECT_UNLOCK (self);
1890
1891     GST_DEBUG_OBJECT (element, "Storing segment %" GST_PTR_FORMAT, event);
1892   }
1893   GST_STATE_UNLOCK (element);
1894
1895
1896   return GST_ELEMENT_CLASS (aggregator_parent_class)->send_event (element,
1897       event);
1898 }
1899
1900 static gboolean
1901 gst_aggregator_default_src_query (GstAggregator * self, GstQuery * query)
1902 {
1903   gboolean res = TRUE;
1904
1905   switch (GST_QUERY_TYPE (query)) {
1906     case GST_QUERY_SEEKING:
1907     {
1908       GstFormat format;
1909
1910       /* don't pass it along as some (file)sink might claim it does
1911        * whereas with a collectpads in between that will not likely work */
1912       gst_query_parse_seeking (query, &format, NULL, NULL, NULL);
1913       gst_query_set_seeking (query, format, FALSE, 0, -1);
1914       res = TRUE;
1915
1916       break;
1917     }
1918     case GST_QUERY_LATENCY:
1919       SRC_LOCK (self);
1920       res = gst_aggregator_query_latency_unlocked (self, query);
1921       SRC_UNLOCK (self);
1922       break;
1923     default:
1924       return gst_pad_query_default (self->srcpad, GST_OBJECT (self), query);
1925   }
1926
1927   return res;
1928 }
1929
1930 static gboolean
1931 gst_aggregator_event_forward_func (GstPad * pad, gpointer user_data)
1932 {
1933   EventData *evdata = user_data;
1934   gboolean ret = TRUE;
1935   GstPad *peer = gst_pad_get_peer (pad);
1936   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
1937
1938   if (peer) {
1939     if (evdata->only_to_active_pads && aggpad->priv->first_buffer) {
1940       GST_DEBUG_OBJECT (pad, "not sending event to inactive pad");
1941       ret = TRUE;
1942     } else {
1943       ret = gst_pad_send_event (peer, gst_event_ref (evdata->event));
1944       GST_DEBUG_OBJECT (pad, "return of event push is %d", ret);
1945     }
1946   }
1947
1948   if (ret == FALSE) {
1949     if (GST_EVENT_TYPE (evdata->event) == GST_EVENT_SEEK) {
1950       GstQuery *seeking = gst_query_new_seeking (GST_FORMAT_TIME);
1951
1952       GST_DEBUG_OBJECT (pad, "Event %" GST_PTR_FORMAT " failed", evdata->event);
1953
1954       if (gst_pad_query (peer, seeking)) {
1955         gboolean seekable;
1956
1957         gst_query_parse_seeking (seeking, NULL, &seekable, NULL, NULL);
1958
1959         if (seekable == FALSE) {
1960           GST_INFO_OBJECT (pad,
1961               "Source not seekable, We failed but it does not matter!");
1962
1963           ret = TRUE;
1964         }
1965       } else {
1966         GST_ERROR_OBJECT (pad, "Query seeking FAILED");
1967       }
1968
1969       gst_query_unref (seeking);
1970     }
1971
1972     if (evdata->flush) {
1973       PAD_LOCK (aggpad);
1974       aggpad->priv->pending_flush_start = FALSE;
1975       aggpad->priv->pending_flush_stop = FALSE;
1976       PAD_UNLOCK (aggpad);
1977     }
1978   } else {
1979     evdata->one_actually_seeked = TRUE;
1980   }
1981
1982   evdata->result &= ret;
1983
1984   if (peer)
1985     gst_object_unref (peer);
1986
1987   /* Always send to all pads */
1988   return FALSE;
1989 }
1990
1991 static void
1992 gst_aggregator_forward_event_to_all_sinkpads (GstAggregator * self,
1993     EventData * evdata)
1994 {
1995   evdata->result = TRUE;
1996   evdata->one_actually_seeked = FALSE;
1997
1998   /* We first need to set all pads as flushing in a first pass
1999    * as flush_start flush_stop is sometimes sent synchronously
2000    * while we send the seek event */
2001   if (evdata->flush) {
2002     GList *l;
2003
2004     GST_OBJECT_LOCK (self);
2005     for (l = GST_ELEMENT_CAST (self)->sinkpads; l != NULL; l = l->next) {
2006       GstAggregatorPad *pad = l->data;
2007
2008       PAD_LOCK (pad);
2009       pad->priv->pending_flush_start = TRUE;
2010       pad->priv->pending_flush_stop = FALSE;
2011       PAD_UNLOCK (pad);
2012     }
2013     GST_OBJECT_UNLOCK (self);
2014   }
2015
2016   gst_pad_forward (self->srcpad, gst_aggregator_event_forward_func, evdata);
2017
2018   gst_event_unref (evdata->event);
2019 }
2020
2021 static gboolean
2022 gst_aggregator_do_seek (GstAggregator * self, GstEvent * event)
2023 {
2024   gdouble rate;
2025   GstFormat fmt;
2026   GstSeekFlags flags;
2027   GstSeekType start_type, stop_type;
2028   gint64 start, stop;
2029   gboolean flush;
2030   EventData evdata = { 0, };
2031   GstAggregatorPrivate *priv = self->priv;
2032
2033   gst_event_parse_seek (event, &rate, &fmt, &flags, &start_type,
2034       &start, &stop_type, &stop);
2035
2036   GST_INFO_OBJECT (self, "starting SEEK");
2037
2038   flush = flags & GST_SEEK_FLAG_FLUSH;
2039
2040   GST_OBJECT_LOCK (self);
2041   if (flush) {
2042     priv->pending_flush_start = TRUE;
2043     priv->flush_seeking = TRUE;
2044   }
2045
2046   gst_segment_do_seek (&GST_AGGREGATOR_PAD (self->srcpad)->segment, rate, fmt,
2047       flags, start_type, start, stop_type, stop, NULL);
2048
2049   /* Seeking sets a position */
2050   self->priv->first_buffer = FALSE;
2051   GST_OBJECT_UNLOCK (self);
2052
2053   /* forward the seek upstream */
2054   evdata.event = event;
2055   evdata.flush = flush;
2056   evdata.only_to_active_pads = FALSE;
2057   gst_aggregator_forward_event_to_all_sinkpads (self, &evdata);
2058   event = NULL;
2059
2060   if (!evdata.result || !evdata.one_actually_seeked) {
2061     GST_OBJECT_LOCK (self);
2062     priv->flush_seeking = FALSE;
2063     priv->pending_flush_start = FALSE;
2064     GST_OBJECT_UNLOCK (self);
2065   }
2066
2067   GST_INFO_OBJECT (self, "seek done, result: %d", evdata.result);
2068
2069   return evdata.result;
2070 }
2071
2072 static gboolean
2073 gst_aggregator_default_src_event (GstAggregator * self, GstEvent * event)
2074 {
2075   EventData evdata = { 0, };
2076
2077   switch (GST_EVENT_TYPE (event)) {
2078     case GST_EVENT_SEEK:
2079       /* _do_seek() unrefs the event. */
2080       return gst_aggregator_do_seek (self, event);
2081     case GST_EVENT_NAVIGATION:
2082       /* navigation is rather pointless. */
2083       gst_event_unref (event);
2084       return FALSE;
2085     default:
2086       break;
2087   }
2088
2089   /* Don't forward QOS events to pads that had no active buffer yet. Otherwise
2090    * they will receive a QOS event that has earliest_time=0 (because we can't
2091    * have negative timestamps), and consider their buffer as too late */
2092   evdata.event = event;
2093   evdata.flush = FALSE;
2094   evdata.only_to_active_pads = GST_EVENT_TYPE (event) == GST_EVENT_QOS;
2095   gst_aggregator_forward_event_to_all_sinkpads (self, &evdata);
2096   return evdata.result;
2097 }
2098
2099 static gboolean
2100 gst_aggregator_src_pad_event_func (GstPad * pad, GstObject * parent,
2101     GstEvent * event)
2102 {
2103   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (parent);
2104
2105   return klass->src_event (GST_AGGREGATOR (parent), event);
2106 }
2107
2108 static gboolean
2109 gst_aggregator_src_pad_query_func (GstPad * pad, GstObject * parent,
2110     GstQuery * query)
2111 {
2112   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (parent);
2113
2114   return klass->src_query (GST_AGGREGATOR (parent), query);
2115 }
2116
2117 static gboolean
2118 gst_aggregator_src_pad_activate_mode_func (GstPad * pad,
2119     GstObject * parent, GstPadMode mode, gboolean active)
2120 {
2121   GstAggregator *self = GST_AGGREGATOR (parent);
2122   GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (parent);
2123
2124   if (klass->src_activate) {
2125     if (klass->src_activate (self, mode, active) == FALSE) {
2126       return FALSE;
2127     }
2128   }
2129
2130   if (active == TRUE) {
2131     switch (mode) {
2132       case GST_PAD_MODE_PUSH:
2133       {
2134         GST_INFO_OBJECT (pad, "Activating pad!");
2135         gst_aggregator_start_srcpad_task (self);
2136         return TRUE;
2137       }
2138       default:
2139       {
2140         GST_ERROR_OBJECT (pad, "Only supported mode is PUSH");
2141         return FALSE;
2142       }
2143     }
2144   }
2145
2146   /* deactivating */
2147   GST_INFO_OBJECT (self, "Deactivating srcpad");
2148   gst_aggregator_stop_srcpad_task (self, FALSE);
2149
2150   return TRUE;
2151 }
2152
2153 static gboolean
2154 gst_aggregator_default_sink_query (GstAggregator * self,
2155     GstAggregatorPad * aggpad, GstQuery * query)
2156 {
2157   GstPad *pad = GST_PAD (aggpad);
2158
2159   if (GST_QUERY_TYPE (query) == GST_QUERY_ALLOCATION) {
2160     GstQuery *decide_query = NULL;
2161     GstAggregatorClass *agg_class;
2162     gboolean ret;
2163
2164     GST_OBJECT_LOCK (self);
2165     PAD_LOCK (aggpad);
2166     if (G_UNLIKELY (!aggpad->priv->negotiated)) {
2167       GST_DEBUG_OBJECT (self,
2168           "not negotiated yet, can't answer ALLOCATION query");
2169       PAD_UNLOCK (aggpad);
2170       GST_OBJECT_UNLOCK (self);
2171
2172       return FALSE;
2173     }
2174
2175     if ((decide_query = self->priv->allocation_query))
2176       gst_query_ref (decide_query);
2177     PAD_UNLOCK (aggpad);
2178     GST_OBJECT_UNLOCK (self);
2179
2180     GST_DEBUG_OBJECT (self,
2181         "calling propose allocation with query %" GST_PTR_FORMAT, decide_query);
2182
2183     agg_class = GST_AGGREGATOR_GET_CLASS (self);
2184
2185     /* pass the query to the propose_allocation vmethod if any */
2186     if (agg_class->propose_allocation)
2187       ret = agg_class->propose_allocation (self, aggpad, decide_query, query);
2188     else
2189       ret = FALSE;
2190
2191     if (decide_query)
2192       gst_query_unref (decide_query);
2193
2194     GST_DEBUG_OBJECT (self, "ALLOCATION ret %d, %" GST_PTR_FORMAT, ret, query);
2195     return ret;
2196   }
2197
2198   return gst_pad_query_default (pad, GST_OBJECT (self), query);
2199 }
2200
2201 static void
2202 gst_aggregator_finalize (GObject * object)
2203 {
2204   GstAggregator *self = (GstAggregator *) object;
2205
2206   g_mutex_clear (&self->priv->src_lock);
2207   g_cond_clear (&self->priv->src_cond);
2208
2209   G_OBJECT_CLASS (aggregator_parent_class)->finalize (object);
2210 }
2211
2212 /*
2213  * gst_aggregator_set_latency_property:
2214  * @agg: a #GstAggregator
2215  * @latency: the new latency value (in nanoseconds).
2216  *
2217  * Sets the new latency value to @latency. This value is used to limit the
2218  * amount of time a pad waits for data to appear before considering the pad
2219  * as unresponsive.
2220  */
2221 static void
2222 gst_aggregator_set_latency_property (GstAggregator * self, GstClockTime latency)
2223 {
2224   gboolean changed;
2225
2226   g_return_if_fail (GST_IS_AGGREGATOR (self));
2227   g_return_if_fail (GST_CLOCK_TIME_IS_VALID (latency));
2228
2229   SRC_LOCK (self);
2230   changed = (self->priv->latency != latency);
2231
2232   if (changed) {
2233     GList *item;
2234
2235     GST_OBJECT_LOCK (self);
2236     /* First lock all the pads */
2237     for (item = GST_ELEMENT_CAST (self)->sinkpads; item; item = item->next) {
2238       GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (item->data);
2239       PAD_LOCK (aggpad);
2240     }
2241
2242     self->priv->latency = latency;
2243
2244     SRC_BROADCAST (self);
2245
2246     /* Now wake up the pads */
2247     for (item = GST_ELEMENT_CAST (self)->sinkpads; item; item = item->next) {
2248       GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (item->data);
2249       PAD_BROADCAST_EVENT (aggpad);
2250       PAD_UNLOCK (aggpad);
2251     }
2252     GST_OBJECT_UNLOCK (self);
2253   }
2254
2255   SRC_UNLOCK (self);
2256
2257   if (changed)
2258     gst_element_post_message (GST_ELEMENT_CAST (self),
2259         gst_message_new_latency (GST_OBJECT_CAST (self)));
2260 }
2261
2262 /*
2263  * gst_aggregator_get_latency_property:
2264  * @agg: a #GstAggregator
2265  *
2266  * Gets the latency value. See gst_aggregator_set_latency for
2267  * more details.
2268  *
2269  * Returns: The time in nanoseconds to wait for data to arrive on a sink pad
2270  * before a pad is deemed unresponsive. A value of -1 means an
2271  * unlimited time.
2272  */
2273 static GstClockTime
2274 gst_aggregator_get_latency_property (GstAggregator * agg)
2275 {
2276   GstClockTime res;
2277
2278   g_return_val_if_fail (GST_IS_AGGREGATOR (agg), GST_CLOCK_TIME_NONE);
2279
2280   GST_OBJECT_LOCK (agg);
2281   res = agg->priv->latency;
2282   GST_OBJECT_UNLOCK (agg);
2283
2284   return res;
2285 }
2286
2287 static void
2288 gst_aggregator_set_property (GObject * object, guint prop_id,
2289     const GValue * value, GParamSpec * pspec)
2290 {
2291   GstAggregator *agg = GST_AGGREGATOR (object);
2292
2293   switch (prop_id) {
2294     case PROP_LATENCY:
2295       gst_aggregator_set_latency_property (agg, g_value_get_uint64 (value));
2296       break;
2297     case PROP_MIN_UPSTREAM_LATENCY:
2298       SRC_LOCK (agg);
2299       agg->priv->upstream_latency_min = g_value_get_uint64 (value);
2300       SRC_UNLOCK (agg);
2301       break;
2302     case PROP_START_TIME_SELECTION:
2303       agg->priv->start_time_selection = g_value_get_enum (value);
2304       break;
2305     case PROP_START_TIME:
2306       agg->priv->start_time = g_value_get_uint64 (value);
2307       break;
2308     default:
2309       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
2310       break;
2311   }
2312 }
2313
2314 static void
2315 gst_aggregator_get_property (GObject * object, guint prop_id,
2316     GValue * value, GParamSpec * pspec)
2317 {
2318   GstAggregator *agg = GST_AGGREGATOR (object);
2319
2320   switch (prop_id) {
2321     case PROP_LATENCY:
2322       g_value_set_uint64 (value, gst_aggregator_get_latency_property (agg));
2323       break;
2324     case PROP_MIN_UPSTREAM_LATENCY:
2325       SRC_LOCK (agg);
2326       g_value_set_uint64 (value, agg->priv->upstream_latency_min);
2327       SRC_UNLOCK (agg);
2328       break;
2329     case PROP_START_TIME_SELECTION:
2330       g_value_set_enum (value, agg->priv->start_time_selection);
2331       break;
2332     case PROP_START_TIME:
2333       g_value_set_uint64 (value, agg->priv->start_time);
2334       break;
2335     default:
2336       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
2337       break;
2338   }
2339 }
2340
2341 /* GObject vmethods implementations */
2342 static void
2343 gst_aggregator_class_init (GstAggregatorClass * klass)
2344 {
2345   GObjectClass *gobject_class = (GObjectClass *) klass;
2346   GstElementClass *gstelement_class = (GstElementClass *) klass;
2347
2348   aggregator_parent_class = g_type_class_peek_parent (klass);
2349
2350   GST_DEBUG_CATEGORY_INIT (aggregator_debug, "aggregator",
2351       GST_DEBUG_FG_MAGENTA, "GstAggregator");
2352
2353   if (aggregator_private_offset != 0)
2354     g_type_class_adjust_private_offset (klass, &aggregator_private_offset);
2355
2356   klass->finish_buffer = gst_aggregator_default_finish_buffer;
2357
2358   klass->sink_event = gst_aggregator_default_sink_event;
2359   klass->sink_query = gst_aggregator_default_sink_query;
2360
2361   klass->src_event = gst_aggregator_default_src_event;
2362   klass->src_query = gst_aggregator_default_src_query;
2363
2364   klass->create_new_pad = gst_aggregator_default_create_new_pad;
2365   klass->update_src_caps = gst_aggregator_default_update_src_caps;
2366   klass->fixate_src_caps = gst_aggregator_default_fixate_src_caps;
2367   klass->negotiated_src_caps = gst_aggregator_default_negotiated_src_caps;
2368
2369   gstelement_class->request_new_pad =
2370       GST_DEBUG_FUNCPTR (gst_aggregator_request_new_pad);
2371   gstelement_class->send_event = GST_DEBUG_FUNCPTR (gst_aggregator_send_event);
2372   gstelement_class->release_pad =
2373       GST_DEBUG_FUNCPTR (gst_aggregator_release_pad);
2374   gstelement_class->change_state =
2375       GST_DEBUG_FUNCPTR (gst_aggregator_change_state);
2376
2377   gobject_class->set_property = gst_aggregator_set_property;
2378   gobject_class->get_property = gst_aggregator_get_property;
2379   gobject_class->finalize = gst_aggregator_finalize;
2380
2381   g_object_class_install_property (gobject_class, PROP_LATENCY,
2382       g_param_spec_uint64 ("latency", "Buffer latency",
2383           "Additional latency in live mode to allow upstream "
2384           "to take longer to produce buffers for the current "
2385           "position (in nanoseconds)", 0, G_MAXUINT64,
2386           DEFAULT_LATENCY, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
2387
2388   /**
2389    * GstAggregator:min-upstream-latency:
2390    *
2391    * Force minimum upstream latency (in nanoseconds). When sources with a
2392    * higher latency are expected to be plugged in dynamically after the
2393    * aggregator has started playing, this allows overriding the minimum
2394    * latency reported by the initial source(s). This is only taken into
2395    * account when larger than the actually reported minimum latency.
2396    *
2397    * Since: 1.16
2398    */
2399   g_object_class_install_property (gobject_class, PROP_MIN_UPSTREAM_LATENCY,
2400       g_param_spec_uint64 ("min-upstream-latency", "Buffer latency",
2401           "When sources with a higher latency are expected to be plugged "
2402           "in dynamically after the aggregator has started playing, "
2403           "this allows overriding the minimum latency reported by the "
2404           "initial source(s). This is only taken into account when larger "
2405           "than the actually reported minimum latency. (nanoseconds)",
2406           0, G_MAXUINT64,
2407           DEFAULT_LATENCY, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
2408
2409   g_object_class_install_property (gobject_class, PROP_START_TIME_SELECTION,
2410       g_param_spec_enum ("start-time-selection", "Start Time Selection",
2411           "Decides which start time is output",
2412           gst_aggregator_start_time_selection_get_type (),
2413           DEFAULT_START_TIME_SELECTION,
2414           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
2415
2416   g_object_class_install_property (gobject_class, PROP_START_TIME,
2417       g_param_spec_uint64 ("start-time", "Start Time",
2418           "Start time to use if start-time-selection=set", 0,
2419           G_MAXUINT64,
2420           DEFAULT_START_TIME, G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
2421 }
2422
2423 static inline gpointer
2424 gst_aggregator_get_instance_private (GstAggregator * self)
2425 {
2426   return (G_STRUCT_MEMBER_P (self, aggregator_private_offset));
2427 }
2428
2429 static void
2430 gst_aggregator_init (GstAggregator * self, GstAggregatorClass * klass)
2431 {
2432   GstPadTemplate *pad_template;
2433   GstAggregatorPrivate *priv;
2434   GType pad_type;
2435
2436   g_return_if_fail (klass->aggregate != NULL);
2437
2438   self->priv = gst_aggregator_get_instance_private (self);
2439
2440   priv = self->priv;
2441
2442   pad_template =
2443       gst_element_class_get_pad_template (GST_ELEMENT_CLASS (klass), "src");
2444   g_return_if_fail (pad_template != NULL);
2445
2446   priv->max_padserial = -1;
2447   priv->tags_changed = FALSE;
2448
2449   self->priv->peer_latency_live = FALSE;
2450   self->priv->peer_latency_min = self->priv->sub_latency_min = 0;
2451   self->priv->peer_latency_max = self->priv->sub_latency_max = 0;
2452   self->priv->has_peer_latency = FALSE;
2453
2454   pad_type =
2455       GST_PAD_TEMPLATE_GTYPE (pad_template) ==
2456       G_TYPE_NONE ? GST_TYPE_AGGREGATOR_PAD :
2457       GST_PAD_TEMPLATE_GTYPE (pad_template);
2458   g_assert (g_type_is_a (pad_type, GST_TYPE_AGGREGATOR_PAD));
2459   self->srcpad =
2460       g_object_new (pad_type, "name", "src", "direction", GST_PAD_SRC,
2461       "template", pad_template, NULL);
2462
2463   gst_aggregator_reset_flow_values (self);
2464
2465   gst_pad_set_event_function (self->srcpad,
2466       GST_DEBUG_FUNCPTR (gst_aggregator_src_pad_event_func));
2467   gst_pad_set_query_function (self->srcpad,
2468       GST_DEBUG_FUNCPTR (gst_aggregator_src_pad_query_func));
2469   gst_pad_set_activatemode_function (self->srcpad,
2470       GST_DEBUG_FUNCPTR (gst_aggregator_src_pad_activate_mode_func));
2471
2472   gst_element_add_pad (GST_ELEMENT (self), self->srcpad);
2473
2474   self->priv->upstream_latency_min = DEFAULT_MIN_UPSTREAM_LATENCY;
2475   self->priv->latency = DEFAULT_LATENCY;
2476   self->priv->start_time_selection = DEFAULT_START_TIME_SELECTION;
2477   self->priv->start_time = DEFAULT_START_TIME;
2478
2479   g_mutex_init (&self->priv->src_lock);
2480   g_cond_init (&self->priv->src_cond);
2481 }
2482
2483 /* we can't use G_DEFINE_ABSTRACT_TYPE because we need the klass in the _init
2484  * method to get to the padtemplates */
2485 GType
2486 gst_aggregator_get_type (void)
2487 {
2488   static volatile gsize type = 0;
2489
2490   if (g_once_init_enter (&type)) {
2491     GType _type;
2492     static const GTypeInfo info = {
2493       sizeof (GstAggregatorClass),
2494       NULL,
2495       NULL,
2496       (GClassInitFunc) gst_aggregator_class_init,
2497       NULL,
2498       NULL,
2499       sizeof (GstAggregator),
2500       0,
2501       (GInstanceInitFunc) gst_aggregator_init,
2502     };
2503
2504     _type = g_type_register_static (GST_TYPE_ELEMENT,
2505         "GstAggregator", &info, G_TYPE_FLAG_ABSTRACT);
2506
2507     aggregator_private_offset =
2508         g_type_add_instance_private (_type, sizeof (GstAggregatorPrivate));
2509
2510     g_once_init_leave (&type, _type);
2511   }
2512   return type;
2513 }
2514
2515 /* Must be called with SRC lock and PAD lock held */
2516 static gboolean
2517 gst_aggregator_pad_has_space (GstAggregator * self, GstAggregatorPad * aggpad)
2518 {
2519   /* Empty queue always has space */
2520   if (aggpad->priv->num_buffers == 0 && aggpad->priv->clipped_buffer == NULL)
2521     return TRUE;
2522
2523   /* We also want at least two buffers, one is being processed and one is ready
2524    * for the next iteration when we operate in live mode. */
2525   if (self->priv->peer_latency_live && aggpad->priv->num_buffers < 2)
2526     return TRUE;
2527
2528   /* zero latency, if there is a buffer, it's full */
2529   if (self->priv->latency == 0)
2530     return FALSE;
2531
2532   /* Allow no more buffers than the latency */
2533   return (aggpad->priv->time_level <= self->priv->latency);
2534 }
2535
2536 /* Must be called with the PAD_LOCK held */
2537 static void
2538 apply_buffer (GstAggregatorPad * aggpad, GstBuffer * buffer, gboolean head)
2539 {
2540   GstClockTime timestamp;
2541
2542   if (GST_BUFFER_DTS_IS_VALID (buffer))
2543     timestamp = GST_BUFFER_DTS (buffer);
2544   else
2545     timestamp = GST_BUFFER_PTS (buffer);
2546
2547   if (timestamp == GST_CLOCK_TIME_NONE) {
2548     if (head)
2549       timestamp = aggpad->priv->head_position;
2550     else
2551       timestamp = aggpad->priv->tail_position;
2552   }
2553
2554   /* add duration */
2555   if (GST_BUFFER_DURATION_IS_VALID (buffer))
2556     timestamp += GST_BUFFER_DURATION (buffer);
2557
2558   if (head)
2559     aggpad->priv->head_position = timestamp;
2560   else
2561     aggpad->priv->tail_position = timestamp;
2562
2563   update_time_level (aggpad, head);
2564 }
2565
2566 /*
2567  * Can be called either from the sinkpad's chain function or from the srcpad's
2568  * thread in the case of a buffer synthetized from a GAP event.
2569  * Because of this second case, FLUSH_LOCK can't be used here.
2570  */
2571
2572 static GstFlowReturn
2573 gst_aggregator_pad_chain_internal (GstAggregator * self,
2574     GstAggregatorPad * aggpad, GstBuffer * buffer, gboolean head)
2575 {
2576   GstFlowReturn flow_return;
2577   GstClockTime buf_pts;
2578
2579   PAD_LOCK (aggpad);
2580   flow_return = aggpad->priv->flow_return;
2581   if (flow_return != GST_FLOW_OK)
2582     goto flushing;
2583
2584   PAD_UNLOCK (aggpad);
2585
2586   buf_pts = GST_BUFFER_PTS (buffer);
2587
2588   for (;;) {
2589     SRC_LOCK (self);
2590     GST_OBJECT_LOCK (self);
2591     PAD_LOCK (aggpad);
2592
2593     if (aggpad->priv->first_buffer) {
2594       self->priv->has_peer_latency = FALSE;
2595       aggpad->priv->first_buffer = FALSE;
2596     }
2597
2598     if ((gst_aggregator_pad_has_space (self, aggpad) || !head)
2599         && aggpad->priv->flow_return == GST_FLOW_OK) {
2600       if (head)
2601         g_queue_push_head (&aggpad->priv->data, buffer);
2602       else
2603         g_queue_push_tail (&aggpad->priv->data, buffer);
2604       apply_buffer (aggpad, buffer, head);
2605       aggpad->priv->num_buffers++;
2606       buffer = NULL;
2607       SRC_BROADCAST (self);
2608       break;
2609     }
2610
2611     flow_return = aggpad->priv->flow_return;
2612     if (flow_return != GST_FLOW_OK) {
2613       GST_OBJECT_UNLOCK (self);
2614       SRC_UNLOCK (self);
2615       goto flushing;
2616     }
2617     GST_DEBUG_OBJECT (aggpad, "Waiting for buffer to be consumed");
2618     GST_OBJECT_UNLOCK (self);
2619     SRC_UNLOCK (self);
2620     PAD_WAIT_EVENT (aggpad);
2621
2622     PAD_UNLOCK (aggpad);
2623   }
2624
2625   if (self->priv->first_buffer) {
2626     GstClockTime start_time;
2627     GstAggregatorPad *srcpad = GST_AGGREGATOR_PAD (self->srcpad);
2628
2629     switch (self->priv->start_time_selection) {
2630       case GST_AGGREGATOR_START_TIME_SELECTION_ZERO:
2631       default:
2632         start_time = 0;
2633         break;
2634       case GST_AGGREGATOR_START_TIME_SELECTION_FIRST:
2635         GST_OBJECT_LOCK (aggpad);
2636         if (aggpad->priv->head_segment.format == GST_FORMAT_TIME) {
2637           start_time = buf_pts;
2638           if (start_time != -1) {
2639             start_time = MAX (start_time, aggpad->priv->head_segment.start);
2640             start_time =
2641                 gst_segment_to_running_time (&aggpad->priv->head_segment,
2642                 GST_FORMAT_TIME, start_time);
2643           }
2644         } else {
2645           start_time = 0;
2646           GST_WARNING_OBJECT (aggpad,
2647               "Ignoring request of selecting the first start time "
2648               "as the segment is a %s segment instead of a time segment",
2649               gst_format_get_name (aggpad->segment.format));
2650         }
2651         GST_OBJECT_UNLOCK (aggpad);
2652         break;
2653       case GST_AGGREGATOR_START_TIME_SELECTION_SET:
2654         start_time = self->priv->start_time;
2655         if (start_time == -1)
2656           start_time = 0;
2657         break;
2658     }
2659
2660     if (start_time != -1) {
2661       if (srcpad->segment.position == -1)
2662         srcpad->segment.position = start_time;
2663       else
2664         srcpad->segment.position = MIN (start_time, srcpad->segment.position);
2665
2666       GST_DEBUG_OBJECT (self, "Selecting start time %" GST_TIME_FORMAT,
2667           GST_TIME_ARGS (start_time));
2668     }
2669   }
2670
2671   PAD_UNLOCK (aggpad);
2672   GST_OBJECT_UNLOCK (self);
2673   SRC_UNLOCK (self);
2674
2675   GST_DEBUG_OBJECT (aggpad, "Done chaining");
2676
2677   return flow_return;
2678
2679 flushing:
2680   PAD_UNLOCK (aggpad);
2681
2682   GST_DEBUG_OBJECT (aggpad, "Pad is %s, dropping buffer",
2683       gst_flow_get_name (flow_return));
2684   if (buffer)
2685     gst_buffer_unref (buffer);
2686
2687   return flow_return;
2688 }
2689
2690 static GstFlowReturn
2691 gst_aggregator_pad_chain (GstPad * pad, GstObject * object, GstBuffer * buffer)
2692 {
2693   GstFlowReturn ret;
2694   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
2695
2696   PAD_FLUSH_LOCK (aggpad);
2697
2698   ret = gst_aggregator_pad_chain_internal (GST_AGGREGATOR_CAST (object),
2699       aggpad, buffer, TRUE);
2700
2701   PAD_FLUSH_UNLOCK (aggpad);
2702
2703   return ret;
2704 }
2705
2706 static gboolean
2707 gst_aggregator_pad_query_func (GstPad * pad, GstObject * parent,
2708     GstQuery * query)
2709 {
2710   GstAggregator *self = GST_AGGREGATOR (parent);
2711   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
2712
2713   if (GST_QUERY_IS_SERIALIZED (query)) {
2714     GstStructure *s;
2715     gboolean ret = FALSE;
2716
2717     SRC_LOCK (self);
2718     PAD_LOCK (aggpad);
2719
2720     if (aggpad->priv->flow_return != GST_FLOW_OK) {
2721       SRC_UNLOCK (self);
2722       goto flushing;
2723     }
2724
2725     g_queue_push_head (&aggpad->priv->data, query);
2726     SRC_BROADCAST (self);
2727     SRC_UNLOCK (self);
2728
2729     while (!gst_aggregator_pad_queue_is_empty (aggpad)
2730         && aggpad->priv->flow_return == GST_FLOW_OK) {
2731       GST_DEBUG_OBJECT (aggpad, "Waiting for buffer to be consumed");
2732       PAD_WAIT_EVENT (aggpad);
2733     }
2734
2735     s = gst_query_writable_structure (query);
2736     if (gst_structure_get_boolean (s, "gst-aggregator-retval", &ret))
2737       gst_structure_remove_field (s, "gst-aggregator-retval");
2738     else
2739       g_queue_remove (&aggpad->priv->data, query);
2740
2741     if (aggpad->priv->flow_return != GST_FLOW_OK)
2742       goto flushing;
2743
2744     PAD_UNLOCK (aggpad);
2745
2746     return ret;
2747   } else {
2748     GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (parent);
2749
2750     return klass->sink_query (self, aggpad, query);
2751   }
2752
2753 flushing:
2754   GST_DEBUG_OBJECT (aggpad, "Pad is %s, dropping query",
2755       gst_flow_get_name (aggpad->priv->flow_return));
2756   PAD_UNLOCK (aggpad);
2757
2758   return FALSE;
2759 }
2760
2761 /* Queue serialized events and let the others go through directly.
2762  * The queued events with be handled from the src-pad task in
2763  * gst_aggregator_do_events_and_queries().
2764  */
2765 static GstFlowReturn
2766 gst_aggregator_pad_event_func (GstPad * pad, GstObject * parent,
2767     GstEvent * event)
2768 {
2769   GstFlowReturn ret = GST_FLOW_OK;
2770   GstAggregator *self = GST_AGGREGATOR (parent);
2771   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
2772
2773   if (GST_EVENT_IS_SERIALIZED (event)
2774       && GST_EVENT_TYPE (event) != GST_EVENT_FLUSH_STOP) {
2775     SRC_LOCK (self);
2776     PAD_LOCK (aggpad);
2777
2778     if (aggpad->priv->flow_return != GST_FLOW_OK)
2779       goto flushing;
2780
2781     if (GST_EVENT_TYPE (event) == GST_EVENT_SEGMENT) {
2782       GST_OBJECT_LOCK (aggpad);
2783       gst_event_copy_segment (event, &aggpad->priv->head_segment);
2784       aggpad->priv->head_position = aggpad->priv->head_segment.position;
2785       update_time_level (aggpad, TRUE);
2786       GST_OBJECT_UNLOCK (aggpad);
2787     }
2788
2789     GST_DEBUG_OBJECT (aggpad, "Store event in queue: %" GST_PTR_FORMAT, event);
2790     g_queue_push_head (&aggpad->priv->data, event);
2791     SRC_BROADCAST (self);
2792     PAD_UNLOCK (aggpad);
2793     SRC_UNLOCK (self);
2794   } else {
2795     GstAggregatorClass *klass = GST_AGGREGATOR_GET_CLASS (parent);
2796
2797     if (!klass->sink_event (self, aggpad, event)) {
2798       /* Copied from GstPad to convert boolean to a GstFlowReturn in
2799        * the event handling func */
2800       ret = GST_FLOW_ERROR;
2801     }
2802   }
2803
2804   return ret;
2805
2806 flushing:
2807   GST_DEBUG_OBJECT (aggpad, "Pad is %s, dropping event",
2808       gst_flow_get_name (aggpad->priv->flow_return));
2809   PAD_UNLOCK (aggpad);
2810   SRC_UNLOCK (self);
2811   if (GST_EVENT_IS_STICKY (event))
2812     gst_pad_store_sticky_event (pad, event);
2813   gst_event_unref (event);
2814
2815   return aggpad->priv->flow_return;
2816 }
2817
2818 static gboolean
2819 gst_aggregator_pad_activate_mode_func (GstPad * pad,
2820     GstObject * parent, GstPadMode mode, gboolean active)
2821 {
2822   GstAggregator *self = GST_AGGREGATOR (parent);
2823   GstAggregatorPad *aggpad = GST_AGGREGATOR_PAD (pad);
2824
2825   if (active == FALSE) {
2826     SRC_LOCK (self);
2827     gst_aggregator_pad_set_flushing (aggpad, GST_FLOW_FLUSHING, TRUE);
2828     SRC_BROADCAST (self);
2829     SRC_UNLOCK (self);
2830   } else {
2831     PAD_LOCK (aggpad);
2832     aggpad->priv->flow_return = GST_FLOW_OK;
2833     PAD_BROADCAST_EVENT (aggpad);
2834     PAD_UNLOCK (aggpad);
2835   }
2836
2837   return TRUE;
2838 }
2839
2840 /***********************************
2841  * GstAggregatorPad implementation  *
2842  ************************************/
2843 G_DEFINE_TYPE_WITH_PRIVATE (GstAggregatorPad, gst_aggregator_pad, GST_TYPE_PAD);
2844
2845 #define DEFAULT_PAD_EMIT_SIGNALS FALSE
2846
2847 enum
2848 {
2849   PAD_PROP_0,
2850   PAD_PROP_EMIT_SIGNALS,
2851 };
2852
2853 enum
2854 {
2855   PAD_SIGNAL_BUFFER_CONSUMED,
2856   PAD_LAST_SIGNAL,
2857 };
2858
2859 static guint gst_aggregator_pad_signals[PAD_LAST_SIGNAL] = { 0 };
2860
2861 static void
2862 gst_aggregator_pad_constructed (GObject * object)
2863 {
2864   GstPad *pad = GST_PAD (object);
2865
2866   if (GST_PAD_IS_SINK (pad)) {
2867     gst_pad_set_chain_function (pad,
2868         GST_DEBUG_FUNCPTR (gst_aggregator_pad_chain));
2869     gst_pad_set_event_full_function_full (pad,
2870         GST_DEBUG_FUNCPTR (gst_aggregator_pad_event_func), NULL, NULL);
2871     gst_pad_set_query_function (pad,
2872         GST_DEBUG_FUNCPTR (gst_aggregator_pad_query_func));
2873     gst_pad_set_activatemode_function (pad,
2874         GST_DEBUG_FUNCPTR (gst_aggregator_pad_activate_mode_func));
2875   }
2876 }
2877
2878 static void
2879 gst_aggregator_pad_finalize (GObject * object)
2880 {
2881   GstAggregatorPad *pad = (GstAggregatorPad *) object;
2882
2883   g_cond_clear (&pad->priv->event_cond);
2884   g_mutex_clear (&pad->priv->flush_lock);
2885   g_mutex_clear (&pad->priv->lock);
2886
2887   G_OBJECT_CLASS (gst_aggregator_pad_parent_class)->finalize (object);
2888 }
2889
2890 static void
2891 gst_aggregator_pad_dispose (GObject * object)
2892 {
2893   GstAggregatorPad *pad = (GstAggregatorPad *) object;
2894
2895   gst_aggregator_pad_set_flushing (pad, GST_FLOW_FLUSHING, TRUE);
2896
2897   G_OBJECT_CLASS (gst_aggregator_pad_parent_class)->dispose (object);
2898 }
2899
2900 static void
2901 gst_aggregator_pad_set_property (GObject * object, guint prop_id,
2902     const GValue * value, GParamSpec * pspec)
2903 {
2904   GstAggregatorPad *pad = GST_AGGREGATOR_PAD (object);
2905
2906   switch (prop_id) {
2907     case PAD_PROP_EMIT_SIGNALS:
2908       pad->priv->emit_signals = g_value_get_boolean (value);
2909       break;
2910     default:
2911       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
2912       break;
2913   }
2914 }
2915
2916 static void
2917 gst_aggregator_pad_get_property (GObject * object, guint prop_id,
2918     GValue * value, GParamSpec * pspec)
2919 {
2920   GstAggregatorPad *pad = GST_AGGREGATOR_PAD (object);
2921
2922   switch (prop_id) {
2923     case PAD_PROP_EMIT_SIGNALS:
2924       g_value_set_boolean (value, pad->priv->emit_signals);
2925       break;
2926     default:
2927       G_OBJECT_WARN_INVALID_PROPERTY_ID (object, prop_id, pspec);
2928       break;
2929   }
2930 }
2931
2932 static void
2933 gst_aggregator_pad_class_init (GstAggregatorPadClass * klass)
2934 {
2935   GObjectClass *gobject_class = (GObjectClass *) klass;
2936
2937   gobject_class->constructed = gst_aggregator_pad_constructed;
2938   gobject_class->finalize = gst_aggregator_pad_finalize;
2939   gobject_class->dispose = gst_aggregator_pad_dispose;
2940   gobject_class->set_property = gst_aggregator_pad_set_property;
2941   gobject_class->get_property = gst_aggregator_pad_get_property;
2942
2943   /**
2944    * GstAggregatorPad:buffer-consumed:
2945    *
2946    * Signals that a buffer was consumed. As aggregator pads store buffers
2947    * in an internal queue, there is no direct match between input and output
2948    * buffers at any given time. This signal can be useful to forward metas
2949    * such as #GstVideoTimeCodeMeta or #GstVideoCaptionMeta at the right time.
2950    *
2951    * Since: 1.16
2952    */
2953   gst_aggregator_pad_signals[PAD_SIGNAL_BUFFER_CONSUMED] =
2954       g_signal_new ("buffer-consumed", G_TYPE_FROM_CLASS (klass),
2955       G_SIGNAL_RUN_FIRST, 0, NULL, NULL, g_cclosure_marshal_generic,
2956       G_TYPE_NONE, 1, GST_TYPE_BUFFER);
2957
2958   /**
2959    * GstAggregatorPad:emit-signals:
2960    *
2961    * Enables the emission of signals such as #GstAggregatorPad::buffer-consumed
2962    *
2963    * Since: 1.16
2964    */
2965   g_object_class_install_property (gobject_class, PAD_PROP_EMIT_SIGNALS,
2966       g_param_spec_boolean ("emit-signals", "Emit signals",
2967           "Send signals to signal data consumption", DEFAULT_PAD_EMIT_SIGNALS,
2968           G_PARAM_READWRITE | G_PARAM_STATIC_STRINGS));
2969 }
2970
2971 static void
2972 gst_aggregator_pad_init (GstAggregatorPad * pad)
2973 {
2974   pad->priv = gst_aggregator_pad_get_instance_private (pad);
2975
2976   g_queue_init (&pad->priv->data);
2977   g_cond_init (&pad->priv->event_cond);
2978
2979   g_mutex_init (&pad->priv->flush_lock);
2980   g_mutex_init (&pad->priv->lock);
2981
2982   gst_aggregator_pad_reset_unlocked (pad);
2983   pad->priv->negotiated = FALSE;
2984   pad->priv->emit_signals = DEFAULT_PAD_EMIT_SIGNALS;
2985 }
2986
2987 /* Must be called with the PAD_LOCK held */
2988 static void
2989 gst_aggregator_pad_buffer_consumed (GstAggregatorPad * pad, GstBuffer * buffer)
2990 {
2991   pad->priv->num_buffers--;
2992   GST_TRACE_OBJECT (pad, "Consuming buffer %" GST_PTR_FORMAT, buffer);
2993   if (buffer && pad->priv->emit_signals) {
2994     g_signal_emit (pad, gst_aggregator_pad_signals[PAD_SIGNAL_BUFFER_CONSUMED],
2995         0, buffer);
2996   }
2997   PAD_BROADCAST_EVENT (pad);
2998 }
2999
3000 /* Must be called with the PAD_LOCK held */
3001 static void
3002 gst_aggregator_pad_clip_buffer_unlocked (GstAggregatorPad * pad)
3003 {
3004   GstAggregator *self = NULL;
3005   GstAggregatorClass *aggclass = NULL;
3006   GstBuffer *buffer = NULL;
3007
3008   while (pad->priv->clipped_buffer == NULL &&
3009       GST_IS_BUFFER (g_queue_peek_tail (&pad->priv->data))) {
3010     buffer = g_queue_pop_tail (&pad->priv->data);
3011
3012     apply_buffer (pad, buffer, FALSE);
3013
3014     /* We only take the parent here so that it's not taken if the buffer is
3015      * already clipped or if the queue is empty.
3016      */
3017     if (self == NULL) {
3018       self = GST_AGGREGATOR (gst_pad_get_parent_element (GST_PAD (pad)));
3019       if (self == NULL) {
3020         gst_buffer_unref (buffer);
3021         return;
3022       }
3023
3024       aggclass = GST_AGGREGATOR_GET_CLASS (self);
3025     }
3026
3027     if (aggclass->clip) {
3028       GST_TRACE_OBJECT (pad, "Clipping: %" GST_PTR_FORMAT, buffer);
3029
3030       buffer = aggclass->clip (self, pad, buffer);
3031
3032       if (buffer == NULL) {
3033         gst_aggregator_pad_buffer_consumed (pad, buffer);
3034         GST_TRACE_OBJECT (pad, "Clipping consumed the buffer");
3035       }
3036     }
3037
3038     pad->priv->clipped_buffer = buffer;
3039   }
3040
3041   if (self)
3042     gst_object_unref (self);
3043 }
3044
3045 /**
3046  * gst_aggregator_pad_pop_buffer:
3047  * @pad: the pad to get buffer from
3048  *
3049  * Steal the ref to the buffer currently queued in @pad.
3050  *
3051  * Returns: (transfer full): The buffer in @pad or NULL if no buffer was
3052  *   queued. You should unref the buffer after usage.
3053  */
3054 GstBuffer *
3055 gst_aggregator_pad_pop_buffer (GstAggregatorPad * pad)
3056 {
3057   GstBuffer *buffer;
3058
3059   PAD_LOCK (pad);
3060
3061   if (pad->priv->flow_return != GST_FLOW_OK) {
3062     PAD_UNLOCK (pad);
3063     return NULL;
3064   }
3065
3066   gst_aggregator_pad_clip_buffer_unlocked (pad);
3067
3068   buffer = pad->priv->clipped_buffer;
3069
3070   if (buffer) {
3071     pad->priv->clipped_buffer = NULL;
3072     gst_aggregator_pad_buffer_consumed (pad, buffer);
3073     GST_DEBUG_OBJECT (pad, "Consumed: %" GST_PTR_FORMAT, buffer);
3074   }
3075
3076   PAD_UNLOCK (pad);
3077
3078   return buffer;
3079 }
3080
3081 /**
3082  * gst_aggregator_pad_drop_buffer:
3083  * @pad: the pad where to drop any pending buffer
3084  *
3085  * Drop the buffer currently queued in @pad.
3086  *
3087  * Returns: TRUE if there was a buffer queued in @pad, or FALSE if not.
3088  */
3089 gboolean
3090 gst_aggregator_pad_drop_buffer (GstAggregatorPad * pad)
3091 {
3092   GstBuffer *buf;
3093
3094   buf = gst_aggregator_pad_pop_buffer (pad);
3095
3096   if (buf == NULL)
3097     return FALSE;
3098
3099   gst_buffer_unref (buf);
3100   return TRUE;
3101 }
3102
3103 /**
3104  * gst_aggregator_pad_peek_buffer:
3105  * @pad: the pad to get buffer from
3106  *
3107  * Returns: (transfer full): A reference to the buffer in @pad or
3108  * NULL if no buffer was queued. You should unref the buffer after
3109  * usage.
3110  */
3111 GstBuffer *
3112 gst_aggregator_pad_peek_buffer (GstAggregatorPad * pad)
3113 {
3114   GstBuffer *buffer;
3115
3116   PAD_LOCK (pad);
3117
3118   if (pad->priv->flow_return != GST_FLOW_OK) {
3119     PAD_UNLOCK (pad);
3120     return NULL;
3121   }
3122
3123   gst_aggregator_pad_clip_buffer_unlocked (pad);
3124
3125   if (pad->priv->clipped_buffer) {
3126     buffer = gst_buffer_ref (pad->priv->clipped_buffer);
3127   } else {
3128     buffer = NULL;
3129   }
3130   PAD_UNLOCK (pad);
3131
3132   return buffer;
3133 }
3134
3135 /**
3136  * gst_aggregator_pad_has_buffer:
3137  * @pad: the pad to check the buffer on
3138  *
3139  * This checks if a pad has a buffer available that will be returned by
3140  * a call to gst_aggregator_pad_peek_buffer() or
3141  * gst_aggregator_pad_pop_buffer().
3142  *
3143  * Returns: %TRUE if the pad has a buffer available as the next thing.
3144  *
3145  * Since: 1.14.1
3146  */
3147 gboolean
3148 gst_aggregator_pad_has_buffer (GstAggregatorPad * pad)
3149 {
3150   gboolean has_buffer;
3151
3152   PAD_LOCK (pad);
3153   gst_aggregator_pad_clip_buffer_unlocked (pad);
3154   has_buffer = (pad->priv->clipped_buffer != NULL);
3155   PAD_UNLOCK (pad);
3156
3157   return has_buffer;
3158 }
3159
3160 /**
3161  * gst_aggregator_pad_is_eos:
3162  * @pad: an aggregator pad
3163  *
3164  * Returns: %TRUE if the pad is EOS, otherwise %FALSE.
3165  */
3166 gboolean
3167 gst_aggregator_pad_is_eos (GstAggregatorPad * pad)
3168 {
3169   gboolean is_eos;
3170
3171   PAD_LOCK (pad);
3172   is_eos = pad->priv->eos;
3173   PAD_UNLOCK (pad);
3174
3175   return is_eos;
3176 }
3177
3178 #if 0
3179 /*
3180  * gst_aggregator_merge_tags:
3181  * @self: a #GstAggregator
3182  * @tags: a #GstTagList to merge
3183  * @mode: the #GstTagMergeMode to use
3184  *
3185  * Adds tags to so-called pending tags, which will be processed
3186  * before pushing out data downstream.
3187  *
3188  * Note that this is provided for convenience, and the subclass is
3189  * not required to use this and can still do tag handling on its own.
3190  *
3191  * MT safe.
3192  */
3193 void
3194 gst_aggregator_merge_tags (GstAggregator * self,
3195     const GstTagList * tags, GstTagMergeMode mode)
3196 {
3197   GstTagList *otags;
3198
3199   g_return_if_fail (GST_IS_AGGREGATOR (self));
3200   g_return_if_fail (tags == NULL || GST_IS_TAG_LIST (tags));
3201
3202   /* FIXME Check if we can use OBJECT lock here! */
3203   GST_OBJECT_LOCK (self);
3204   if (tags)
3205     GST_DEBUG_OBJECT (self, "merging tags %" GST_PTR_FORMAT, tags);
3206   otags = self->priv->tags;
3207   self->priv->tags = gst_tag_list_merge (self->priv->tags, tags, mode);
3208   if (otags)
3209     gst_tag_list_unref (otags);
3210   self->priv->tags_changed = TRUE;
3211   GST_OBJECT_UNLOCK (self);
3212 }
3213 #endif
3214
3215 /**
3216  * gst_aggregator_set_latency:
3217  * @self: a #GstAggregator
3218  * @min_latency: minimum latency
3219  * @max_latency: maximum latency
3220  *
3221  * Lets #GstAggregator sub-classes tell the baseclass what their internal
3222  * latency is. Will also post a LATENCY message on the bus so the pipeline
3223  * can reconfigure its global latency.
3224  */
3225 void
3226 gst_aggregator_set_latency (GstAggregator * self,
3227     GstClockTime min_latency, GstClockTime max_latency)
3228 {
3229   gboolean changed = FALSE;
3230
3231   g_return_if_fail (GST_IS_AGGREGATOR (self));
3232   g_return_if_fail (GST_CLOCK_TIME_IS_VALID (min_latency));
3233   g_return_if_fail (max_latency >= min_latency);
3234
3235   SRC_LOCK (self);
3236   if (self->priv->sub_latency_min != min_latency) {
3237     self->priv->sub_latency_min = min_latency;
3238     changed = TRUE;
3239   }
3240   if (self->priv->sub_latency_max != max_latency) {
3241     self->priv->sub_latency_max = max_latency;
3242     changed = TRUE;
3243   }
3244
3245   if (changed)
3246     SRC_BROADCAST (self);
3247   SRC_UNLOCK (self);
3248
3249   if (changed) {
3250     gst_element_post_message (GST_ELEMENT_CAST (self),
3251         gst_message_new_latency (GST_OBJECT_CAST (self)));
3252   }
3253 }
3254
3255 /**
3256  * gst_aggregator_get_buffer_pool:
3257  * @self: a #GstAggregator
3258  *
3259  * Returns: (transfer full): the instance of the #GstBufferPool used
3260  * by @trans; free it after use it
3261  */
3262 GstBufferPool *
3263 gst_aggregator_get_buffer_pool (GstAggregator * self)
3264 {
3265   GstBufferPool *pool;
3266
3267   g_return_val_if_fail (GST_IS_AGGREGATOR (self), NULL);
3268
3269   GST_OBJECT_LOCK (self);
3270   pool = self->priv->pool;
3271   if (pool)
3272     gst_object_ref (pool);
3273   GST_OBJECT_UNLOCK (self);
3274
3275   return pool;
3276 }
3277
3278 /**
3279  * gst_aggregator_get_allocator:
3280  * @self: a #GstAggregator
3281  * @allocator: (out) (allow-none) (transfer full): the #GstAllocator
3282  * used
3283  * @params: (out) (allow-none) (transfer full): the
3284  * #GstAllocationParams of @allocator
3285  *
3286  * Lets #GstAggregator sub-classes get the memory @allocator
3287  * acquired by the base class and its @params.
3288  *
3289  * Unref the @allocator after use it.
3290  */
3291 void
3292 gst_aggregator_get_allocator (GstAggregator * self,
3293     GstAllocator ** allocator, GstAllocationParams * params)
3294 {
3295   g_return_if_fail (GST_IS_AGGREGATOR (self));
3296
3297   if (allocator)
3298     *allocator = self->priv->allocator ?
3299         gst_object_ref (self->priv->allocator) : NULL;
3300
3301   if (params)
3302     *params = self->priv->allocation_params;
3303 }
3304
3305 /**
3306  * gst_aggregator_simple_get_next_time:
3307  * @self: A #GstAggregator
3308  *
3309  * This is a simple #GstAggregator::get_next_time implementation that
3310  * just looks at the #GstSegment on the srcpad of the aggregator and bases
3311  * the next time on the running time there.
3312  *
3313  * This is the desired behaviour in most cases where you have a live source
3314  * and you have a dead line based aggregator subclass.
3315  *
3316  * Returns: The running time based on the position
3317  *
3318  * Since: 1.16
3319  */
3320 GstClockTime
3321 gst_aggregator_simple_get_next_time (GstAggregator * self)
3322 {
3323   GstClockTime next_time;
3324   GstAggregatorPad *srcpad = GST_AGGREGATOR_PAD (self->srcpad);
3325   GstSegment *segment = &srcpad->segment;
3326
3327   GST_OBJECT_LOCK (self);
3328   if (segment->position == -1 || segment->position < segment->start)
3329     next_time = segment->start;
3330   else
3331     next_time = segment->position;
3332
3333   if (segment->stop != -1 && next_time > segment->stop)
3334     next_time = segment->stop;
3335
3336   next_time = gst_segment_to_running_time (segment, GST_FORMAT_TIME, next_time);
3337   GST_OBJECT_UNLOCK (self);
3338
3339   return next_time;
3340 }