aggregator: Streamline latency calculations

Min latency can never be invalid, latency property can never be invalid
either. So no need to check for all these things in various places.

aggregator: If upstream has no max latency but the subclass has, take the subclass max latency

aggregator: Fix min>max latency error check

We have to include the upstream latency, our own latency and the subclass
latency in the calculations.

FIXME: This is still not entirely correct

aggregator: Don't add the latency property to the max latency

It has no meaning for the max latency and is only used to increase the min
latency.

aggregator: Cleanup locking around AggregatorPad flush related fields

And document the locking

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: keep chain functions as dumb as possible.

+ A pad chain function has no business checking other pads,
  that's what the aggregate thread is for.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: More fixes around locking when accessing protected private fields

In some more places we were accessing GstAggregator->segment
and GstAggregator->seqnum without holding the GST_OBJECT_LOCK

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Make the PAD_LOCK private

Instead of using the GST_OBJECT_LOCK we should have
a dedicated mutex for the pad as it is also associated
with the mutex on the EVENT_MUTEX on which we wait
in the _chain function of the pad.

The GstAggregatorPad.segment is still protected with the
GST_OBJECT_LOCK.

Remove the gst_aggregator_pad_peak_unlocked method as it does not make
sense anymore with a private lock.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Hide GstAggregatorPad buffer and EOS fileds

And add a getter for the EOS.

The user should always use the various getters to access
those fields

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Document locking of GstAggregatorPrivate members

Most of them are protected by the object lock, specify
which ones use a different lock.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Document how the segment is protected

Document that it can only be accessed with the object lock.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Protect all latency related members with the object lock

The locking was not consistent, now consistently use the object lock.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Document locking for gst_aggregator_get_latency_unlocked()

Renamed it to _unlocked() to make it clear.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Protect the srcpad caps negotiation with the stream lock

Instead of adding another lock, use the srcpad stream lock, which is already
taken anyway to push out the new caps if needed.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Protect the tags with the object lock

The tags related variables were sometimes protected, sometimes not and
sometimes atomic. Put them all under the object lock.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Consistenly lock the flow_return state

Use the object's lock to protect it.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Consistently lock some members

Some members sometimes used atomic access, sometimes where not locked at
all. Instead consistently use a mutex to protect them, also document
that.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Protect exported pad members with the pad's object lock

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Replace event lock with pad's object lock

Reduce the number of locks simplify code, what is protects
is exposed, but the lock was not.

Also means adding an _unlocked version of gst_aggregator_pad_steal_buffer().

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Protect data with the same mutex as GCond

Whenever a GCond is used, the safest paradigm is to protect
the variable which change is signalled by the GCond with the same
mutex that the GCond depends on.

https://bugzilla.gnome.org/show_bug.cgi?id=742684

aggregator: Nitpick spacing/punctuation in debug logging

aggregator: Remove pointless atomic

It is only modified from the streaming thread

aggregator: Fix query leak

aggregator: Print jitter from clock waiting in the debug logs

aggregator: don't use iterator when setting flush pending on pads

aggregator: check if pads are ready more efficiently

No need to use an iterator for this which creates a temporary
structure every time and also involves taking and releasing the
object lock many times in the course of iterating. Not to mention
all that GList handling in gst_aggregator_iterate_sinkpads().

aggregator: name vfunc arguments consistently

aggregator: add g-i transfer and scope annotations

aggregator: register names of iterate_sinkpads functions with debug system

aggregator: reduce debug messages for taking/releasing logs to TRACE level

Don't spam debug log with this stuff.

aggregator: move property member into private structure

Our locking (or lack thereof) while accessing this also
looks generally quite dodgy.

aggregator: remove empty dispose function

aggregator: give private functions namespace prefix

Especially the GST_DEBUG_FUNCPTR ones.

aggregator: fix up some docs comments in header

aggregator: remove now-unused system clock member

aggregator: make GstAggregatorPadForeachFunc take an GstAggregatorPad

aggregator: bring start/stop vfunc semantics in line with other baseclasses

Sub-class should not have to chain up to GstAggregator's start/stop
vfuncs, same as in GstBaseSrc, GstBaseSink, GstBaseTransform etc.

aggregator: remove pointless GST_DEBUG_FUNCPTR

Not useful for GObject vfuncs.

aggregator: remove duplicate pad parent_class variable

G_DEFINE_TYPE already provides one, just need to use it.

aggregator: add _CAST() variants for cast macros

aggregator: make padding larger

Esp. the class structures, can't have enough
spare space for virtual functions.

aggregator: Log to the pad instead of the element

More correct way of doing the same thing as before

aggregator: Make sure that the minimum latencies are never GST_CLOCK_TIME_NONE

aggregator: Wait for the minimum latency, not the maximum

The minimum latency is the latency we have to wait at least
to guarantee that all upstreams have produced data. The maximum
latency has no meaning like that and shouldn't be used for waiting.

aggregator: Clamp the min latency at the max if it's greater

aggregator: Print the sinkpad name while logging latency queries

Very useful while debugging.

aggregator: Take the stream lock when iterating sink pads

When iterating sink pads to collect some data, we should take the stream lock so
we don't get stale data and possibly deadlock because of that. This fixes
a definitive deadlock in _wait_and_check() that manifests with high max
latencies in a live pipeline, and fixes other possible race conditions.

aggregator: Don't leak flush-start events

aggregator: Also change the default latency to 0, not just the minimum

aggregator: Fix docs and default value of the latency property

aggregator: Also include the subclass latency in the result of the latency query

aggregator: Post a latency message if the value of the latency property changes

aggregator: Wake up the src thread after handling a latency query

Due to changed latencies or changed live-ness we might have to
adjust if we wait on a deadline at all and how long.

aggregator: Don't count the number of times we need to wake up but instead check all conditions for waiting again

This simplifies the code and also makes sure that we don't forget to check all
conditions for waiting.

Also fix a potential deadlock caused by not checking if we're actually still
running before starting to wait.

aggregator: Add function to allow subclasses to set their own latency

For audiomixer this is one blocksize, for videoaggregator this should
be the duration of one output frame.

aggregator: Add a timeout parameter to ::aggregate()

When this is TRUE, we really have to produce output. This happens
in live mixing mode when we have to output something for the current
time, no matter if we have enough input or not.

tests: fix aggregator unit test after property renaming

aggregator: Some minor cleanup

aggregator: make the src pad task drive the pipeline for live pipelines

This removes the uses of GAsyncQueue and replaces it with explicit
GMutex, GCond and wakeup count which is used for the non-live case.

For live pipelines, the aggregator waits on the clock until either
data arrives on all sink pads or the expected output buffer time
arrives plus the timeout/latency at which time, the subclass
produces a buffer.

https://bugzilla.gnome.org/show_bug.cgi?id=741146

tests/aggregator: Use correct type when setting property

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=741495

aggregator: Unblock events/queries immediately if the pad is flushing

https://bugzilla.gnome.org/show_bug.cgi?id=740376

aggregator: Drop serialized events/queries if the pad is flushing

https://bugzilla.gnome.org/show_bug.cgi?id=740376

aggregator: Block serialized events/queries until the pad has consumed all buffers

Otherwise the caps of the pad might change while the subclass still works with
a buffer of the old caps, assuming the the current pad caps apply to that
buffer. Which then leads to crashes and other nice effects.

https://bugzilla.gnome.org/show_bug.cgi?id=740376

aggregator: Fix typo in debug output

aggregator: add _get_latency() for subclass usage

API: gst_aggregator_get_latency

https://bugzilla.gnome.org/show_bug.cgi?id=739996

audiomixer: critical error for blocksize, timeout min/max values

Audiomixer blocksize, cant be 0, hence adjusting the minimum value to 1
timeout value of aggregator is defined with MAX of MAXINT64,
but it cannot cross G_MAXLONG * GST_SECOND - 1
Hence changed the max value of the same

https://bugzilla.gnome.org/show_bug.cgi?id=738845

tests/aggregator: add timeout handling test for the timeout parameter

aggregator: add latency query handling

aggregator: add a timeout property determining buffer wait time

Determines the amount of time that a pad will wait for a buffer before
being marked unresponsive.

Network sources may fail to produce buffers for an extended period of time,
currently causing the pipeline to stall possibly indefinitely, waiting for
these buffers to appear.

Subclasses should render unresponsive pads with either silence (audio), the
last (video) frame or what makes the most sense in the given context.

aggregator: Replace GMainContext with GAsyncQueue (v2)

The previous implementation kept accumulating GSources,
slowing down the iteration and leaking memory.

Instead of trying to fix the main context flushing, replace
it with a GAsyncQueue which is simple to flush and has
less overhead.

https://bugzilla.gnome.org/show_bug.cgi?id=736782

aggregator: Set seqnum only when segments are received.

aggregator: Add a streaming lock so to secure flush start action

Without a lock that is taken in FLUSH_START we had a rare race where we
end up aggregating a buffer that was before the whole FLUSH_START/STOP
dance. That could lead to very wrong behaviour in subclasses.

aggregator: Query seeking when a seek failed to see if it was expected

And do not worry if seeking failed on a stream that is not seekable

aggregator: set future seqnum before propagating the seek event.

So the seqnum is properly set for the following events.

aggregator: Store segment when seeked in READY for later use

aggregator: Unref the taglist in GstAggregator::stop()

aggregator: Take lock to ensure set_caps is not called concurently

Avoiding to be in an inconsistent state where we do not have
actual negotiate caps set as srccaps and leading to point where we
try to unref ->srccaps when they have already been set to NULL.

https://bugzilla.gnome.org/show_bug.cgi?id=735042

aggregator: fix up doc comment for set_src_caps

It does not occur 'later' anymore

https://bugzilla.gnome.org/show_bug.cgi?id=732662

videoaggregator: push the caps event as soon as we receive it

Along with the required mandatory dependent events.

Some elements need to perform an allocation query inside
::negotiated_caps().  Without the caps event being sent prior,
downstream elements will be unable to answer and will return
an error.

https://bugzilla.gnome.org/show_bug.cgi?id=732662

aggregator: Reset flow_return *after* stopping the srcpad task.

Otherwise it might be set in an already running aggregate function.

aggregator: Flush sinkpads when stopping

All values are meaningless in that case, so we should make sure that
we clean everything

aggregator: Do not forget to reset the flow return when stoping

Setting it to FLUSHING when the element is not started, and to OK
when it starts.

aggregator: Handle event seqnum

aggregator: fix locking

We would unlock a mutex we never locked on SEGMENT
events.

aggregator: Avoid destroying sources we do not own

+ Unref the maincontext in a new dispose function
+ Make sure to remove all sources on dispose

https://bugzilla.gnome.org/show_bug.cgi?id=732445

tests: aggregator: fix various leaks in the tests

aggregator: always store or unref the buffer on the _chain function

Otherwise it leaks, and it is very common to go to flushing when the
pipeline is stopping, leaking a buffer.

aggregator: always unref the buffer on _finish function

Otherwise the user doesn't know if it was unref'd or not

aggregator: add dispose/finalize functions

Add functions to be able to cleanup the mutex/cond and pending buffers
on the aggregator and on its pad

aggregator: plug a memory leak of the srccaps

libs:base: Properly declare APIs as UNSTABLE

aggregator: Fix requested pad name

aggregator: Add new GstAggregator base class

This base class has been added to a newly created libgstbadbase library

Co-Authored by: Mathieu Duponchelle <mathieu.duponchelle@opencreed.com>

https://bugzilla.gnome.org/show_bug.cgi?id=731917