aggregator: delegate buffer skipping to the aggregate thread

As we do that for serialized events as well, and the subclass will
most likely need to access pad->segment to make its decisions,
doing that from the sinkpad's streaming threads was racy.

API: GstAggregatorPad.skip_buffer virtual method

Allows subclasses to prevent buffers from being queued.

https://bugzilla.gnome.org/show_bug.cgi?id=781928

basesrc: Annotate some of the virtual methods

aggregator: rename _get_buffer() -> _peek_buffer() and _steal -> _pop

https://bugzilla.gnome.org/show_bug.cgi?id=791204

childproxy: gracefully handle methods being NULL

Do this for all method invoke functions for consistency.

https://bugzilla.gnome.org/show_bug.cgi?id=750154

win32: fix .def file for new API

Fixes check + distcheck

ptp: fix build failure with #undef USE_MEASUREMENT_FILTERING

"Label ‘out’ used but not defined", since it's also used by
the USE_MEDIAN_PRE_FILTERING branch.

https://bugzilla.gnome.org/show_bug.cgi?id=785631

padtemplate: And add missing GST_EXPORT to gst_pad_template_new_with_gtype()

padtemplate: Add missing Since: 1.14 marker to gst_pad_template_new_with_gtype()

padtemplate: Add gst_pad_template_new_with_gtype()

For being able to create a pad template with GType without having a
static pad template.

padtemplate: Add Since: 1.14 marker to gst_pad_template_new_from_static_pad_template_with_gtype()

gstpad: Avoid stream-dead-lock on deactivation

The following case can happen when two thread try to activate and
deactivate a pad at the same time:
T1: starts to deactivate, calls pre_activate(), sets in_activation
    to TRUE and carries on
T2: starts to activate, calls pre_activate(), in_activation is TRUE
    so it waits on the GCond
T1: calls post_activate(), tries to acquire the streaming lock ..
    but can't because T2 is currently holding it

With this patch, the deadlock will no longer happen but does not
solve the problem that:
T2: will resume activation of the pad, set the pad mode to the target
   one (PUSH or PULL) and eventually the streaming lock gets released.
T1: is able to finish calling post_activate() ... but ... the pad
   wasn't deactivated (T2 was the last one to "activate" the pad.

https://bugzilla.gnome.org/show_bug.cgi?id=792341

gstpad: Release pending g_cond_wait() when stopping/pausing task

Otherwise we would deadlock waiting forever for the streaming lock
to be released

https://bugzilla.gnome.org/show_bug.cgi?id=792341

typefindhelper: fix confusing debug log message

In case of a short buffer, the debug log is quite confusing.
Distinguish the two types of failure cases to make it clearer.

https://bugzilla.gnome.org/show_bug.cgi?id=792486

docs: explicit refer to GObject docs for floating refs

https://bugzilla.gnome.org/show_bug.cgi?id=788477

tests: fakesink: make notify stress test work better on Windows

Set up all ten pipelines and preroll them first, and only set
them to playing to run wild after they're all set up. If we set
them to PLAYING directly and let those threads run wild, then
it might take ages (many seconds) for the other pipelines to
even get up and running, especially on machines with only one
or two cores, and operating systems that suck at scheduling.

Now the fakesink test takes 19 secs instead of 71 secs on a
single-cpu windows machine.

tests: filesrc: more Windows fixes

Fix typo in newly-added windows uri test.

utils: use g_get_monotonic_time() as fallback in gst_utils_get_timestamp()

This is a better fit given that the function docs say this
should (only) be used for interval measurements, but also
this seems to give much better granularity on Windows
systems, where before this change there would often be
10-20 lines of debug log with the same timestamp up front.

tests: systemclock: scale stress test threads according to number of cpus

Scale the number of threads used in the stress tests according to
the number of cores/cpus. We want some contention, but we also
don't want too much contention, as some operating systems are
better at handling 100 threads running wild on a single core
than others.

plugin: plugin_load() must return a ref even if it was loaded already

Fix refcounting issue when plugin was loaded already.
gst_plugin_load() is supposed to return a ref, so it
must always return a ref.

This also fixes the gstplugin unit test on windows where
fork is not available and where test_load_coreelements()
would unref a plugin ref it didn't get and then mess up
the internal registry plugin list state for the next test,
in case where the test registry does not exist yet.

tests: filesrc: fix for windows

Location paths have backslashes on windows when converted from URI.

libs: check: print stacktrace on unexpected criticals

tests: abi: fix abi test on 64-bit Windows

Add header with structure sizes for 64-bit windows as well.
They're almost the same as on Linux, but it looks like things
like padding unions get aligned slightly differently so there
are a handful of differences:

 sizeof(GstGhostPad) is 528, expected 536
 sizeof(GstPad) is 512, expected 520
 sizeof(GstPadProbeInfo) is 64, expected 72
 sizeof(GstProxyPad) is 520, expected 528

tests: info: fix post init cat reg test on windows and with CK_FORK=no

The test checks that categories not covered by the pattern in the
GST_DEBUG string have debug level GST_LEVEL_DEFAULT set, but previous
tests mess with the default threshold, which made this test fail on
Windows or when run with CK_FORK=no. Fix this by resetting everything
at the beginning, and then also do a sanity check afterwards.

info: reset default threshold to LEVEL_DEFAULT not 0

in set_threshold_from_string().

meson: make check and tests build on Windows with msvc

gstharness: Remove double free

streams: GstStreamType/GstStream are available since 1.10

Annotate them as such.

meson: skip translations if gettext is not available

aggregator: remove DEBUG_FUNCPTR

The new gst_element_do_foreach_pad() does not print the functions anymore.

inspect: add comment for how to improve tracer support

segment: add a FIXME-2.0 for the format parameters

Capture the somewhat not ordinary use of the extra format parameter in a
comment.
See https://bugzilla.gnome.org/show_bug.cgi?id=788979

Skip gst_deinit() if gstreamer was not initialized properly

Can happen if an error occurs during option parsing, for example.

https://bugzilla.gnome.org/show_bug.cgi?id=781914

tests: multiqueue: Replace large test macro with function

Just a bit of cleanup.

https://bugzilla.gnome.org/show_bug.cgi?id=756867

tests: multiqueue: Check we get CREATE+ENTER stream-statuses when adding pads

https://bugzilla.gnome.org/show_bug.cgi?id=756867

multiqueue: Don't start new pads until parented

Start task on new source pads added at runtime after they
have been added to the element, not during activation.

This ensures the pads can post their CREATE stream-status
messages and the application can set thread priorities.

https://bugzilla.gnome.org/show_bug.cgi?id=756867

multiqueue: Split task handling from gst_single_queue_flush

https://bugzilla.gnome.org/show_bug.cgi?id=756867

aggregator: Avoid a maybe-uninitialized warning

Arch Linux x86_64, gcc 7.2.1-2, -Og -g3

downloadbuffer: Don't hold the mutex while posint the download-complete message

Something might handle it from a sync message handler and call back into
downloadbuffer, causing a deadlock.

systemclock: set_default() clock parameter can be NULL

element: Annotate set_clock() clock parameter with allow-none

element: Annotate set_bus() bus parameter as allow-none

It's possible to replace the bus with NULL/None

gst-uninstalled: update for gl lib move from bad to base

basetransform: Allow going passthrough inside decide_allocation

Sub-class may want to decide to go passthrough/in-place by inspecting
the support meta APIs. This patch duplicates the check for this mode,
so we still don't do uneeded allocation query while we allow sub-classes
to switch the behaviour during it's own decide_allocation call.

Notice that such sub-class need to reset the class to non-passthrough in
set_caps() in order for decide_allocation to be called again. This is
needed otherwise we'd be doing an allocation query in element in which
it make no sense (notably capsfilter).

https://bugzilla.gnome.org/show_bug.cgi?id=791453

plugin: Annotate add_dependency() arguments as NULL-terminated arrays

docs: GstBus: Provide more information for ref/unref during bus watch.

https://bugzilla.gnome.org/show_bug.cgi?id=791588

update win32 defs for tracer API addition

Automatic update of common submodule

From e8c7a71 to 3fa2c9e

docs: include tracers in the documentation

Requires exposing the tracer GType from the GstTracerFactory in order
to link the plugin with the tracer in the documentation.

https://bugzilla.gnome.org/show_bug.cgi?id=791253

check/harness: fix transfer annotations on buffer passing functions

basesrc: add buffer list support

Add a gst_base_src_submit_buffer_list() function that allows subclasses
to produce a bufferlist containing multiple buffers in the ::create()
function. The buffers in the buffer list will then also be pushed out
in one go as a GstBufferList. This can reduce push overhead
significantly for sources with packetised inputs (such as udpsrc)
in high-throughput scenarios.

The _submit_buffer_list() approach was chosen because it is fairly
straight-forward, backwards-compatible, bindings-friendly (as opposed
to e.g. making the create function return a mini object instead),
and it allows the subclass maximum control: the subclass can decide
dynamically at runtime whether to return a list or a single buffer
(which would be messier if we added a create_list virtual method).

https://bugzilla.gnome.org/show_bug.cgi?id=750241

basesrc: minor code readability improvement

docs: Fix a few gtk-doc warnings

Broken links mostly.

tests: aggregator: fix caps leak in unit test

gstpad: Handle GST_PAD_PROBE_HANDLED on sticky event push

When actually pushing an event, if we get GST_FLOW_CUSTOM_SUCCESS_1
(which is the conversion of GST_PAD_PROBE_HANDLED return value),
don't consider the stick event push as ignored, but as handled

event/query/message: Annotate get_structure() return value as nullable

query: Add an empty structure in writable_structure() if there is none yet

This is consistent with how it works for GstEvent already.

docs: Misc addition/fixes

And also add the "Since" API sections for 1.12 and 1.14

docs: Add documentation for GST_SEQNUM_INVALID

And link to it

utils: Never return a group_id of 0, add GST_GROUP_ID_INVALID

Various plugins use special values (0 or G_MAXUINT32) as an
invalid/unset group_id, but nothing guarantees a groupid won't have
that value.

Instead define a value which group_id will never have and make
gst_group_id_next() always return a value different from that.

API: GST_GROUP_ID_INVALID

harness: make bindings use the GBytes variant for _take_all_data()

harness: use new take_all_data() function in _dump_to_file().

harness: add gst_harness_take_all_data() + _take_all_data_as_{bytes,buffer}()

Convenience function to just grab all pending data
from the harness, e.g. if we just want to check if
it matches what we expect and we don't care about
the chunking or buffer metadata.

Based on patch by: Havard Graff <havard.graff@gmail.com>

buffer: document that _extract_dup() will return NULL for 0-sized buf

And make it explicit, and don't call _extract() on NULL data buffer.

meson: Use array syntax instead of .get() in tests

meson: Use new find_program fallback syntax

We use this syntax in libs/gst/helpers/meson.build already.

gst: gst_element_remove_pad() is transfer none for the pad

While the refcount of the pad is decreased, it's the refcount that is
owned by the parent (i.e. the element) and not the one passed in by the
caller.

Fixes a memory leak in bindings.

aggregator: add finish_buffer() vfunc

So subclasses can override the finish behaviour
and/or decorate or modify buffers before they
get pushed out.

https://bugzilla.gnome.org/show_bug.cgi?id=760981

aggregator: disable tag merging and forwarding for now

Subclasses should handle this for now.

devicemonitor: Avoid maybe-uninitialized compiler warning

On Arch Linux x86_64, gcc 7.2.0-3, -Og -g3:

gstdevicemonitor.c: In function ‘bus_sync_message’:
gstdevicemonitor.c:276:8: error: ‘matches’ may be used uninitialized in this function [-Werror=maybe-uninitialized]

This commit also simplifies the code a bit.

https://bugzilla.gnome.org/show_bug.cgi?id=789983

gst: Annotate various strings as type filename if they represent a path/filename

aggregator: hook up to docs

aggregator: hook up to build system

https://bugzilla.gnome.org/show_bug.cgi?id=739010

Move GstAggregator from -bad to core

Merge branch 'aggregator-move'

https://bugzilla.gnome.org/show_bug.cgi?id=739010

aggregator: Remove klass->sinkpads_type

This posed problems for the python bindings (and possibly others).

Instead, subclasses now use add_pad_template_with_gtype.

https://bugzilla.gnome.org/show_bug.cgi?id=789986

aggregator: add doc blurb for gst_aggregator_pad_is_eos()

aggregator: also remove now-unused PadForeachFunc declaration

https://bugzilla.gnome.org/show_bug.cgi?id=785679

aggregator: Remove pad iterator function

Use new gst_element_foreach_sink_pad() from core instead.

https://bugzilla.gnome.org/show_bug.cgi?id=785679

aggregator: use new gst_element_foreach_sink_pad()

Instead of gst_aggregator_iterate_sinkpads() which will
soon be removed.

https://bugzilla.gnome.org/show_bug.cgi?id=785679

aggregator: add more comments

tests: comment and logging cleanups for audiomixer and aggregator

Remove some references to 'collectpads'. Logs pads through the object variants.
Add some more comments. Remove a left over comment.

aggregator: fix type for latency property (int64 -> GStClockTime)

The value is used as GstClockTiem in the code. Adapt the hack^H^H^H^Hcode
in live-adder.

aggregator: Don't take flush lock from output thread

Instead just take it in the chain function.

https://bugzilla.gnome.org/show_bug.cgi?id=784911

aggregator: Don't block if adding to the tail of the queue

If we're adding to the tail of the queue, it's because we're converting
a gap event, so don't block there it means we're calling from the output
thread.

https://bugzilla.gnome.org/show_bug.cgi?id=784911

aggregator: review code related to time level

Add a comment for when the state matters. Use a local var for priv in
update_time_level() to improve readability. Move the our_latency local
var below the query results checks.

aggregator: init latency values with 0 instead of FALSE

aggregator: code cleanup for event and query func

Only look up klass for non serialized events/queries. For events remove
superfluous assignment for the return value in the flushing case.

aggregator: simplify pad_event_func for FLUSH_STOP events

We want to skip serialization for FLUSH_STOP events (apparently). We can
simplify the code to add it to the top-level conditions. There was nothing
done in the first code path if the event was FLUSH_STOP.

aggregator: drop special casing for eos

Just queue it like any other serialized event. This way we don't need to
check if there still are buffers in the queue.

Validated with the tests and gst-launch-1.0 pipelines.

aggregator: add a doc-blob for the event_func

aggregator: rename a local variable

The variable tracks wheter the queue is not empty, but num_buffers==0. That
means we have events or queries to process. Rename accordingly.

aggregator: remove commented code

The SEGMENT_DONE event does not require any special treatment. This is
commented out in 6efc106a67.

aggregator: move the comment for the locks to the lock macros

Looks like some code was inserted afterwards.

aggregator: improve section docs

Mention how data ends up in the queues. Document the relation of the pad
functions and the class vmethods to get events and queries.

aggregator: add two more tests for a sequence of data

This verifies that we handle events and queries at the head of the queue and
then buffers.

aggregator: refactor the test helper

Make the test helpers use a queue. This lets us also test sequences of events,
queries and data.

aggregator: test cleanup

Remove gst_init() from a few tests. Use _OBJECT variants in logging. Remove
arbitrary extra blank lines. Make push_event() more like push_buffer() - set
the event to NULL and add cleanup to _chain_data_clear().

aggregator: cleanup event forwarding

Don't copy the whole event struct. Set the input params when we call the
forwarding helper. Initialize the internal fields and return values in the
helper.

aggregator: simplify src_event

Avoid extra ref/unref, we have a ref and do_seek unrefs. Just return the result
as we have. This lets us remove the local var plus the label.

aggregator: register func for do_events_and_queries

This fixes logging the func ptr from _iterate_sinkpads().