latency-tracer: Exclude synchronization time

The goal of this tracer is to measure the processing latency between a
src and a sink. In push mode, the time was read after the chain function
have returned. As the amount of time we wait to get synched is reverse
to the amount of latency the source introduced, the result was quite
surprising.

This patch moves the latency calculation in the pre-push hook. When
there is no processing in a a pipeline (e.g. fakesrc ! fakesink), the
latency will now be 0 as it's supposed to. For pull mode, the code was
already correct. When GstBaseSink operate in pull mode, the processing
time is done durring the pull, so pull-post is the right hook. The
synchronization will happen after the pull has ended. Note that
GstBaseSink rarely operate in pull mode.

https://bugzilla.gnome.org/show_bug.cgi?id=788431

event: Don't allow invalid SELECT_STREAMS event creation

Asking to select no streams makes no sense and can create various
issues.

If one doesn't one any stream it should deactivate (or not use) the
element in question.

gst: Fix build with option parsing disabled

segment: update the tests

Boy scout rule. Make is a little less painful to debug the tests by using
fail_unless_equals_{uint64,int64,float} where appropriate. Ideally the large
tests would be splitted to avoid guessing data dependencies.

segment: clarify the segment docs for the duration

Revert "segment: also intialize the duration"

This reverts commit f1baaae17557fa75a9bcd940b994597714be2f74.

segment: also intialize the duration

If start and stop are set, calculate the duration and set it too.

gst-inspect: print more details for typefind and tracer features

Print full details for typefind features. Print some of the available features
for tracers and add some todos for the ones we'd like to see.

gst-inspect: reduce casting back and forth

Refactor the print_element_info() to take a GstPluginFeature. Reduces the need
to cast to and from GstElementFactory.

gst-inspect: simplify the code for printing feature info

Rename print_element_features() to print_feature_info() and move the code that
handles the ElementFactory there. This simplifies the calling code and improves
readability.

Also don't leak the features for other factories.

netclientclock: Add possibility to set QoS DSCP value

https://bugzilla.gnome.org/show_bug.cgi?id=784737

nettimeprovider: Add possibility to set QoS DSCP value

https://bugzilla.gnome.org/show_bug.cgi?id=784737

seqnum: Never return a seqnum of 0, reset GST_SEQNUM_INVALID

Various plugins use the value of '0' as an invalid seqnum value
(qtdemux for matching duplicated seek events, for example). Make
that behaviour explicit, create a GST_SEQNUM_INVALID value,
and ensure gst_util_seqnum_next never returns it.

queuearray: Fix for possible crashes due to null pointer dereferencing

https://bugzilla.gnome.org/show_bug.cgi?id=788838

collectpads: mention the query function in the docs as well

gstbuffer: fix meta removal in gst_buffer_foreach_meta

When updating the linked list, prev->next = next is correct
if prev is actually updated after being set to the head
of the list at the start.

https://bugzilla.gnome.org/show_bug.cgi?id=788617

flowcombiner: Fix version for ref and unref functions

The functions were introduced in version 1.12.1, GstFlowCombiner was
introduced in 1.4.

https://bugzilla.gnome.org/show_bug.cgi?id=788778

basesink: use new gst_buffer_list_calculate_size() utility function

device-provider: gst_device_provider_unhide_provider() always fails

https://bugzilla.gnome.org/show_bug.cgi?id=788520

meson: remove vs_module_defs

The GST_EXPORT should handle it.

Use proper GtkDoc notation for NULL/FALSE/TRUE

bin: iterate_sorted: Ensure sources are always returned last

For linked elements, the resulting gst_bin_iterate_sorted() will
properly return elements from sink to sources.

If we have some elements that are not linked, we *still* want to
ensure that we return:
* In priority any sinks
* Last of all any sources
* And in between any element which is neither source nor sink

For this to work, when looking for the next candidate element,
not only check the degree order, but if there are two candidates
with the same degree order, prefer the non-source one.

Amongst other things, this fixes the case where we activating a
bin containing unlinked sources and other elements. Without this
we could end up activating sources (which might start adding pads
to be linked) before other (to which those new source element pads
might be linked) are not activated

https://bugzilla.gnome.org/show_bug.cgi?id=788434

tee-test: Test a real use case

The real use case is when downstream didn't set a pool or
allocation params, in which case we expect the tee to not
create a pool or param from thin air. Dowstream setting
an pool with size=0 was in fact testing a downstream element
bug. The fact we handle that is accidental.

tee: don't create a pool if none is needed

If the aggregated size is 0 and we create a pool, the pool would provide
buffers with no memory assigned. Handle that case and skip the pool.
This was the behaviour before cf803ea9f4e3fde92c1da86ecc47444035f7c0a7.

Add a test for this scenario.

https://bugzilla.gnome.org/show_bug.cgi?id=730758

tee: Re-enabled alloc query + allow-not-linked test

In the unit test refactoring, the unlinked pad required to test
the different behaviour induced by "allow-not-linked" property
was removed.

  Commit e364d7944ecbab86dea73c0ee3e639e766938d36

Move all the code for this test in the proper function, and re-add
the missing unlinked pad. This makes the test useful again.

tee: split the allocation query test

Split the large allocation_query test into seperate tests. Add a setup helper
to reduce code duplication. Fix the original test that used fail_unless instead
of ck_assert_int_eq and had it accidentially working.

structure: add a todo comment

Printing NULL is confusing when the type is e.g. a GArray that is not empty.

query: doc consistency

Mention that it is the 'buffer size', like we do elsewhere.

win32: update exports file

gst: Modify behaviour of gst_get_main_executable_path

To actually return the path of the executable, not its
directory.

https://bugzilla.gnome.org/show_bug.cgi?id=788256

gst: API: gst_get_main_executable_path()

This is useful for plugins that need to inspect the
folder of the main executable in order to determine the
set of features they will expose, for example:

https://github.com/centricular/gstreamer-vst3

https://bugzilla.gnome.org/show_bug.cgi?id=788214

gst: Do not try to determine executable path on iOS.

The method used relies on "libproc.h", which is only available
on OSX.

https://bugzilla.gnome.org/show_bug.cgi?id=788234

gst: Fix typo in windows function name.

GetModuleFilename -> GetModuleFileName

https://bugzilla.gnome.org/show_bug.cgi?id=788234

win32: Update export file

plugin dependencies: fix 6cddce7663cb4b6ee061950d20365f42cb755851

There were a few errors:

* The plugin scanner now accepts executable path as an argument.
  In case it is NULL, argc == 2

* We find the executable path in init_pre instead of gst_init,
  allowing this to work when gst is initialized through the
  option group (eg gst-inspect)

* There was a semi-colon missing in the __APPLE__ #ifdef

plugin: API: GST_PLUGIN_DEPENDENCY_FLAG_PATHS_ARE_RELATIVE_TO_EXE

When a plugin declares a dependency using this flag, all the
relative paths are considered to be relative to the path of
the main executable.

We try to determine the path of the executable portably,
with implementations provided for Linux, Windows and Mac.

If retrieval of the path fails, we will not detect changes.

In order for the main executable path to be the same when
scanning a plugin in a child process, a new variable is
exposed in gst_private.h, _gst_executable_path

https://bugzilla.gnome.org/show_bug.cgi?id=788152

git-update: Also build $EXTRA_MODULES

Doing a git pull but not autogen.sh / make is not consistent behaviour.

https://bugzilla.gnome.org/show_bug.cgi?id=787981

gst-inspect: Print GstValueArray properties nicely

https://bugzilla.gnome.org/show_bug.cgi?id=787924

Multiqueue: don't allow dropping SEGMENT_DONE events

https://bugzilla.gnome.org/show_bug.cgi?id=780795

info: GstStackTraceFlags were added in 1.12

plugins: use new gst_buffer_list_calculate_size()

bufferlist: add gst_buffer_list_calculate_size()

Returns size in bytes.

bufferlist: add gst_buffer_list_get_writable()

Ensures buffer is writable. Useful if we want to change
metadata on it such as timestamps.

https://bugzilla.gnome.org/show_bug.cgi?id=750241

gstconfig.h.in: initial e2k arch support

This makes gstreamer buildable on Elbrus 2000.

https://bugzilla.gnome.org/show_bug.cgi?id=787587

info: GstDebugColorFlags are flags, not an enum

Annotate as such.

identity: Add a drop-allocation property

When enabled, this property will make the allocation query fail. This is
the same as one could have done using a tee before the tee started
implementing the allocation query.

https://bugzilla.gnome.org/show_bug.cgi?id=730758

tee: Allocate one more buffer when multi-plexing

This extra buffer ensure that the downstream threads are not starved
when multiplexing a stream.

https://bugzilla.gnome.org/show_bug.cgi?id=730758

tee: Add test for the allocation query

https://bugzilla.gnome.org/show_bug.cgi?id=730758

tee: Implement allocation query aggregation

This will aggregate allocation params, pool and will keep all
meta that has no parameters.

https://bugzilla.gnome.org/show_bug.cgi?id=730758

tee: Deprecate alloc-pad property

It has no effect, not implemented, and would lead to bad rendering.

https://bugzilla.gnome.org/show_bug.cgi?id=730758

pad: add test to check handled and drop probes

https://bugzilla.gnome.org/show_bug.cgi?id=787243

pad: Don't call remaining probes after they return DROPPED|HANDLED

If multiple probes are set on a pad and one probe returns either
GST_PAD_PROBE_HANDLED or GST_PAD_PROBE_DROPPED we need to stop
calling the remaining probes.

https://bugzilla.gnome.org/show_bug.cgi?id=787243

value: Handle serializing NULL GValueArray

Concider them as an empty array and do not segfault...

https://bugzilla.gnome.org/show_bug.cgi?id=786670

baseparse: fix taglist update spam

We would constantly re-post the taglist because
posted_avg_rate only gets set to avg_bitrate if
parse->priv->post_avg_bitrate is true, so if it's
false the posted rate will always differ from the
current average rate and we'd queue an update,
which leads to us spamming downstream and the
application with taglist updates.

Fix this by only queuing an update if the average
rate will actually be posted.

These taglists updates could cause expensive
operations on the application side, e.g. in Totem.

https://bugzilla.gnome.org/show_bug.cgi?id=786561

Automatic update of common submodule

From 48a5d85 to 3f4aa96

element/deviceprovider: Add instance getter functions for class properties

That is, the metadata and pad templates. Using instance getters is
easier to deal with for bindings, especially autogenerated ones.

identity: Return FLUSHING instead of EOS and don't start waiting for anything if currently flushing

Otherwise we might try unscheduling a clock id (that does not exist
yet), then the streaming thread waits for id and the state change never
continues because the streaming thread is blocked.

Also shutting down and flushing and similar should return FLUSHING, not
EOS. The stream is not over, we're just not accepting any buffers
anymore.

allocator: Hide private sysmem GType func

Was never exposed in any header file, only exported
by accident.

configure: Add switches for enabling/disabling libdw and libunwind

https://bugzilla.gnome.org/show_bug.cgi?id=778193

libcheck: fix build failure

Need to define CK_DLL_EXP to extern as well in libcompat.h
which gets included before the internal-check.h where the
other fallback definition for CK_DLL_EXP is.

duplicate symbol _check_minor_version in:
libcheckinternal.a(libcheckinternal_la-check.o)
libcheckinternal.a(libcheckinternal_la-check_log.o)

queue: Allow re-usability after EOS

After EOS, it is possible for a pad to be resetted by sending
either a STREAM_START or SEGMENT event

Mimic the same behaviour when receiving STREAM_START/SEGMENT events
in queue if we are EOS'd

https://bugzilla.gnome.org/show_bug.cgi?id=786056

meson: hide symbols by default unless explicitly exported

libs: check: sprinkle some GST_EXPORT

Have to modify libcheck header a bit to avoid warnings
about duplicate 'extern extern'.

Also needs some additions to the libcheck meson.build file
to define CK_EXP_DLL when building the static libcheck.

utils: fix g-ir-scanner warning about bogus transfer annotations

for vararg parameters. Vararg functions are not introspectable anyway,
so might just as well mark them as '(skip)' while we're at it.

gstutils.c:2611: Warning: Gst: invalid "transfer" annotation for <varargs>: only valid for object and GVariant types

queue2: Allow re-usability after EOS

After EOS, it is possible for a pad to be resetted by sending
either a STREAM_START or SEGMENT event

Mimic the same behaviour when receiving STREAM_START/SEGMENT events
in queue2 if we are EOS'd

https://bugzilla.gnome.org/show_bug.cgi?id=786056

plugins: *queue* elements: Handle STREAM_START in EOS situation

When queue-like elements are in "EOS" situation (received GST_FLOW_EOS
from downstream or EOS was pushed), they drain buffers/events that
wouldn't be processed anyway and let through events that might
modify the EOS situation.

Previously only GST_EVENT_EOS and GST_EVENT_SEGMENT events were let
through, but we also need to allow GST_EVENT_STREAM_START to go
through since it resets the EOS state of pads since 1.6

https://bugzilla.gnome.org/show_bug.cgi?id=786034

utils: Skip gst_calculate_linear_regression() in bindings

queue2: Handle buffering levels on NOT_LINKED

When downstream returns NOT_LINKED, we return the buffering level
as being 100%.

Since the queue is no longer being consumed/used downstream, we
want applications to essentially "ignore" this queue for buffering
purposes.

If other streams are still being used, those stream buffering levels
will be used. If none are used, upstream will post an error message
on the bus indicating no streams are used.

https://bugzilla.gnome.org/show_bug.cgi?id=785799

meson: fix gtk-doc invocation

Argument is called "scanobjs_args", and we were missing a quote.

meson: fix a few warnings

meson: add -lm to gstreamer-check-1.0 pkgconfig file

Fixes warning with meson from git about LIBM not being
defined in the configuration_data.

pad: Recheck sticky events after non-blocking buffer probes and blocking event probes

Without the former, event changes (e.g. setting a pad offset) does not
take effect for the current buffer but only for the next one. Without
the latter, non-blocking event probes would not see any updated events
yet.

info: fix build with gst debugging disabled

debug: Add a memory ringbuffer based debug logger

This stores debug logs in memory per thread and uses up to a
configurable amount of bytes per thread for the logs. Inactive threads
are timed out after a configurable amount of time.

https://bugzilla.gnome.org/show_bug.cgi?id=785035

segment: Add missing out annotations for various parameters

downloadbuffer: remove unused struct member

This was used in queue2 when handling in coming serialized
queries, but downloadbuffer just refuses serialized queries.

check: duplicate code branches

CID #1226446

element: document that gst_element_continue_state needs to be called with the STATE_LOCK

It internally calls gst_element_change_state(), which requires the STATE_LOCK

https://bugzilla.gnome.org/show_bug.cgi?id=785431

gst-launch: fix compiler warnings for SIGHUP handlers on windows

Fix unused variable/function compiler warnings on windows.
The SIGHUP handling is only available under unix.

https://bugzilla.gnome.org/show_bug.cgi?id=783661

multiqueue: Fix access to NULL pointer

sq can be NULL.

Also fix commit message (it's the queue we are iterating over that we
are logging, not the one passed as argument).

CID #1415569

multiqueue: Calculate interleave only within each streaming thread

... and use the biggest interleave value among streaming threads.
This is to optimize multiqueue size adaptation on adaptive streaming
use case with "use-interleave" property.

https://bugzilla.gnome.org/show_bug.cgi?id=784448

meson: po: use glib preset and read language list from LINGUAS

Supported since meson 0.37, so we can use it now.

miniobject: don't modify memory if it's clearly not a valid miniobject

Add back function guard that checks the refcount in a read-only
operation first, and bail out without modifying the passed-in
memory if it's clearly not a valid mini object. Otherwise we
probably cause more harm than good. We keep the second sanity
check based on the 'real refcount' at the time of the unref
around for now too.

https://bugzilla.gnome.org/show_bug.cgi?id=784383

basesrc: deprecate non-functional "typefind" property

https://bugzilla.gnome.org/show_bug.cgi?id=736565

benchmark: fix complexity benchmark

Make complexity benchmark code work for complexity > 1

https://bugzilla.gnome.org/show_bug.cgi?id=784754

win32: find plugin scanner in libexecdir subdir as configured

https://bugzilla.gnome.org/show_bug.cgi?id=679115

basesink: fix buffer leaks if preroll failed

buffer is not unreferened if preroll failed

:Detailed Notes:
- Problem : video freeze when switching from pause to 1/2-FF repeatedly
- RootCause : buffer leaks in basesink
- Solution : unref the buffer if prerolled failed

:Testing Preformed:
How to Test :
pause -> 1/2 FF -> resume -> pause -> 1/2 FF ...

https://bugzilla.gnome.org/show_bug.cgi?id=784932

Generate a gstreamer pipeline diagram on SIGHUP.

Useful for debugging a pipeline that refuses to enter a given state.

https://bugzilla.gnome.org/show_bug.cgi?id=783661

basesrc: forward SINK_MESSAGE events downstream

https://bugzilla.gnome.org/show_bug.cgi?id=784551

meson: Fix bashcomp installation

For some reason the double quotes ended up in the path, hence
the helper where installed at "."/share/...

meson: Use join_paths and .set_quoted where possible

meson: pkgconfig: add libunwind/libdw to gstreamer-1.0 Requires.private

https://bugzilla.gnome.org/show_bug.cgi?id=784795

pkgconfig: Add private requirements

Add libunwind and dw to the .pc Requires.private. Fixes static library
compilation if gstreamer was compiled with one of those dependencies

https://bugzilla.gnome.org/show_bug.cgi?id=784795

basesink: use GST_CLOCK_TIME macros for readability

Replace some -1 comparison with GST_CLOCK_TIME macros.

collectpads: correct some comments and add more logging

Add more logging to analyze event handling (especially failure cases).

tools: gst-stats: Use standard character escapes

Having '\e' expand to '\x1b' is a gnu extension. I didn't see any
document describing the behavior, but gcc also seems to expand
'\[' to '['.

https://bugzilla.gnome.org/show_bug.cgi?id=782028

meson: find python3 via python3 module

And rename python3 variable in meson build files for clarity.

https://bugzilla.gnome.org/show_bug.cgi?id=783198

meson: add option to disable tracer hooks

tests: memory: skip test that depends on debug system if it's disabled

tracing: fix build with tracer hooks disabled