ptp: Initial implementation of a PTP clock

GstPtpClock implements a PTP (IEEE1588:2008) ordinary clock in
slave-only mode, that allows a GStreamer pipeline to synchronize
to a PTP network clock in some specific domain.

The PTP subsystem can be initialized with gst_ptp_init(), which then
starts a helper process to do the actual communication via the PTP
ports. This is required as PTP listens on ports < 1024 and thus
requires special privileges. Once this helper process is started, the
main process will synchronize to all PTP domains that are detected on
the selected interfaces.

gst_ptp_clock_new() then allows to create a GstClock that provides the
PTP time from a master clock inside a specific PTP domain. This clock
will only return valid timestamps once the timestamps in the PTP domain
are known. To check this, the GstPtpClock::internal-clock property and
the related notify::clock signal can be used. Once the internal clock
is not NULL, the PTP domain's time is known. Alternatively you can wait
for this with gst_ptp_clock_wait_ready().

To gather statistics about the PTP clock synchronization,
gst_ptp_statistics_callback_add() can be used. This gives the
application the possibility to collect all kinds of statistics
from the clock synchronization.

https://bugzilla.gnome.org/show_bug.cgi?id=749391

clock: Add GST_CLOCK_FLAG_NEEDS_STARTUP_SYNC and related API

gst_clock_wait_for_sync(), gst_clock_is_synced() and gst_clock_set_synced()
plus a signal to asynchronously wait for the clock to be synced.

This can be used by clocks to signal that they need initial synchronization
before they can report any time, and that this synchronization can also get
completely lost at some point. Network clocks, like the GStreamer
netclientclock, NTP or PTP clocks are examples for clocks where this is useful
to have as they can't report any time at all before they're synced.

https://bugzilla.gnome.org/show_bug.cgi?id=749391

memory: provide a mem_unmap function that takes the flags to unmap

There are gstmemory's available that operate in two memory domains
and need to ensure consistent access between these domains.

Imagine a scenario where e.g. the GLMemory is mapped twice in both
the GPU and the CPU domain.  On unmap or a subsequent map, it would
like to ensure that the most recent data is available in the memory
domain requested.  Either by flushing the writes and/or initiating a
DMA transfer.  Without knowing which domain is being unmapped, the
memory does not know where the most recent data is to transfer to
the other memory domain.

Note: this still does not allow downgrading a memory map.

https://bugzilla.gnome.org/show_bug.cgi?id=750319

memory: gst_memory_share may fail to exclusively lock the parent memory

Now that locking exclusively dows not always succeed, we need to signal
the failure case from gst_memory_init.

Rather than introducing an API or funcionality change to gst_memory_init,
workaround by checking exclusivity in the calling code.

https://bugzilla.gnome.org/show_bug.cgi?id=750172

buffer: locking memory exclusively may fail

Attempt to return a copy of the memory instead.

https://bugzilla.gnome.org/show_bug.cgi?id=750172

miniobject: disallow a double write/exclusive lock

gst_memory_lock (mem, WRITE | EXCLUSIVE);
gst_memory_lock (mem, WRITE | EXCLUSIVE);

Succeeds when the part-miniobject.txt design doc suggests that this should fail:

  "A gst_mini_object_lock() can fail when a WRITE lock is requested and
  the exclusive counter is > 1. Indeed a GstMiniObject object with an
  exclusive counter 1 is locked EXCLUSIVELY by at least 2 objects and is
  therefore not writable."

https://bugzilla.gnome.org/show_bug.cgi?id=750172

uri: match return type of get_uri_type() implementation to declaration

https://bugzilla.gnome.org/show_bug.cgi?id=750292

gstbuffer: Add a note about metas needing to be copied last

gstvalue: Implement gst_value_is_subset() for flagsets

check: Use GST_CHECK_MAIN macro

downloadbuffer: release lock before posting msg

to avoid the deadlock in playbin2,
send msg after release the download buffer lock.

https://bugzilla.gnome.org/show_bug.cgi?id=749535

structure: add note about missing field creation on _set()

tests: fix some leaks in new flagset checks

queuearray: remove duplicate assignment

We've already done this earlier in the function,
and nothing has changed since we first read it.

gst/gst.c: Add a warning about DllMain to prevent misuse

DllMain should not be relied on for anything except storing the DLL handle.
It should also not be defined for static builds, but doing so is not
straightforward and is mostly harmless, so let's just add a comment about that
for now.

funnel: Improve debug output a bit

docs: fix typo in draft-klass.txt

code-reviews: remove obsolete code reviews

This obsolete folder hasn't been touched since 2001 and has no purpose. It
confuses new developers.

basesink: use the slightly more correct take_sample for last-sample

gst_value_take_buffer() and gst_value_take_sample() both resolve to
g_value_take_boxed().  Use the method with the correct name if we
ever change that.

gstvalue: Add GstFlagSet type

GstFlagSet is a new type designed for negotiating sets
of boolean capabilities flags, consisting of a 32-bit
flags bitfield and 32-bit mask field. The mask field
indicates which of the flags bits an element needs to have
as specific values, and which it doesn't care about.

This allows efficient negotiation of arrays of boolean
capabilities.

The standard serialisation format is FLAGS:MASK, with
flags and mask fields expressed in hexadecimal, however
GstFlagSet has a gst_register_flagset() function, which
associates a new GstFlagSet derived type with an existing
GFlags gtype. When serializing a GstFlagSet with an
associated set of GFlags, it also serializes a human-readable
form of the flags for easier debugging.

It is possible to parse a GFlags style serialisation of a
flagset, without the hex portion on the front. ie,
+flag1/flag2/flag3+flag4, to indicate that
flag1 & flag4 must be set, and flag2/flag3 must be unset,
and any other flags are don't-care.

https://bugzilla.gnome.org/show_bug.cgi?id=746373

gstvalue: Add a comparision function for GstStructures

net: keep GCancellable fd around instead of re-creating it constantly

Just create the cancellable fd once and keep it around instead
of creating/closing it for every single packet. Since we spend
most time waiting for packets, an fd is alloced and in use pretty
much all the time anyway.

Revert "doc: Workaround gtkdoc issue"

This reverts commit 460a7bf68292d057c77e84d1ea86b8e73fc081f3.

This should be fixed by the gtk-doc 1.23 release.

<para> cannot contain <refsect2>:
http://www.docbook.org/tdg/en/html/para.html
http://www.docbook.org/tdg/en/html/refsect2.html

sparsefile: small cleanup

The error path unrefs file->file so make sure we only go there when
there is a non-NULL file->file.

doc: Workaround gtkdoc issue

With gtkdoc 1.22, the XML generator fails when a itemizedlist is
followed by a refsect2. Workaround the issue by wrapping the refsect2
into para.

docs/design/part-negotiation.txt: minor corrections

timedvaluecontrolsource: Check that the only iter is the end iter in the GSequence

Previous patch was assuming that if the returned iter was the last iter
the GSequence was empty, which is obviously wrong.

timedvaluecontrolsource: Fix removing all keyframes, and adding one back

We were segfaulting because g_sequence_search was returning the iter_end,
and that iterator does not contain anything and thus should not be used
directly

fakesrc: fix property description

We're enterprise now folks.

pad: bump chain function call logs from LOG to DEBUG

They're really useful compared to other LOG stuff in there, so
there is value is including them and not the rest.

gstobject: add gst_object_has_as_ancestor and deprecate previous function

The old gst_object_has_ancestor will call the new code. This establishes the
symetry with the new gst_object_has_as_parent.

API: gst_object_has_as_ancestor()

gstobject: rename gst_object_has_parent to gst_object_has_as_parent

This avoid confusion with a potential punction that check if a gstobject has-a
parent.

API: gst_object_has_as_parent()

basesink: Fix QoS/lateness checking if subclass implements prepare/prepare_list vfuncs

In basesink functions gst_base_sink_chain_unlocked(), below code is used to
checking if buffer is late before doing prepare call to save some effort:
    if (syncable && do_sync)
      late =
          gst_base_sink_is_too_late (basesink, obj, rstart, rstop,
          GST_CLOCK_EARLY, 0, FALSE);

    if (G_UNLIKELY (late))
      goto dropped;

But this code has problem, it should calculate jitter based on current media
clock, rather than just passing 0. I found it will drop all the frames when
rewind in slow speed, such as -2X.

https://bugzilla.gnome.org/show_bug.cgi?id=749258

fdsrc: docs: fix and update documentation

Update example to use gst-launch-1.0 and fix a paragraph.

https://bugzilla.gnome.org/show_bug.cgi?id=749233

Add removed example directories to CRUFT_DIRS

docs: gst-launch -> gst-launch-1.0 in example pipelines

And some small example pipeline fix-ups.

docs/design/part-conventions.txt: minor corrections

docs/design/part-context.txt: minor corrections

docs/design/part-clocks.txt: minor corrections

docs: update porting guides to mention new device probing API

docs/design/part-states.txt: minor corrections

event: remove duplicated include

https://bugzilla.gnome.org/show_bug.cgi?id=748739

tests: remove some pointless ancient code examples

baseparse: fix GST_BASE_PARSE_FLAG_LOST_SYNC

Since frame->priv->discont was cleared earlier,
GST_BASE_PARSE_FLAG_LOST_SYNC was never being set.

Take the chance to refactor the frame creation a bit to
organize the flags setting and reset.

https://bugzilla.gnome.org/show_bug.cgi?id=738237

baseparse: respect DISCONT flag on buffers

Drain the parser when a DISCONT buffer is received and then mark
the next buffer to be pushed as a DISCONT one

https://bugzilla.gnome.org/show_bug.cgi?id=745927

taglist: Copy the tag scope too when copying tag lists

identity: Also synchronize GAP events in sync=1

https://bugzilla.gnome.org/show_bug.cgi?id=601853

identity: With sync=true, don't pre-roll

To act like a real live element, block the streaming when paused, and
return NO_PREROLL.

https://bugzilla.gnome.org/show_bug.cgi?id=601853

identity: Take upstream latency into account for sync=1

https://bugzilla.gnome.org/show_bug.cgi?id=601853

identity: Handle PTS and DTS separately

https://bugzilla.gnome.org/show_bug.cgi?id=601853

Remove obsolete Android build cruft

This is not needed any longer.

inputselector: Only try to push the first EOS received

Subsequent EOS will push on the source pad that already received
EOS and that will make the event function return FALSE. It needs
only to push the first one and only return TRUE for the subsequent
ones.

tests: printf: add unit test for %%

https://bugzilla.gnome.org/show_bug.cgi?id=748414

printf: fix invalid memory access in case of %%

https://bugzilla.gnome.org/show_bug.cgi?id=748414

tests: define GST_CHECK_TEST_ENVIRONMENT_BEACON

check: optionally check env var for us to make sure test env is set up

If GST_CHECK_TEST_ENVIRONMENT_BEACON is defined, check if the
environment variable it is defined to is set up at the start
of each test.

https://bugzilla.gnome.org//show_bug.cgi?id=747624

basesrc: Remove unused assignment in perform_seek()

https://bugzilla.gnome.org/show_bug.cgi?id=748345

test: memory: Added test to verify the allocation params

New test added to verify the allocation params for the memory

https://bugzilla.gnome.org/show_bug.cgi?id=748277

tests: info: add test case to reproduce infinite loop

gst_debug_unset_threshold_for_name() used to go into an
infinite loop when there was more than one category in
the list.  This test captures the problem by failing
via timeout.

https://bugzilla.gnome.org/show_bug.cgi?id=748321

gstinfo: fix infinite loop in gst_debug_unset_threshold_for_name()

Ensure iterator is advanced. The current list iteration code only
advances the iterator (walk) if a match is found, which results
in an infinite loop when more than one entry exists in the list.

https://bugzilla.gnome.org/show_bug.cgi?id=748321

scripts: create-uninstalled-setup: miscellaneous fixes

Error out if required build tools (flex, bison, pkg-config)
are not present, instead of printing a message and then
continuing.

Check out submodules when fetching the repositories, so
they're already there and ready later.

Remove some 0.10 cruft.

Add INSTALL to .gitignore

tests: error out if test environment is not actually set up properly

https://bugzilla.gnome.org//show_bug.cgi?id=747624

configure: can use AM_SILENT_RULES unconditionally now

https://autotools.io/automake/silent.html

configure: bump automake requirement to 1.14 and autoconf to 2.69

This is only required for builds from git, people can still
build tarballs if they only have older autotools.

https://bugzilla.gnome.org//show_bug.cgi?id=747624

Remove INSTALL file

autotools automatically generate this, and when using different versions
for autogen.sh there will always be changes to a file tracked by git.

gstreamer-uninstalled: Update path to the GstValidate scenarios

buffer: Check return value of meta transform function in gst_buffer_copy_into()

... by printing some debug output whenever copying a GstMeta fails.

https://bugzilla.gnome.org/show_bug.cgi?id=748119

event: fix header formatting

tests: protection: fix leak in unit test

gst.h: include the new gstprotection.h header

https://bugzilla.gnome.org/show_bug.cgi?id=705991

protection: add GstProtectionMeta to support protected content

In order to support some types of protected streams (such as those
protected using DASH Common Encryption) some per-buffer information
needs to be passed between elements.

This commit adds a GstMeta type called GstProtectionMeta that allows
protection specific information to be added to a GstBuffer. An example
of its usage is qtdemux providing information to each output sample
that enables a downstream element to decrypt it.

This commit adds a utility function to select a supported protection
system from the installed Decryption elements found in the registry.
The gst_protection_select_system function that takes an array of
identifiers and searches the registry for a element of klass Decryptor that
supports one or more of the supplied identifiers. If multiple elements
are found, the one with the highest rank is selected.

This commit adds a unit test for the gst_protection_select_system
function that adds a fake Decryptor element to the registry and then
checks that it can correctly be selected by the utility function.

This commit adds a unit test for GstProtectionMeta that creates
GstProtectionMeta and adds & removes it from a buffer and performs some
simple reference count checks.

API: gst_buffer_add_protection_meta()
API: gst_buffer_get_protection_meta()
API: gst_protection_select_system()
API: gst_protection_meta_api_get_type()
API: gst_protection_meta_get_info()

https://bugzilla.gnome.org/show_bug.cgi?id=705991

event: add new GST_EVENT_PROTECTION

In order for a decrypter element to decrypt media protected using a
specific protection system, it first needs all the protection system
specific  information necessary (E.g. information on how to acquire
the decryption keys) for that stream.

The GST_EVENT_PROTECTION defined in this commit enables this information
to be passed from elements that extract it (e.g. qtdemux, dashdemux) to
elements that use it (E.g. a decrypter element).

API: GST_EVENT_PROTECTION
API: gst_event_new_protection()
API: gst_event_parse_protection()

https://bugzilla.gnome.org/show_bug.cgi?id=705991

tee: fix use of possibly-freed pad in debug statement

The gst_object_unref() in the block above may be dropping
the last ref to the pad and free the pad. Set pad pointer
to NULL here, so that we don't accidentally use a
possibly-freed pad pointer in the debug log statements
further below, and also use the tee element as log object
since that's more appropriate anyway.

Fixes valgrind warnings and crashes in tee test_stress
unit test when debug logging is enabled.

tests: info: fix unit test when run with GST_DEBUG=*:9

Only save the messages we're interested in and expecting.
When run with *:9 we might get additional TRACE level
messages from other categories and then we don't end up
with the number of messages we expect.

tests: pad: fix buffer leak in new blocking_with_probe_type_idle test

tests: pad: fix invalid memory access in debug log message

The string we put in the buffer is not NUL-terminated, so
don't try to print that via %s in a debug log message.

helpers: on OSX, MKDIR_P is install-sh -c -d

So we need to call it before cding to the bin directory.

helpers: install -D isn't portable, use $(MKDIR_P) instead.

tests: pad: test that idle probe will block

This tests add an idle probe on an idle pad from a separate thread
so that the callback is called immediatelly. This callback will sit
still and then we try to push a buffer on this same pad. It verifies
that the idle probe blocks data passing

https://bugzilla.gnome.org/show_bug.cgi?id=747852

pad: block data flow when idle probe is running

When idle probe runs directly from the gst_pad_add_probe() function
we need to make sure that no data flow happens as idle probe
is a blocking probe. The idle probe will prevent that any
buffer, bufferlist or serialized events and queries are not
flowing while it is running.

https://bugzilla.gnome.org/show_bug.cgi?id=747852

docs: clarify that return value of gst_filename_to_uri() must be freed

https://bugzilla.gnome.org/show_bug.cgi?id=747104

bin: undo upward state changes on children when a child fails

When a bin changes states upwards, and a child fails to change,
any child that was already switched will not be reset to its
original state, leaving its state inconsistent with the bin,
which does not change state due to the failure.

If the state change was from NULL to READY, it means that deleting
this bin will cause those children to be deleted while not in
NULL state, which is a Bad Thing. For other upward changes, it
is less of a problem, as a subsequent switch back to NULL will
cause an actual downwards change on those inconsistent elements,
albeit from the "wrong" state.

We now reset state to the original one when a child fails.

Includes unit test.

https://bugzilla.gnome.org/show_bug.cgi?id=747610

helpers: use $(INSTALL) to ... install the helper.

As it will create the folders and set permissions appropriately,
better than doing it manually.

helpers: Fix Makefile.am to install the completion-helper correctly.

+ The program is installed at install-exec time, we thus need
  to move it in install-exec-hook, not install-data-hook.

Revert "basesrc: fix pool leak on allocation query error path"

This reverts commit 84fdf50b2f98951a32fa14802b62621f1105cd35.

It seems the bug was fixed independently, and the merge was
automagic, yielding two extra free calls.

tests: clock: fix test clock name

Don't call the slave test clock "Master".

https://bugzilla.gnome.org/show_bug.cgi?id=746430

elementfactory: add ENCRYPTOR class defines

to go with DECRYPTOR.

elementfactory: add DECRYPTOR class defines

An element that performs decryption does not naturally fit within any
of the existing element factory class types. It is useful to be able
to easily get a list of all elements that support decryption so that
a union can be computed between the protection systems that have a
supported decryptor and the allowed protection systems for a particular
stream.

This commit adds a new GST_ELEMENT_FACTORY_TYPE_DECRYPTOR and its
associated string identifier "Decryptor". It also adds
GST_ELEMENT_FACTORY_TYPE_DECRYPTOR to GST_ELEMENT_FACTORY_TYPE_DECODABLE
so that uridecodebin can auto-plug a decryption element.

https://bugzilla.gnome.org/show_bug.cgi?id=705991

typefindelement: Use gst_event_unref() instead of gst_mini_object_unref() + casting

typefind: fix leak in gst_type_find_element_src_event()

gst_type_find_element_src_event() is supposed to consume @event but wasn't
doing so when it was handling the event itself.

https://bugzilla.gnome.org/show_bug.cgi?id=747775

Signed-off-by: Guillaume Desmottes <guillaume.desmottes@collabora.co.uk>

gstvalue: reset errno before g_ascii_strtoull call

"errno" already has meaningless value before g_ascii_strtoull call.
This causes invalid error check without reset.

https://bugzilla.gnome.org/show_bug.cgi?id=747690

basesrc: Only set DTS to segment.start on the first buffer if subclass did not provide PTS

Otherwise we're going to set a rather arbitrary DTS of segment.start (usually
0) for live sources, which confuses synchronization if the source started
capturing at a later time. And it's especially wrong for raw media, for which
we should not set any DTS at all.

https://bugzilla.gnome.org/show_bug.cgi?id=747731

typefind: Run the default have-type handler after all application handlers

Otherwise the CAPS event will already be forwarded downstream and
the application has no way to intervene anymore.

https://bugzilla.gnome.org/show_bug.cgi?id=735896

multiqueue: Don't automatically enter the buffering state when use-buffering is set.

There is no reason I can see to set mq->buffering = TRUE when
use_buffering is set; the code here also calls update_buffering(), which
will set mq->buffering = TRUE if this is warranted because of low buffer
levels.

https://bugzilla.gnome.org/show_bug.cgi?id=745937

inputselector: fix cached buffer leak in chain function

gst_selector_pad_chain() was popping cached buffers out of the queue without
freeing those. Make sure we don't steal the GstBuffer as the cached buffer ref
has been passed to the pad chain function.

This can be reproduced by running the
validate.file.playback.switch_subtitle_track_while_paused.test5_mkv scenario
with Valgrind.

https://bugzilla.gnome.org/show_bug.cgi?id=747611

Signed-off-by: Guillaume Desmottes <guillaume.desmottes@collabora.co.uk>

tests: Use AM_TESTS_ENVIRONMENT

Needed by the new automake test runner

bufferlist: make sure list is writable before adding or removing buffers

https://bugzilla.gnome.org/show_bug.cgi?id=747439

bufferlist: minor docs addition for gst_buffer_list_get()

Return buffer remains valid as long as list is valid
and buffer is not removed from list.

https://bugzilla.gnome.org/show_bug.cgi?id=747438

basesrc: fix pool leak on allocation query error path

It could be triggered by:

gst-launch-1.0 videotestsrc num-buffers=20 ! videcrop bottom=214748364 ! videoconvert ! autovideosink

Spotted while testing:

https://bugzilla.gnome.org/show_bug.cgi?id=743910