netclientclock: Use the new GST_CLOCK_FLAG_NEEDS_STARTUP_SYNC flag

https://bugzilla.gnome.org/show_bug.cgi?id=750574

netclientclock: Make the clock a wrapper clock around an internal clock

The internal clock is only used for slaving against the remote clock, while
the user-facing GstClock can be additionally slaved to another clock if
desired. By default, if no master clock is set, this has exactly the same
behaviour as before. If a master clock is set (which was not allowed before),
the user-facing clock is reporting the remote clock as internal time and
slaves this to the master clock.

This also removes the weirdness that the internal time of the netclientclock
was always the system clock time, and not the remote clock time.

https://bugzilla.gnome.org/show_bug.cgi?id=750574

Automatic update of common submodule

From d37af32 to d9a3353

tests: fakesink: fix string leak in unit test

filesink: Fix Windows build by using _commit instead of fsync.

ptp: Make sure to always initialize the variables we put into the statistics structure later

CID 1304676, 1304677, 1304678, 1304679.

ptp: Ensure that not too much is read from or written to struct ifreq.ifr_name

basetransform: Add Since markers for new vfuncs

Add Since: 1.6 markers for the new submit_input_buffer() and
generate_output() vfuncs

basetransform: Split input buffer processing from output generation

Allow for sub-classes which want to collate incoming buffers or
split them into multiple output buffers by separating the input
buffer submission from output buffer generation and allowing
for looping of one of the phases depending on pull or push mode
operation.

https://bugzilla.gnome.org/show_bug.cgi?id=750033

Add GST_BUFFER_FLAG_SYNC_AFTER flag, and implement in filesink.

Makes it possible to get filesink to fsync() after rendering
a buffer.

ptp: Fix build on Windows, and in general the GI build when PTP support was not available

It's not going to work on Windows still, the helper process needs to be
ported.

Automatic update of common submodule

From 21ba2e5 to d37af32

Automatic update of common submodule

From c408583 to 21ba2e5

docs: remove variables that we define in the snippet from common

This is syncing our Makefile.am with upstream gtkdoc.

Automatic update of common submodule

From d676993 to c408583

Back to development

netclientclock: The NTP poll interval is a signed int8, not unsigned

Release 1.5.1

po: Update translations

netclientclock: Add Since marker to the docs for gst_ntp_clock_new()

Update .po files

memory: Fix compiler warnings in unit test

gst/gstmemory.c:570:38: error: implicit conversion from enumeration type 'GstMapFlags' to different enumeration
      type 'GstLockFlags' [-Werror,-Wenum-conversion]
  fail_unless (gst_memory_lock (mem, GST_MAP_WRITE));
               ~~~~~~~~~~~~~~~~~~~~~~^~~~~~~~~~~~~~

ptpclock: Use the current path delay for calculation the local/remote clock times

The mean might currently be changing, and the current path delay is the
closest we can get to the actual delay around the current SYNC message.

netclientclock: Add some copyright stuff

netclientclock: Add NTPv4 support

This uses all of the netclientclock code, except for the generation and
parsing of packets. Unfortunately some code duplication was necessary
because GstNetTimePacket is public API and couldn't be extended easily
to support NTPv4 packets without breaking API/ABI.

netclientclock: Preparation for NTPv4 support

We extend our calculations to work with local send time, remote receive time,
remote send time and local receive time. For the netclientclock protocol,
remote receive and send time are assumed to be the same value.

For the results, this modified calculation makes absolutely no difference
unless the two remote times are different.

netclientclock. Fix last commit

Apparently I failed at git add -i.

netclientclock: Make gst_net_client_clock_new() a thing wrapper around g_object_new()

Bindings will like this, and also it fixes a FIXME comment.

ptpclock: Use #define everywhere instead of G_N_ELEMENTS()

netclientclock: Filter RTTs based on the median of the last RTTs before considering them at all

This improves accuracy on wifi or similar networks, where the RTT can go very
high up for a single observation every now and then. Without filtering them
away completely, they would still still modify the average RTT, and thus all
clock estimations.

ptpclock: Use a system clock for the time observations instead of gst_util_get_timestamp()

They don't necessarily use the same underlying clocks (e.g. on Windows), or
might be configured to a different clock type (monotonic vs. real time clock).

We need the values a clean system clock returns, as those are the values used
by the internal clocks.

ptpclock: Fix documentation a bit

tests: fakesink: test notify::last-message and deep-notify::last-message

deep-notify::last-message seems to cause some problems, so disable for now.

https://bugzilla.gnome.org/show_bug.cgi?id=681642

typefind: Post an error if we can't typefind the data until EOS

https://bugzilla.gnome.org/show_bug.cgi?id=750439

ptp-helper: Make sure to use g_poll() for the main context

The modified main context from https://bugzilla.gnome.org/show_bug.cgi?id=741054
somehow calls setugid(), which abort()s setuid root applications on OSX.

ptp-helper: Make sure that we are running setuid root if configured that way

ptp-helper: Fix interface listing and MAC retrieval on OSX

gst-indent: Add support for gindent as executable name

gst-indent used to support gnuindent and indent as executable names.
However, on OSX one can "brew install gnu-indent" and then the
executable name will be gindent. Added support for that.

https://bugzilla.gnome.org/show_bug.cgi?id=750351

gitignore: add libs/gst/helpers/gst-ptp-helper

ptp: ignore permission errors in Makefile

To satisfy the buildslaves ignore permission errors in chown, chmod and setcap

ptp: Don't use SIOCGIFHWADDR on Apple

Just #ifdef the code for now, this should be implemented around
IOKit later instead of using ioctls.

build: make install-exec-hooks depend on install-helpersPROGRAMS

To avoid race conditions where make would try to change ownership and
permissions of the not-yet-installed ptp helper.

ptp: Fix debug output to print the difference instead of absolute values

ptpclock: fix compilation

Don't put code between declarations.
Fix use of uninitialized variables

ptp: Add median based pre-filtering of delays

If the delay measurement is too far away from the median of the window of last
delay measurements, we discard it. This increases accuracy on wifi a lot.

https://bugzilla.gnome.org/show_bug.cgi?id=749391

ptp: Add #define to only use SYNC messages for which we can send DELAY_REQ

https://bugzilla.gnome.org/show_bug.cgi?id=749391

ptp: Add #defines to enable/disable improvements for unreliable networks

We should do some more measurements with all these and check how much sense
they make for PTP. Also enabling them means not following IEEE1588-2008 by the
letter anymore.

https://bugzilla.gnome.org/show_bug.cgi?id=749391

ptp: Initial implementation of a PTP clock

GstPtpClock implements a PTP (IEEE1588:2008) ordinary clock in
slave-only mode, that allows a GStreamer pipeline to synchronize
to a PTP network clock in some specific domain.

The PTP subsystem can be initialized with gst_ptp_init(), which then
starts a helper process to do the actual communication via the PTP
ports. This is required as PTP listens on ports < 1024 and thus
requires special privileges. Once this helper process is started, the
main process will synchronize to all PTP domains that are detected on
the selected interfaces.

gst_ptp_clock_new() then allows to create a GstClock that provides the
PTP time from a master clock inside a specific PTP domain. This clock
will only return valid timestamps once the timestamps in the PTP domain
are known. To check this, the GstPtpClock::internal-clock property and
the related notify::clock signal can be used. Once the internal clock
is not NULL, the PTP domain's time is known. Alternatively you can wait
for this with gst_ptp_clock_wait_ready().

To gather statistics about the PTP clock synchronization,
gst_ptp_statistics_callback_add() can be used. This gives the
application the possibility to collect all kinds of statistics
from the clock synchronization.

https://bugzilla.gnome.org/show_bug.cgi?id=749391

clock: Add GST_CLOCK_FLAG_NEEDS_STARTUP_SYNC and related API

gst_clock_wait_for_sync(), gst_clock_is_synced() and gst_clock_set_synced()
plus a signal to asynchronously wait for the clock to be synced.

This can be used by clocks to signal that they need initial synchronization
before they can report any time, and that this synchronization can also get
completely lost at some point. Network clocks, like the GStreamer
netclientclock, NTP or PTP clocks are examples for clocks where this is useful
to have as they can't report any time at all before they're synced.

https://bugzilla.gnome.org/show_bug.cgi?id=749391

memory: provide a mem_unmap function that takes the flags to unmap

There are gstmemory's available that operate in two memory domains
and need to ensure consistent access between these domains.

Imagine a scenario where e.g. the GLMemory is mapped twice in both
the GPU and the CPU domain.  On unmap or a subsequent map, it would
like to ensure that the most recent data is available in the memory
domain requested.  Either by flushing the writes and/or initiating a
DMA transfer.  Without knowing which domain is being unmapped, the
memory does not know where the most recent data is to transfer to
the other memory domain.

Note: this still does not allow downgrading a memory map.

https://bugzilla.gnome.org/show_bug.cgi?id=750319

memory: gst_memory_share may fail to exclusively lock the parent memory

Now that locking exclusively dows not always succeed, we need to signal
the failure case from gst_memory_init.

Rather than introducing an API or funcionality change to gst_memory_init,
workaround by checking exclusivity in the calling code.

https://bugzilla.gnome.org/show_bug.cgi?id=750172

buffer: locking memory exclusively may fail

Attempt to return a copy of the memory instead.

https://bugzilla.gnome.org/show_bug.cgi?id=750172

miniobject: disallow a double write/exclusive lock

gst_memory_lock (mem, WRITE | EXCLUSIVE);
gst_memory_lock (mem, WRITE | EXCLUSIVE);

Succeeds when the part-miniobject.txt design doc suggests that this should fail:

  "A gst_mini_object_lock() can fail when a WRITE lock is requested and
  the exclusive counter is > 1. Indeed a GstMiniObject object with an
  exclusive counter 1 is locked EXCLUSIVELY by at least 2 objects and is
  therefore not writable."

https://bugzilla.gnome.org/show_bug.cgi?id=750172

uri: match return type of get_uri_type() implementation to declaration

https://bugzilla.gnome.org/show_bug.cgi?id=750292

gstbuffer: Add a note about metas needing to be copied last

gstvalue: Implement gst_value_is_subset() for flagsets

check: Use GST_CHECK_MAIN macro

downloadbuffer: release lock before posting msg

to avoid the deadlock in playbin2,
send msg after release the download buffer lock.

https://bugzilla.gnome.org/show_bug.cgi?id=749535

structure: add note about missing field creation on _set()

tests: fix some leaks in new flagset checks

queuearray: remove duplicate assignment

We've already done this earlier in the function,
and nothing has changed since we first read it.

gst/gst.c: Add a warning about DllMain to prevent misuse

DllMain should not be relied on for anything except storing the DLL handle.
It should also not be defined for static builds, but doing so is not
straightforward and is mostly harmless, so let's just add a comment about that
for now.

funnel: Improve debug output a bit

docs: fix typo in draft-klass.txt

code-reviews: remove obsolete code reviews

This obsolete folder hasn't been touched since 2001 and has no purpose. It
confuses new developers.

basesink: use the slightly more correct take_sample for last-sample

gst_value_take_buffer() and gst_value_take_sample() both resolve to
g_value_take_boxed().  Use the method with the correct name if we
ever change that.

gstvalue: Add GstFlagSet type

GstFlagSet is a new type designed for negotiating sets
of boolean capabilities flags, consisting of a 32-bit
flags bitfield and 32-bit mask field. The mask field
indicates which of the flags bits an element needs to have
as specific values, and which it doesn't care about.

This allows efficient negotiation of arrays of boolean
capabilities.

The standard serialisation format is FLAGS:MASK, with
flags and mask fields expressed in hexadecimal, however
GstFlagSet has a gst_register_flagset() function, which
associates a new GstFlagSet derived type with an existing
GFlags gtype. When serializing a GstFlagSet with an
associated set of GFlags, it also serializes a human-readable
form of the flags for easier debugging.

It is possible to parse a GFlags style serialisation of a
flagset, without the hex portion on the front. ie,
+flag1/flag2/flag3+flag4, to indicate that
flag1 & flag4 must be set, and flag2/flag3 must be unset,
and any other flags are don't-care.

https://bugzilla.gnome.org/show_bug.cgi?id=746373

gstvalue: Add a comparision function for GstStructures

net: keep GCancellable fd around instead of re-creating it constantly

Just create the cancellable fd once and keep it around instead
of creating/closing it for every single packet. Since we spend
most time waiting for packets, an fd is alloced and in use pretty
much all the time anyway.

Revert "doc: Workaround gtkdoc issue"

This reverts commit 460a7bf68292d057c77e84d1ea86b8e73fc081f3.

This should be fixed by the gtk-doc 1.23 release.

<para> cannot contain <refsect2>:
http://www.docbook.org/tdg/en/html/para.html
http://www.docbook.org/tdg/en/html/refsect2.html

sparsefile: small cleanup

The error path unrefs file->file so make sure we only go there when
there is a non-NULL file->file.

doc: Workaround gtkdoc issue

With gtkdoc 1.22, the XML generator fails when a itemizedlist is
followed by a refsect2. Workaround the issue by wrapping the refsect2
into para.

docs/design/part-negotiation.txt: minor corrections

timedvaluecontrolsource: Check that the only iter is the end iter in the GSequence

Previous patch was assuming that if the returned iter was the last iter
the GSequence was empty, which is obviously wrong.

timedvaluecontrolsource: Fix removing all keyframes, and adding one back

We were segfaulting because g_sequence_search was returning the iter_end,
and that iterator does not contain anything and thus should not be used
directly

fakesrc: fix property description

We're enterprise now folks.

pad: bump chain function call logs from LOG to DEBUG

They're really useful compared to other LOG stuff in there, so
there is value is including them and not the rest.

gstobject: add gst_object_has_as_ancestor and deprecate previous function

The old gst_object_has_ancestor will call the new code. This establishes the
symetry with the new gst_object_has_as_parent.

API: gst_object_has_as_ancestor()

gstobject: rename gst_object_has_parent to gst_object_has_as_parent

This avoid confusion with a potential punction that check if a gstobject has-a
parent.

API: gst_object_has_as_parent()

basesink: Fix QoS/lateness checking if subclass implements prepare/prepare_list vfuncs

In basesink functions gst_base_sink_chain_unlocked(), below code is used to
checking if buffer is late before doing prepare call to save some effort:
    if (syncable && do_sync)
      late =
          gst_base_sink_is_too_late (basesink, obj, rstart, rstop,
          GST_CLOCK_EARLY, 0, FALSE);

    if (G_UNLIKELY (late))
      goto dropped;

But this code has problem, it should calculate jitter based on current media
clock, rather than just passing 0. I found it will drop all the frames when
rewind in slow speed, such as -2X.

https://bugzilla.gnome.org/show_bug.cgi?id=749258

fdsrc: docs: fix and update documentation

Update example to use gst-launch-1.0 and fix a paragraph.

https://bugzilla.gnome.org/show_bug.cgi?id=749233

Add removed example directories to CRUFT_DIRS

docs: gst-launch -> gst-launch-1.0 in example pipelines

And some small example pipeline fix-ups.

docs/design/part-conventions.txt: minor corrections

docs/design/part-context.txt: minor corrections

docs/design/part-clocks.txt: minor corrections

docs: update porting guides to mention new device probing API

docs/design/part-states.txt: minor corrections

event: remove duplicated include

https://bugzilla.gnome.org/show_bug.cgi?id=748739

tests: remove some pointless ancient code examples

baseparse: fix GST_BASE_PARSE_FLAG_LOST_SYNC

Since frame->priv->discont was cleared earlier,
GST_BASE_PARSE_FLAG_LOST_SYNC was never being set.

Take the chance to refactor the frame creation a bit to
organize the flags setting and reset.

https://bugzilla.gnome.org/show_bug.cgi?id=738237

baseparse: respect DISCONT flag on buffers

Drain the parser when a DISCONT buffer is received and then mark
the next buffer to be pushed as a DISCONT one

https://bugzilla.gnome.org/show_bug.cgi?id=745927

taglist: Copy the tag scope too when copying tag lists

identity: Also synchronize GAP events in sync=1

https://bugzilla.gnome.org/show_bug.cgi?id=601853

identity: With sync=true, don't pre-roll

To act like a real live element, block the streaming when paused, and
return NO_PREROLL.

https://bugzilla.gnome.org/show_bug.cgi?id=601853

identity: Take upstream latency into account for sync=1

https://bugzilla.gnome.org/show_bug.cgi?id=601853

identity: Handle PTS and DTS separately

https://bugzilla.gnome.org/show_bug.cgi?id=601853

Remove obsolete Android build cruft

This is not needed any longer.

inputselector: Only try to push the first EOS received

Subsequent EOS will push on the source pad that already received
EOS and that will make the event function return FALSE. It needs
only to push the first one and only return TRUE for the subsequent
ones.

tests: printf: add unit test for %%

https://bugzilla.gnome.org/show_bug.cgi?id=748414