osxaudio: Avoid making a duplicate structure in caps for mono/stereo case

For 1ch or 2ch devices, we just need to set the caps to allow both
options since CoreAudio will up/downmix appropriately.

Also fixes the condition for the 2ch case to be exact, rather than at
least 2 channels since the downmix will not take place in the >stereo
case.

osxaudio: Don't set the format on an initialized AudioUnit

We need to initialize the AudioUnit early to be able to probe the
underlying device, but according to the AudioUnitInitialize() and
AudioUnitUninitialize() documentation, format changes should be done
while the AudioUnit is uninitialized. So we explicitly uninitialize the
AudioUnit during a format change and reinitialize it when we're done.

osxaudio: Minor spelling fix (unitialize -> uninitialize)

osxaudio: Fix lockup in _audio_unit_property_listener

_audio_unit_property_listener is called either from a Core Audio thread
or as a result of a Core Audio API (e.g. AudioUnitInitialize)
from our own thread. In the latter case, osxbuf can be already locked
(GStreamer's mutex is not recursive).

We introduce the flag cached_caps_valid and use it instead of nullifying
cached_caps when we cannot lock on osxbuf.

https://bugzilla.gnome.org/show_bug.cgi?id=743758

osxaudio: Invalidate cached caps on format change

Listen for changes in hardware stream format and channel layout, and
invalidate cached caps (since they contain the preferred caps).

https://bugzilla.gnome.org/show_bug.cgi?id=743758

osxaudio: Overhaul of probing caps

- Probing caps is unified between source and sink
- Hardware stream format is now reported as preferred capabilities
  (dynamically updated when hardware configuration changes)
- Get hardware channel layout from Remote IO just like from HAL
- More comprehensive mapping between AudioChannelLabel and
  GstAudioChannelPosition
- Support for unpositioned channel layouts
- Announce stereo-mono upmixing/downmixing in caps

https://bugzilla.gnome.org/show_bug.cgi?id=743758

osxaudio: AudioUnitInitialize on open

Call AudioUnitInitialize upon open. Otherwise, we cannot get
(hardware) stream format nor channel layout from the outer scope.

rtp: depayloaders: implement process_rtp_packet() vfunc

For more optimised RTP packet handling: means we don't
need to map the input buffer again but can just re-use
the mapping the base class has already done.

https://bugzilla.gnome.org/show_bug.cgi?id=750235

rtpvrawdepay: implement process_rtp_packet() vfunc

For more optimised RTP packet handling: means we don't
need to map the input buffer again but can just re-use
the map the base class has already done.

https://bugzilla.gnome.org/show_bug.cgi?id=750235

rtpjitterbuffer: Fix indention

rtpjitterbuffer: Always estimate DTS from the current clock time

Estimating it from the RTP time will give us the PTS, so in cases of PTS!=DTS
we would produce wrong DTS. As now the estimated DTS is based on the clock,
don't store it in the jitterbuffer items as it would otherwise be used in the
skew calculations and would influence the results. We only really need the DTS
for timer calculations.

https://bugzilla.gnome.org/show_bug.cgi?id=749536

gitignore: ignore rtph263 test

rtpjitterbuffer: fix build error with gcc (Debian 4.9.2-21) 4.9.2

Replace static constants with macros to make gcc happy

  CC       elements/elements_rtpjitterbuffer-rtpjitterbuffer.o
elements/rtpjitterbuffer.c:387:1: error: initializer element is not constant
 static const GstClockTime PCMU_BUF_DURATION = PCMU_BUF_MS * GST_MSECOND;
 ^
elements/rtpjitterbuffer.c:388:1: error: initializer element is not constant
 static const guint PCMU_BUF_SIZE = 64000 * PCMU_BUF_MS / 1000;
 ^
elements/rtpjitterbuffer.c:390:5: error: initializer element is not constant
     PCMU_BUF_CLOCK_RATE * PCMU_BUF_MS / 1000;

rtpjitterbuffer: run indent and fix some comments

Fix indent on this file and break some comment lines into two to make
it fit 80 chars per line

qtdemux: rework segment event handling for adaptive streaming

When a new time segment is received upstream is going to restart
with a new atom. Make the neededbytes and todrop variables
reflect that to avoid waiting too much or dropping the
initial bytes that contain the header.

qtdemux: push data from adapter before starting new segment

The adapter might have data remaining from the previous segment,
push it all before clearing the adapter and starting a new segment.

It can accumulate data if it had pushed and got not-linked, returning
immediately without processing all the data. Before starting a new
segment this data should be handled.

rtpjitterbuffer: Calculate DTS from the clock if we had none for the first packet after a reset

https://bugzilla.gnome.org/show_bug.cgi?id=749536

rtpjitterbuffer: fix gap-time calculation and remove "late"

The amount of time that is completely expired and not worth waiting for,
is the duration of the packets in the gap (gap * duration) - the
latency (size) of the jitterbuffer (priv->latency_ns). This is the duration
that we make a "multi-lost" packet for.

The "late" concept made some sense in 0.10 as it reflected that a buffer
coming in had not been waited for at all, but had a timestamp that was
outside the jitterbuffer to wait for. With the rewrite of the waiting
(timeout) mechanism in 1.0, this no longer makes any sense, and the
variable no longer reflects anything meaningful (num > 0 is useless,
the duration is what matters)

Fixed up the tests that had been slightly modified in 1.0 to allow faulty
behavior to sneak in, and port some of them to use GstHarness.

https://bugzilla.gnome.org/show_bug.cgi?id=738363

Revert "rtpjitterbuffer: Fix expected_dts calc in calculate_expected"

This reverts commit 05bd708fc5e881390fe839803b53144393d95ab0.

The reverted patch is wrong and introduces a regression because there
may still be time to receive some of the packets included in the gap
if they are reordered.

qtdemux: flush samples before adding more from moof

Avoids accumulating all samples from a fragmented stream that could
lead to a 'index-too-big' error once it goes over 50MB of data. It
could reach that before 2h of playback so it doesn't take that long.

As upstream elements are providing data in time format they should
be the ones that have more information about the full media index
and should be able to seek if possible.

qtdemux: rename upstream_newsegment to upstream_format_is_time

upstream_newsegment isn't really clear on what it means, it is set
to TRUE when the upstream element sends a segment in TIME format, so
rename it to be more clear about it.

It is important to know this because it means that upstream has
a notion of time and qtdemux is likely being driven by an upstream
element that is reading from a higher level abstraction than a file,
such as a DASH, MSS or DLNA element.

qtdemux: fix leak by flushing previous sample info from trak

In fragmented streaming, multiple moov/moof will be parsed and their
previously stored samples array might leak when new values are parsed.
The parse_trak and callees won't free the previously stored values
before parsing the new ones.

In step-by-step, this is what happens:

1) initial moov is parsed, traks as well, streams are created. The
   trak doesn't contain samples because they are in the moof's trun
   boxes. n_samples is set to 0 while parsing the trak and the samples
   array is still NULL.
2) moofs are parsed, and their trun boxes will increase n_samples and
   create/extend the samples array
3) At some point a new moov might be sent (bitrate switching, for example)
   and parsing the trak will overwrite n_samples with the values from
   this trak. If the n_samples is set to 0 qtdemux will assume that
   the samples array is NULL and will leak it when a new one is
   created for the subsequent moofs.

This patch makes qtdemux properly free previous sample data before
creating new ones and adds an assert to catch future occurrences of
this issue when the code changes.

qtdemux: fix index size check and debug message

It is allocating samples_count + n_samples, not only n_samples

rtpjitterbuffer: Calculate receive time if we don't have any

This is required to properly schedule packet loss timers and make
sure all our calculations work properly.

https://bugzilla.gnome.org/show_bug.cgi?id=749536

rtpjitterbuffer: Handle seqnum gaps in TCP streams without erroring out or overflowing calculations

That is, handle DTS==GST_CLOCK_TIME_NONE correctly.

https://bugzilla.gnome.org/show_bug.cgi?id=749536

avidemux: fix event leak

when seek fails in avidemux, event is not being freed.

https://bugzilla.gnome.org/show_bug.cgi?id=752117

rtph263depay: Make sure payload is large enough

Plus new unit test.

https://bugzilla.gnome.org/show_bug.cgi?id=752112

rtpklvdepay: fix printf format compiler warning

v_len is of type guint64, but while print the value(16 + len_size + v_len)
G_GSIZE_FORMAT is being used instead of G_GUINT64_FORMAT

https://bugzilla.gnome.org/show_bug.cgi?id=752100

docs: add new RTP elements to docs

tests: rtp-payloading: add basic unit test for KLV payloading

Also make it so that the mtu is always set if specified, not
only in case of the rather weird bufferlist test code path.
This allows us to easily make the payloader fragment a payload
across multiple output packets by setting a small MTU on it.

rtpklvdepay: improve start detection and handle fragmented KLV units

rtp: add SMPTE 336M KLV metadata depayloader

http://tools.ietf.org/html/rfc6597

rtp: add SMPTE 336M KLV metadata payloader

http://tools.ietf.org/html/rfc6597

docs: fix "Symbol name not found at the start of the comment block"

Add symbols or change comment into a regular comment.

docs: remove outdated doc strings

docs: add missing plugins and ensure master doc is sorted

Revert "imagefreeze: Remove impossible error condition"

This reverts commit d46631c5c7312ad613397f8238c7a9714ae3ae94.

pad only handle EOS events but not EOS flow, and will push the buffer again
resulting in an assertion error. So we should not handle the buffer
and return EOS flow.

rtpg729depay: unmap rtp buffer in error path

rtpg729pay: fix buffer leak

The handle_buffer vfunc takes ownership of the input buffer.
Fixes elements/rtp-payloading under valgrind.

goom: Initialised variables to remove compiler warnings

goom_core.c: In function 'goom_update':
goom_core.c:685:5: error: 'param2' may be used uninitialized in this function [-Werror=maybe-uninitialized]
     goom_lines_switch_to (goomInfo->gmline2, mode, param2, amplitude, couleur);
     ^
goom_core.c:684:5: error: 'param1' may be used uninitialized in this function [-Werror=maybe-uninitialized]
     goom_lines_switch_to (goomInfo->gmline1, mode, param1, amplitude, couleur);
     ^

https://bugzilla.gnome.org/show_bug.cgi?id=752053

rtph261pay: fix indentation

rtph261pay: Fix uninitialized variable compiler error

endpos variable does not correctly understand in the
4.6.3 GCC version. So compile error appears when we do
compile rtph261pay using jhbuild.
This patch is fixed the compile error in 4.6.3 GCC version.

https://bugzilla.gnome.org/show_bug.cgi?id=751985

flvdemux: Handle seek flags properly

Allows for non-keyframe seeks.

https://bugzilla.gnome.org/show_bug.cgi?id=738570

qtdemux: avoid looping reading the 'moof' atom forever

It gets stuck if it only finds a moof and no mfra/mfro or moov
atoms. Skip the moof to continue the parsing to have it either
play or error out.

https://bugzilla.gnome.org/show_bug.cgi?id=745089

flacdec: improve error handling

for files which have corrupted header, libflac is not able to
process the metadata properly. We just try to ignore the error
and continue with the processing, since metadata parsing is not
making much of a difference to libflac

https://bugzilla.gnome.org/show_bug.cgi?id=751334

ximagesrc: add meta transform function

ximage metadata can't be transformed or copied, but provide an empty
transformation function instead of NULL to allow unconditional calling
of metas' transform functions.

https://bugzilla.gnome.org/show_bug.cgi?id=751778

rtph263pdepay: init debug category

https://bugzilla.gnome.org/show_bug.cgi?id=752012

rtpv8depay: ignore reserved bit in payload descriptor

Draft 16 of "RTP Payload Format for VP8" states in section 4.2 that:

R: Bit reserved for future use.  MUST be set to zero and MUST be
   ignored by the receiver.

https://bugzilla.gnome.org/show_bug.cgi?id=751929

rtph261pay: rtph261depay: Add documentation

https://bugzilla.gnome.org/show_bug.cgi?id=751982

Automatic update of common submodule

From f74b2df to 9aed1d7

rtph261pay: Fix compiler warning

gstrtph261pay.c: In function 'gst_rtp_h261_pay_class_init':
gstrtph261pay.c:1003:17: error: variable 'gobject_class' set but not used [-Werror=unused-but-set-variable]
   GObjectClass *gobject_class;

rtph261depay: Let the base class push the buffer so it can deal with the flow return

rtph261pay: Remove unused adapter

speexpay: Directly attach payload to the output buffer instead of copying it

sbcpay: Attach payload directly to the output instead of copying

rtp: add H.261 RTP payloader and depayloader

Implementation according to RFC 4587.

Payloader create fragments on MB boundaries in order to match MTU size
the best it can. Some decoders/depayloaders in the wild are very strict
about receiving a continuous bit-stream (e.g. no no-op bits between
frames), so the payloader will shift the compressed bit-stream of a
frame to align with the last significant bit of the previous frame.

Depayloader does not try to be fancy in case of packet loss. It simply
drops all packets for a frame if there is a loss, keeping it simple.

https://bugzilla.gnome.org/show_bug.cgi?id=751886

rtpmpvdepay: Don't forget to unmap the input buffer

rtpmpvpay: Create buffer lists instead of pushing each buffer individually

rtpmpapay: Use buffer lists instead of pushing each fragment individually

rtpmp4apay: Create buffer lists and don't copy payload memory

rtpjitterbuffer: Consider timers len to compare with RTP_MAX_DROPOUT

When there are a lot of small gaps, we can consider that there is
a big gap (too losses) to reset the buffer.

https://bugzilla.gnome.org/show_bug.cgi?id=751636

rtpjitterbuffer: If possible, always update the current time before looping over all timers

If we have a clock, update "now" now with the very latest running time we have.
If timers are unscheduled below we otherwise wouldn't update now (it's only updated
when timers expire), and also for the very first loop iteration now would otherwise
always be 0.

Also the time is used for the timeout functions, e.g. to calculate any times
for the next timeouts and we would otherwise pass too old times there.

https://bugzilla.gnome.org/show_bug.cgi?id=751636

v4l2transform: fix memory leak

tmp needs to be freed before going out of scope in 'done'.

CID #1308954

rtph263ppay: Generate buffer lists and attach the payload directly instead of copying it

rtph263pdepay: Simplify code a bit and do less direct memcpy and let GstBuffer do that for us

rtph263pay: Stop using an adapter and directly use the buffer

We always pushed one buffer into the adapter, then handled exactly that one
buffer and flushed it from the adapter. Now also don't memcpy() the actual
payload but just attach the input buffer's data to the output buffer.

This code still needs some serious refactoring/rewriting.

rtpgsmpay: Remove non-existing includes for now

git add -p mistake.

rtpgstpay: Use the return value of gst_buffer_append()

rtpgsmpay: Attach payload to the output buffer instead of copying it

rtpg729pay: Attach payload directly to output buffers instead of copying

rtpg723pay: Attach payload buffer to the output instead of copying

rtpdvdepay: Map the output buffer once instead of once every 80 bytes

avidemux: fix return type of index_entry_offset_search()

It's a compare function and may return a negative value,
so should for correctness and consistency return a signed
integer.

https://bugzilla.gnome.org/show_bug.cgi?id=751780

rtpjitterbuffer: refactor handle_next_buffer

The goal of this patch is making handle_next_buffer function
more readable avoiding unnecesary gotos and adding other
cosmetic changes.

rtpac3pay: Attach the payload to the output buffer instead of copying it

Might also want to produce buffer lists here if needed.

rtp: Fix indention

rtp: Add examples with VTS/ATS for VP8/OPUS

Let's have an example with modern codecs.

rtph264pay: Use GST_WARNING_OBJECT() instead of GST_WARNING()

vp8depay: Don't lock/map every non-keyframe buffer twice

Just copy the complete header instead of first looking at the first byte
and then at the remaining 10 bytes.

v4l2: document fallthrough cases

Pacify coverity and document fallthrough cases in switch statements.

CID #1308948, #1308947, #1308946

Revert "rtpjitterbuffer: If we have an immediate timeout, don't try to find an earlier timeout"

This reverts commit 0c21cd7177ea883c710999147ddcedb19004d182.

If we have multiple immediate timers, we want to first handle the one with the
lowest sequence number... which would be broken now.

Instead of this we should just use a GSequence for the timers, and have them
sorted first by timestamp, and for equal timestamps by sequence number. Then
we would always only have to take the very first timer from the list and never
have to look at any others.

rtpjitterbuffer: If we have an immediate timeout, don't try to find an earlier timeout

If we have lots of such immediate timeouts, we would otherwise have quadratic
runtime in the number of timeouts.

splitmuxsrc: sticky events are sent automatically from the pad

No need to send them explicitly from the element

https://bugzilla.gnome.org/show_bug.cgi?id=751240

splitmuxsrc: make sure to push sticky events before adding pad

It allows the caps to be set on the pad before being added for
dynamic autoplugging to work.

https://bugzilla.gnome.org/show_bug.cgi?id=751240

rtspsrc: Add new ntp-time-source property and deprecate use-pipeline-clock property

Enable to use new ntp-time-source property of rtpbin

https://bugzilla.gnome.org/show_bug.cgi?id=751496

rtpbin/session: fix description

https://bugzilla.gnome.org/show_bug.cgi?id=751496

docs: decodebin2 -> decodebin

deinterlace: update example pipeline

Update reference to decodebin2 to decodebin

deinterlace: remove dead assignments

Values in fields_required and same_buffer are overwritten before used. Removing
assignment

mikmod: remove ancient unported plugin

This hasn't been touched in 11 years, and
clearly no one's been missing it.

qtdemux: does not detect orientation

Most files don't contain the values for transposing the coordinates
back to the positive quadrant so qtdemux was ignoring the rotation
tag. To be able to properly handle those files qtdemux will also ignore
the transposing values to only detect the rotation using the values
abde from the transformation matrix:

[a b c]
[d e f]
[g h i]

https://bugzilla.gnome.org/show_bug.cgi?id=738681

Back to development

Release 1.5.2

Update .po files

po: Update translations

qtmux: Correctly test each segments

In presence of gaps, qtdemux will emit multiple segments. The
second segment start should match the CTTS.

https://bugzilla.gnome.org/show_bug.cgi?id=751361

qtmux: Correctly calculate the elst media start

The media start has nothing to do with the shift we have applied
but with the value of the first PTS. This is defined as:

  Dt(0) = 0
  Ct(0) = Dt(0) + CTTS(0)

So the media start is always the first CTTS.

https://bugzilla.gnome.org/show_bug.cgi?id=751361

qtdemux: accumulate previous edts entries into segment.base

Allows playing edts editted files with proper synchronization of
streams. This patch fixes the regression introduced by
bf95f93c0189aa04f18e264b86b6527e431c5d53 that was added to fix
segment seeks handling.

Having the accumulated_base separated from the main segment.base
allows handling both segment seeks and edts editted files.

https://bugzilla.gnome.org/show_bug.cgi?id=751361

qtdemux: improve some debug messages

Those messages are about the stream, use the pad as the
debug object to make it clear from the logs

https://bugzilla.gnome.org/show_bug.cgi?id=751361

qtmux: store last_dts of the first buffer

Buffers need not to start at running-time 0 so the last_dts needs
to be the value of the first buffer's dts as it is used to compute
the duration of the buffers. If it was left at 0 the first buffer
would have a larger duration when it shouldn't

https://bugzilla.gnome.org/show_bug.cgi?id=751361