video-format: sprinkle some 'restrict' keywords in pack/unpack functions

In cases where we just call orc directly this is somewhat
superfluous, but let's do it anyway for consistency. In
other cases the compiler can hopefully use this to optimise
memory access a little.

video-format: handle x offset in unpack

Add support for x offset in almost all unpack methods.
Fix naming of source and dest pixels.
Add const to source pixels.

video-format: improve unpack i420

unpack_i420 does not need extra code to handle odd widths, the orc code
already handles it fine.

videoscale: use old property name

Unbreak ABI by changing to the old property name again.

https://bugzilla.gnome.org/show_bug.cgi?id=740798

decodebin: Analyze source pad before setting to PAUSED for 'simple demuxers'

Before we were setting them to PAUSED and (much) later connecting to
their source pad caps notify signal.

There was a race where that demuxer was pushing a caps and later a buffer
on its source pad when we were not even connected to its source pad caps notify
signal leading to decodebin missing the information and not keeping on
building the pipeline on CAPS event thus the demuxer was posting an ERROR
(not linked) message on the bus. This need to be done for 'simple
demuxers' because those have one ALWAYS source pad, not like usual demuxers
that have several dynamic source pads.

A "simple demuxer" is a demuxer that has one and only one ALWAYS source
pad.

https://bugzilla.gnome.org/show_bug.cgi?id=740693

decodebin2: Take STREAM_LOCK before sending sticky events.

There was a race where:

1) we would put the element to PAUSED
2) It would get data sent to it from upstream
3) It would thus send caps
3) caps_notify_cb would continue autoplugging
4) caps would flow downstream, the last pad would get exposed
5) we were still not done sending the sticky events

Taking the stream lock on the new element's sinkpad and only
releasing it when sticky events have all been sent prevents
the caps from reaching the source pad of the element before
we're all set.

https://bugzilla.gnome.org/show_bug.cgi?id=740694

typefindfunctions: detect mp4 common file format variant

Used e.g. by UltraViolet.

alsasrc: debug message fixes

In the same vein as 74e9640a.

video-scale: combine adds when max_taps equals combine size

When the amount of pixels/lines matches the amount we can combine,
combine the adds and multiplies and do the scale as a separate
operation.

video-scaler: combine scaling operations

Combine add and scale of multiple lines/pixels to reduce the amount of
read and writes to temporary memory.

timeoverlay: add "time-line" property

So we can also show running time or stream time, not just the
buffer time stamps.

videoscale: add property to do scaling after gamma-decode

videoscale: add more scaling filters

Adjust the filter parameters so that they use the same number of taps
and method as the old ones.
Add some new filters

video-resampler: remove print

video-resampler: improve variable taps

Improve quality of variable taps on all methods by reusing the lanczos
parameters where possible.

video-resampler: Fix lanczos parameters for variable taps

when using variable taps and when we are limiting the number of taps,
recalculate the lanczos parameters to match the clamped value.
Set the max number of taps to 128

playsink: Reset mute property of the sink to playsink's value when setting up the audio chain

Otherwise the following can happen:
1. set mute=true
2. play media1 (Ok)
3. play media without audio (audiochain removed)
4. play media2 (audiochain created, mute=*false*)

https://bugzilla.gnome.org/show_bug.cgi?id=740675

discoverer: fix typo in header file

https://bugzilla.gnome.org/show_bug.cgi?id=740675

pbutils: add description for audio/x-audible

typefind: improve 'audible' audio typefinder a little

Don't return NEARLY_CERTAIN just based on 4 bytes.
Also change media type to audio/x-audible.

https://bugzilla.gnome.org/show_bug.cgi?id=715050

typefindfunctions: add audio/audible typefinder

https://bugzilla.gnome.org/show_bug.cgi?id=715050

alsa: Change the log messages in xrun_recovery() from DEBUG to WARNING

xrun_recovery() runs when there is an error

https://bugzilla.gnome.org/show_bug.cgi?id=740615

video-converter: keep track of required temp lines

Make a small object to hold a pool of allocated temp lines.
Keep track of how many temp lines each conversion stage needs and use
this to allocate just enough temp lines from the temp lines object. from
the temp lines object.

video-converter: use err line in fastpath

Use the error line for temporary storage in the fastpath so that we
don't have to allocate any other temp lines.

videoencoder: don't complain about PTS != DTS on keyframes

It is valid for streams with b-frames

https://bugzilla.gnome.org/show_bug.cgi?id=740556

video-converter: handle mixed interlaced

When dealing with mixed interlaced, setup a scaler and chroma-resampler
for both interlaced and progressive frames and switch between them
depending on the interlace mode of the input frame.

video-converter: Cleanup options parsing

Cleanup option parsing
Add some debug

video-converter: there is no need to apply x offset to temp lines

video-scaler: ensure both fields have the same number of taps

video-converter: rework the options a little

Rework the options a little to make it nicer to set defaults.

video-resampler: add option to limits taps

Add an option to limit the number of taps to use in automatic mode. The
problem is that for lanczos, we might use more taps than what we can
handle with the current precision.
Rework the other options a little to make it nicer to set defaults.

video: update orc files

win32: Update defs file

rtspconnection: fix warning on param name mismatch

https://bugzilla.gnome.org/show_bug.cgi?id=740013

tests: Add reverse playback verification test

Plays a requested URI forward to EOS, then backward and
checks that the same timestamp range(s) are covered.

videorate: Operate in a zero-latency mode if drop-only is set to TRUE

There's no reason why we would have to wait for the next buffer to decide
whether to output the current one or not. We just have to check if the
current one is earlier than our expected next time, which is the previous
frame timestamp plus the expected frame duration.

https://bugzilla.gnome.org/show_bug.cgi?id=740018

video-converter: Use correct enum, GstVideoFormat instead of GstFormat

video-converter: fix size check

Add some debug, fix size check that decides what scaling to do first and
when to do conversion.

video-converter: avoid primaries conversion when asked

Don't do conversion between primaries when the option is disabled.
Only do some matrix code when needed.

video-info: add a note about subsampled formats

Add a note about gst_video_info_set_format() and interlaced formats.

video-info: handle interlaced size correctly

Refactor GstVideoInfo init, make function to set default colorimetry.
Call fill_planes after we configure the GstVideoInfo with parameters
from the caps.
The size of the chroma planes for interlaced vertically subsampled
formats needs to be rounded up to 2, we have 2 fields with each
the same anount of chroma lines.

video-color: return FALSE on unparsable colorimetry

video-format: handle unpack interlaced subsampled formats

For interlaced vertically subsampled formats the check for even lines
needs to take into account the two fields.

video-scaler: fix interlaced shift

video-converter: keep a small backlog of lines

Allow lines to jump backwards slightly, usefull for interlaced content.

video-chroma: Fix interlaced chroma resampling

Use the interlaced flag to select the right resampler.

video: add some more debuging

video-scaler: fix interlacing some more

Use the right phase.
Take the right lines from interlaced content.

video-converter: fix dither method

video-converter: fix some leaks

And remove some unused fields.

video-converter: add support for gamma and primaries

Keep only 1 structure with all matrix information.
Add structure to hold gamma information.
Add more options to control gamma, primaries and color matrix handling.
Add functions to compute transformations to and from XYZ and use this
to convert between primaries.
Merge gamma into the convert to and from RGB stage.
Fix border val.
Simplify the fastpath table, remove unused fields, add some more checks.

video-color: add method to get primaries info

video-color: fix default 601 primaries

video-scaler: fix interlaced taps setup

video-color: make sRGB colorimetry the default for RGB

video-converter: split YUV to and from RGB conversions

Prepare for doing full gamma corrected conversion and scaling by first
splitting the conversions from and to RGB into separate steps.
split scaling in downscaling and upscaling steps to be performed before
and after conversion respectively.

video-converter: don't convert too much

because we do conversion after downscaling we only need to convert the
smallest width.

video-converter: add orc splat functions to draw border

Revert "basetextoverlay: Fix segfault when overlay outside the frame"

This is not correct. overlay->silent is a property and we
should not just flip the property forever because one text
we render is outside of the frame. The next one might not
be, the positioning properties can be changed after all.

The lower layers should handle clipping, and now do.

This reverts commit 1cc311156cc3908d1d9888fbcda67305fc647337.

https://bugzilla.gnome.org/show_bug.cgi?id=738984
https://bugzilla.gnome.org/show_bug.cgi?id=739281

Revert "basetextoverlay: segfault when xpos >= video size"

This is not right, even if it might avoid a crash. We don't
want to just set xpos/ypos to 0 in those cases. Clipping
should be done properly, see bug #739281 for that.

This reverts commit 900d0267d511e9553eec44d948d7e33ead7dc903.

https://bugzilla.gnome.org/show_bug.cgi?id=738984
https://bugzilla.gnome.org/show_bug.cgi?id=739281

video-blend: minor optimisation

Only need to run matrix on those pixels which
will actually be used.

tests: make overlay blending test slightly less boring

video-blend: fix clipping of overlay images on the left

Fix clipping of images that are partially left of the video
surface, they would get clipped on the right side instead of
the left side, because the video unpack functions currently
ignore the x offset parameter. Work around that until that
is implemented.

https://bugzilla.gnome.org/show_bug.cgi?id=739281

video-blend: fix allocation of temp src line for wide sources

Fix allocation of temporary source line buffers for source
images that are wider than the video overlay surface.

tests: add visual overlay composition blending test

Shows visual result of blending a logo on top of
a video surface, esp. when the logo is partially
outside of the video surface and needs to be
clipped.

https://bugzilla.gnome.org/show_bug.cgi?id=739281

tests: fix leak in video unit test

video-blend: fix blending of rectangles partially or fully outside of the video

In case of overlay being completely or partially outside
the video frame, the offset calculations are not right,
which resulted in the overlay not being displayed as
expected, or crashes due to invalid memory access.

When the overlay rectangle is completely outside,
we need not render the overlay at all.

For partial display of overlay rectangles, src_yoff
was not being calculated, hence it was always clipping
the bottom half of the overlay, By calculating the
src_yoff, now the overlay is clipped properly.

https://bugzilla.gnome.org/show_bug.cgi?id=739281

tests: video: add video blend test

Add test to check rendering of overlays of different sizes
that are completely or partially outside the video surface.
Once the overlay is blended to the video, verify if the
position of the blended overlay is as expected, by comparing
the pixels of the blended video with the expected values.

https://bugzilla.gnome.org/show_bug.cgi?id=739281

docs: update to git

docs: fix some gtk-doc warnings

Deprecated entities found in documentation for xyz:Long_description
.

video-converter: take offset into account when unpacking

When we can directly take the input line from the source frame when
unpacking, also take into account the x offset.

video-converter: add some notes

defs: update defs and docs

video-color: add gamma encode/decode functions

Add functions to encode and decode gamma.
Add unit test to check that encode and decode are eachothers inverse
and that the limits are respected.

test: add scaling test

Sort pack and unpack performance measurements

video-orc: update disted file

and disable one failing function

videoscale: port to new API

video-orc: use faster saturating conversions

saturating conversions are generally faster.

video-chroma: add ORC version of UP_H2_CS

It is however slower than the C version and thus disabled.

pbutils: add description for Apple Core Audio Format

https://bugzilla.gnome.org/show_bug.cgi?id=739840

typefind: recognize Apple Core Audio Format

(CAF) Specification 1.0

https://bugzilla.gnome.org/show_bug.cgi?id=739840

capsfilter-renegotiation: Use assertions from libcheck for more information on failures

video-chroma: ORCify 2x vertical upsampling

Make an ORC version of the 2x vertical upsampling code.
Improve unit tests, test chroma up and down sampling.
memset buffer in conversion to make valgrind happy.

tcpserversink: Don't leak a `GSocket` and a `GInetSocketAddress`

when accepting a connection.

Discovered by `make check-valgrind` with the new `socketintegrationtest`.

https://bugzilla.gnome.org/show_bug.cgi?id=739544

tests: Add TCP pipelines test

There don't seem to be any unit tests for the socket handling elements.  As
I am about to attempt some refactorings I've added some basic tests which
exercise some of the happy-paths in tcpclientsrc, tcpserversrc,
tcpserversink and tcpclientsink.  They should let me know if I've caused
serious breakage.

They are far from exhaustive but are sufficient for me to have caught a few
memory-leaks in the existing code.

https://bugzilla.gnome.org/show_bug.cgi?id=739544

tests: add video conversion test

Go through all conversions and make a list of performance.

video-info: use h-cosited chroma for HD video by default

video-converter: clamp lines

video-orc: update disted files

video-converter: ORCify 8<->16 conversion

video-converter: unpack into the destination when needed

Make sure we write into the destination line when we can propose the
dest allocator.

video-converter: add more debug

video: Update disted orc files

video-chroma: optimize chroma subsampling a little

Combine multiplies in 4x filters.
Rename conversion functions to make them nicer in orc.
Add ORC versions for various downsampling algorithms
Add unit test chroma resampler

tests: make pack/unpack test

Make a more complete pack/unpack test, check if the image after
pack/unpack has the same color and precision, and has correctly
duplicated subsampled pixels.

tests: get the correct number of video formats

Make a method to get the number of formats (including the last one).

video-format: update some docs and add a FIXME(2.0)

video-format: add range extension to BGR_10XE format

video-format: fix pack of 4:2:0 formats

When packing 4:2:0 formats, we need to take the chroma from the even
lines, for the odd lines we only take luminance.

video-format: fix range extension of UYVP

We need to shift the top 6 bits to the lower 6 bits