video-scaler: add scaler optimization

If we are vertically downscaling, it is better to first downscale and
then do the horizontal scaling in most cases.

video-scaler: remove unused case

video-converter: don't overwrite border alpha

Let border alpha and image alpha be independent.

video-converter: use 1.0 as default alpha

video-converter: add alpha handling

Add support for alpha. Make it possible to copy, set and multiply the
alpha value of a frame during conversion.
Set the border alpha to 0xff by default.
Go over some of the fastpaths and add alpha handling.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=745006

video-converter: fix chroma subsampling

Also adjust the output line number with the offset.

video-converter: disable fastpath when scaling and gamma

Disable the fastpath when scaling and doing gamma remap.

video-converter: don't do gamma on alpha channel

The alpha channel is not supposed to be gamma encoded.

decodebin: fix deadlock when resetting buffering

This function is static, and only ever called with the expose lock
taken. It thus has no reason to take this lock itself.

This was introduced by one of my locking fixes from 741355.

https://bugzilla.gnome.org/show_bug.cgi?id=741355

video-converter: minor docs fix

playbin: forward template and ring buffer settings to existing decodebins

https://bugzilla.gnome.org/show_bug.cgi?id=744844

decodebin: move null check

Check if dbin->decode_chain is NULL before running drain_and_switch_chains()
because if it is, we shouldn't run that function or it will segfault.

CID #1271074

audiodecoder: Don't send pending events before decode

Make sure to update the output segment to track the segment
we're decoding in, but don't actually push it downstream until
after buffers are decoded.

https://bugzilla.gnome.org/show_bug.cgi?id=744806

videodecoder: Add drain() vfunc

drain() is a new vfunc which does what finish() does, while
explicitly requiring the decoder be able to continue processing
data afterward.

https://bugzilla.gnome.org/show_bug.cgi?id=734617

Revert "videodecoder: drain current segment upon new one to ensure correct flow return"

This reverts commit cc1b4eaf9ebe4568f9c2c64338cef1b2edbdca3f.

See https://bugzilla.gnome.org/show_bug.cgi?id=734617

Revert "audiodecoder: drain current segment upon new one to ensure correct flow return"

This reverts commit 696b8cdc40f033ff0a45ebe620279130152fb2f8.

See https://bugzilla.gnome.org/show_bug.cgi?id=734617

videodecoder: drain current segment upon new one to ensure correct flow return

See also https://bugzilla.gnome.org/show_bug.cgi?id=709224

audiodecoder: drain current segment upon new one to ensure correct flow return

See also https://bugzilla.gnome.org/show_bug.cgi?id=709224

decodebin: Only consider non-parser factories for generating the post-parser capsfilter caps

Otherwise if there are multiple parsers we would most likely break negotiation
of the stream-format/alignment wanted by the decoders as parsers generally
support all possible stream-formats and alignments.

audio: video: fix a few GI annotations

transfer-full -> transfer full
@Since -> Since

decodebin: fix deadlock between downward state change and pad addition

If caps on a newly added pad are NULL, analyze_new_pad will try to
acquire the chain lock to add a probe to the pad so the chain can
be built later. This comes from the streaming thread, in response
to headers or other buffers causing this pad to be added, so the
stream lock is taken.

Meanwhile, another thread might be destroying the chain from a
downward state change. This will cause the chain to be freed with
the chain lock taken, and some elements are set to NULL here, which
can include the parser. This causes pad deactivation, which tries
to take the element's pad's stream lock, deadlocking.

Fix this by keeping track of which elements need setting to NULL,
and only do this after the chain lock is released. Only the chain
manipulation needs to be locked, not the elements' state changes.

https://bugzilla.gnome.org/show_bug.cgi?id=741355

decodebin: guard against the decode chain going while a pad is added

https://bugzilla.gnome.org/show_bug.cgi?id=741355

decodebin: possible fix for deadlock when spamming "next song"

There was a deadlock between a thread changing decodebin/demuxer
state from PAUSED to READY, and another thread pushing data
when starting.

From the stack trace at
https://bug741355.bugzilla-attachments.gnome.org/attachment.cgi?id=292471,
I deduce the following is happening, though I did not reproduce the
problem so I'm not sure this patch fixes it.

The streaming thread (thread 2 in that stack trace) takes the demuxer's
sink pad's stream lock in gst_ogg_demux_perform_seek_pull and will
activate a new chain. This ends up causing the expose lock being taken
in _pad_added_cb in decodebin.

Meanwhile, a state changed is triggered on thread 1, which takes the
expose lock in decodebin in gst_decode_bin_change_state, then frees
the previous chain, which ends up calling gst_pad_stop_task on the
demuxer's task, which in turn takes the demuxer's sink pad's stream
lock, deadlocking as both threads are now waiting for each other.

https://bugzilla.gnome.org/show_bug.cgi?id=741355

tagdemux: ensure tags have been fetched before pulling data

Otherwise upstream can get confused about offsets as there will
be a jump once the tags have been parsed due to the stripped area.

If upstream pulls from 0 to 100, and then tagdemux does the
tag reading and finds out that the first 200 bytes are the tag, the
next pull from upstream will have an offset of 200 bytes. So
upstream will get the following data:

0 - 100, 300 - (EOS), as it will continue requesting from where
it has last stopped, but tagdemux will add an offset to skip the
tags.

This patch makes sure that the tags have been parsed and skipped
since the first pull range call.

https://bugzilla.gnome.org/show_bug.cgi?id=744580

uridecodebin: Reset the default query return value when the iterator has to resync

uridecodebin: Let the latency query fail if one of the source queries fails

pbutils: description: fix MPEG-2 video profiles in description

We would accidentally use the profile nick as profile name
in the description for MPEG video that's not version 4.

uridecodebin: Pass object, not GValue to debug print

audiovisualizer: don't use private GMutex implementation details

Don't use private GMutex implementation details to check
whether it has been freed already or not. Just turn dispose
function into finalize function which will only be called
once, that way we can just clear the mutex unconditionally.

streamsynchronizer: Use the same waiting function for EOS and stream switches

Also improve the waiting condition for stream switches, which was assuming
before that the condition variable will only stop waiting once when it is
signaled. But the documentation says that there might be spurious wakeups.

https://bugzilla.gnome.org/show_bug.cgi?id=736655

streamsynchronizer: Unit test for streamsynchronizer's EOS handling

Test that a pipeline can change from PLAYING to PAUSED and back in
the following scenarios:
1. One track reach EOS after pushed some buffers while another track
still pushes buffers
2. One track reach EOS without buffers while another track still pushes
buffers

https://bugzilla.gnome.org/show_bug.cgi?id=736655

streamsynchronizer: Send GAP events from the pads' streaming threads

Change the GAP events that are currently sent from the chain function of
the current pad to all other EOS pads. They should instead be sent from
their own streaming threads.

https://bugzilla.gnome.org/show_bug.cgi?id=736655

streamsynchronizer: Send GAP event to finish preroll when change state from PLAYING to PAUSED

Wait in the event function when EOS is received until all pads are EOS
and then forward the EOS event from each pads own event function.

Also send a new GAP event for EOS pads from the event function whenever
going from PLAYING->PAUSED by shortly waking up the GCond. This is needed
to allow sinks to pre-roll again, as they did not receive EOS yet because
we blocked that, but also will never get data again.

https://bugzilla.gnome.org/show_bug.cgi?id=736655

Revert "codec-utils: Handle the two rext profiles for h265"

This reverts commit 19b93566801a56e7b043a670b7edcf8f2da06619.

These two "profiles" are actually a complete set of profiles, which we will
need to handle separately. Unfortunately it seems like we need information
from the SPS to detect the exact profile.

pbutils: description: move some code into utility function

pbutils: descriptions: add H.265 profile to description if available

https://bugzilla.gnome.org/show_bug.cgi?id=673976

pbutils: descriptions: add MPEG-4 video profile to description if available

https://bugzilla.gnome.org/show_bug.cgi?id=673976

pbutils: descriptions: add Dirac/VC-2 profile to description if available

https://bugzilla.gnome.org/show_bug.cgi?id=673976

pbutils: descriptions: add H.264 profile to description if available

https://bugzilla.gnome.org/show_bug.cgi?id=673976

install-plugins: fix indentation and add Since marker

Forgot to squash this into the actual patch before pushing.

install-plugins: add new API to exports .def and to docs

https://bugzilla.gnome.org/show_bug.cgi?id=744465

install-plugins: Add API to suppress confirmation before searching

The new gst_install_plugins_context_set_confirm_search() API can be used
to pass a hint to modify the behaviour of the external installer
process.

https://bugzilla.gnome.org/show_bug.cgi?id=744465

install-plugins: Add API for passing desktop ID and startup ID

The new gst_install_plugins_context_set_desktop_id() and
gst_install_plugins_context_set_startup_notification_id() API can be
used to pass extra details to the external installer process.

https://bugzilla.gnome.org/show_bug.cgi?id=744465

video-orc: update with new methods

video-format: add orc function for RGB15/16 unpack

playbin: improve debug log

Log the human readable pad_link_return desc as well.

codec-utils: Handle the two rext profiles for h265

These values are for now taken from x265 and need to be checked against
the spec. Especially we need to check if information from other fields
need to be taken into consideration too, e.g. the bit depth and chroma
index from the SPS.

This however makes 4:4:4 output of x265enc actually work.

Improve and fix LATENCY query handling

This now follows the design docs everywhere, especially the maximum latency
handling.

https://bugzilla.gnome.org/show_bug.cgi?id=744106

video-scaler: add 2d scaler

Make a convenience function that combines 2 scalers to perform a 2d
scale. This removes quite a bit of overhead in method calls when doing a
typical scale and it also can reuse a piece of unused memory in the
vertical scaler.
Use the 2d scaler in video-converter and remove the other scalers and
temp memory.

video-converter: Fix YUY2 formats and friends

Only merge scalers for selected formats.
Use nearest neighbour scaling for chroma when doing nearest neighbour
for the luma.
Also fastpath GRAY16_OE in nearest neighbour.
configure parameters correctly for packed fastpath.

video-scaler: Small performance tweaks

Small performance tweaks for RGB and friends.
Add, but ifdef out, alternative nearest neighbour scaling, it is slower
than the current table based version.
Use memcpy instead of orc_memcpy because it is measurably faster.
Fix YUY2 and friends vertical scaling.

video-scaler: Guard against (impossible) bits!=16 && bits!=8 case to fix compiler warning with clang

video-scaler.c:1331:14: error: variable 'func' is used uninitialized whenever 'if' condition is false
      [-Werror,-Wsometimes-uninitialized]
  } else if (bits == 16) {
             ^~~~~~~~~~
video-scaler.c:1348:3: note: uninitialized use occurs here
  func (scale, src_lines, dest, dest_offset, width, n_elems);
  ^~~~
video-scaler.c:1331:10: note: remove the 'if' if its condition is always true
  } else if (bits == 16) {
         ^~~~~~~~~~~~~~~~
video-scaler.c:1260:27: note: initialize the variable 'func' to silence this warning
  GstVideoScalerVFunc func;
                          ^
                           = NULL

video-converter: Use correct enum type to fix compiler warnings with clang

video-converter.c:3406:12: error: implicit conversion from enumeration type 'GstVideoFormat' to different
      enumeration type 'GstFormat' [-Werror,-Wenum-conversion]
  format = convert->fformat[plane];
         ~ ^~~~~~~~~~~~~~~~~~~~~~~
video-converter.c:3413:44: error: implicit conversion from enumeration type 'GstFormat' to different enumeration
      type 'GstVideoFormat' [-Werror,-Wenum-conversion]
    gst_video_scaler_horizontal (h_scaler, format,
    ~~~~~~~~~~~~~~~~~~~~~~~~~~~            ^~~~~~
video-converter.c:3471:12: error: implicit conversion from enumeration type 'GstVideoFormat' to different
      enumeration type 'GstFormat' [-Werror,-Wenum-conversion]
  format = convert->fformat[plane];
         ~ ^~~~~~~~~~~~~~~~~~~~~~~
video-converter.c:3487:42: error: implicit conversion from enumeration type 'GstFormat' to different enumeration
      type 'GstVideoFormat' [-Werror,-Wenum-conversion]
    gst_video_scaler_vertical (v_scaler, format, lines, d + out_x, i,
    ~~~~~~~~~~~~~~~~~~~~~~~~~            ^~~~~~
video-converter.c:3551:12: error: implicit conversion from enumeration type 'GstVideoFormat' to different
      enumeration type 'GstFormat' [-Werror,-Wenum-conversion]
  format = convert->fformat[plane];
         ~ ^~~~~~~~~~~~~~~~~~~~~~~
video-converter.c:3569:46: error: implicit conversion from enumeration type 'GstFormat' to different enumeration
      type 'GstVideoFormat' [-Werror,-Wenum-conversion]
      gst_video_scaler_horizontal (h_scaler, format,
      ~~~~~~~~~~~~~~~~~~~~~~~~~~~            ^~~~~~
video-converter.c:3577:42: error: implicit conversion from enumeration type 'GstFormat' to different enumeration
      type 'GstVideoFormat' [-Werror,-Wenum-conversion]
    gst_video_scaler_vertical (v_scaler, format, lines, d + out_x, i,
    ~~~~~~~~~~~~~~~~~~~~~~~~~            ^~~~~~

video-converter: bits variable always set

In function gst_video_scaler_vertical() the bits variable is always
set to either 8 or 16 in every possible format. No need to initialize it.

If the format isn't valid it goes to no_func, so there is no need to
handle the case of bits not being 8 or 16.

CID #1268401

video-converter: only enable backlog for interlaced video

Skip lines we don't need.

video-converter: add fastpath for NV formats

video-format: fix pstride of NV16 and NV24 formats

rtspmessage: map headers we know that are added by string to their enum

That way we can look them up by their field enum later as well.

tests: rtsp: add some unit tests for new GstRTSPMessage API

rtspmessage: add API to add and get custom headers

Add API to add and get custom headers that are not
covered by our header fields enum. This is backwards
compatible in that it will also work for our defined
fields, so if we ever add a new header field to the
enum, get_header_by_name() for the same header string
will still work.

API: gst_rtsp_message_add_header_by_name()
API: gst_rtsp_message_take_header_by_name()
API: gst_rtsp_message_remove_header_by_name()
API: gst_rtsp_message_get_header_by_name()

video-converter: Add more fastpaths

Add fastpaths for all planar conversion and scaling.
Improve gray and alpha handling.
Add option to specify the chroma resampler method and set to linear as
default.

video-converter: add generic planar scaler/converter

Add code to convert and scale between any planar format and use it in
the fastpaths of some planare converters.

video-converter: Fix compiler warnings by using the correct enum type

video-converter.c:3645:24: error: implicit conversion from enumeration type
      'GstFormat' to different enumeration type 'GstVideoFormat'
      [-Werror,-Wenum-conversion]
    convert->fformat = fformat;
                     ~ ^~~~~~~
video-converter.c:3667:24: error: implicit conversion from enumeration type
      'GstFormat' to different enumeration type 'GstVideoFormat'
      [-Werror,-Wenum-conversion]
    convert->fformat = fformat;
                     ~ ^~~~~~~
video-converter.c:3963:50: error: implicit conversion from enumeration type
      'const GstVideoFormat' to different enumeration type 'GstFormat'
      [-Werror,-Wenum-conversion]
        if (!setup_scale (convert, transforms[i].fformat))
             ~~~~~~~~~~~           ~~~~~~~~~~~~~~^~~~~~~

oggmux: Don't pass GstCollectData as a GstObject to GST_DEBUG

video-converter: add more scaler fastpaths

video-orc: fix loading of param

param loading ignores the x4, loading only part of the param.

video-converter: add border and crop to more fastpaths

video-converter: fix border for YUY2 and friends

Convert as many pixels as the max subsampling so that we convert a
complete group of pixels.

video-converter: support AYUV border

Convert the border color from ARGB to AYUV, using
colorimetry matrix when output format is YUV.

https://bugzilla.gnome.org/show_bug.cgi?id=741640

video-converter: fix swapped border width

And also do nothing when there is no border.

video-converter: actually draw the border in some fastpaths

Don't forget to draw the border after doing the fastpath conversion.

video-converter: clamp width and heigth

Clamp the width and height based on the in and out offsets.

video-format: add unaligned fallbacks

Add fallback C implementations for when we can't call the ORC function
because of bad alignment.

audiodecoder: Where possible, skip decode for GST_SEGMENT_FLAG_TRICKMODE_NO_AUDIO

If we have timestamps on input buffers and are in trickmode no-audio
mode, then don't pass anything to the subclass for decode and simply
send gap events downstream

Only for forward playback for now - reverse requires accumulating
GAP events and pushing out in reverse order.

https://bugzilla.gnome.org/show_bug.cgi?id=735666

audiobasesink: Re-work GAP buffer and trick-mode handling

In trickmode no-audio mode, or when receiving a GAP buffer,
discard the contents and render as a GAP event instead.

Make sure when rendering a gap event that the ring buffer will
restart on PAUSED->PLAYING by setting the eos_rendering flag.

This mostly reverts commit 8557ee and replaces it. The problem
with the previous approach is that it hangs in wait_preroll()
on a PLAYING-PAUSED transition because it doesn't commit state
properly.

https://bugzilla.gnome.org/show_bug.cgi?id=735666

oggdemux: Add a little timestamping debug output

theora: If no header packets in stream, look for them in the caps

Makes theora work in cases where the header packets are only in the caps
(because theoradec was connected to oggdemux late and missed the
beginning of the stream)

theora: Remove FIXME and return GST_CUSTOM_FLOW_DROP for header packet handling

This FIXME is easily fixed :)

audiodecoder: Remove pointless else{} around some code

audiodecoder: Fix reverse playback when there's only one gather set.

The decoder can fail to drain on EOS if there was only one gather
set, because it will never have sent the segment event downstream
and set the output segment, and fail to detect that the rate < 0.0

Make sure to send pending events before sending all the gather data
for decode.

video: Fix simple typo in GstVideoFrameMapFlags docs

video-converter: add crop and border to some fastpaths

video-converter: add support for borders in scale fastpath

Add support for borders and cropping in the scaler fastpaths.

video-converter: disable fastpath for crop and border

Add crop and border properties to the fastpath table and only select
fastpath functions when it can handle the cropping or borders.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=744028

video-converter: add fastpath for some gray formats

video-converter: add fastpath for some more RGB formats

Add fastpath for RGB and BGR.
Add fastpath for nearest resampling for RGB15 and RGB16 formats.

video-converter: skip lines we don't need

Make sure to skip unused lines instead of doing a useless horizontal
resampling.

videoscale: fix memory leak

In gst_video_scale_fixate_caps () it can goto done without freeing the memory
of the tmp GstStructure. This makes it go out of scope and leak.

CID #1265766

video-resampler: make sure params.envelope is initialized

In gst_video_resampler_init () if method is GST_VIDEO_RESAMPLER_METHOD_NEAREST
then params.envelope is not initialized but still used later in line 382.
Make sure this variable is initiliazed to avoid undefined behaviour.

CID #1256568

video{enc,dec}oder: Don't reset latency all the time and handle max=GST_CLOCK_TIME_NONE correctly

max=NONE means that *this* element has no maximum latency. If upstream had a
maximum latency we must not override it with NONE.

audio{enc,dec}oder: Always directly post latency messages on the bus when the subclass sets the latency

Instead of doing it only in setcaps for the encoder, and never at all for the
decoder.

audio{enc,dec}oder: Handle max_latency == GST_CLOCK_TIME_NONE

And initialize the latencies with 0 and NONE.

audiobasesink: Don't render a GAP silence buffer

Don't render out silence samples to a buffer, just
start the clock running, since any buffer with the
GAP flag will be discarded in render() now anyway.

audiobasesink: Make sure the ringbuffer is started before waiting

Don't call the basesink wait_event implementation until we're sure
the ringbuffer is running, because it might wait on a non-running
clock.

audiobasesink: drop GAP buffers, or all buffers in trickmode no-audio mode

Make the base audio sink throw away buffers marked GAP, or all
incoming buffers when performing a trick play with
GST_SEGMENT_TRICKMODE_NO_AUDIO flag set, and make sure to start
the ringbuffer when that happens so the clock starts running.

Preserve the timing calculations when rendering, so state is all
updated the same, but just don't render samples.

https://bugzilla.gnome.org/show_bug.cgi?id=735666

oggdemux: do not throw a flow error on flushing

If the streaming task attempts to read a chain while the pipeline
is stopping (which can happen if the pipeline stops shortly after
start or a new URI being setup in gapless playback case), it will
see a flushing return from upstream, and should then also return
flushing to the caller, rather than emit a flow error.

https://bugzilla.gnome.org/show_bug.cgi?id=722442

video-converter: Fix compiler warnings

video-converter.c:3073:48: error: implicit conversion from enumeration type 'GstFormat' to different enumeration type 'GstVideoFormat'
      [-Werror,-Wenum-conversion]
        gst_video_scaler_horizontal (h_scaler, format,
        ~~~~~~~~~~~~~~~~~~~~~~~~~~~            ^~~~~~
video-converter.c:3081:44: error: implicit conversion from enumeration type 'GstFormat' to different enumeration type 'GstVideoFormat'
      [-Werror,-Wenum-conversion]
      gst_video_scaler_vertical (v_scaler, format, lines, d, i, out_w);
      ~~~~~~~~~~~~~~~~~~~~~~~~~            ^~~~~~
video-converter.c:3137:24: error: implicit conversion from enumeration type 'const GstVideoFormat' to different enumeration type 'GstFormat'
      [-Werror,-Wenum-conversion]
    convert->fformat = GST_VIDEO_INFO_FORMAT (in_info);
                     ~ ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../../../gst-libs/gst/video/video-info.h:125:43: note: expanded from macro 'GST_VIDEO_INFO_FORMAT'
                                          ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../../../gst-libs/gst/video/video-format.h:361:59: note: expanded from macro 'GST_VIDEO_FORMAT_INFO_FORMAT'
                                                  ~~~~~~~~^~~~~~
video-converter.c:3157:24: error: implicit conversion from enumeration type 'GstVideoFormat' to different enumeration type 'GstFormat'
      [-Werror,-Wenum-conversion]
    convert->fformat = GST_VIDEO_FORMAT_GRAY8;

video: Update orc files

defs: update

video-converter: add fast-path scaler for some packed YUV formats

Add fast path scaling for YUY2 and other packed YUV formats. Add a new
method to merge the scalers of the Y and UV components into one scaler.
Add faster horizontal 2tap scaler.

See https://bugzilla.gnome.org/show_bug.cgi?id=741987