audio: Fixes for MPEG-2 LSF IEC61937 payloading

The low sample frequency case for MPEG-2 is <=12kHz (the 32kHz number
applies to MPEG-1).

https://bugzilla.gnome.org/show_bug.cgi?id=736797

audio: correct condition for MPEG case.

Signed-off-by: Anuj Jaiswal <anuj.jaiswal@samsung.com>
https://bugzilla.gnome.org/show_bug.cgi?id=736797

video: improve YUV -> RGB conversion

Reorganize orc instructions to free up some registers.
We can reuse the ORC code to implement the generic AYUV->ARGB matrix.

videotestsrc: storel is better then copyl

It is better to use storel to splat the variable into the destination.
ORC doesn't know when a variable is last written to so it can't yet optimize
away the copy operation.

videoscale: avoid recalculating values

Avoid recalculating values used multiple times as base of index. Plus some style
fixes.

https://bugzilla.gnome.org/show_bug.cgi?id=737400

videoscale: support lanczos method for NV formats

Support lanczos scaling method for NV12 and NV21 formats.
Scale the 'Y' plane and scale 'NV' plane.
Implementation for submethods - int16, int32, float and double

https://bugzilla.gnome.org/show_bug.cgi?id=737400

video: update disted orc backup files

video: convertor -> converter

video: move videoconvert code to video library

Move the conversion code used in videoconvert to the video library
and expose a simple but generic API to do arbitrary conversion. It can
currently do colorspace conversion but the plan is to add videoscale to
it as well.

See https://bugzilla.gnome.org/show_bug.cgi?id=732415

video-color: add gst_video_color_matrix_get_Kr_Kb()

Move the function to get the color matrix coefficients from
videoconvert to the video library.

audiosink: compensate for segment restart with clock's time_offset

When playing chained data the audio ringbuffer is released and
then acquired again. This makes it reset the segbase/segdone
variables, but the next sample will be scheduled to play in
the next position (right after the sample from the previous media)
and, as the segdone is at 0, the audiosink will wait the duration
of this previous media before it can write and play the new data.

What happens is this:
pointer at 0, write to 698-1564, diff 698, segtotal 20, segsize 1764, base 0

it will have to wait the length of 698 samples before being able to write.

In a regular sample playback it looks like:
pointer at 677, write to 696-1052, diff 19, segtotal 20, segsize 1764, base 0

In this case it will write to the next available position and it
doesn't need to wait or fill with silence.

This solution is borrowed from pulsesink that resets the clock to
start again from 0, which makes it reset the time_offset to the time
of the last played sample. This is used to correct the place of
writing in the ringbuffer to the new start (0 again)

https://bugzilla.gnome.org/show_bug.cgi?id=737055

videopool: add missing annotation for gst_video_buffer_pool_new()

https://bugzilla.gnome.org/show_bug.cgi?id=737072

videoscale Use stride instead of width in more places

videoscale: Use width instead of stride in buffer offset calculation

https://bugzilla.gnome.org/show_bug.cgi?id=736944

audioencoder: reshuffle code in error handling

Move the assert to the error handling block at the end of the function so the
the logging is still triggered. Reword the logging slightly and add another
comment to hint what went wrong.

Fixes #737138

videoencoder: log the timestamps if we are unhappy about them

When complaining about the DTS!=PTS on keyframes log the actualy timestamps.

tests: add orc test for videoconvert

gst-play: Fix format string compiler warning

gst-play.c:92:28: error: format string is not a string literal
      [-Werror,-Wformat-nonliteral]
  len = g_vasprintf (&str, format, args);
                           ^~~~~~

example/overlay: Specify minimum gdk version

Avoids deprecation warnings (such as for gtk_widget_set_double_buffered()
which became deprecated from 3.14)

gst-play: add --quiet option to suppress output

basetextoverlay: Do not fail the negotiation if query fails

The allocation query failure doesn't mean that the negotiation
has failed as the element can allocate buffers itself.

Instead, only fail if the pads are flushing and the allocation
query failed.

https://bugzilla.gnome.org/show_bug.cgi?id=735844

videoscale: Added NV support for 4Tap resize

https://bugzilla.gnome.org/show_bug.cgi?id=736845

playbin: Don't leak input-selector sinkpads

https://bugzilla.gnome.org/show_bug.cgi?id=736861

audiodecoder: Simplify code a bit

streamsplitter: do not leak events when flushing them

https://bugzilla.gnome.org/show_bug.cgi?id=736796

audioencoder: do not leak events when flushing them

https://bugzilla.gnome.org/show_bug.cgi?id=736796

videodecoder: do not leak events when flushing them

https://bugzilla.gnome.org/show_bug.cgi?id=736796

videoencoder: do not leak events when flushing them

https://bugzilla.gnome.org/show_bug.cgi?id=736796

audiodecoder: extend flush_events test to check for event leaks

https://bugzilla.gnome.org/show_bug.cgi?id=736788

audiodecoder: Don't leak events

https://bugzilla.gnome.org/show_bug.cgi?id=736788

audiocdsrc: do not leak uid after parsing TOC select event

https://bugzilla.gnome.org/show_bug.cgi?id=736739

typefind: correct the condition for irap flag

https://bugzilla.gnome.org/show_bug.cgi?id=736779

playsink: Add audio/videoconvert in front of the audio/video-filters

audioresample and videoscale is something the application will have to do if
required, but we can at least help here by adding the
audioconvert/videoconvert elements.

https://bugzilla.gnome.org/show_bug.cgi?id=735748

video-frame: Don't ref buffers twice when mapping

app: Add FIXME comment for making the instance/class structs private

appsrc: fix recent ABI breakage caused by GstAppSrc structure size increase

Also fixes 'make check'.

https://bugzilla.gnome.org/show_bug.cgi?id=728379

videodecoder: do not leak pool and allocator in error case

https://bugzilla.gnome.org/show_bug.cgi?id=736679

videofilter: Use new GST_VIDEO_FRAME_MAP_FLAG_NO_REF

https://bugzilla.gnome.org/show_bug.cgi?id=736118

video-frame: Add GST_VIDEO_FRAME_MAP_FLAG_NO_REF

This makes sure that the buffer is not reffed another time when
storing it in the GstVideoFrame, keeping it writable if it was
writable.

https://bugzilla.gnome.org/show_bug.cgi?id=736118

videofilter: Unref buffers before calling the transform_frame functions

GstVideoFrame has another reference, so the buffer looks unwriteable,
meaning that we can't attach any metas or anything to it

https://bugzilla.gnome.org/show_bug.cgi?id=736118

audiobasesink: Fix deadlock caused by holding object lock while calling clock functions

Issue:
During a PAUSED->PLAYING transition when we are rendering an audio buffer in AudioBaseSink
we make adjustments to the sink's provided clock i.e. fix clock calibration using the external
pipeline clock, within "gst_audio_base_sink_sync_latency function inside gstaudiobasesink.c".
For the calibration adjustment we need to get the sink clock time using "gst_audio_clock_get_time".
But before calling "gst_audio_clock_get_time" we acquire the Object Lock on the Sink. If sink is
a pulsesink, "gst_audio_clock_get_time" internally calls "gst_pulsesink_get_time" which needs to
acquire Pulse Audio Main Loop Lock before querying Pulse Audio for its stream time using
"pa_stream_get_time". Please see "gst_pulsesink_get_time in pulsesink.c".

So the situation here is we have acquired the Object lock on Sink and need PA Main Loop Lock.
Now Pulse Audio Main Thread itself might be in the process of posting a stream status
message after Paused to Playing transition which in turn acquires the PA Main loop lock and
needs the Object Lock on Pulse Sink. This causes a deadlock with the earlier render thread.

Fix:
Do not acquire the object Lock on Sink before querying the time on PulseSink clock. This is
similar to the way we have used get_time at other places in the code. Acquire it after the
get_time call. This way PA Main loop will be able to post its stream status message by
acquiring the Sink Object lock and will eventually release its Main Loop lock needed for
gst_pulsesink_get_time to continue.

https://bugzilla.gnome.org/show_bug.cgi?id=736071

appsrc: Add example that shows gst_app_src_push_sample() usage

appsrc: Add push_sample() convenience function for easy appsink -> appsrc use

https://bugzilla.gnome.org/show_bug.cgi?id=728379

xvimagesink: only try to set XV_ITURBT_709 port attribute if it exists

Don't try to set port attribute that's not advertised by the
adaptor. Fixes videotestsrc ! xvimagesink aborting with

X Error of failed request:  BadMatch (invalid parameter attributes)
  Major opcode of failed request:  151 (XVideo)
  Minor opcode of failed request:  13 ()

on intel HD4600 graphics with kernel 3.16, xserver 1.15,
intel driver 2.21.15.

decodebin: protect buffering message handling

Use the object lock to avoid concurrent processing which leads
to small disasters (assertions or crashes)

rtspconnection: ignore timeout in session request header

The timeout parameter is only allowed in a session response header
but some clients, like Honeywell VMS applications, send it as part
of the session request header. Ignore everything from the semicolon
to the end of the line when parsing session id.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=736267

playbin: filter out buffering messages when switching uri

When switching URI from about-to-finish, playbin starts decoding the new
URI and the queue2 inside uridecodebin starts emitting buffering messages
immediately. However, the queue(s) inside playsink still have buffers to
play and the pipeline doesn't need to pause for buffering, so we should
not send those buffering messages up to the application, otherwise there
is an audible glitch caused by pausing the pipeline for a very short time.

https://bugzilla.gnome.org/show_bug.cgi?id=727255

audioresample: don't skip input samples

when downsampling, the output buffer can be filled before all the input
samples are consumed.  this is correct:  when downsampling, several input
samples are needed for each output sample, so when only a small number of
input samples are available the number of output samples produced can be 0.

the resampler, however, was discarding those extra input samples instead of
clocking them into its filter history for the next iteration.  this patch
fixes this by removing the check that the output buffer is full.  the code
now always loops until all input samples are consumed, and relies on the
calling code to have provided a suitably sized location for the output.
note that there are already other checks in place in the calling code to
ensure that this is the case.

https://bugzilla.gnome.org/show_bug.cgi?id=732908

basetextoverlay: get framerate from previously parsed video info

basetextoverlay: do not ask for a bufferpool when checking for composition meta

basetextoverlay: schedule reconfigure on source pad when negotiation fails

The source pad might be flushing while negotiating, resulting in
set_caps or the ALLOCATION query failing. In this case set the
reconfigure flag on the source pad so that negotiation is retried on the
next buffer.

basetextoverlay: just forward the seek event to sink pads like other events

https://bugzilla.gnome.org/show_bug.cgi?id=735844

basetextoverlay: remove unneeded cairo transparence setting

he code here:

http://cgit.freedesktop.org/gstreamer/gst-plugins-base/tree/ext/pango/gstbasetextoverlay.c#n1554

should make transparent the box that contains the text, I think this code is
not correct, it should be:

if (overlay->want_shading) {
    double alpha = overlay->shading_value / 255.0;
    cairo_paint_with_alpha (cr, alpha);
  }

however I think this code could be removed, we already do a shaded background,
why shade the box behind the text with cairo too? only one shading is needed so
we must shade with cairo or with methods like these:

http://cgit.freedesktop.org/gstreamer/gst-plugins-base/tree/ext/pango/gstbasetextoverlay.c#n1642

not both

https://bugzilla.gnome.org/show_bug.cgi?id=736028

basetextoverlay: Make shading_value a property

https://bugzilla.gnome.org/show_bug.cgi?id=735879

videorate: GstStructure refcount critical message

s3 is not being initialized when run in a loop
and the same was being freed, which resulted in the crash

https://bugzilla.gnome.org/show_bug.cgi?id=735952

decodebin: Also include the raw caps in the error message, not just the human readable description

decodebin: Include codec description for missing plugins in the error message

If we had plugins and an error occurred we only include the error message
caused by this, otherwise we will include the codec description as generated
from the caps.

This allows to detect which exact codec was missing instead of getting a
generic "no suitable decoders found" error message.

tests: textoverlay: add test to reproduce fakesink scenario

Adds a new test to textoverlay to make sure it can properly handle
elements that have ANY caps but fail to add the overlay meta in
the allocation query.

This test verifies that textoverlay won't use the caps features even
knowing that the overlay meta is accepted when querying the downstream
caps because it also needs downstream to confirm by putting the meta
in the allocation query.

https://bugzilla.gnome.org/show_bug.cgi?id=735800

basetextoverlay: properly fallback to non-overlay caps

When downstream claims to accept the overlay meta but fails to
provide it in the allocation query, properly fallback to setting
a new caps without the overlay meta as that is not going to be used.

Only do this if the original caps doesn't have the overlay already,
otherwise there isn't much that can be done.

https://bugzilla.gnome.org/show_bug.cgi?id=735800

oggdemux: don't set segment.base in pad_submit_packet()

Setting segment.base in the segment sent from gst_ogg_demux_handle_page() is
enough to ensure that chained oggs are played corretly (see bgo#706569).

Tweaking the base in gst_ogg_pad_submit_packet() as well result in delays when
playing a file with start != -1.

https://bugzilla.gnome.org/show_bug.cgi?id=735808

textoverlay: Don't hold any mutexes while calling negotiate

It's not done in any other code calling negotiate and will cause deadlocks
as it is sending events and queries in the pipeline.

Specifically this pipeline was deadlocking:
gst-launch-1.0 videotestsrc ! textoverlay ! textoverlay ! fakesink

oggdemux: accumulate base time

Base time should be accumulated so non flushing seeks have the expected base.
Not accumulating result in segments appearing as "too late" and so are not
played by the sink.

https://bugzilla.gnome.org/show_bug.cgi?id=735509

textoverlay: remove code that can't be reached

If this code could ever be reached, it would leak
memory (CID 1231978), but gst_caps_get_features()
never returns NULL, so that can't happen.

encoding: remove assignment that's no longer needed

CID 1231980

riff: Recognize RF64 as RIFF file

https://bugzilla.gnome.org/show_bug.cgi?id=735631

rtspconnection: Protect readsrc, writesrc and controllsrc with a mutex

Fixes a crash when controlsrc, readsrc or writesrc are modified from
gst_rtsp_source_dispatch_read/write and gst_rtsp_watch_reset at the
same time.

https://bugzilla.gnome.org/show_bug.cgi?id=735569

playsinkconvertbin: setcaps() always returns TRUE and the return value is unused

Change it to a void return value. The caps are forwarded afterwards via
gst_pad_event_default() and not inside this function.

CID 1226477

videodecoder: Fix broken boolean expression

We can seek with end_type==NONE and end_type==SET && end_position=-1. The
check for end_type!=NONE made the second condition impossible.

CID 1226440

audiodecoder: Fix broken boolean expression

We can seek with end_type==NONE and end_type==SET && end_position=-1. The
check for end_type!=NONE made the second condition impossible.

CID 1226439

decodebin: Include information from the error messages of tried but failed elements in the missing plugin errors

decodebin: Initialize local variables for every retry

decodebin: Remove error case that resulted in two error messages

We already send one in gst_decode_bin_expose() for this case. Only
if we're unable to typefind the caps another error message is needed.

typefinding: tighten checks for 'freeform mp3' a little

Freeform mp3s typically have bitrates higher than the
otherwise max allowed rate. Prevents misdetection of
some truetype font files as mp3.

https://bugzilla.gnome.org/show_bug.cgi?id=732923

audiodecoder: Don't ignore ::start/stop return values

spec: add gst-device-monitor-1.0 to RPM .spec file

https://bugzilla.gnome.org/show_bug.cgi?id=734944

playsinkconvertbin: only intersect with the filter at the end

Otherwise we might change some capsfeatures from ANY to the specific
value from the filter and do not filter those out in case the
sink doesn't support them

https://bugzilla.gnome.org/show_bug.cgi?id=734822

discoverer: Set 'processing = FALSE' when done discovering SYNC

This avoids a race where we would get new tag but we are already
prerolled and analyzing results.

It is the way it is supposed to be handled as stated in comment:
"If preroll is complete, drop these tags - the collected information is
possibly already being processed and adding more tags would be racy"

gstvideo: add missing entry to win32 .def

gst_video_guess_framerate

video: Add gst_video_guess_framerate() function

Takes a nominal frame duration and returns a standard
FPS if it matches closely enough (< 0.1%), or else
calculates a framerate that'll do.

video: Various simple docs fixes

videodecoder: Reset last_timestamp_out on new segment

Reset last_timestamp_out when applying the output segment
change, to avoid decoder confusion over new timestamp timelines when
a seamless segment change happens.

Move some locks/unlocks to later when they're actually needed.

https://bugzilla.gnome.org/show_bug.cgi?id=734617

decodebin: handle group switching for deadend group

Gracefully handle switching groups that all pads are deadend.

This can happen when quickly switching programs on mpegts as the
output is unaligned it can happen that not enough data was accumulated at
parsers to generate any buffers, causing the stream to receive EOS before
any data can be decoded.

To handle this scenario, the _expose function now also gets if there is
any next group to be exposed along with the list of endpads. If there are
no endpads and there is another group to expose it will switch to this next
group and then retry exposing the streams.

Also, the requirement to only switch from the chain that has the endpad had
to be modified to care for when the drainpad is NULL

https://bugzilla.gnome.org/show_bug.cgi?id=733169

decodebin: consider all deadend pads as drained

Otherwise when switching out a group with a deadend pad it will block
as it would be waiting for EOS on a deadend that already got one

https://bugzilla.gnome.org/show_bug.cgi?id=733169

basetextoverlay: fix caps negotiation filter

playsinkconvertbin: Make sure to intersect raw caps with our converter caps

Otherwise we end up allowing video/x-raw with arbitrary caps features that are
not handled by our converters.

https://bugzilla.gnome.org/show_bug.cgi?id=734683

audiodecoder: Don't drain and flush on SEGMENT events.

As was done for the base video decoder in commit 695675, don't
flush out the decoder on a new SEGMENT event. Segment events
may be a new segment, but are also often segment updates for
the current segment where the old data should be kept. For new
segments, a STREAM_START event will already trigger a drain, but
make sure to flush any remaining partial data then as well.

https://bugzilla.gnome.org/show_bug.cgi?id=734666

videoscale: Add NV21 support

https://bugzilla.gnome.org/show_bug.cgi?id=734650

tests: fix decodebin signal used in icles/playback/ decodetest, test and test5

Since release 1.1.4, "new-decoded-pad" no longer exists.

basetextoverlay: rework caps negotiation

Make textoverlay negotiate caps more correctly.

1) Check what caps we received in the video-sink
2) If it already has the overlay meta -> use it directly
3) If it doesn't, textoverlay try adding the overlay meta and using it,
   if downstream doesn't support it, just use what is received in the
   video-sink
4) Check if the allocation query also supports the meta to enable
   really using it

Before it wasn't really doing renegotiation of any kind, just
re-checking if it should use the overlay meta or not

Also had to update the caps in the test as memory:SystemMemory seems
to be required when you use a caps feature otherwise intersection/subset
checks will fail.

https://bugzilla.gnome.org/show_bug.cgi?id=733916

basetextoverlay: always intersect with the filter caps

Avoids returning values that upstream can't produce

https://bugzilla.gnome.org/show_bug.cgi?id=733916

encodebin: delay missing encoder error as passthrough is still possible

Set up a fakesink with a pad probe to replace the missing encoder to detect
if encoding was really required and only error out in this case. Otherwise
just let passthrough branch work.

This delays the error posting from the set_state function to when buffers
are really flowing. Unit test updated accordingly

https://bugzilla.gnome.org/show_bug.cgi?id=650652

decodebin: Remove buffering special casing for adaptive streaming demuxers

They output smaller buffers now and we should be able to handle the buffering
limits like in every other situation now.

videodecoder: Don't set decoding timestamps on raw video

https://bugzilla.gnome.org/show_bug.cgi?id=733720

videodecoder: In reverse playback, flush the output queue after decoding each keyframe chain

This fixes the reverse playback scenario when upstream is not fully
parsing the stream and does not send every keyframe chain separately
with the DISCONT flag on the keyframe.

To explain this, let's suppose we have this stream:
 0 1 2 3 4 5 6 7 8
 K     K     K

In most circumstances, the upstream parser will chain in the
decoder the buffers in the following order:

 6 7 8 3 4 5 0 1 2
 D     D     D

In this case, GstVideoDecoder will flush the parse queue every time
it receives discont (D) and we will eventually get in the output queue:

  (flush here) 8 7 6  (flush here) 5 4 3 (flush here) 2 1 0

In case the upstream parser doesn't do this work, though,
GstVideoDecoder will receive the whole stream at once and will flush
the parse queue afterwards:

 0 1 2 3 4 5 6 7 8
 D

During the flush, it will look backwards for keyframes and will
decode in this order:

 6 7 8 3 4 5 0 1 2

This is the same order that it would receive from upstream if
upstream was parsing and looking for the keyframes, only that now
there is no flushing of the output queue in between keyframes,
which will result in the output queue looking like this:

 2 1 0 6 5 3 8 7 6

This will confuse downstream obviously and will play incorrectly.
This patch forces the decoder to flush the output queue every time
it picks a new keyframe to decode, so it will end up decoding 6 7 8
and then flushing before picking 3 for decoding, so the output will
get 8 7 6 before 6 5 3 and the video will play back correctly.

https://bugzilla.gnome.org/show_bug.cgi?id=734441

configure: use pkg-config to detect x11 and xv libs

AC_PATH_XTRA macro unnecessarily pulls in libSM and libICE.

https://bugzilla.gnome.org/show_bug.cgi?id=731047

xvimage: fix crash when outputting debug log

Can't print a GstMemory via GST_PTR_FORMAT, it will crash
inside GObject checking if it's a GObject, and we can't
check generically whether it's a derived GstMemory type,
as boxed types don't allowe derivation.

audioencoder: Mark caps argument as not being transferred

https://bugzilla.gnome.org/show_bug.cgi?id=734540

vorbisenc: Improve annotation of internal function

https://bugzilla.gnome.org/show_bug.cgi?id=734541

tests: Add missing unrefs of objects after use

Unreffing the objects returned by gst_bin_get_by_name() and
gst_pipeline_get_use() were missing in several tests, so add these.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=734359

oggdemux: Unref peer pad after use in error case

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=734350