videomixer: Revert the last commit and handle resolutions differences properly

This is about converting the format, not about converting any widths and
heights. Subclasses are expected to handler different resolutions themselves,
like the videomixers already do properly.

videomixer: GstVideoConverter currently can't rescale and will assert

Leads to ugly assertions instead of properly erroring out:
CRITICAL **: gst_video_converter_new: assertion 'in_info->width == out_info->width' failed

vp8enc/vp9enc: Protect the encoder with a mutex in all situations

vp9enc: Allow caps renegotiation

https://bugzilla.gnome.org/show_bug.cgi?id=726329

vp8enc: finish() and drain() should return a GstFlowReturn

vp8enc: Allow caps renegotiation

https://bugzilla.gnome.org/show_bug.cgi?id=726329

v4l2object: set colorspace for output devices

When the v4l2 device is an output device, the application shall set the
colorspace. So map GStreamer colorimetry info to V4L2 colorspace and set
on set_format. In case we have no colorimetry information, we try to
guess it according to pixel format and video size.

https://bugzilla.gnome.org/show_bug.cgi?id=737579

pulse: Add some documentation about threading and synchronisation

This gives a quick introduction to how the pulsesink/pulsesrc code
interacts with the pa_threaded_mainloop that we start up to communicate
with the server.

pulsesink: Make emitting stream status messages synchronous

The stream status messages are emitted in the PA mainloop thread, which
means the mainloop lock is taken, followed by the Gst object lock (by
gst_element_post_message()). In all other locations, the order of
locking is reversed (this is unavoidable in a bunch of cases where the
object lock is taken by GstBaseSink or GstAudioBaseSink, and then we get
control to take the mainloop lock).

The only way to guarantee that the defer callback for stream status
messages doesn't deadlock is to either stop posting those messages, or
make sure that the message emission is completed before we proceed to
any point that might take the object lock before the mainloop lock
(which is what we do after this patch).

https://bugzilla.gnome.org/show_bug.cgi?id=736071

wavenc: print channel masks in hexadecimal

v4l2: remove redundant struct declaration

rtspsrc: Fix compiler warnings

gstrtspsrc.c:7939:11: error: implicit conversion from enumeration type 'GstSDPResult' to different enumeration type
      'GstRTSPResult' [-Werror,-Wenum-conversion]
    res = gst_sdp_message_new (&sdp);
        ~ ^~~~~~~~~~~~~~~~~~~~~~~~~~
gstrtspsrc.c:7944:11: error: implicit conversion from enumeration type 'GstSDPResult' to different enumeration type
      'GstRTSPResult' [-Werror,-Wenum-conversion]
    res = gst_sdp_message_parse_uri (uri, sdp);
        ~ ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

matroskademux: make demuxer reusable

Remove pads from flow combiner and reset last
flow return to FLOW_OK by resetting the flow combiner.
This prevents FLOW_FLUSHING when trying to re-use the
demuxer after setting it back to NULL/READY state.

https://bugzilla.gnome.org/show_bug.cgi?id=737359

videomixer: use video library code instead of copy

audioparsers: Added index check before using the index

https://bugzilla.gnome.org/show_bug.cgi?id=736878

qtmux: Do not infer DTS on buffers from sparse streams.

DTS delta is used to calculate sample duration. If buffer has missing DTS, we take either segment start or previous buffer end time, whichever is later.
This must only be done for non sparse streams, sparse streams can have gaps between buffers (which is handled later by adding extra empty buffer with duration that fills the gap)

https://bugzilla.gnome.org/show_bug.cgi?id=737095

goom: Clarified precedence between % and ?

https://bugzilla.gnome.org/show_bug.cgi?id=736887

rtsp: clarify expression so operator precedence is clear

https://bugzilla.gnome.org/show_bug.cgi?id=736903

Miscellaneous minor cleanups

Fix redundant variables and assignments,
and unreachable breaks.

https://bugzilla.gnome.org/show_bug.cgi?id=736875
https://bugzilla.gnome.org/show_bug.cgi?id=736876
https://bugzilla.gnome.org/show_bug.cgi?id=736879
https://bugzilla.gnome.org/show_bug.cgi?id=736880
https://bugzilla.gnome.org/show_bug.cgi?id=736881
https://bugzilla.gnome.org/show_bug.cgi?id=736888
https://bugzilla.gnome.org/show_bug.cgi?id=736890
https://bugzilla.gnome.org/show_bug.cgi?id=736892
https://bugzilla.gnome.org/show_bug.cgi?id=736893
https://bugzilla.gnome.org/show_bug.cgi?id=736894

videobox: remove duplicate assignments

https://bugzilla.gnome.org/show_bug.cgi?id=736897

flacparse: Only calculate with durations != -1

qtmux: collect pad for sparse stream should be created with lock set to false

Avoids waiting for buffers from sparse streams

https://bugzilla.gnome.org/show_bug.cgi?id=737095

qtmux: fix subtitle buffer duration and strip null termination

Strip the \0 off the subtitle as we already know the size and also remember
to set the duration as buffer copying doesn't do it.

https://bugzilla.gnome.org/show_bug.cgi?id=737095

qtmux: move subtitle layer above video and set alternate group

layer -1 is above video, that is 0
And having all subtitles in alternate group 2 means that only one
should be selected at a time.

https://bugzilla.gnome.org/show_bug.cgi?id=737095

check/soup: Temporarily disable G_ENABLE_DIAGNOSTIC

The SOUP_SERVER_PORT property has been deprecated in recent libsoup
versions.

check/soup: Define minimum version required

To avoid deprecation warnings

qtdemux: Handle mp4a without ESDS atom

https://bugzilla.gnome.org/show_bug.cgi?id=736986

ximagesrc: Fix build problem without XFIXES

dtmf: Removed unused structure members

https://bugzilla.gnome.org/show_bug.cgi?id=736883

isomp4: fix wrong DAR calculation for PAR <= 1

CID #1226452

https://bugzilla.gnome.org/show_bug.cgi?id=736396

flv: Removed unreachable break statements

https://bugzilla.gnome.org/show_bug.cgi?id=736884

rtpbin: do not leak encsink pad in error case

https://bugzilla.gnome.org/show_bug.cgi?id=736807

multipartdemux: do not leak new stream event

https://bugzilla.gnome.org/show_bug.cgi?id=736805

y4menc: port y4menc to use GstVideoEncoder base class

https://bugzilla.gnome.org/show_bug.cgi?id=735085

osxaudio: OSStatus is not a fourcc, so don't print it as one...

flacparse: do not leak uid after parsing TOC event

https://bugzilla.gnome.org/show_bug.cgi?id=736739

rtpvrawdepay: Declare some more required caps fields in the sink template caps

Now only missing are width and height, which are expressed as strings
for RTP... so we can't put them into the template caps.

gdkpixbufdec: modify wrong packetized mode logic

packetized mode is being set when framerate is being set
which is not correct. Changing the same by checking the
input segement format. If input segment is in TIME it is
Packetized, and if it is in BYTES it is not.

https://bugzilla.gnome.org/show_bug.cgi?id=736252

jpegdec: Remove unused variable and use correct decoder variable name

pngdec: Remove unused variable

jpeggdec: modify wrong packetized mode logic

packetized mode is being set when framerate is being set
which is not correct. Changing the same by checking the
input segement format. If input segment is in TIME it is
Packetized, and if it is in BYTES it is not.

https://bugzilla.gnome.org/show_bug.cgi?id=736252

pngdec: modify wrong packetized mode logic

packetized mode is being set when framerate is being set
which is not correct. Changing the same by checking the
input segement format. If input segment is in TIME it is
Packetized, and if it is in BYTES it is not.

https://bugzilla.gnome.org/show_bug.cgi?id=736252

ximagesrc: Remove unused screen-num property

The screen number can be still specified as part of the display-name
property (e.g. for screen 1 of display 0 use display-name=":0.1").

https://bugzilla.gnome.org/show_bug.cgi?id=736122

ximagesrc: Draw the cursor only when it is active in the capturing region

Use XQueryPointer to check that the pointer is actually active inside
the capturing region.

This prevents drawing the cursor when the pointer is partially outside
of the captured region but not active inside the region; in particular
this avoids drawing the "window resize" cursor shapes to the captured
image when the mouse pointer crosses a window border.

NOTE that this is not only an optimization, this also happen to fix
a serious problem in multi-screen setups.

Because XFixes gives no information of what screen the pointer is on,
ximagesrc was always drawing the cursor on the captured screen even if
the mouse pointer was on another screen.

For example, when capturing from screen 1 (i.e. display-name=":0.1") the
cursor was drawn in the captured image even when the mouse pointer was
actually on screen 0, which is wrong and visually confusing.

https://bugzilla.gnome.org/show_bug.cgi?id=690646

ximagesrc: Fix drawing the cursor when it is outside the capturing region

When the cursor is partially or totally out of the capturing region on
the top side or on the left side, it gets drawn fully inside of the
region with its coordinates rounded up to the left or to the top border.

This is immediately noticeable when using the xid property to capture
a specific window.

To fix the issue, allow negative cx and cx coordinates when checking the
boundaries before drawing the cursor.

NOTE that the boundaries checking calculations still allows the cursor
to be drawn when it is only partially outside of the capturing region,
but this makes sense and gives a more pleasing visual behaviour.

https://bugzilla.gnome.org/show_bug.cgi?id=690646

ximagesrc: Fix the destination coordinates of the cursor

XFixes provides the cursor coordinates relative to the root window, this
is not taken into account when using the xid property to capture
a specific window, the result is that the cursor gets drawn at the wrong
position.

In order to fix this consider the window location when calculating the
cursor position in the destination image.

https://bugzilla.gnome.org/show_bug.cgi?id=690646

v4l2allocator: O_CLOEXEC needs _GNU_SOURCE

Similar to 94f3d6fc / bz 709423

On some systems (E.G. uClibc and older Glibc versions), O_CLOEXEC is only
defined when _GNU_SOURCE is specified, so do so.

https://bugzilla.gnome.org/show_bug.cgi?id=736670

capssetter: update to 1.0 transform_caps sematics

In 1.0, we pass the complete caps to transform_caps to allow for better
optimizations. Make this function actually work on non-simple caps
instead of just ignoring the configured filter caps.

wavenc: use WAVE_FORMAT_EXTENSIBLE for more than 2 channels

https://bugzilla.gnome.org/show_bug.cgi?id=733444

wavparse: Fix parsing of adtl chunks

We have to skip 12 bytes of data for the chunk, and the data size
passed to the sub-chunk parsing functions should have 4 bytes less
than the data size.

Also when parsing the sub-chunks, check if we actually have enough
data to read instead of just crashing.

https://bugzilla.gnome.org/show_bug.cgi?id=736266

udp: include string.h for memcmp and memset

https://bugzilla.gnome.org//show_bug.cgi?id=736528

matroskamux: don't bitwise OR the same flag twice

https://bugzilla.gnome.org//show_bug.cgi?id=736543

matroskademux: handle real audio 28_8

Fixes duplicate check for 14_4.

https://bugzilla.gnome.org//show_bug.cgi?id=736543

multifilesink: don't OR the same flag twice

https://bugzilla.gnome.org/show_bug.cgi?id=736462

souphttpsrc: If the server reports "Accept-Ranges: none" don't try range requests

v4l2sink: Unref pool after usage

https://bugzilla.gnome.org/show_bug.cgi?id=736384

v4l2transform: Don't rank it for now

This will prevent the converter to be picked automatically in case
someone implement dynamic converter selection support. I'd like this
to be ranked only for known device, as it's hard to be sure a device is
a converter suited for general purpose. Re-negotiation is also needed
before we can rank it.

https://bugzilla.gnome.org/show_bug.cgi?id=733607

v4l2: Detect bad drivers timestamps

Even though the UVC driver do a great deal of effort to prevent bad
timestamp to be sent to userspace, there still exist UVC hardware that
are so buggy that the timestamp endup nearly random. This code detect
and ignore timestamp from these drivers, making these camera usable.
This has been tested on both invalid and valid cameras, making sure it
does not trigger for valid cameras.

https://bugzilla.gnome.org/show_bug.cgi?id=732910

v4l2allocator: Workaround driver that don't support REQBUFS(0)

There is still around 18 drivers not yet ported to videobuf2. These driver
don't support freeing buffetrs through REQBUFS(0) hence for these the
memory type probing fails. In order to gain back our previous behaviour in
presence of these, we implement a workaround that assuming MMAP is
supported. Note that an allocator is only created for device with
STREAMING support in the device capabilities. In such case one of MMAP,
USERPTR and DMABUF is required. Though DMABUF came afterward, so is
not an option and in practice none of these drivers will only do USERPTR.

https://bugzilla.gnome.org/show_bug.cgi?id=735660

Also-by: Hans de Goede <hdegoede@redhat.com>

v4l2: Merge min_buffers_for* variable into one

Reuse the same min_buffers variable for both capture and output, this
reduce the length of lines and make the code more readable.

https://bugzilla.gnome.org/show_bug.cgi?id=736072

v4l2: set min_latency for output device according to required minimum number of buffers

Since we can get the minimum number of buffers needed by an output
device to work, use it to set min_latency which will determine how many
buffers are queued.

https://bugzilla.gnome.org/show_bug.cgi?id=736072

tests: udpsrc: add check to make sure multiple memory chunks are used

tests: udpsrc: wait for buffers with GCond instead of sleeping

Avoids half-second sleep for no reason.

tests: udpsrc: split out socket setup

udpsrc: more efficient memory handling

Drop use of g_socket_get_available_bytes() which is
not useful on all systems (where it returns the size
of the entire buffer not that of the next pending
packet), and is yet another syscall and apparently
very inefficient on Windows in the UDP case.

Instead, when reading UDP packets, use the more featureful
g_socket_receive_message() call that allows to read into
scattered memory, and allocate one memory chunk which is
likely to be large enough for a packet, while also providing
a larger allocated memory chunk just in case the packet
is larger than expected. If the received data fits into the
first chunk, we'll just add that to the buffer we return
and re-use the fallback buffer for next time, otherwise we
add both chunks to the buffer.

This reduces memory waste more reliably on systems where
get_available_bytes() doesn't work properly.

In a multimedia streaming scenario, incoming UDP packets
are almost never fragmented and thus almost always smaller
than the MTU size, which is also why we don't try to do
something smarter with more fallback memory chunks of
different sizes. The fallback scenario is just for when
someone built a broken sender pipeline (not using a
payloader or somesuch)

https://bugzilla.gnome.org/show_bug.cgi?id=610364

udpsrc: rework memory allocation bits and ensure we always have two chunks of memories to read into

First chunk is the likely/expected buffer size, second is as
fallback in case the packet is larger in the end.

Next step: actually use these.

udpsrc: track max packet size and save allocator negotiated by GstBaseSrc

audioecho: fix example command line

avidemux: fix crash with certain videos

This is a regression from 1.2 caused by the port
to the pad flow combiner.

https://bugzilla.gnome.org/show_bug.cgi?id=736192

matroska-demux: Don't handle parse errors at the end of file as an error

But only if they happen after the Matroska segment.

https://bugzilla.gnome.org/show_bug.cgi?id=735833

souphttpsrc: Include redirection target in error messages

Just giving the original URI can give the false impression that e.g.
that one failed host name resolution, while actually the redirection target
did.

videomixer: Fix synchronization if dynamically changing the FPS

https://bugzilla.gnome.org/show_bug.cgi?id=735859

smpte: Check if input caps are the same and create output caps from video info

This makes sure that also properties like the pixel-aspect-ratio are the same
between both streams and that the output caps contain all fields necessary for
complete video caps.

https://bugzilla.gnome.org/show_bug.cgi?id=735804

imagefreeze: replace with gst_buffer_copy

gst_buffer_ref and gst_buffer_writable is being used to create a writable copy of source buffer.

replacing the same with gst_buffer_copy as the functionality is same.

https://bugzilla.gnome.org/show_bug.cgi?id=735880

qtdemux: mark jpeg and png as parsed so avdec_mjpeg can be used too

https://bugzilla.gnome.org/show_bug.cgi?id=735971

gdkpixbufdec: free query after use

In gst_gdk_pixbuf_dec_setup_pool(), query is being allocated using
gst_query_new_allocation(), but the same is not unreferenced
hence calling gst_query_unref() after usage of query.

https://bugzilla.gnome.org/show_bug.cgi?id=735950

qtdemux: Silence some warnings for normal file contents

aacparse: Fix parsing issue when the buffer does not have a complete ADTS/LOAS frame

https://bugzilla.gnome.org/show_bug.cgi?id=735520

vp9dec: Get input width/height from the codec instead of the input caps

They are reported properly by libvpx if the correct struct members are used.
This also fixes handling of resolution changes without input caps changes.

https://bugzilla.gnome.org/show_bug.cgi?id=719359

vp8dec: Fix for handling resolution changes when decoding VP8

If the resolution changes in the bitstream without the input caps changing we
would previously output corrupted video or crash.

https://bugzilla.gnome.org/show_bug.cgi?id=719359

vp9dec: Fix segfault when a new caps is received

Remember to unref the output caps when a new caps event is received
as it should generate a new one based on the new caps.

https://bugzilla.gnome.org/show_bug.cgi?id=734266

tests: vp8dec: add test for caps renegotiation

Check that vp8dec can properly accept a new caps when upstream
changes it

https://bugzilla.gnome.org/show_bug.cgi?id=734266

vp8dec: Reset output and input states when changing format

https://bugzilla.gnome.org/show_bug.cgi?id=734266

imagefreeze: Don't call gst_caps_unref() on template caps when already unreferenced

Adding an extra condition while calling gst_caps_unref (templ)
and replacing gst_caps_make_writable (gst_caps_ref (caps)) with
gst_caps_copy (caps) in line 177, since the functionality is same.

https://bugzilla.gnome.org/show_bug.cgi?id=735795

v4l2: get_nearest_size: Fix "Unsupported field type" errors

Most V4L2 ioctls like try_fmt will adjust input fields to match what the
hardware can do rather then returning -EINVAL. As is docmented here:
http://linuxtv.org/downloads/v4l-dvb-apis/vidioc-g-fmt.html

EINVAL is only returned if the buffer type field is invalid or not supported.

So upon requesting V4L2_FIELD_NONE devices which can only do interlaced
mode will change the field value to e.g. V4L2_FIELD_BOTTOM as only returning
half the lines is the closest they can do to progressive modes.

In essence this means that we've failed to get a (usable) progessive mode
and should fall back to interlaced mode.

This commit adds a check for having gotten a usable field value after the first
try_fmt, to force fallback to interlaced mode even if the try_fmt succeeded,
thereby fixing get_nearest_size failing on these devices.

https://bugzilla.gnome.org/show_bug.cgi?id=735660

v4l2: get_nearest_size: Always reinit all struct fields on retry

They may have been modified by the ioctl even if it failed. This also makes
the S_FMT fallback path try progressive first, making it consistent with the
preferred TRY_FMT path.

https://bugzilla.gnome.org/show_bug.cgi?id=735660

wavparse: Store size of data tag in a 64 bit integer locally too

Otherwise we will clip the DS64 value of RF64 files to 32 bits again.

wavparse: Use 64 bit scaling functions now that fact is a 64 bit integer

wavparse: support rf64 format

https://bugzilla.gnome.org/show_bug.cgi?id=735627

multipartdemux: Ensure caps before pad added.

This stores the stream-start, sets caps, and then adds the pad,
which ensures that the caps are set for the "pad-added" callback.

https://bugzilla.gnome.org/show_bug.cgi?id=735626

flvmux: Fallback to PTS if DTS is missing

Fixing a regression introduce when fixing:
https://bugzilla.gnome.org/show_bug.cgi?id=731352

imagefreeze: Remove impossible error condition

We return EOS after the first buffer, and GstPad will make sure now that we
won't get any other buffer afterwards until a flush happens. No need to check
for it ourselves.

https://bugzilla.gnome.org/show_bug.cgi?id=735581

gdkpixbufdec: EOS and NOT_LINKED are no errors in general

Don't post an error message for them but let upstream handle
anything accordingly.

https://bugzilla.gnome.org/show_bug.cgi?id=735564

flvmux: Correctly offset timestamp

The previous method would break AV sync in the case audio or video
didn't start at the same point in running time.

https://bugzilla.gnome.org/show_bug.cgi?id=731352

flvmux: Save dts from buffer

We no longer set dts in muxed buffer. This would lead to encoding tags
with timestamp 0 instead of the timestamp of previous buffer.

https://bugzilla.gnome.org/show_bug.cgi?id=731352

flvmux: Ensure Timestamp starts at 0

FLV documentation stipulates that timestamp must start at zero.
In order to respect this rule, keep the first timestamp around
and offset the timestamp from this value. This allow for longer
recording time in presence of timestamp that does not start
at 0 already.

https://bugzilla.gnome.org/show_bug.cgi?id=731352

flv: Tag timestamp are DTS not PTS

The tags in FLV are DTS. In audio cases, and for many video format this makes
no difference, but for AVC with B-Frames, PTS need to be computed from
composition timestamp CTS, with PTS = DTS + CTS.

https://bugzilla.gnome.org/show_bug.cgi?id=731352

jitterbuffer: Allow rtp caps without clock-rate

The jitterbuffer shouldn't force clock-rate on its sink pad, this will cause a negotiation issue since rtpssrcdemux doesn't have the clock-rate and doesn't add it to the caps. The documentation states that the clock-rate can either be specified through the caps or through the request-pt-map signal, so we must remove clock-rate from the pad templates and we must accept the GST_EVENT_CAPS if the caps don't have the clock-rate.

https://bugzilla.gnome.org/show_bug.cgi?id=734322

qtdemux: avoid crashing on dash streams

DASH/fragmented moov might have no samples as those are carried
in moof fragments. Avoid crashing or failing the stream because
of that.

examples: use 'post-messages' property instead of deprecated 'message' property

https://bugzilla.gnome.org/show_bug.cgi?id=734979