rpicamsrc: mark buffers as header and keyframe/delta-unit

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/682>

rpicamsrc: fix nal alignment of output buffers

We claim output buffers are nal-aligned, but that wasn't
actually true: We would push out a partial nal in case
the nal doesn't fit into the max encoder-selected output
buffer size, and then the next buffer would not start
with a sync marker. That's not right and makes h264parse
unhappy.

Instead accumulate buffers until we have a full frame
(we can't rely on the NAL_END flag, it's always set).

Fixes #768

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/682>

rpicamsrc: fix "Could not find component vc.ril.camera" on recent raspios

Make extra sure all the required mmal libs such as libmmal_vc_client.so
actually get linked and stay linked. Otherwise the above error happens
it seems.

buster (10.4) with meson 0.55 and pi ref 2020-05-27
pi-gen, 825107f04027269db77426046f5085475b1ea22f, stage5

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/682>

rpicamsrc: deviceprovider: hook up i18n properly

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/682>

rpicamsrc: deviceprovider: advertise (M)JPEG as well

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/682>

rpicamsrc: deviceprovider: also advertise constrained-baseline profile

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/682>

meson: add a plugin summary

This summary displays a list of plugins which
have been enabled.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/679>

v4l2: enhance v4l2 control interface to support string type CID

add string type cid support for v4l2 implementation

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/676>

qtdemux: add  Dolby Vision fourcc

This identifiers are registered in the MPEG-RA and defined
to be used by the Dolby Vision AVC/HEVC streams.

This is a first step to present the stream to the decoder.
Additional box parsing of DOVIConfigurationBox is necessary
to complete the media presentation with proper Dolby Vision
enhancements.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/658>

imagefreeze: Copy GstCapsFeatures to caps for source pad

Allows using imagefreeze with buffers in GLMemory. The following pipeline
works.

gst-launch-1.0 filesrc location=image.jpg ! jpegdec ! glupload ! \
imagefreeze ! glcolorconvert ! glimagesinkelement

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/594>

rtpmanager: fix "redefinition of typedef RTPTWCCManager" compiler warning

G_DECLARE_FINAL_TYPE includes this typedef as well.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/675>

rtp*pay: Allocate using the base class for audio codecs

This is required to add RTP header extensions from the
meta automatically.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/674>

rtspsrc: Fix segfault with illegal free

set_get_param_q is not a pointer so it is illegal to call g_queue_free_full().
Freeing the requests by popping them from the queue instead.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/669>

QtGLVideoItem: Use QSharedPointer::data() for better compatibility

Older Qt versions didn't have QSharedPointer::get(), which is just a modern alias for QSharedPointer::data().

FAILED: ext/qt/libgstqmlgl.so.p/qtitem.cc.o
c++ -Iext/qt/libgstqmlgl.so.p -Iext/qt -I../ext/qt -I. -I.. -I../gst-libs -I/usr/include/glib-2.0 -I/usr/lib/aarch64-linux-gnu/glib-2.0/include -I/usr/include/gstreamer-1.0 -I/usr/include/orc-0.4 -I/usr/lib/aarch64-linux-gnu/gstreamer-1.0/include -I/usr/include/aarch64-linux-gnu/qt5/QtCore -I/usr/include/aarch64-linux-gnu/qt5 -I/usr/include/aarch64-linux-gnu/qt5/QtGui -I/usr/include/aarch64-linux-gnu/qt5/QtQml -I/usr/include/aarch64-linux-gnu/qt5/QtNetwork -I/usr/include/aarch64-linux-gnu/qt5/QtQuick -I/usr/include/aarch64-linux-gnu/qt5/QtX11Extras -I/usr/include/libdrm -flto -fdiagnostics-color=always -pipe -D_FILE_OFFSET_BITS=64 -std=c++11 -Wmissing-declarations -Wredundant-decls -Wwrite-strings -Winit-self -Wmissing-include-dirs -Wno-multichar -Wvla -Wpointer-arith -g -fdebug-prefix-map=/opt/good/src=. -Wformat -Werror=format-security -O3 -march=native -Wno-error -Wdate-time -fPIC -pthread -DHAVE_CONFIG_H -DHAVE_QT_X11 -DHAVE_QT_EGLFS -MD -MQ ext/qt/libgstqmlgl.so.p/qtitem.cc.o -MF ext/qt/libgstqmlgl.so.p/qtitem.cc.o.d -o ext/qt/libgstqmlgl.so.p/qtitem.cc.o -c ../ext/qt/qtitem.cc
In file included from /usr/include/gstreamer-1.0/gst/gst.h:55:0,
                 from /usr/include/gstreamer-1.0/gst/video/video.h:23,
                 from ../ext/qt/qtitem.cc:27:
../ext/qt/qtitem.cc: In destructor ‘virtual QtGLVideoItem::~QtGLVideoItem()’:
../ext/qt/qtitem.cc:138:86: error: ‘class QSharedPointer<QtGLVideoItemInterface>’ has no member named ‘get’
   GST_INFO ("%p Destroying QtGLVideoItem and invalidating the proxy %p", this, proxy.get());
                                                                                      ^
/usr/include/gstreamer-1.0/gst/gstinfo.h:682:31: note: in definition of macro ‘GST_CAT_LEVEL_LOG’
         (GObject *) (object), __VA_ARGS__);    \
                               ^~~~~~~~~~~
../ext/qt/qtitem.cc:138:3: note: in expansion of macro ‘GST_INFO’
   GST_INFO ("%p Destroying QtGLVideoItem and invalidating the proxy %p", this, proxy.get());
   ^

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/673>

qtdemux: fix allocation explosion with stsd entries

Previously, the user input for stsd entries is trusted completely, and
so a maliciously crafted file could choose the length of the stsd
entries arbitrarily and cause qtdemux to try to allocate up to 2GB of
memory (half of a 32 bit max int).

This patch fixes this by sanity checking the stsd input against the
size of the entire stsd atom.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/670>

qtdemux: fix crashes when input stream contained no stsd entries

During trak parsing, we need to check for the existence of stsd_entries,
otherwise, we end up with a NULL pointer to them. It is entirely
possible for the stsd to exist, but for it to have no entries, which the
previous checks did not take into account.

This patch adds a simply check to ensure that all files that do not
contain a stsd entry are deemed corrupt, and adds a test case to prevent
a regression.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/670>

docs: update for new pixel formats

https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/753
https://gitlab.freedesktop.org/gstreamer/gst-plugins-base/-/merge_requests/754

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/672>

rpicamsrc: fix build with older meson versions

assert() used to require two arguments.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/668>

examples: hook up rpicamsrc examples

webrtc one should probably go into gst-examples.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/667>

examples: fix indentation of rpicamsrc examples

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/667>

rpicamsrc: flesh out docs and add to plugin docs cache

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/667>

rpicamsrc: enable video orientation/direction unconditionally

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/667>

rpicamsrc: remove mkenums template files which are no longer needed

They were still being used by the autotools build, but that's gone.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/667>

rpicamsrc: fix indentation

Not touching the Raspi* files.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/667>

rpicamsrc: fix and silence some compiler warnings

Some are in system headers, and in Raspi files we want
to keep modifications to a minimum.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/667>

rpicamsrc: hook up to build

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/667>

Merge branch 'plugin-move-rpicamsrc'

Move rpicamsrc from https://github.com/thaytan/gst-rpicamsrc/

It's a useful little element and works well, so might as well
make sure it's widely available so people can stop piping
raspivid output into fdsrc.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-plugins-good/-/merge_requests/667>

rpicamsrc: sync autotools with glib-mkenum usage in meson build

rpicamsrc: meson: use gnome.glib_mkenums_simple() and fix build as Meson subproject

While at it also fix up the type defines, e.g.
GST_RPI_CAM_TYPE_RPI_CAM_SRC_EXPOSURE_MODE -> GST_RPI_CAM_SRC_TYPE_EXPOSURE_MODE

rpicamsrc: meson: drop map file and fix plugin symbol export with newer gstreamer versions

Use -fvisibility instead of a map file for symbol export, so that
the right symbols get exported with newer gstreamer versions. Older
GStreamer versions also still work of course.

Fixes blacklisting/plugin-loading issues with GStreamer >= 1.14

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/984,
closes https://github.com/thaytan/gst-rpicamsrc/issues/94
and https://github.com/thaytan/gst-rpicamsrc/issues/67

rpicamsrc: Attempt to workaround MMAL timeout bug

mmal_queue_timedwait() might spuriously return immediately
if called at exactly the wrong instant due to an internal
off-by-one bug. Attempt to work around that and just retry.

rpicamsrc: Improve timeout error

Propagate timeout errors so they're not reported
generically

rpicamsrc: webrtc example: Add a STUN server to the configuration

To let the webrtc example work through NAT firewalls

rpicamsrc: webrtc example: Modify HTML to support other ports than 57778

rpicamsrc: webrtc example: Remove external fmtp insertion

GStreamer 1.14.2 should contain the backport of gst-plugins-bad
commit 5c450c5 adding FEC and RTX support, and incidentally
the fmtp field in the SDP

rpicamsrc: webrtc example: Set the locale

Make the date format in the overlay respect the current
locale

rpicamsrc: Don't destroy the camera component on startup error

Just disable the camera component when it fails to start. The
most common reason is that the camera device is already in use,
and if we just disable the mmal component correct cleanup
will happen later

rpicamsrc: Add webrtc streaming example

Add an example for testing webrtc streaming from the rpi
camera, based on the code from
https://bugzilla.gnome.org/show_bug.cgi?id=795404

Requires GStreamer 1.14.1 or git master

rpicamsrc: Expose constrained-baseline profile

constrained-baseline is a useful profile for streaming to iOS
devices, and seems to work in the firmware, so let's publish it

rpicamsrc: Add define and increase reported maximum FPS from 90 to 1000

rpicamsrc: Expand frame timeout from 100ms to 500ms

rpicamsrc on a normal rpi camera doesn't start up fast enough,
and always fails the new 100ms timeout. A better solution
might be to have a longer timeout for the first frame, but
shorter once frames are running - but this quick fix will at
least make rpicamsrc work again.

rpicamsrc: RaspiCapture: use mmal_queue_timedwait() for buffer queueing

If an external camera was disconnected, there were no feedback in an
application. It seems reasonable to wait on mmal_queue no longer than
100ms. If it's stuck we just return a FLOW_ERROR and let the application
decide what to do later.

rpicamsrc: RaspiCapture: handle MMAL_EVENT_ERROR

rpicamsrc: Implement use-stc property to disable STC timestamps

If use-stc=false, then rpicamsrc won't apply
the camera timestamping to outgoing buffers, instead
relying on real-time timestamping by the
GStreamer clock. It means slightly less accuracy
and more jitter in timestamps, but might help on some
CSI inputs with broken timestamping.

rpicamsrc: Fix the descriptions of text annotation colour properties

The text annotation colour properties take an integer value
corresponding to a VUY colour, not a text string like
the copy-pasted description from raspivid suggests.

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/59

rpicamsrc: Implement dynamic bitrate update

Use mmal_port_set_parameter_uint32 to update the encoder
bitrate.

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/60

rpicamsrc: Set outgoing buffer durations based on negotiated framerate.

make sure outgoing buffers have at least some duration set,
otherwise it leads to strange situations, like qtmux writing
out a file that doesn't include the final frame inside the
playable segment, because no-duration = 0 duration there.

rpicamsrc: Destroy mmal pool on shutdown always.

Avoid hangs on the next run because we didn't clean up the mmal pool
last time we shutdown.

rpicamsrc: Switch back to MJPEG codec for image/jpeg

The JPEG codec hangs, not sure why yet. The MJPEG
codec doesn't provide a quality setting, and sometimes
freezes on shutdown, but otherwise seems more
reliable

rpicamsrc: Don't try and set H264 params with JPEG codec

rpicamsrc: First attempt at implementing MJPEG and raw video support

rpicamsrc: Add experimental build using the Meson build system

Builds in about 10 seconds vs. 77 seconds with autotools.

rpicamsrc: Implement GstVideoDirection interface

Instead of implementing a custom property, we implement that interface.

rpicamsrc: MMAL gives buffers with nal alignment, not AU

Fix the output caps, our buffers are not AU aligned, since
the SPS / PPS are given in separate packets at the start.

rpicamsrc: Create orientation property

Its behavior and choices are analog to the ones present in [gl]videoflip
for the method property.

rpicamsrc: basesrc event handlers should not unref

Don't unref the passed event when handling events via
the GstBaseSrc src pad event handler - basesrc does
the unref. That breaks handling of upstream
force-key-unit events by unreffing twice.

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/43

rpicamsrc: Add property getters for preview window position.

Add the lines in get_property() for the preview-x/y/w/h properties
so the values can be retrieved without causing critical warnings.

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/42

rpicamsrc: Add preview-x/y/w/h properties

Expose properties for setting the position of the preview
window on the screen

rpicamsrc: Add properties for configuring annotation text size and colour.

Map the raspivid setting for annotation text size and colours
to properties.

rpicamsrc: Changed awb-gain-blue use the correct enum PROP_AWB_GAIN_BLUE and not PROP_AWB_GAIN_RED

rpicamsrc: Fix buffer PTS calculation

Timestamps from MMAL are in microseconds,
so make sure to convert to nanoseconds before
using them to adjust the GStreamer buffer time

rpicamsrc: Basic orientation interface support

The (h,v)flip attributes are now supported through this interface.
It should also be possible to support (h,v)center attributes using the
ROI properties.

rpicamsrc: Describe awb-mode=off in lowercase

Change the descriptions for the awb-gain-blue and awb-gain-red
properties to say 'awb-mode=off' instead of 'awb-mode=OFF'

See https://github.com/thaytan/gst-rpicamsrc/issues/26

rpicamsrc: colorbalance: protect with config_lock mutex

rpicamsrc: add test-color-balance example

This small test will display a live video preview of the rpicam with
the balance controls being updated once a second. The controls to
update can be disabled in the source by setting the CONTROL_* macros
values to 0.

rpicamsrc: Implement GstColorBalance interface

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/24

rpicamsrc: Fix initial config setting.

Make sure to update the captsure config before starting
capture. Since the capture component now keeps a local
copy of the config, it's not updated automatically.

rpicamsrc: Disable bitrate, quantisation and intra-refresh dynamic changes

The firmware rejects dynamic changes of those encoder params.

rpicamsrc: Send vcos_log_warn via GStreamer debug messages

rpicamsrc: Add dynamic properties example

Python example of adjusting saturation on the fly

rpicamsrc: Update properties dynamically where possible

Update camera and encoder properties at runtime
where possible

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/19
and https://github.com/thaytan/gst-rpicamsrc/issues/23

rpicamsrc: split preview config and state

rpicamsrc: Clear intra-refresh MMAL param struct.

Use memset on the stack allocated MMAL_PARAMETER_VIDEO_INTRA_REFRESH_T
struct. Apparently mmal_port_parameter_get() doesn't retrieve all
parameters, causing random failures when we set the intra-refresh
param on the encoder.

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/22 for me.

rpicamsrc: Merge changes from userland repo

Current to b69f807ce59189457662c2144a8e7e12dc776988

No integration of stereoscopic support as yet

rpicamsrc: Map intra-refresh cyclic-rows to the correct MMAL param.

rpicamsrc: Use MMAL PTS and STC to calculate GStreamer timestamps

Don't apply timestamps based on output time from the encoder,
but use the MMAL STC and capture PTS to generate a GStreamer
timestamp that more accurately resembles the input (and would
preserve reordering should the encoder ever add B-frames).

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/16

rpicamsrc: Defer encoder creation until after caps are negotiated

This ensures the encoder is created with the profile
negotiated with downstream

rpicamsrc: Read and set H.264 profile from negotiated caps

rpicamsrc: Add intra-refresh-type property, and set default keyframe spacing to -1 (auto)

This plus other recent commits mostly fix
bug https://github.com/thaytan/gst-rpicamsrc/issues/16

rpicamsrc: Add annotation-mode and annotation-text properties

rpicamsrc: implement sensor-mode property

rpicamsrc: More conversion to GStreamer logging

rpicamsrc: Implement drc property

rpicamsrc: add awb-gain-red and awb-gain-blue properties

rpicamsrc: Add camera-number property

rpicamsrc: add inline-headers and shutter-speed properties

rpicamsrc: Add quantisation-parameter property, support variable bitrate

Allow birate=0 and implement the quantisation-parameter property

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/21

rpicamsrc: Incorporate raspivid changes from upstream

Merge all changes for new features from upstream
raspberrypi userland, up to commit 0de0b2

rpicamsrc: Add keyframe-interval property to the element

rpicamsrc: deviceprovider: check if camera is detected and supported

rpicamsrc: Add GstDeviceProvider for rpi camera module

rpicamsrc: avoid single-element lists in template caps

rpicamsrc: Add force-key-unit event support

rpicamsrc: Move all debug output to go via GStreamer logs

Fixes https://github.com/thaytan/gst-rpicamsrc/issues/9

rpicamsrc: Update maximum framerate to 90 fps

rpicamsrc: Enable image effects

rpicamsrc: Re-flow element source code with gst-indent

rpicamsrc: Implement a bunch of the raspivid command-line params

Add properties for controlling various parts of the capture

rpicamsrc: Tell basesrc to timestamp buffers for us, for now.

rpicamsrc: Initial caps nego and properties.

Support caps negotiation for H.264 frame size and framerate.

Add bitrate, saturation, brightness, contrast, sharpness properties.