gitlab: enable werror for android universal builds

gitlab: add a clang gst-build job

gitlab: use the new needs yaml key

Allows implementing a DAG where a dependant job can be built before the
entirety of the previous stage has completed.

gitlab: renable gst-build werror after msvc CI merge

31cec0a2459b38ae64d8bbb3f2060d2d86f8f86f removed --werror from the
default meson args but did not add it back in all the correct places

docker/windows: refactorings to get it to work with the new runner

* Install git-lfs as its required now by gst-integration-suites
* Clone gst-build eache time to avoid dated gst-build checkouts
and overwritting .wrap files. Similar to !137
* Split the dockerfile and add a second run stage refresh the
powershell env inbetween calls
* Remove the msys2 workaround as its not needed anymore

Add Windows MSVC and MSYS2 builds

This adds 3 new jobs that build against msys2 x86_64, msvc 2017 x86
and msvc 2017 x86_64. For the msvc build, some subprojects (like libnice)
don't satisfy all their deps, and are getting automatically disabled.

This doesn't add jobs that run the test suite also. Will hopefully
get implemented later on.

Do not specify the compiler to use

Meson will autodetect ccache when available, and we don't always have
gcc available (upcoming MSVC job).

gitlab: Set COLUMNS and width variable to make terminal_markdown_view happy

docker/fedora: Enable WPEWebKit support

These dependencies should enable the WPE plugin build in -bad.

See https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/839

Move to Fedora 30

docker/fedora: avoid hardcoding the fedora version in the setup script

docker/fedora: add glslc to the install list

Enables building the vulkan plugin with shaders

gitlab/cerbero: use the correct branch on fetch-cache

gitlab: make non-cerbero iOS build manual

Revert "CI: Disable build cerbero ios universal"

This reverts commit 34cb58f294881e59e0728de18913d4bab188ef62.

CI: Disable build cerbero ios universal

This fails because the master CI of cerbero/ never passed with, as a
result an older cerbero is being used.

Related to #29

add iOS CI

gitlab: consolidate stages

This now optimizes for a successful build.

gitlab: update android docker image to the latest

docker/android: cache gradle deps inside the docker image

gst-build: clone gst-build directly instead of relying on the docker version

The git-update that is performed attempts to update gst-build however
will not use the updated git-update script for further operations.  This
causes the CI to not use any updates to the git-update which is always
stuck on the version provided by the backing docker image.

gitlab/ci_template: only run valgrind for MRs not master and stable branches

The valgrind runs are there to spot obvious problems during the dev phase,
not sure we really need to run them in full after each merge.

Should reduce load on the build bots a little.

If any problems slip in they will be picked up soon enough by
the MR jobs again.

gitlab: Update cerbero docker to the new MingW

docker: cerbero: Fix for mingw tarball rename

gitlab/build_manifest: allow for upstream branch to be specified

When the pipeline is based on top of a stable branch, we want
to track that branch isntead of the primary development branch.

This patch makes it so the upstream branch can be specified with
an env var.

part of #11

Revert "gitlab: build libnice as part of cerbero deps"

This reverts commit 478686faa76917bef6df32c73c538e05fb8f6813

gitlab: build libnice as part of cerbero deps

Building the same libnice from the same tarball every time is not
useful.

gitlab-ci: move overriden dist dir copy to after cache fetch

Otherwise, the cache will not be copied to the overriden dist dir for
the normal fast builds.

add macos CI

gitlab: Add static builds for gst-build

gitlab: Always run hotdoc from git

We are moving too fast in hotdoc and the overhead of
releasing and updating docker images is too big

doc: Use latest image with update hotdoc

fedora: Install gtk3 and gdk-pixbuf documentation

gitlab/ci_template: make sure that the fedora build job is never run on cerbero

We exclude cerbero in the .build template but that key
is getting overwritten since !126. Valgrind needs to be
fixed first in order to remove this and the previous
workarounds.

gitlab/build_manifest: add gst-sharp to the module list

gitlab: Fix mixup in excepting gst-docs to build the nodebug job

Add support to build the documentation

Since we can't run valgrind tests on fedora 30 yet (see
https://gitlab.freedesktop.org/gstreamer/gst-ci/merge_requests/125),
we build the nodebug variant with the F30 image and use the artifacts
of that build to build the documentation and not the main one.

gitlab: Run all valgrind jobs when running in gst-ci

Everything needs to be tested there as we might be updating the docker image

Revert "Add support for building the doc"

This reverts commit 58861fd41092c625caf9f577d9f84574654a7cca.

doc-importer: Update job name now that we build the API doc

gitlab: Do not "build nodebug fedora" on gst-docs

And do not build at all for gst-examples either

Add support for building the doc

docker: Always get latest hotdoc release

We had another little mistake to fix and that might
happen often in the future so let's use latest releases for
now.

docker: Update hotdoc to latest release

gitlab/ci_template: no need to do cerbero builds for gstreamer-vaapi

gitlab: manifest: Use a cerbero ref with build

For non-cerbero builds, pick a cerbero reference for which a build has
completed. This will reduce the number of cache miss, hence reduce the
number of timeouts and slow build we are facing each time cerbero is
updated.

Fixes #16

gitlab: Check bugs resolutions when running the validate/ges testsuite

docker: Explicitely install flex before installing hotdoc

docker:fedora: Use meson 0.50.1

gitlab: Do not pass --force-sync in the launcher

We let subproject handle it for us now

docker: Install hotdoc and required packages to build the doc

Fedora docker: Bump to f30

Needed to get an upgraded ffmpeg.
Also required to have a new enough version of gobject-introspection
and remove all warnings

gitlab: ORC_CODE=backup is now set in validate GstCheck application

gitlab: Blacklist moved to the check testsuite directly

gitlab: Run valgrind on ges tests

blacklisting python tests for now as those are still leaky/need some python suppressions

gitlab: Dump launcher logs on failures

fedora: Install temrinal markdown viewer

To enhance the launcher output

gitlab: Disable integration test in cerbero repository

This is minimal fix for this job, we don't build the required
dependency.

gitlab/ci_template: skip cerbero builds and integration tests for gst-omx

and the integration test for gstreamer-vaapi (we explicitly
remove the vaapi plugin when running integration tests).

gitlab/ci_template: Build gst-omx as well

gitlab: The launcher now generate the right suppression files list

See https://gitlab.freedesktop.org/gstreamer/gst-devtools/commit/787939f7505407949a104539688905bc4057d2d4

gitlab: fix gst-integration-testuite exceptions

Fixes error introduced in
https://gitlab.freedesktop.org/gstreamer/gst-ci/commit/9d32304eb378483e2382739b050876349a98e5fd
https://gitlab.freedesktop.org/gstreamer/gst-ci/merge_requests/94

gitlab: Do not run check and apps job on gst-integration-testsuites

ci: Run 'validate' and 'ges' integration testsuites

And use new validate feature to print debug logs URL directly
in the logs instead of dumping the whole files.

Update to latest fedora 64 image

gitlab: don't build cerbero jobs in gst-build

Fixes https://gitlab.freedesktop.org/gstreamer/gst-ci/issues/17

gitlab/android-examples: only output the resulting apks

The full build directory while useful for debugging is rather large
(almost 1GB per app depending on plugins used).

gitlab: also build-test the android tutorials from gst-docs

gitlab/ci_template: shorten name for gstreamer nodebug build

Shorter and nicer to read with spaces than underscores.

gitlab: disable check target in gst-examples

Not particularly useful there

add CI for gst-examples android build

gitlab: add a script to clone a repository using manifest details

registry: Change the way in which images are tagged

Previously we tried using the git commit ref as a UID for the
images. This does not work though cause multiple jobs that rebuild
the image can be triggered and override the same image tag. Instead
use the CI_JOB_ID to provide better semantics wrt naming conflicts.

Additionally add the date as part of the tag to better indicate
the age of the image. Gitlab WEBGUI doens't indicate the age
in a good way nor makes it easy to short the images.

gitlab/ci_template: disable another test in check

close #12

docker: add android-specific image

pre-includes the NDK/SDK

gitab/ci_template: Update cerbero image

gitlab/ci_template: run valgrind tests automatically

Don't valgrind everything for all changes though,
but only those modules most likely to be affected
by changes in the current ci project. So, valgrind

 - gstreamer only for gstreamer core changes
 - gst-plugins-base for core/base changes
 - gst-plugins-good for core/base/good changes
 - gst-plugins-ugly for core/base/ugly changes
 - gst-plugins-bad for core/base/good changes

In other words: don't valgrind core/base if it's
good/bad/ugly that's being changed, for example.
Don't valgrind -good or -ugly for changes in -bad,
etc.

Meaning:

 - for changes in core, valgrind core/base/good/ugly/bad
 - for changes in base, valgrind base/good/ugly/bad
 - for changes in good, valgrind good/bad
 - for changes in ugly, valgrind ugly
 - for changes in bad, valgrind bad

More modules to be added later once they're valgrind
clean on the CI.

https://gitlab.freedesktop.org/gstreamer/gst-ci/merge_requests/80

gitlab/ci_template: add manual valgrind jobs

Always print timestamps when running Cerbero

This is useful when doing performance improvements or comparisons.

docker/cerbero: Always install lbzip2 for use in packaging

See: https://gitlab.freedesktop.org/gstreamer/cerbero/issues/132

Needed for https://gitlab.freedesktop.org/gstreamer/cerbero/merge_requests/139

Do not run indent on gst-integration-testsuites

gitlab/ci_template: blacklist curlhttpsrc test_multiple_http_requests

Too flaky.

https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/issues/932

docker:fedora: Remove Qt5 devel packages

as we haven't tested building it and it leads to build issues in
examples.

gitlab/ci_template: add a build that disabled debug logs

docker:fedora: No need to add site-packages to PATH

fedora: Install meson 0.49.2

Working around https://github.com/mesonbuild/meson/issues/5087

Revert "docker/fedora: use meson from fedora repos"

This reverts commit a116f19eeb1d6cc40b2b9310c50c404ce407fcdd.

Track gst-integration-testsuites

fedora: Install git-lfs

gitlab/ci_template: refresh the image builds

docker/fedora: use the meson subprojects cmd to download subprojects

Introduced in 0.49.0 so we can avoid the need to configure in
order to cache the subproejct repos.

docker/fedora: use upstream registry to retch the base image

Fedora is now hosting its official docker images at
https://registry.fedoraproject.org

docker/fedora: use git-core instead of git

We don't need the full blown git pakcage and we can avoid
a couple of perl deps that way

docker/fedora: use meson from fedora repos

Fedora is still on version 0.49.2 while pip is on 0.50.
With the version from pip we can no longer run some gst-sharp tests
so we essentially revert back to 0.49

https://github.com/mesonbuild/meson/issues/5087

gitlab: remove the android gst-build target

android is now being tested using cerbero for the binaries we produce.

gitlab/cerbero-android: build without werror

CI: Add Android universal builds

gitlab: Move cerbero jobs in gst-ci

This will allow extending the CI at one place.

docker/fedora: Include common debug symbols in the image

Part of #14

cerbero: enable the werror variant by default