citemplate: rework gitlab rules

Rework rules of jobs to prever duplicate pipelines.

https://docs.gitlab.com/ce/ci/yaml/README.html#prevent-duplicate-pipelines

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/331>

ci_template: remove rules from the docker build

We can run the jobs always automatically since, most of the
time they will be copying/reffing the existance image in the
registry.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/331>

citemplate: Allow spaces in filenames when indenting

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/328>

citemplate: add support for .indentignore file to indent job

See https://gitlab.freedesktop.org/gstreamer/gst-plugins-bad/-/merge_requests/1465

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/328>

citemplate: skip integration testsuites for gstreamer-sharp

Close #80

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/326>

citemplate: make it so docker builds only run for detached pipelines

Currently, if you have a MR open, there 2 pipelines being
triggered. One normal, and one detached.

Previously, if you were to rebuild an image, the jobs of the
docker build stage would be executed concurrently, race
and end up both rebuilding the image.

Make them manual for normal pipelines to avoid such occurrence
and waste of resources.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/320>

citemplate: properly pin the image of the docs job

we don't need the image to be copied or rebuilt, as
its currently pinned shortly and won't change anytime soon.

ammends dc486667426d0d31284e25001cfece45879595a8 !324

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/325>

citemplate: revert the docs job to the previous image build

The update to f31 from !271 triggered an error in hotdoc it seems,
so rollback for now till we figure it out.

https://gitlab.freedesktop.org/gdesmott/gst-plugins-base/-/jobs/3764215

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/324>

docker/fedora: update base to fedora 31

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/271>

gitlab: Support android tarballs compressed with xz

Needed for
https://gitlab.freedesktop.org/gstreamer/cerbero/-/merge_requests/540.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/322>

gitlab: update hotdoc

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/321>

docker/fedora: add gtest to get openh264 to build again

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/315>

gst-build: only enable werror for gst recipes

It may throws various warning that are treated as errors for other
repositories

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/171>

citemplate: use the default keyword for our global policy

It was introduced in a recentish release along with pipelines
for merge requests, but it required the use of rules.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/318>

citemplate: avoid the need to upgrade buildah in docker build

We only need the newer version from the image, to support
the --arch arg, but we don't really use it yet so we
could live without it.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/318>

citemplate: run check in gst-examples but not integration tests

gst-example contains tests for check but not integrations suite

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/318>

citemplate: run the docs job in more modules

Needed to catch regressions in the docs cache files.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/318>

citemplate: slightly improve logging of docker build jobs

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/318>

ci: use gst-indent from docker image

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/318>

gitlab: Update hotdoc

ci_template: update hotdoc

msys2: Fix pacman update

Match the official steps by MSYS2 upstream for updating on CI:

https://github.com/msys2/setup-msys2/blob/master/main.js#L98

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/317>

citemplate: check if the gitlab registry is enabled on the fork

If its not CI_REGISTRY_IMAGE will be null and break the job.
Instead paste a helpful message with the documentation on how
to enable the registry.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/316>

citemplate: remove tag restriction for docker builds jobs

There isn't anything particular that needs to be on the gstreamer
runners, and the other shared runners should be able to handle
them fine.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/314>

docker: move gst-indent script into docker image

This script is now very stable, so downloading it everytime is no longer useful.
It can also helps avoid network errors when running ci jobs.

Fix #70

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/306>

citemplate: also check the forked registry for image builds

In case you are developing a set of changes in a module, in
conjunction with a branch in gst-ci, you will end up with
a template with a different tag than the upstream repo, which
will be refferencing your gst-ci forked registry.

But that image won't existin in the namespace the
module would be running at, so we need to copy it from there.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/308>

citemplate: use the fd.o pre existing buildah image to build containers

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/308>

ci_template: merge docker builds into the normal pipeline

Port the build docker jobs to the template and integrate it into
the pipeline. Then change the image uris to the new system,
and the user forked registries.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/308>

.gitlab-ci.yml: kill local jobs

The idea behind local jobs was that you would have jobs that
share the same setup as the citemplate ones but would always
be pointing to your forked registry with your custom build of
the image, since the citemplate hardcoded the image it was
running against.

With the changes introduced in the previous commit
we now mirror the setup from freedesktop/ci-templates and the idea
is that jobs always run from the registry in your fork. If the
image sha/id matches the one from the upstream registry, its copied
over else a new one is build, pushed and tested.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/308>

.gitlab-ci.yml: adapt the docker build jobs to be more like citemplates

This is the inital step towards migrating our docker images setup
to something closer and eventually freedesktop/citemplates [1]

The idea is that jobs always run from the registry in your fork. If the
image sha/id matches the one from the upstream registry, its copied
over else a new one is build, pushed and tested.

Only change the fedora job for now while testing.

[1]: https://gitlab.freedesktop.org/freedesktop/ci-templates

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/308>

image_builds: simplify the tags

We can use docker labels to pass the metadata we want
and make the tag simpoler.

also small fixup, make it so buildah it uses chroot isolation
and update the base image

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/308>

docker/fedora: update rust toolchain to 1.44

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/308>

docker/fedora: update meson version to 0.54.3

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/308>

gitlab: Update hotdoc

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/312>

gitlab: Update hotdoc to 0.12.2

Adding Since markers check

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/310>

ci: Update to hotdoc

citemplate: upate the cerbero image

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/307>

CI: Combine deps and build for cerbero builds

This change combine the deps and the build step when running cerbero CI in
cerbero repository itself. This removes avoidable usage of large artifacts.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/303>

docker/windows: update msys snapshot

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/297>

gitlab: Enforce documentation cache updates

docker: fedora: install nasm properly

Add it to install list not debuginfo-install list.

Should make openh264 subproject work in gst-build builds.

Fixes #76

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/301>

ci: Update fedora image

gitlab: Update hotdoc to latest release

Revert "docker: install intel-mediasdk on Fedora image"

This is not available on F30

This reverts commit 9405f9245b1063896f1c02a3b0468a1ecc870193.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/299>

gitlab: Ensure devhelp files are installed

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/299>

Revert "docker: fedora: update to Fedora 31"

This is unused yet because it breaks some things

This reverts commit d016fa74531452c20d76f15d4fbfb31476837766.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/299>

ci_template: pin hotdoc to pre fundamental documentation

ci_template: pin hotdoc to pre gst cache format change

gitlab: Enable docs only when building the doc

ci_template: windows: clone the gst-build specified in the manifest

In all our other builds, we are using the clone_manifest_ref script
to fetch the revision of gst-build that we discover in the manifest.
For the windows job this was missed it seems, but didn't cause
any issues till now cause it only affected the gst-build MRs.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/296>

ci: Check valgrind for all modules on gst-devtools

Now that we have [`gst-tester`] all module are starting to be tested
with `gst-validate` (core and -base already have validate based unit
tests) so we need to ensure that changes there do not break those
modules.

[gst-tester]: https://gitlab.freedesktop.org/gstreamer/gstreamer/-/merge_requests/461

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/294>

ci_template: update cerbero build-deps for gst-validate -> gst-devtools-1.0 rename

https://gitlab.freedesktop.org/gstreamer/gst-devtools/-/merge_requests/199
https://gitlab.freedesktop.org/gstreamer/cerbero/-/merge_requests/490

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/295>

gst-omx: update vcu-omx-il public release branch

Use release 2020.01 for the xilinx zynq target
from https://github.com/Xilinx/vcu-omx-il

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/293>

.gitlab-ci.yml: fix buildah syntax for tagging images

docker/fedora: Remove WPEBackend-FDO

It should now be built as a gst-build subproject. The version in Fedora is not
suitable for CI tests.

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/292>

.gitlab-ci.yml: fix typo in buildah images

android: update to gradle 5.6.4 without --no-search-upwards

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/291>

ci: run CI for the new vulkan android example

HACK: pointing to user repo
Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/291>

docker/windows: add script to build the image with the correct branch and tag

also move the default_branch arg later in the dockerfile to
avoid invalidating previous layers

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/287>

ci_template: try harder to cleanup after build jobs

Let's try extra hard to clean after ourselves, cause gitlab-runner
occasionally decides to reuse existing, polluted, volumes...

so much for clean build environments...

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/288>

windows/docker: allow to specify the branch to pull for gst-build

Similar to !232

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/285>

docker: remove unused Dockerfiles

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/286>

ci_tepmlate: disable the msys job again

Its still broken and keeps haning randomly... 😢️

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/284>

ci_template: enable the windows x86 and msys native jobs again

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/281>

ci_template: don't use prebuilt binaries for test jobs

Previously we were optimizing for cpu time, so we where building
gst-build once and then exporting that to be used by the test jobs.
However this meant that we where uploading 200mb (previously 600mb)
zipped of artifacts and then re-downloading them for each test job.
This caused big costs in terms of cloud egress since the runners
aren't hosted on the same cloud as the storage/artifacts instance.

Instead we are going to be rebuilding gst-build for each test
job from now, it also doesn't take more time than the network
i/o would of downloading the artifacts, so the impact of rebuilding
shouldn't be noticebly.

We are also using pinned git refs the modules we rebuild from
the manifest, so the binaries should be reproducible for the most
part (minus things like .pyc files).

Close #68

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/280>

oss-fuzz: update for autotools removal

build docker image: tag the jobs to use the gstreamer runners

docker builds can be big, and other shared runner have smaller
storage space which we should avoid filling if can be avoided.
The gst tagged runners are a better fit for such builds since
their disk storage is about 1-2 terabytes.

Replace docker-in-docker with buildah

This avoids the need of using privilledged namespaces and dind
as buildah are able to build images unprivilledged.

One thing to note is that buildah inside docker is not a
supported configuration and not tested in upstream podman,
but the possible fallout is still easier to deal with than
dind and requiring privileged runners.

ci: Always allow redirect when using curl

This done by specifying -L parameter. Some of the FDO infrastructure is using
redirect.

ci_template: avoid exporting the mediafiles into build artifacts

Previously we where accidently exporting the whole repo of
gst-integration-testsuites which includes 350mb of raw media
files and made the artifacts storage explode through the roof
along with the CI bills fd.o had to pay for uploading and
redownloading the artifacts

To deal with this, we clean all the media files from the builddir
and when needed we copy them over from the cache in the docker image,
and then git fetch the repo.

Close #69

ci_template: avoid building libnice tests and examples in the subproject

We don't run the libnice testsuite, and when binaries are built
they consume ~45mb of space. This increases the size of the artifacts
we export from the gst-build job for the testsuite and drives up
the storage and bandwith costs when re-downloading the artifacts.

Similary disable the test targets of couple other subprojects as well

Don't let marge run post-merge pipeline

This is a small regression from previous change.

clone_manifest_ref: add the ability to fetch instead of cloning the repo

ci: Let Marge the merge bot trigger our CI

We have notice that a lot of CI activity is cause by user pushing to their
branch after having created an MR. To reduce our CI foot-print, the CI will
now only be automatically triggered when a reviewer assign the MR to the merge
bot. It will still be possible to run the CI manually but the result of that
CI won't be used by Marge.

ci_template: reduce the size of exported artifacts in gst-build jobs

This is initial work looking over the deps subprojects and
cleaning up the low hanging fruits. Saves about 90mb compressed.

windows: udpate the docker image

This is a rebuild of the image to acount for an issue
with a security update during February 2020

https://support.microsoft.com/en-us/help/4542617/you-might-encounter-issues-when-using-windows-server-containers-with-t

This also means we can drop the gstreamer-windows tag
that was added in 32c91139a4dac04e447119aa1b9dfdc204dc86eb

windows: switch the image tag to ltsc2019

This should have no functional difference as 1809 is an alias
to ltsc2019 but it makes it more explicit that what branch we
are tracking

Update cerbero and android docker images

Partial revert of 9ed6305e1fc139edb50c24ea00169fc481b0517d

For post-merge of android ndk-21 as part of:
https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/266
https://gitlab.freedesktop.org/gstreamer/cerbero/-/merge_requests/463

Partial revert of 9ed6305e1fc139edb50c24ea00169fc481b0517d

For post-merge of android ndk-21 as part of:
https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/266
https://gitlab.freedesktop.org/gstreamer/cerbero/-/merge_requests/463

docker/cerbero: checkout proposed ndk-21 cerbero branch

docker: update android image container for ndk-21

ci: Update to use new external storage for cerbero deps

The goal of this change is to reduce egress on the FDO servers.

gitlab: don't upload gst-build artifacts we never use

gitlab: compress deps using xz on master

Results in a better compression for artifacts that are going to be used
multiple times.

gst-build: Disabling uploading of artifacts for now

It seems to be timing out with high frequency only on Windows runners.

```
Version:      12.8.0
00:47
Git revision: 1b659122
Git branch:   12-8-stable
GO version:   go1.13.7
Built:        2020-02-22T03:03:07+0000
OS/Arch:      windows/amd64
Uploading artifacts...
gst-build/build/meson-logs/: found 2 matching files
WARNING: Failed to load system CertPool: crypto/x509: system root pool is not available on Windows
ERROR: Job failed (system failure): aborted: <nil>
```

See: https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/261

ci_template: Increase timeout of -good valgrind

splitmux unit test includes encoding task which might require more time
to finish test

gst-build: Disable vs2017 x86 job too

This might be related to the same issue described in the previous
commit: Till we can update the container image to the Feb 11 security
update, x86 executables and in general the container image will behave
badly because of:

https://support.microsoft.com/en-us/help/4542617/you-might-encounter-issues-when-using-windows-server-containers-with-t

vs2017 x86 has been failing with a runner system failure while
uploading artifacts / submitting job status:

```
Uploading artifacts...
gst-build/build/meson-logs/: found 2 matching files
WARNING: Failed to load system CertPool: crypto/x509: system root pool is not available on Windows
ERROR: Job failed (system failure): aborted: <nil>
```

https://gitlab.freedesktop.org/slomo/gst-plugins-good/-/jobs/2084184

Disable it for now.

gst-build: Only use gstreamer runners for windows jobs

Till we can update the container image to the Feb 11 security update,
all x86 executables will crash because of:

https://support.microsoft.com/en-us/help/4542617/you-might-encounter-issues-when-using-windows-server-containers-with-t

So restrict to the gstreamer runners that are running an older Windows
version. For example:

```
subprojects\gstreamer\gst\parse\meson.build:10:0: ERROR: Command
  "c:\python38\python.exe
  C:\builds\thaytan\gst-plugins-good\gst-build\subprojects\gstreamer\gst\parse\get_flex_version.py
  C:\builds\thaytan\gst-plugins-good\gst-build\subprojects\win-flex-bison-binaries\win_flex.exe"
  failed with status 1.
```

https://gitlab.freedesktop.org/thaytan/gst-plugins-good/-/jobs/2066909

```
meson.build:1:0: ERROR: Executables created by c compiler cl are not runnable.
```

https://gitlab.freedesktop.org/nirbheek/gst-ci/-/jobs/2070394

gst-build: Always include meson-logs in the artifacts

Can't figure out build errors without this.

ci: Re-enable example builds for MR

As we should still build the examples to make sure they are not broken.

Reported-by: Matthew Waters <matthew@centricular.com>

ci: Always run CI for gst-docs

We have an external cron that rely on this to pull and update the doc on the
webpage.

Fixes #64

ci: Remove uneeded cerbero jobs from gst-docs CI

docker: install intel-mediasdk on Fedora image

Will be used to build gst-msdk in gst-plugins-bad.
Fix #52

docker: fedora: update to Fedora 31

aom-extra-tools has been removed from Fedora:
https://src.fedoraproject.org/rpms/aom/c/038d7b2164e15c9067af3d2d2e0b50a4d890b218?branch=master

gstreamer1-plugins-bad-nonfree has been removed from rpmfusion:
https://pkgs.rpmfusion.org/cgit/nonfree/gstreamer1-plugins-bad-nonfree.git/commit/?id=30641c2ded63d12e099d32cb814bab8244f48c90
It was only used of its build deps of which only faac-devel was not
already installed, so I added it instead.

Need to manually install pip3 now.

ci: Switch msys2 job to manual

This will reduce the excessive load on the runners which are having issues
with this job in particuliar. We will revisit when we better understand the
runners issues.

ci: Replace REGEX variables

Passing regex as variable does not really works, we ended up matching the
regex as a string instead. Replace all REGEX variable with rules: override.
It is longer but more reliable.

Related to !247
Fixes #63

ci: disable Rust jobs for now

They are not reliable enough (#53) and generated artifacts are too big (#61)
so disable them until those issues are solved.

Fix https://gitlab.freedesktop.org/gstreamer/gst-plugins-rs/issues/97

ci: Fix gstreamer-full job to run in gst-build

It was set to gst-omx by accident instead.

ci: Fix exceptions for gst indent job

The name of the variable passing the exception regex wasn't correct. As a side
effect, gst-indent was not run on all repository.

ci: Remove spurious except regex in valgrind test

This was ported but unused from the previous code. In the new code it was
preventing valgrind jobs from being run in gstreamer repository.