ci_template: try harder to cleanup after build jobs

Let's try extra hard to clean after ourselves, cause gitlab-runner
occasionally decides to reuse existing, polluted, volumes...

so much for clean build environments...

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/288>

windows/docker: allow to specify the branch to pull for gst-build

Similar to !232

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/285>

docker: remove unused Dockerfiles

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/286>

ci_tepmlate: disable the msys job again

Its still broken and keeps haning randomly... 😢️

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/284>

ci_template: enable the windows x86 and msys native jobs again

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/281>

ci_template: don't use prebuilt binaries for test jobs

Previously we were optimizing for cpu time, so we where building
gst-build once and then exporting that to be used by the test jobs.
However this meant that we where uploading 200mb (previously 600mb)
zipped of artifacts and then re-downloading them for each test job.
This caused big costs in terms of cloud egress since the runners
aren't hosted on the same cloud as the storage/artifacts instance.

Instead we are going to be rebuilding gst-build for each test
job from now, it also doesn't take more time than the network
i/o would of downloading the artifacts, so the impact of rebuilding
shouldn't be noticebly.

We are also using pinned git refs the modules we rebuild from
the manifest, so the binaries should be reproducible for the most
part (minus things like .pyc files).

Close #68

Part-of: <https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/280>

oss-fuzz: update for autotools removal

build docker image: tag the jobs to use the gstreamer runners

docker builds can be big, and other shared runner have smaller
storage space which we should avoid filling if can be avoided.
The gst tagged runners are a better fit for such builds since
their disk storage is about 1-2 terabytes.

Replace docker-in-docker with buildah

This avoids the need of using privilledged namespaces and dind
as buildah are able to build images unprivilledged.

One thing to note is that buildah inside docker is not a
supported configuration and not tested in upstream podman,
but the possible fallout is still easier to deal with than
dind and requiring privileged runners.

ci: Always allow redirect when using curl

This done by specifying -L parameter. Some of the FDO infrastructure is using
redirect.

ci_template: avoid exporting the mediafiles into build artifacts

Previously we where accidently exporting the whole repo of
gst-integration-testsuites which includes 350mb of raw media
files and made the artifacts storage explode through the roof
along with the CI bills fd.o had to pay for uploading and
redownloading the artifacts

To deal with this, we clean all the media files from the builddir
and when needed we copy them over from the cache in the docker image,
and then git fetch the repo.

Close #69

ci_template: avoid building libnice tests and examples in the subproject

We don't run the libnice testsuite, and when binaries are built
they consume ~45mb of space. This increases the size of the artifacts
we export from the gst-build job for the testsuite and drives up
the storage and bandwith costs when re-downloading the artifacts.

Similary disable the test targets of couple other subprojects as well

Don't let marge run post-merge pipeline

This is a small regression from previous change.

clone_manifest_ref: add the ability to fetch instead of cloning the repo

ci: Let Marge the merge bot trigger our CI

We have notice that a lot of CI activity is cause by user pushing to their
branch after having created an MR. To reduce our CI foot-print, the CI will
now only be automatically triggered when a reviewer assign the MR to the merge
bot. It will still be possible to run the CI manually but the result of that
CI won't be used by Marge.

ci_template: reduce the size of exported artifacts in gst-build jobs

This is initial work looking over the deps subprojects and
cleaning up the low hanging fruits. Saves about 90mb compressed.

windows: udpate the docker image

This is a rebuild of the image to acount for an issue
with a security update during February 2020

https://support.microsoft.com/en-us/help/4542617/you-might-encounter-issues-when-using-windows-server-containers-with-t

This also means we can drop the gstreamer-windows tag
that was added in 32c91139a4dac04e447119aa1b9dfdc204dc86eb

windows: switch the image tag to ltsc2019

This should have no functional difference as 1809 is an alias
to ltsc2019 but it makes it more explicit that what branch we
are tracking

Update cerbero and android docker images

Partial revert of 9ed6305e1fc139edb50c24ea00169fc481b0517d

For post-merge of android ndk-21 as part of:
https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/266
https://gitlab.freedesktop.org/gstreamer/cerbero/-/merge_requests/463

Partial revert of 9ed6305e1fc139edb50c24ea00169fc481b0517d

For post-merge of android ndk-21 as part of:
https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/266
https://gitlab.freedesktop.org/gstreamer/cerbero/-/merge_requests/463

docker/cerbero: checkout proposed ndk-21 cerbero branch

docker: update android image container for ndk-21

ci: Update to use new external storage for cerbero deps

The goal of this change is to reduce egress on the FDO servers.

gitlab: don't upload gst-build artifacts we never use

gitlab: compress deps using xz on master

Results in a better compression for artifacts that are going to be used
multiple times.

gst-build: Disabling uploading of artifacts for now

It seems to be timing out with high frequency only on Windows runners.

```
Version:      12.8.0
00:47
Git revision: 1b659122
Git branch:   12-8-stable
GO version:   go1.13.7
Built:        2020-02-22T03:03:07+0000
OS/Arch:      windows/amd64
Uploading artifacts...
gst-build/build/meson-logs/: found 2 matching files
WARNING: Failed to load system CertPool: crypto/x509: system root pool is not available on Windows
ERROR: Job failed (system failure): aborted: <nil>
```

See: https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/261

ci_template: Increase timeout of -good valgrind

splitmux unit test includes encoding task which might require more time
to finish test

gst-build: Disable vs2017 x86 job too

This might be related to the same issue described in the previous
commit: Till we can update the container image to the Feb 11 security
update, x86 executables and in general the container image will behave
badly because of:

https://support.microsoft.com/en-us/help/4542617/you-might-encounter-issues-when-using-windows-server-containers-with-t

vs2017 x86 has been failing with a runner system failure while
uploading artifacts / submitting job status:

```
Uploading artifacts...
gst-build/build/meson-logs/: found 2 matching files
WARNING: Failed to load system CertPool: crypto/x509: system root pool is not available on Windows
ERROR: Job failed (system failure): aborted: <nil>
```

https://gitlab.freedesktop.org/slomo/gst-plugins-good/-/jobs/2084184

Disable it for now.

gst-build: Only use gstreamer runners for windows jobs

Till we can update the container image to the Feb 11 security update,
all x86 executables will crash because of:

https://support.microsoft.com/en-us/help/4542617/you-might-encounter-issues-when-using-windows-server-containers-with-t

So restrict to the gstreamer runners that are running an older Windows
version. For example:

```
subprojects\gstreamer\gst\parse\meson.build:10:0: ERROR: Command
  "c:\python38\python.exe
  C:\builds\thaytan\gst-plugins-good\gst-build\subprojects\gstreamer\gst\parse\get_flex_version.py
  C:\builds\thaytan\gst-plugins-good\gst-build\subprojects\win-flex-bison-binaries\win_flex.exe"
  failed with status 1.
```

https://gitlab.freedesktop.org/thaytan/gst-plugins-good/-/jobs/2066909

```
meson.build:1:0: ERROR: Executables created by c compiler cl are not runnable.
```

https://gitlab.freedesktop.org/nirbheek/gst-ci/-/jobs/2070394

gst-build: Always include meson-logs in the artifacts

Can't figure out build errors without this.

ci: Re-enable example builds for MR

As we should still build the examples to make sure they are not broken.

Reported-by: Matthew Waters <matthew@centricular.com>

ci: Always run CI for gst-docs

We have an external cron that rely on this to pull and update the doc on the
webpage.

Fixes #64

ci: Remove uneeded cerbero jobs from gst-docs CI

docker: install intel-mediasdk on Fedora image

Will be used to build gst-msdk in gst-plugins-bad.
Fix #52

docker: fedora: update to Fedora 31

aom-extra-tools has been removed from Fedora:
https://src.fedoraproject.org/rpms/aom/c/038d7b2164e15c9067af3d2d2e0b50a4d890b218?branch=master

gstreamer1-plugins-bad-nonfree has been removed from rpmfusion:
https://pkgs.rpmfusion.org/cgit/nonfree/gstreamer1-plugins-bad-nonfree.git/commit/?id=30641c2ded63d12e099d32cb814bab8244f48c90
It was only used of its build deps of which only faac-devel was not
already installed, so I added it instead.

Need to manually install pip3 now.

ci: Switch msys2 job to manual

This will reduce the excessive load on the runners which are having issues
with this job in particuliar. We will revisit when we better understand the
runners issues.

ci: Replace REGEX variables

Passing regex as variable does not really works, we ended up matching the
regex as a string instead. Replace all REGEX variable with rules: override.
It is longer but more reliable.

Related to !247
Fixes #63

ci: disable Rust jobs for now

They are not reliable enough (#53) and generated artifacts are too big (#61)
so disable them until those issues are solved.

Fix https://gitlab.freedesktop.org/gstreamer/gst-plugins-rs/issues/97

ci: Fix gstreamer-full job to run in gst-build

It was set to gst-omx by accident instead.

ci: Fix exceptions for gst indent job

The name of the variable passing the exception regex wasn't correct. As a side
effect, gst-indent was not run on all repository.

ci: Remove spurious except regex in valgrind test

This was ported but unused from the previous code. In the new code it was
preventing valgrind jobs from being run in gstreamer repository.

ci: Remove outdated commemt

We no longer use awk or cat int hat context.

ci: Cleanup gst-omx from unneeded jobs

Only run CI automatically on merge_request

Make jobs interruptible by default

This was added in 12.3 and is false by default. Make it to true, so that we
stop the previous pipelien on force push.

Port from only/except to rules

Rules is a new feature that replaces only/except and allow for finer grain
control on the workflow. With rules, we gain finer grain to pipeline and merge
request pipelines.

gst-full: Only build 1 plugin and disable all artifacts

This is enough to validate that it works for now.

Fixes: #60

ci_template: extend the scenarios where retries are attempted

The windows runner has become a bit unstable lately, might be
due to some recent update. It frequently timeouts while waiting
to pick up a job or sometimes it goes missing in the middle of a job.

gitlab: build gst-omx with tizonia as target

Build just the minimum to be able to build gst-omx with this specific
target.

docker: allow to specify the branch to pull for various repos

Declare an docker build-arg [1] and use it
whenever cloning one of our repositories. If the buildarg
is not specified, the variable defaults back to 'master'
and thus the current behavior doesn't change.

From the .gitlab-ci.yml file, when building pass
the GST_UPSTREAM_BRANCH that's defined from the ci_template
as the buildarg so we will be building the corresponding branches
for the docker images.

Close #33

[1] https://docs.docker.com/engine/reference/builder/#arg

gitlab/cerbero: Use new prefix for jobs built with MinGW

Add integration test for gstreamer-full-1.0

gitlab/cerbero: Do not add tmp files to cerbero-deps tarball

This is where the WINEPREFIX is now in Cerbero. This used to be
share/wine, but was moved to var/tmp/wine for clarity. It was causing
two problems:

1. The size of these generated files are ~1GB, which were ~500MB after
   tar.gz, and they were completely useless since they can just be
   regenerated by Wine the next time it's run. Let's not waste egress
   bandwidth.

2. Random build failures because wineserver and associated processes
   would not always exit before we started tarring up the prefix, then
   write to the directory on exit while tar was reading the directory
   causing `tar -czf` to fail:

```
$ tar -C ${CERBERO_HOME} -czf $CERBERO_DEPS build-tools build-tools.cache dist/${ARCH} ${ARCH}.cache
tar: build-tools/share/wine: file changed as we read it
Uploading artifacts...
manifest.xml: found 1 matching files
cerbero-build/logs: found 461 matching files
cerbero-build/cerbero-deps.log: found 1 matching files
cerbero-deps.tar.gz: found 1 matching files
Uploading artifacts to coordinator... ok            id=1807197 responseStatus=201 Created token=4_qFUP8z
ERROR: Job failed: exit code 1
```

cerbero-android: don't upload the '-runtime' package

It's useless for android

windows: checkout the correct branch of gst-build for stable branch

Previously we would always checkout from master, which doesn't
end up working well for the stable branch. We already have a mechanism
to specify the correct branch to clone from each template. [1]

[1] https://gitlab.freedesktop.org/gstreamer/gst-ci/-/merge_requests/118

gitlab: Run ges valgrind tests on devtools changes

We have validate 'unit test' there

windows: try to avoid random failures due to pre-existing gst-build clone

This is slightly weird, cause I am not sure what causes the clone
to be there, since gitlab-runner supposedly always either use a
clean volume or at least runs git clean on the existing ones.

But its there and so we have to deal with failures like so
https://gitlab.freedesktop.org/tpm/gstreamer-sharp/-/jobs/1672137

gitlab: update fedora image

Update to meson 0.53.1

docker: fedora: update to meson 0.53.1

Needed to build Tizonia (gst-omx backend).

ci_template: update the docker image versions

docker/fedora: upgrade base images to f31

All the images except the gst-build fedora image,
due to further changes being needed

docker/fedora: add libappstream-glib to the image

Needed to validate the appstream files of GstDebugViewer
in gst-devtools.

https://gitlab.freedesktop.org/gstreamer/gst-devtools/merge_requests/155

gitlab: use libsodium from system

The Rust crate can either build its own libsodium or use the one from
the system. Do the latter to reduce build time.

gitlab: update fedora image

gitlab/cerbero: Run gst-inspect on the built binaries

Using the latest cerbero image to get Wine for cross-win32|64.

docker/cerbero: Install wine in system setup

This is now an optional runtime dependency that cerbero can make use
of for doing runtime testing of the built binaries. Needed for
building a new image so that !227 can be merged.

docker: fedora: install Tizonia dep

Need to build gst-omx with Tizonia as target (#20).

ci_template.yml: Update the windows image version

docker/windows: work around a python ssl issue

Python fails to validate github.com SSL certificate, unless we first
run a dummy download to force refreshing Windows' CA database.
See: https://bugs.python.org/issue36137

Adapted from patches by Xavier Claessens!

docker/windows: install cmake with choco as well

docker/windows: copy the install scripts just before running them

This results into more docker layers, but it avoid invalidating
the previous layers when changing anything in the script, making
build times faster.

Adapted from patches by Xavier Claessens!

docker/windows: install git, gitlfs, 7zip and python3 with choco

Move them into a seperate script to avoid needing to refresh the
env, and make it simpler.

Adapted from patches by Xavier Claessens!

docker/windows: use direct download links from mirrors

Else Invoke-WebRequest gets redirected and ends up downloading
html page. Possibly due to an unkown user-agent? who knows.

docker/windows: Download and install MSYS for Cerbero

docker/windows: Install CMake for Cerbero

docker/windows: Fix 7zip extract command for MSYS2

-Wait is only needed for Start-Process. Also, explicitly extract the
tar file into C:\ -- don't assume the current directory is C:\

docker/windows: Clarify some MSYS2 install steps

docker/windows: Update python, git, and MSYS2

The git update is particularly important because of security
vulnerabilities on Windows related to NTFS.

docker/windows: Use load-balancing for sourceforge URLs

Instead of using a specific mirror, which may be slow or might
disappear.

docker/windows: Install Python to a path without spaces

This is needed for Cerbero since Autotools cannot handle paths to
binaries that have spaces in them.

docker/windows: Download Python installer as python3-installer

Having a binary called 'python3' anywhere that might accidentally end
up in PATH is asking for trouble.

docker/fedora: Install libdav1d

This library is required for the gst-plugins-rs rsdav1d plugin build.

gitlab: run gst-plugins-rs tests

Fix #46

gitlab: override 'except' on build rust job

The parent job has an except rule on gst-plugins-rs which was inherited
preventing the job to be run on gst-plugins-rs updates.

Fix #51

docker: fedora: install libsodium

Used by a Rust plugin.

gitlab: move gst-plugins-rs to its own job

Building Rust code is significantly slowing down ci so do it only for
projects which could make gst-plugins-rs regress.

CI: integration: Split this test in 4 jobs

That job was the slowest, now each jobs takes about 12 minutes, which
makes it slightly faster then msys2 jobs, and sometime iOS due to low
bandwidth and low availibility of OSX runners.

gitlab: cache CARGO_HOME in shared cache

gitlab: enable gst-plugins-rs in build fedora jobs

gitlab: don't run gst-plugins-rs tests

They are not working with CI atm, see #46

gitlab-ci: Fix docker tag when pushing image

Missed in https://gitlab.freedesktop.org/gstreamer/gst-ci/merge_requests/213

gitlab: build gst-omx with zynq as target

Build just the minimum to be able to build gst-omx with this specific
target.

gitlab-ci.yml: Allow tagging images built on upstream branches

If we're on the gstreamer namespace, we should push all images built
on that namespace to the registry. This is needed to, f.ex., update
the docker image used in stable builds. This is needed for:
https://gitlab.freedesktop.org/gstreamer/cerbero/merge_requests/367

docker/cerbero: Do not manually install nasm when building image

This is pulled in correctly via cerbero's bootstrap deps now.

gitlab: disable most jobs for gst-plugins-rs

No need to run jobs which are not building gst-plugins-rs.

gitlab/gst-build: Disable building rust plugins

gst-build now includes gst-plugins-rs, but gst-plugins-rs CI does not
run the gst-build CI jobs, so MRs can easily break gst-build CI.

F.ex: https://gitlab.freedesktop.org/gstreamer/gst-plugins-rs/merge_requests/186#note_371696

Disable this till that's resolved.

gitlab: update Fedora image

Include Rust environnement fix.

docker: export RUSTUP/CARGO_HOME in container

The rust binaries (rustc) needs those variables to be defined to work
properly.

gitlab: update fedora image

Use image with Rust.

docker/fedora: install Rust

Needed to build gst-plugins-rs, see gst-plugins-rs!205