.gitlab-ci.yml: adapt the docker build jobs to be more like citemplates
[platform/upstream/gstreamer.git] / .gitlab-ci.yml
1 include: "gitlab/ci_template.yml"
2
3 stages:
4   - "build docker"
5   - "preparation"
6   - "pre-build"
7   - "build"
8   - "test"
9   # use the binaries in some way
10   - "integrate"
11
12 test manifest:
13   variables:
14     GIT_STRATEGY: fetch
15   rules:
16     - when: 'always'
17   image: 'registry.freedesktop.org/gstreamer/gst-ci/amd64/test-manifest:2019-10-23-793476'
18   stage: "preparation"
19   script:
20     - pytest-3 --junitxml=junit.xml --cov=build_manifest gitlab/build_manifest.py
21   coverage: '/TOTAL.*\s+(\d+%)$/'
22   artifacts:
23     reports:
24       junit:
25         - "junit.xml"
26
27 # have a special definition for the test if the image already exists
28 .check_image: &check_image_exists |
29   # if-not-exists steps
30   set -x
31
32   if [[ -z "$GST_FORCE_REBUILD" ]]
33   then
34     # disable exit on failure
35     set +e
36
37     # check if our image is already in the current registry
38     # we store the sha of the digest and the layers
39     skopeo inspect docker://$LOCAL_IMAGE | jq '[.Digest, .Layers]' > local_sha
40
41     # check if our image is already in the upstream registry
42     if [[ -z "$GST_UPSTREAM_REPO" ]]
43     then
44       echo "WARNING! Variable \$GST_UPSTREAM_REPO is undefined, cannot check for images"
45     else
46       skopeo inspect docker://$GST_UPSTREAM_IMAGE | jq '[.Digest, .Layers]' > upstream_sha
47     fi
48
49     # reenable exit on failure
50     set -e
51
52     # if the upstream repo has an image, ensure we use the same
53     if [ -s upstream_sha ]
54     then
55
56       # ensure we use the same image from upstream
57       diff upstream_sha local_sha && exit 0 || true
58
59       # copy the original image into the current project registry namespace
60       # we do 2 attempts with skopeo copy at most
61       skopeo copy --dest-creds $CI_REGISTRY_USER:$CI_REGISTRY_PASSWORD \
62                   docker://$GST_UPSTREAM_IMAGE \
63                   docker://$LOCAL_IMAGE || \
64       skopeo copy --dest-creds $CI_REGISTRY_USER:$CI_REGISTRY_PASSWORD \
65                   docker://$GST_UPSTREAM_IMAGE \
66                   docker://$LOCAL_IMAGE
67
68       exit 0
69     fi
70
71     # if we have a local image but none in the upstream repo, use our
72     if [ -s local_sha ]
73     then
74       exit 0
75     fi
76   fi
77
78   set +x
79
80 .base:
81   image: 'registry.fedoraproject.org/fedora:32'
82   extends:
83     - '.global_ci_policy'
84   tags: ['gstreamer']
85   rules:
86     - when: 'manual'
87       allow_failure: true
88   variables:
89     STORAGE_DRIVER: 'vfs'
90     BUILDAH_FORMAT: 'docker'
91     BUILDAH_ISOLATION: 'chroot'
92
93     # FIXME: Probably needs to be changed to none and clone gst-ci repo each time, sigh
94     # as these jobs *could* run potentially in a fork of smth like -bad
95     # though given our current setup, its only possible to tweak the CI from a gst-ci
96     # fork so it might be fine
97     GIT_STRATEGY: fetch
98   script:
99     - echo $TAG
100     - echo $REPO_SUFFIX
101
102     - export LOCAL_IMAGE="$CI_REGISTRY_IMAGE/$REPO_SUFFIX:$TAG"
103     - export GST_UPSTREAM_IMAGE="$GST_UPSTREAM_REPO/$REPO_SUFFIX:$TAG"
104
105     - echo $LOCAL_IMAGE
106     - echo $GST_UPSTREAM_IMAGE
107
108     # FIXME: make an image since there will be multiple jobs running every pipeline
109     - dnf install -y buildah skopeo jq runc
110
111     # Newer versions of podman/buildah try to set overlayfs mount options when
112     # using the vfs driver, and this causes errors.
113     - sed -i '/^mountopt =.*/d' /etc/containers/storage.conf
114
115     - *check_image_exists
116
117     - echo "Building image $LOCAL_IMAGE"
118
119     - >
120       buildah bud
121       --build-arg DEFAULT_BRANCH=$GST_UPSTREAM_BRANCH
122       --arch=${ARCH:=amd64}
123       --label ci.job_id=$CI_JOB_ID
124       --label pipeline.url=$CI_PIPELINE_URL
125       --label git.ref_name=$CI_COMMIT_REF_NAME
126       --label git.sha=$CI_COMMIT_SHA
127       --label gitlab.project_path=$CI_PROJECT_PATH
128       --label gitlab.project_url=$CI_PROJECT_URL
129       --label fdo.upstream-repo=$GST_UPSTREAM_REPO
130       --label fdo.expires-after="3w"
131       -f $DOCKERFILE
132       -t $LOCAL_IMAGE
133       $CONTEXT_DIR
134
135     - buildah login -u $CI_REGISTRY_USER -p $CI_REGISTRY_PASSWORD $CI_REGISTRY
136
137
138     # Sanity check
139     - |
140       if [ "$CI_PROJECT_PATH" = "gstreamer/gst-ci" ]; then
141         if [ "$LOCAL_IMAGE" != "$GST_UPSTREAM_IMAGE" ]; then
142           echo "ERROR!!! AAAAA! THE IMAGE URI DOES NOT MATCH THE EXPECTED UPSTREAM ONE"
143           echo $LOCAL_IMAGE
144           echo $GST_UPSTRAM_IMAGE
145           exit 1
146         fi
147       fi
148
149     -  buildah push $LOCAL_IMAGE
150
151 alpine amd64 manifest builder docker:
152   stage: "build docker"
153   variables:
154     TAG: "build-manifest"
155     CONTEXT_DIR: "docker/build_manifest/"
156     DOCKERFILE: "docker/build_manifest/Dockerfile"
157   extends: .base
158
159 test manifest amd64 docker:
160   stage: "build docker"
161   variables:
162     TAG: "test-manifest"
163     CONTEXT_DIR: "docker/test_manifest/"
164     DOCKERFILE: "docker/test_manifest/Dockerfile"
165   extends: .base
166
167 gst-indent amd64 docker:
168   stage: "build docker"
169   variables:
170     TAG: "gst-indent"
171     CONTEXT_DIR: "docker/indent/"
172     DOCKERFILE: "docker/indent/Dockerfile"
173   extends: .base
174
175 fedora amd64 docker:
176   stage: "build docker"
177   variables:
178     REPO_SUFFIX: "amd64/fedora"
179     TAG: "2020-06-18.0-$GST_UPSTREAM_BRANCH"
180
181     CONTEXT_DIR: "docker/fedora/"
182     DOCKERFILE: "docker/fedora/Dockerfile"
183   extends: .base
184
185 cerbero fedora amd64 docker:
186   stage: "build docker"
187   variables:
188     TAG: "cerbero-fedora"
189     CONTEXT_DIR: "docker/cerbero/"
190     DOCKERFILE: "docker/cerbero/Dockerfile-fedora"
191   extends: .base
192
193 android docker:
194   stage: "build docker"
195   variables:
196     TAG: "android"
197     CONTEXT_DIR: "docker/android/"
198     DOCKERFILE: "docker/android/Dockerfile"
199   extends: .base
200
201 .local_rules: &local_rules
202   rules:
203     - if: '$CI_COMMIT_REF_NAME == "master" && $CI_PROJECT_PATH == "gstreamer/gst-ci"'
204       when: 'never'
205     - when: 'manual'
206       allow_failure: true
207
208 .local_template: &local_template
209   <<: *local_rules
210   needs:
211     - 'manifest'
212
213 # Test the build job against the latest build image tag and the local manifest
214 build fedora x86_64 local:
215   extends: '.build'
216   stage: 'build'
217   image: "${CI_REGISTRY_IMAGE}/amd64/fedora:latest"
218   artifacts:
219     expire_in: '5 days'
220     when: always
221     paths:
222       - "manifest.xml"
223       - "gst-build/"
224   <<: *local_template
225
226 build cerbero fedora x86_64 local:
227   extends: 'build cerbero fedora x86_64'
228   image: "${CI_REGISTRY_IMAGE}/amd64/cerbero-fedora:latest"
229   <<: *local_template
230
231 build cerbero cross-android universal local:
232   extends: 'build cerbero cross-android universal'
233   image: "${CI_REGISTRY_IMAGE}/amd64/cerbero-fedora:latest"
234   <<: *local_template
235
236 build cerbero cross win32 local:
237   extends: 'build cerbero cross win32'
238   image: "${CI_REGISTRY_IMAGE}/amd64/cerbero-fedora:latest"
239   <<: *local_template
240
241 build cerbero cross win64 local:
242   extends: 'build cerbero cross win64'
243   image: "${CI_REGISTRY_IMAGE}/amd64/cerbero-fedora:latest"
244   <<: *local_template
245
246 # Note: dependencies: will be deprecated in the future, but current manual
247 # jobs with needs: (even if they are allowed to fail) will leave the pipeline
248 # pending.
249 .test fedora x86_64 local:
250   image: '${CI_REGISTRY_IMAGE}/amd64/fedora:latest'
251   extends: '.test'
252   <<: *local_rules
253
254 check fedora local:
255   extends: '.test fedora x86_64 local'
256   variables:
257     TEST_SUITE: 'check.gst*'
258
259 cross-android universal examples local:
260   extends: '.cross-android universal examples'
261   image: "${CI_REGISTRY_IMAGE}/amd64/android:latest"
262   <<: *local_rules
263   dependencies:
264     - 'build cerbero cross-android universal local'
265
266 integration testsuites fedora local:
267   extends: '.test fedora x86_64 local'
268   before_script:
269     - rm -f gst-build/build/subprojects/gstreamer-vaapi/gst/vaapi/libgstvaapi.so
270   variables:
271     EXTRA_VALIDATE_ARGS: "--timeout-factor=2 --retry-on-failures"
272     TEST_SUITE: "validate ges"