ci/deqp: Skip flush_finish on all CI jobs.
authorEmma Anholt <emma@anholt.net>
Fri, 11 Jun 2021 21:03:37 +0000 (14:03 -0700)
committerEmma Anholt <emma@anholt.net>
Mon, 14 Jun 2021 19:09:19 +0000 (12:09 -0700)
They're too slow to run in CI even on non-tiled renderers, they don't
block conformance (unless you crash), and provide unreliable warning
results unless you isolate them from other activity on the system.

This means that the following jobs now skip these tests:

- deqp-iris-*
- deqp-llvmpipe (you know, the one mentioned in the comment!)
- deqp-virgl-gl
- deqp-zink-lvp

Acked-by: Alyssa Rosenzweig <alyssa.rosenzweig@collabora.com>
Reviewed-by: Christian Gmeiner <christian.gmeiner@gmail.com>
Part-of: <https://gitlab.freedesktop.org/mesa/mesa/-/merge_requests/11333>

12 files changed:
.gitlab-ci/deqp-all-skips.txt [moved from .gitlab-ci/deqp-default-skips.txt with 60% similarity]
.gitlab-ci/deqp-runner.sh
src/broadcom/ci/deqp-vc4-rpi3-skips.txt
src/freedreno/ci/deqp-freedreno-a530-skips.txt
src/freedreno/ci/deqp-freedreno-a630-skips.txt
src/gallium/drivers/lima/ci/deqp-lima-skips.txt
src/gallium/drivers/panfrost/ci/deqp-panfrost-g52-skips.txt
src/gallium/drivers/panfrost/ci/deqp-panfrost-t720-skips.txt
src/gallium/drivers/panfrost/ci/deqp-panfrost-t760-skips.txt [deleted file]
src/gallium/drivers/panfrost/ci/deqp-panfrost-t820-skips.txt [deleted file]
src/gallium/drivers/radeonsi/ci/deqp-radeonsi-stoney-skips.txt [deleted file]
src/gallium/drivers/softpipe/ci/deqp-softpipe-skips.txt

similarity index 60%
rename from .gitlab-ci/deqp-default-skips.txt
rename to .gitlab-ci/deqp-all-skips.txt
index de86b64..c4d71cb 100644 (file)
@@ -2,5 +2,6 @@
 # non-zero-length and not starting with '#', will regex match to
 # delete lines from the test list.  Be careful.
 
-# These are really slow on tiling architectures (including llvmpipe).
+# These are tremendously slow (pushing toward a minute), and aren't
+# reliable to be run in parallel with other tests due to CPU-side timing.
 dEQP-GLES[0-9]*.functional.flush_finish.*
index 98c6e1d..b3d0bd9 100755 (executable)
@@ -98,9 +98,7 @@ fi
 touch $INSTALL/deqp-$GPU_VERSION-flakes.txt
 
 if [ -e "$INSTALL/deqp-$GPU_VERSION-skips.txt" ]; then
-    DEQP_RUNNER_OPTIONS="$DEQP_RUNNER_OPTIONS --skips $INSTALL/deqp-$GPU_VERSION-skips.txt"
-else
-    DEQP_RUNNER_OPTIONS="$DEQP_RUNNER_OPTIONS --skips $INSTALL/deqp-default-skips.txt"
+    DEQP_SKIPS="$INSTALL/deqp-$GPU_VERSION-skips.txt"
 fi
 
 set +e
@@ -127,6 +125,7 @@ run_cts() {
         --deqp $deqp \
         --output $RESULTS \
         --caselist $caselist \
+        --skips $INSTALL/deqp-all-skips.txt $DEQP_SKIPS \
         --flakes $INSTALL/deqp-$GPU_VERSION-flakes.txt \
         --testlog-to-xml  /deqp/executor/testlog-to-xml \
         $JOB \
index a90863c..62d4d93 100644 (file)
@@ -2,9 +2,6 @@
 # non-zero-length and not starting with '#', will regex match to
 # delete lines from the test list.  Be careful.
 
-# These are really slow on tiling architectures (including llvmpipe).
-dEQP-GLES[0-9]*.functional.flush_finish.*
-
 # This is causing a binning memory overflow problem
 dEQP-GLES2.functional.fragment_ops.scissor.outside_render_line
 
index 0268bbd..dc4c488 100644 (file)
@@ -2,9 +2,6 @@
 # non-zero-length and not starting with '#', will regex match to
 # delete lines from the test list.  Be careful.
 
-# These are really slow on tiling architectures
-dEQP-GLES[0-9]*.functional.flush_finish.*
-
 # Times out
 dEQP-GLES31.functional.ssbo.layout.random.all_shared_buffer.36
 
index 50c8cad..5f711ab 100644 (file)
@@ -2,9 +2,6 @@
 # non-zero-length and not starting with '#', will regex match to
 # delete lines from the test list.  Be careful.
 
-# These are really slow on tiling architectures (including llvmpipe).
-dEQP-GLES[0-9]*.functional.flush_finish.*
-
 # Timeouts, passes otherwise
 KHR-GL33.texture_swizzle.smoke
 
index ac83b8a..da2fc83 100644 (file)
@@ -2,9 +2,6 @@
 # non-zero-length and not starting with '#', will regex match to
 # delete lines from the test list.  Be careful.
 
-# These are really slow on tiling architectures (including llvmpipe).
-dEQP-GLES[0-9]*.functional.flush_finish
-
 # These tests fail on GLES2 drivers due to dEQP bug, see
 # https://github.com/KhronosGroup/VK-GL-CTS/pull/241
 dEQP-GLES2.functional.fbo.completeness.renderable.texture.color0.r8
index 0fc34fc..1147d8f 100644 (file)
@@ -2,9 +2,6 @@
 # non-zero-length and not starting with '#', will regex match to
 # delete lines from the test list.  Be careful.
 
-# These are really slow on tiling architectures (including llvmpipe).
-dEQP-GLES[0-9]*.functional.flush_finish.*
-
 # Some compute jobs take more 0.5s, the maximum allowed by the
 # kernel driver
 dEQP-GLES31.functional.draw_indirect.compute_interop.large.*
index 834f756..5ec2c16 100644 (file)
@@ -2,9 +2,6 @@
 # non-zero-length and not starting with '#', will regex match to
 # delete lines from the test list.  Be careful.
 
-# These are really slow on tiling architectures (including llvmpipe).
-dEQP-GLES[0-9]*.functional.flush_finish.*
-
 # Needs investigation
 dEQP-GLES2.functional.fbo.render.shared_colorbuffer.rbo_rgb565_depth_component16
 dEQP-GLES2.functional.fbo.render.shared_colorbuffer.tex2d_rgba_depth_component16
diff --git a/src/gallium/drivers/panfrost/ci/deqp-panfrost-t760-skips.txt b/src/gallium/drivers/panfrost/ci/deqp-panfrost-t760-skips.txt
deleted file mode 100644 (file)
index 50a2283..0000000
+++ /dev/null
@@ -1,7 +0,0 @@
-# Note: skips lists for CI are just a list of lines that, when
-# non-zero-length and not starting with '#', will regex match to
-# delete lines from the test list.  Be careful.
-
-# These are really slow on tiling architectures (including llvmpipe).
-dEQP-GLES[0-9]*.functional.flush_finish.*
-
diff --git a/src/gallium/drivers/panfrost/ci/deqp-panfrost-t820-skips.txt b/src/gallium/drivers/panfrost/ci/deqp-panfrost-t820-skips.txt
deleted file mode 100644 (file)
index de86b64..0000000
+++ /dev/null
@@ -1,6 +0,0 @@
-# Note: skips lists for CI are just a list of lines that, when
-# non-zero-length and not starting with '#', will regex match to
-# delete lines from the test list.  Be careful.
-
-# These are really slow on tiling architectures (including llvmpipe).
-dEQP-GLES[0-9]*.functional.flush_finish.*
diff --git a/src/gallium/drivers/radeonsi/ci/deqp-radeonsi-stoney-skips.txt b/src/gallium/drivers/radeonsi/ci/deqp-radeonsi-stoney-skips.txt
deleted file mode 100644 (file)
index 50a2283..0000000
+++ /dev/null
@@ -1,7 +0,0 @@
-# Note: skips lists for CI are just a list of lines that, when
-# non-zero-length and not starting with '#', will regex match to
-# delete lines from the test list.  Be careful.
-
-# These are really slow on tiling architectures (including llvmpipe).
-dEQP-GLES[0-9]*.functional.flush_finish.*
-
index 724d869..8d44847 100644 (file)
@@ -1,10 +1,6 @@
 # Note: skips lists for CI are just a list of lines that, when
 # non-zero-length and not starting with '#', will regex match to
 # delete lines from the test list.  Be careful.
-
-# These are really slow on tiling architectures (including llvmpipe).
-dEQP-GLES[0-9]*.functional.flush_finish.*
-
 # Random failures
 dEQP-GLES31.functional.draw_buffers_indexed.overwrite_indexed.common_color_mask_buffer_color_mask
 dEQP-GLES31.functional.fbo.no_attachments.maximums.all