src/v8/test/mjsunit/mjsunit.status

   1 # Copyright 2012 the V8 project authors. All rights reserved.
   2 # Redistribution and use in source and binary forms, with or without
   3 # modification, are permitted provided that the following conditions are
   4 # met:
   5 #
   6 #     * Redistributions of source code must retain the above copyright
   7 #       notice, this list of conditions and the following disclaimer.
   8 #     * Redistributions in binary form must reproduce the above
   9 #       copyright notice, this list of conditions and the following
  10 #       disclaimer in the documentation and/or other materials provided
  11 #       with the distribution.
  12 #     * Neither the name of Google Inc. nor the names of its
  13 #       contributors may be used to endorse or promote products derived
  14 #       from this software without specific prior written permission.
  15 #
  16 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  17 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  18 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  19 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  20 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  21 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  22 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  23 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  24 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  26 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27
  28 [
  29 [ALWAYS, {
  30   # All tests in the bug directory are expected to fail.
  31   'bugs/*': [FAIL],
  32
  33   ##############################################################################
  34   # Flaky tests.
  35   # BUG(v8:2921).
  36   'debug-step-4-in-frame': [PASS, FAIL, SLOW],
  37
  38   ##############################################################################
  39   # Fails.
  40   'regress/regress-1119': [FAIL],
  41
  42   # Issue 1719: Slow to collect arrays over several contexts.
  43   'regress/regress-524': [SKIP],
  44   # When that bug is fixed, revert the expectation to:
  45   # Skip long running test in debug and allow it to timeout in release mode.
  46   # regress/regress-524: [PASS, TIMEOUT, ['mode == debug', SKIP]],
  47
  48   # This test non-deterministically runs out of memory on Windows ia32.
  49   'regress/regress-crbug-160010': [SKIP],
  50
  51   ##############################################################################
  52   # Too slow in debug mode with --stress-opt mode.
  53   'compiler/regress-stacktrace-methods': [PASS, ['mode == debug', SKIP]],
  54   'compiler/regress-funcaller': [PASS, ['mode == debug', SKIP]],
  55   'regress/regress-2318': [PASS, ['mode == debug', SKIP]],
  56   'regress/regress-create-exception': [PASS, ['mode == debug', SKIP]],
  57
  58   ##############################################################################
  59   # Too slow in debug mode for GC stress mode.
  60   'regress/regress-crbug-217858': [PASS, ['mode == debug', SKIP]],
  61
  62   ##############################################################################
  63   # Only regexp stuff tested, no need for extensive Crankshaft tests.
  64   'regexp-global': [PASS, NO_VARIANTS],
  65
  66   ##############################################################################
  67   # No need to waste time for this test.
  68   'd8-performance-now': [PASS, NO_VARIANTS],
  69
  70   ##############################################################################
  71   # These use a built-in that's only present in debug mode. They take
  72   # too long to run in debug mode on ARM and MIPS.
  73   'fuzz-natives-part*': [PASS, ['mode == release or arch == arm or arch == android_arm or arch == mipsel', SKIP]],
  74
  75   'big-object-literal': [PASS, ['arch == arm or arch == android_arm', SKIP]],
  76
  77   # Issue 488: this test sometimes times out.
  78   'array-constructor': [PASS, TIMEOUT],
  79
  80   # Very slow on ARM and MIPS, contains no architecture dependent code.
  81   'unicode-case-overoptimization': [PASS, NO_VARIANTS, ['arch == arm or arch == android_arm or arch == mipsel', TIMEOUT]],
  82
  83   ##############################################################################
  84   # This test expects to reach a certain recursion depth, which may not work
  85   # for debug mode.
  86   'json-recursive': [PASS, ['mode == debug', PASS, FAIL]],
  87
  88   ##############################################################################
  89   # Skip long running tests that time out in debug mode.
  90   'generated-transition-stub': [PASS, ['mode == debug', SKIP]],
  91
  92   ##############################################################################
  93   # This test sets the umask on a per-process basis and hence cannot be
  94   # used in multi-threaded runs.
  95   # On android there is no /tmp directory.
  96   'd8-os': [PASS, ['isolates or arch == android_arm or arch == android_ia32', SKIP]],
  97   'tools/tickprocessor': [PASS, ['arch == android_arm or arch == android_ia32', SKIP]],
  98
  99   ##############################################################################
 100   # Long running test that reproduces memory leak and should be run manually.
 101   'regress/regress-2073': [SKIP],
 102
 103   ##############################################################################
 104   # Tests verifying CHECK and ASSERT.
 105   'verify-check-false': [FAIL, NO_VARIANTS],
 106   'verify-assert-false': [NO_VARIANTS, ['mode == release', PASS], ['mode == debug', FAIL]],
 107
 108   ##############################################################################
 109   # Tests with different versions for release and debug.
 110   'compiler/alloc-number': [PASS, ['mode == debug', SKIP]],
 111   'compiler/alloc-number-debug': [PASS, ['mode == release', SKIP]],
 112   'regress/regress-634': [PASS, ['mode == debug', SKIP]],
 113   'regress/regress-634-debug': [PASS, ['mode == release', SKIP]],
 114
 115   # BUG(336820). TODO(bmeurer): Investigate.
 116   'regress/regress-336820': [PASS, FAIL],
 117
 118   # BUG(v8:2989). PASS/FAIL on linux32 because crankshaft is turned off for
 119   # nosse2. Also for arm novfp3.
 120   'regress/regress-2989': [FAIL, NO_VARIANTS, ['system == linux and arch == ia32 or arch == arm and simulator == True', PASS]],
 121 }],  # ALWAYS
 122
 123 ##############################################################################
 124 ['gc_stress == True', {
 125   # Skip tests not suitable for GC stress.
 126   'allocation-site-info': [SKIP],
 127   'array-constructor-feedback': [SKIP],
 128   'array-feedback': [SKIP],
 129   'array-literal-feedback': [SKIP],
 130   'd8-performance-now': [SKIP],
 131   'elements-kind': [SKIP],
 132   'fast-prototype': [SKIP],
 133   'opt-elements-kind': [SKIP],
 134   'osr-elements-kind': [SKIP],
 135   'regress/regress-165637': [SKIP],
 136   'regress/regress-2249': [SKIP],
 137 }],  # 'gc_stress == True'
 138
 139 ##############################################################################
 140 ['asan == True', {
 141   # Skip tests not suitable for ASAN.
 142   'big-array-literal': [SKIP],
 143   'big-object-literal': [SKIP],
 144   'regress/regress-crbug-178790': [SKIP],
 145 }],  # 'asan == True'
 146
 147 ##############################################################################
 148 ['arch == arm or arch == android_arm', {
 149
 150   # Slow tests which times out in debug mode.
 151   'try': [PASS, ['mode == debug', SKIP]],
 152   'debug-scripts-request': [PASS, ['mode == debug', SKIP]],
 153   'array-constructor': [PASS, ['mode == debug', SKIP]],
 154   'regress/regress-1122': [PASS, ['mode == debug and arch == android_arm', SKIP]],
 155
 156   # Flaky test that can hit compilation-time stack overflow in debug mode.
 157   'unicode-test': [PASS, ['mode == debug', PASS, FAIL]],
 158
 159   # Times out often in release mode on ARM.
 160   'compiler/regress-stacktrace-methods': [PASS, PASS, ['mode == release', TIMEOUT]],
 161   'array-splice': [PASS, TIMEOUT],
 162
 163   # Long running test.
 164   'string-indexof-2': [PASS, TIMEOUT],
 165   'mirror-object': [PASS, TIMEOUT],
 166
 167   # Long running tests. Skipping because having them timeout takes too long on
 168   # the buildbot.
 169   'compiler/alloc-number': [SKIP],
 170   'regress/regress-490': [SKIP],
 171   'regress/regress-634': [SKIP],
 172   'regress/regress-create-exception': [SKIP],
 173   'regress/regress-3247124': [SKIP],
 174
 175   # Requires bigger stack size in the Genesis and if stack size is increased,
 176   # the test requires too much time to run.  However, the problem test covers
 177   # should be platform-independent.
 178   'regress/regress-1132': [SKIP],
 179
 180   # Stack manipulations in LiveEdit is not implemented for this arch.
 181   'debug-liveedit-check-stack': [SKIP],
 182   'debug-liveedit-stack-padding': [SKIP],
 183   'debug-liveedit-restart-frame': [SKIP],
 184   'debug-liveedit-double-call': [SKIP],
 185
 186   # Currently always deopt on minus zero
 187   'math-floor-of-div-minus-zero': [SKIP],
 188
 189   ############################################################################
 190   # Slow tests.
 191   'regress/regress-2185-2': [PASS, SLOW],
 192   'mirror-object': [PASS, SLOW],
 193   'compiler/osr-with-args': [PASS, SLOW],
 194   'array-sort': [PASS, SLOW],
 195   'packed-elements': [PASS, SLOW],
 196   'regress/regress-91008': [PASS, SLOW],
 197   'regress/regress-2790': [PASS, SLOW],
 198   'regress/regress-json-stringify-gc': [PASS, SLOW],
 199   'regress/regress-1122': [PASS, SLOW],
 200 }],  # 'arch == arm or arch == android_arm'
 201
 202 ##############################################################################
 203 ['arch == mipsel', {
 204
 205   # Slow tests which times out in debug mode.
 206   'try': [PASS, ['mode == debug', SKIP]],
 207   'debug-scripts-request': [PASS, ['mode == debug', SKIP]],
 208   'array-constructor': [PASS, ['mode == debug', SKIP]],
 209
 210   # Times out often in release mode on MIPS.
 211   'compiler/regress-stacktrace-methods': [PASS, PASS, ['mode == release', TIMEOUT]],
 212   'array-splice': [PASS, TIMEOUT],
 213
 214   # Long running test.
 215   'mirror-object': [PASS, TIMEOUT],
 216   'string-indexof-2': [PASS, TIMEOUT],
 217
 218   # Long running tests. Skipping because having them timeout takes too long on
 219   # the buildbot.
 220   'compiler/alloc-number': [SKIP],
 221   'regress/regress-490': [SKIP],
 222   'regress/regress-634': [SKIP],
 223   'regress/regress-create-exception': [SKIP],
 224   'regress/regress-3247124': [SKIP],
 225
 226   # Requires bigger stack size in the Genesis and if stack size is increased,
 227   # the test requires too much time to run.  However, the problem test covers
 228   # should be platform-independent.
 229   'regress/regress-1132': [SKIP],
 230
 231   # Stack manipulations in LiveEdit is not implemented for this arch.
 232   'debug-liveedit-check-stack': [SKIP],
 233   'debug-liveedit-stack-padding': [SKIP],
 234   'debug-liveedit-restart-frame': [SKIP],
 235   'debug-liveedit-double-call': [SKIP],
 236
 237   # Currently always deopt on minus zero
 238   'math-floor-of-div-minus-zero': [SKIP],
 239 }],  # 'arch == mipsel'
 240
 241 ##############################################################################
 242 # Native Client uses the ARM simulator so will behave similarly to arm
 243 # on mjsunit tests.
 244 # TODO(bradchen): enable more tests for NaCl V8 when it stops using
 245 # the ARM simulator.
 246 ##############################################################################
 247 ['arch == nacl_ia32 or arch == nacl_x64', {
 248   # There is no /tmp directory for NaCl runs
 249   'd8-os': [SKIP],
 250
 251   # Stack manipulations in LiveEdit is not implemented for this arch.
 252   'debug-liveedit-check-stack': [SKIP],
 253   'debug-liveedit-stack-padding': [SKIP],
 254   'debug-liveedit-restart-frame': [SKIP],
 255   'debug-liveedit-double-call': [SKIP],
 256
 257   # This test dumps core for arm.debug, so no reason to expect it to work
 258   # for NaCl. The other three fuzz-natives tests seem to run fine.
 259   # As noted above none of them are run in the arm.debug case.
 260   'fuzz-natives-part4': [SKIP],
 261
 262   # NaCl builds have problems with this test since Pepper_28.
 263   # V8 Issue 2786
 264   'math-exp-precision': [SKIP],
 265
 266   # Requires bigger stack size in the Genesis and if stack size is increased,
 267   # the test requires too much time to run.  However, the problem test covers
 268   # should be platform-independent.
 269   'regress/regress-1132': [SKIP],
 270
 271   # Poor performance for NaCl V8 causes an assertion failure for this test.
 272   'regress/regress-165637': [SKIP],
 273
 274   # Skip long running test that times out in debug mode and goes OOM on NaCl.
 275   'regress/regress-crbug-160010': [SKIP],
 276
 277   # Bug(v8:2978).
 278   'lithium/MathExp': [PASS, FAIL],
 279 }],  # 'arch == nacl_ia32 or arch == nacl_x64'
 280
 281 ##############################################################################
 282 ['deopt_fuzzer == True', {
 283
 284   # Skip tests that are not suitable for deoptimization fuzzing.
 285   'assert-opt-and-deopt': [SKIP],
 286   'never-optimize': [SKIP],
 287   'regress/regress-2185-2': [SKIP],
 288   'harmony/object-observe': [SKIP],
 289   'readonly': [SKIP],
 290   'array-feedback': [SKIP],
 291
 292   # Deopt every n garbage collections collides with deopt every n times.
 293   'regress/regress-2653': [SKIP],
 294 }],  # 'deopt_fuzzer == True'
 295 ]