test/mjsunit/mjsunit.status

   1 # Copyright 2012 the V8 project authors. All rights reserved.
   2 # Redistribution and use in source and binary forms, with or without
   3 # modification, are permitted provided that the following conditions are
   4 # met:
   5 #
   6 #     * Redistributions of source code must retain the above copyright
   7 #       notice, this list of conditions and the following disclaimer.
   8 #     * Redistributions in binary form must reproduce the above
   9 #       copyright notice, this list of conditions and the following
  10 #       disclaimer in the documentation and/or other materials provided
  11 #       with the distribution.
  12 #     * Neither the name of Google Inc. nor the names of its
  13 #       contributors may be used to endorse or promote products derived
  14 #       from this software without specific prior written permission.
  15 #
  16 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  17 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  18 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  19 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  20 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  21 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  22 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  23 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  24 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  26 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27
  28 [
  29 [ALWAYS, {
  30   # All tests in the bug directory are expected to fail.
  31   'bugs/*': [FAIL],
  32
  33   ##############################################################################
  34   # Flaky tests.
  35   # BUG(v8:2921).
  36   'debug-step-4-in-frame': [PASS, FAIL, SLOW],
  37
  38   ##############################################################################
  39   # Fails.
  40   'regress/regress-1119': [FAIL],
  41
  42   # Issue 1719: Slow to collect arrays over several contexts.
  43   'regress/regress-524': [SKIP],
  44   # When that bug is fixed, revert the expectation to:
  45   # Skip long running test in debug and allow it to timeout in release mode.
  46   # regress/regress-524: [PASS, TIMEOUT, ['mode == debug', SKIP]],
  47
  48   # This test non-deterministically runs out of memory on Windows ia32.
  49   'regress/regress-crbug-160010': [SKIP],
  50
  51   # Issue 3389: deopt_every_n_garbage_collections is unsafe
  52   'regress/regress-2653': [SKIP],
  53
  54   # Issue 3784: setters-on-elements is flaky
  55   'setters-on-elements': [PASS, FAIL],
  56
  57   ##############################################################################
  58   # TurboFan compiler failures.
  59
  60   # TODO(mstarzinger): An arguments object materialized in the prologue can't
  61   # be accessed indirectly. Either we drop that requirement or wait for support
  62   # from the deoptimizer to do that.
  63   'arguments-indirect': [PASS, NO_VARIANTS],
  64
  65   # TODO(verwaest): Some tests are over-restrictive about object layout.
  66   'array-constructor-feedback': [PASS, NO_VARIANTS],
  67   'array-feedback': [PASS, NO_VARIANTS],
  68   'compare-known-objects-slow': [PASS, NO_VARIANTS],
  69   'elements-kind': [PASS, NO_VARIANTS],
  70   'opt-elements-kind': [PASS, NO_VARIANTS],
  71   'smi-representation': [PASS, NO_VARIANTS],
  72
  73   # Some tests are just too slow to run for now.
  74   'big-object-literal': [PASS, NO_VARIANTS],
  75   'bit-not': [PASS, NO_VARIANTS],
  76   'json2': [PASS, NO_VARIANTS],
  77   'packed-elements': [PASS, NO_VARIANTS],
  78   'unbox-double-arrays': [PASS, NO_VARIANTS],
  79   'unicode-test': [PASS, NO_VARIANTS],
  80   'whitespaces': [PASS, NO_VARIANTS],
  81   'compiler/osr-assert': [PASS, NO_VARIANTS],
  82   'regress/regress-2185-2': [PASS, NO_VARIANTS],
  83   'regress/regress-2612': [PASS, NO_VARIANTS],
  84
  85   # Modules are busted
  86   'harmony/module-linking': [SKIP],
  87   'harmony/module-recompile': [SKIP],
  88   'harmony/module-resolution': [SKIP],
  89   'harmony/regress/regress-343928': [SKIP],
  90
  91   # Issue 3660: Replacing activated TurboFan frames by unoptimized code does
  92   # not work, but we expect it to not crash.
  93   'debug-step-turbofan': [PASS, FAIL],
  94
  95   # TODO(mstarzinger): Optimizing top-level code revealed some issues. Fix!
  96   'bitops-info': [PASS, NO_VARIANTS],  # fails on ARM hardware.
  97   'md5': [PASS, NO_VARIANTS],  # fails on ARM hardware.
  98   'debug-break-inline': [PASS, NO_VARIANTS],  # very flaky.
  99   'debug-compile-event-newfunction': [PASS, NO_VARIANTS],
 100   'debug-conditional-breakpoints': [PASS, NO_VARIANTS],
 101   'debug-evaluate-locals-optimized': [PASS, NO_VARIANTS],
 102   'debug-evaluate-locals-optimized-double': [PASS, NO_VARIANTS],
 103   'debug-evaluate-recursive': [PASS, NO_VARIANTS],  # only in no-snap debug.
 104   'debug-ignore-breakpoints': [PASS, NO_VARIANTS],  # only in no-snap debug.
 105   'debug-setbreakpoint': [PASS, NO_VARIANTS],  # only in no-snap debug.
 106   'debug-step': [PASS, NO_VARIANTS],  # windows only.
 107   'debug-step-2': [PASS, NO_VARIANTS],  # flaky in no-snap mode.
 108   'debug-step-3': [PASS, NO_VARIANTS],  # flaky in no-snap mode.
 109   'debug-stepframe-clearing': [PASS, NO_VARIANTS],  # only in no-snap debug.
 110   'debug-stepin-call-function-stub': [PASS, NO_VARIANTS],  # only in no-snap debug.
 111   'regress/regress-3717': [PASS, NO_VARIANTS],  # only in no-snap mode.
 112   'regress/regress-2451': [PASS, NO_VARIANTS],  # with custom snapshot and gc-stress.
 113   'debug-multiple-breakpoints': [PASS, NO_VARIANTS],  # with custom snapshot and gc-stress.
 114   'debug-listbreakpoints': [PASS, NO_VARIANTS],  # arm64 nosnap with turbofan
 115   'debug-enable-disable-breakpoints': [PASS, NO_VARIANTS],  #arm64 nosnap with turbofan.
 116
 117   # Issue 4035: unexpected frame->context() in debugger
 118   'regress/regress-crbug-107996': [PASS, NO_VARIANTS],
 119   'regress/regress-crbug-171715': [PASS, NO_VARIANTS],
 120   'regress/regress-crbug-222893': [PASS, NO_VARIANTS],
 121   'regress/regress-crbug-323936': [PASS, NO_VARIANTS],
 122   'regress/regress-crbug-491943': [PASS, NO_VARIANTS],
 123   'regress/regress-325676': [PASS, NO_VARIANTS],
 124   'debug-evaluate-closure': [PASS, NO_VARIANTS],
 125   'debug-evaluate-with': [PASS, NO_VARIANTS],
 126
 127   # TODO(mstarzinger): Optimizing top-level code flushed out some correctness
 128   # issues on ARM and ARM64.
 129   'es6/math-log2-log10': [PASS, NO_VARIANTS],  # on ARM and ARM64.
 130   'mirror-script': [PASS, NO_VARIANTS],  # on ARM64 only.
 131
 132   # TODO(jarin/mstarzinger): Investigate debugger issues with TurboFan.
 133   'debug-evaluate-const': [PASS, NO_VARIANTS],
 134   'debug-evaluate-locals': [PASS, NO_VARIANTS],
 135   'debug-liveedit-check-stack': [PASS, NO_VARIANTS],  # only in no-snap mode.
 136   'debug-liveedit-double-call': [PASS, NO_VARIANTS],
 137   'debug-set-variable-value': [PASS, NO_VARIANTS],
 138   'debug-stepout-scope-part1': [PASS, NO_VARIANTS],
 139   'debug-stepout-scope-part2': [PASS, NO_VARIANTS],
 140   'debug-stepout-scope-part3': [PASS, NO_VARIANTS],
 141   'es6/debug-evaluate-blockscopes': [PASS, NO_VARIANTS],
 142   # issue 4055:
 143   'es6/generators-debug-scopes': [PASS, NO_VARIANTS],
 144
 145   # TODO(titzer): --always-opt incorrectly disables CrankShaft soft deopt points
 146   'result-table-min': [PASS, NO_VARIANTS],
 147   'result-table-max': [PASS, NO_VARIANTS],
 148   # TODO(titzer): too slow in --turbo mode due to O(n^2) graph verification.
 149   'regress/regress-1122': [PASS, NO_VARIANTS],
 150
 151   # issue 4078:
 152   'allocation-site-info': [PASS, NO_VARIANTS],
 153
 154   ##############################################################################
 155   # Too slow in debug mode with --stress-opt mode.
 156   'compiler/regress-stacktrace-methods': [PASS, ['mode == debug', SKIP]],
 157   'compiler/regress-funcaller': [PASS, ['mode == debug', SKIP]],
 158   'regress/regress-2318': [PASS, ['mode == debug', SKIP]],
 159   'regress/regress-create-exception': [PASS, ['mode == debug', SKIP]],
 160
 161   ##############################################################################
 162   # Too slow in debug mode for validation of elements.
 163   'regress/regress-430201': [PASS, ['mode == debug', SKIP]],
 164   'regress/regress-430201b': [PASS, ['mode == debug', SKIP]],
 165
 166   ##############################################################################
 167   # Too slow in debug mode for GC stress mode.
 168   'regress/regress-crbug-217858': [PASS, ['mode == debug', SKIP]],
 169
 170   ##############################################################################
 171   # Only RegExp stuff tested, no need for extensive optimizing compiler tests.
 172   'regexp-global': [PASS, NO_VARIANTS],
 173   'third_party/regexp-pcre': [PASS, NO_VARIANTS],
 174
 175   ##############################################################################
 176   # No need to waste time for this test.
 177   'd8-performance-now': [PASS, NO_VARIANTS],
 178   'regress/regress-crbug-491062': [PASS, NO_VARIANTS],
 179
 180   # Issue 488: this test sometimes times out.
 181   'array-constructor': [PASS, TIMEOUT],
 182
 183   # Very slow on ARM and MIPS, contains no architecture dependent code.
 184   'unicode-case-overoptimization': [PASS, NO_VARIANTS, ['arch == arm or arch == android_arm or arch == android_arm64 or arch == mipsel or arch == mips64el or arch == mips', TIMEOUT]],
 185   'regress/regress-3976': [PASS, NO_VARIANTS, ['arch == arm or arch == android_arm or arch == android_arm64 or arch == mipsel or arch == mips64el or arch == mips', SKIP]],
 186
 187   ##############################################################################
 188   # This test expects to reach a certain recursion depth, which may not work
 189   # for debug mode.
 190   'json-recursive': [PASS, ['mode == debug', PASS, FAIL]],
 191
 192   ##############################################################################
 193   # Skip long running tests that time out in debug mode.
 194   'generated-transition-stub': [PASS, ['mode == debug', SKIP]],
 195   'migrations': [SKIP],
 196   'array-functions-prototype-misc': [PASS, ['mode == debug', SKIP]],
 197
 198   ##############################################################################
 199   # This test sets the umask on a per-process basis and hence cannot be
 200   # used in multi-threaded runs.
 201   # On android there is no /tmp directory.
 202   # Currently d8-os generates a temporary directory name using Math.random(), so
 203   # we cannot run several variants of d8-os simultaneously, since all of them
 204   # get the same random seed and would generate the same directory name. Besides
 205   # that, it doesn't make sense to run several variants of d8-os anyways.
 206   'd8-os': [PASS, NO_VARIANTS, ['isolates or arch == android_arm or arch == android_arm64 or arch == android_ia32', SKIP]],
 207   'tools/tickprocessor': [PASS, NO_VARIANTS, ['arch == android_arm or arch == android_arm64 or arch == android_ia32', SKIP]],
 208
 209   ##############################################################################
 210   # Long running test that reproduces memory leak and should be run manually.
 211   'regress/regress-2073': [SKIP],
 212
 213   ##############################################################################
 214   # Tests verifying CHECK and ASSERT.
 215   'verify-check-false': [FAIL, NO_VARIANTS],
 216   'verify-assert-false': [NO_VARIANTS, ['mode == release and dcheck_always_on == False', PASS], ['mode == debug or dcheck_always_on == True', FAIL]],
 217
 218   ##############################################################################
 219   # Tests with different versions for release and debug.
 220   'compiler/alloc-number': [PASS, ['mode == debug', SKIP]],
 221   'compiler/alloc-number-debug': [PASS, ['mode == release', SKIP]],
 222   'regress/regress-634': [PASS, ['mode == debug', SKIP]],
 223   'regress/regress-634-debug': [PASS, ['mode == release', SKIP]],
 224
 225   # BUG(336820). TODO(bmeurer): Investigate.
 226   'regress/regress-336820': [PASS, FAIL],
 227
 228   # BUG(v8:2989). PASS/FAIL on linux32 because crankshaft is turned off for
 229   # nosse2. Also for arm novfp3.
 230   'regress/regress-2989': [FAIL, NO_VARIANTS, ['system == linux and arch == x87 or arch == arm and simulator == True', PASS]],
 231
 232   # Skip endain dependent test for mips due to different typed views of the same
 233   # array buffer.
 234   'nans': [PASS, ],
 235
 236   # This test variant makes only sense on arm.
 237   'math-floor-of-div-nosudiv': [PASS, SLOW, ['arch not in [arm, arm64, android_arm, android_arm64]', SKIP]],
 238
 239   # Too slow for slow variants.
 240   'asm/embenchen/*': [PASS, SLOW, FAST_VARIANTS],
 241   'asm/poppler/*': [PASS, SLOW, FAST_VARIANTS],
 242   'asm/sqlite3/*': [PASS, SLOW, FAST_VARIANTS],
 243
 244   # BUG(v8:3838).
 245   'regress/regress-3116': [PASS, ['isolates', FLAKY]],
 246 }],  # ALWAYS
 247
 248 ##############################################################################
 249 ['gc_stress == True', {
 250   # Skip tests not suitable for GC stress.
 251   'allocation-site-info': [SKIP],
 252   'array-constructor-feedback': [SKIP],
 253   'array-feedback': [SKIP],
 254   'array-literal-feedback': [SKIP],
 255   'd8-performance-now': [SKIP],
 256   'debug-stepout-scope-part8': [PASS, ['arch == arm ', FAIL]],
 257   'elements-kind': [SKIP],
 258   'elements-transition-hoisting': [SKIP],
 259   'fast-prototype': [SKIP],
 260   'field-type-tracking': [SKIP],
 261   'getters-on-elements': [SKIP],
 262   'es6/block-let-crankshaft': [SKIP],
 263   'opt-elements-kind': [SKIP],
 264   'osr-elements-kind': [SKIP],
 265   'regress/regress-crbug-137689': [SKIP],
 266   'regress/regress-165637': [SKIP],
 267   'regress/regress-2249': [SKIP],
 268   # Tests taking too long
 269   'debug-stepout-scope-part8': [SKIP],
 270   'mirror-object': [SKIP],
 271   'packed-elements': [SKIP],
 272   'regress/regress-1122': [SKIP],
 273   'regress/regress-331444': [SKIP],
 274   'regress/regress-353551': [SKIP],
 275   'regress/regress-crbug-119926': [SKIP],
 276   'regress/short-circuit': [SKIP],
 277   'stack-traces-overflow': [SKIP],
 278   'unicode-test': [SKIP],
 279   'whitespaces': [SKIP],
 280
 281   # TODO(mstarzinger): Takes too long with TF.
 282   'array-sort': [PASS, NO_VARIANTS],
 283   'regress/regress-91008': [PASS, NO_VARIANTS],
 284   'regress/regress-417709a': [PASS, ['arch == arm64', NO_VARIANTS]],
 285   'regress/regress-transcendental': [PASS, ['arch == arm64', NO_VARIANTS]],
 286   'compiler/osr-regress-max-locals': [PASS, NO_VARIANTS],
 287   'math-floor-of-div': [PASS, NO_VARIANTS],
 288   'unicodelctest': [PASS, NO_VARIANTS],
 289   'unicodelctest-no-optimization': [PASS, NO_VARIANTS],
 290
 291   # Too slow for gc stress.
 292   'asm/embenchen/box2d': [SKIP],
 293
 294   # Issue 3723.
 295   'regress/regress-3717': [SKIP],
 296   # Issue 478788.
 297   'es7/object-observe': [SKIP],
 298
 299   # Issue 3803.
 300   'es6/generators-iteration': [PASS, FLAKY],
 301 }],  # 'gc_stress == True'
 302
 303 ##############################################################################
 304 ['byteorder == big', {
 305   # Emscripten requires little-endian, skip all tests on big endian platforms.
 306   'asm/embenchen/*': [SKIP],
 307   'asm/poppler/*': [SKIP],
 308   'asm/sqlite3/*': [SKIP],
 309 }],  # 'byteorder == big'
 310
 311 ##############################################################################
 312 ['arch == arm64 or arch == android_arm64', {
 313
 314   # arm64 TF timeout.
 315   'regress/regress-1257': [PASS, TIMEOUT],
 316
 317   # Requires bigger stack size in the Genesis and if stack size is increased,
 318   # the test requires too much time to run.  However, the problem test covers
 319   # should be platform-independent.
 320   'regress/regress-1132': [SKIP],
 321
 322   # Pass but take too long to run. Skip.
 323   # Some similar tests (with fewer iterations) may be included in arm64-js
 324   # tests.
 325   'asm/embenchen/box2d': [SKIP],
 326   'asm/embenchen/lua_binarytrees': [SKIP],
 327   'big-object-literal': [SKIP],
 328   'compiler/regress-arguments': [SKIP],
 329   'compiler/regress-gvn': [SKIP],
 330   'compiler/regress-max-locals-for-osr': [SKIP],
 331   'compiler/regress-4': [SKIP],
 332   'compiler/regress-or': [SKIP],
 333   'compiler/regress-rep-change': [SKIP],
 334   'regress/regress-1117': [SKIP],
 335   'regress/regress-1145': [SKIP],
 336   'regress/regress-1849': [SKIP],
 337   'regress/regress-3247124': [SKIP],
 338   'regress/regress-634': [SKIP],
 339   'regress/regress-91008': [SKIP],
 340   'regress/regress-91010': [SKIP],
 341   'regress/regress-91013': [SKIP],
 342   'regress/regress-99167': [SKIP],
 343
 344   # Long running tests.
 345   'regress/regress-2185': [PASS, ['mode == debug', PASS, TIMEOUT]],
 346   'regress/regress-2185-2': [PASS, TIMEOUT],
 347   'whitespaces': [PASS, TIMEOUT, SLOW],
 348
 349   # BUG(v8:3147). It works on other architectures by accident.
 350   'regress/regress-conditional-position': [FAIL],
 351
 352   # BUG(v8:3457).
 353   'deserialize-reference': [PASS, FAIL],
 354
 355   # BUG(v8:4016)
 356   'regress/regress-crbug-467047': [SKIP],
 357
 358   # Slow tests.
 359   'array-concat': [PASS, SLOW],
 360   'array-constructor': [PASS, SLOW],
 361   'array-indexing': [PASS, SLOW],
 362   'array-reduce': [PASS, SLOW],
 363   'array-sort': [PASS, SLOW],
 364   'array-splice': [PASS, SLOW],
 365   'bit-not': [PASS, SLOW],
 366   'compiler/alloc-number': [PASS, SLOW],
 367   'compiler/osr-assert': [PASS, SLOW],
 368   'compiler/osr-with-args': [PASS, SLOW],
 369   'debug-scopes': [PASS, SLOW],
 370   'generated-transition-stub': [PASS, SLOW],
 371   'json2': [PASS, SLOW],
 372   'math-floor-of-div-nosudiv': [PASS, SLOW],
 373   'math-floor-of-div': [PASS, SLOW],
 374   'mirror-object': [PASS, SLOW],
 375   'packed-elements': [PASS, SLOW],
 376   'regress/regress-1122': [PASS, SLOW],
 377   'regress/regress-2185-2': [PASS, SLOW],
 378   'regress/regress-2185': [PASS, SLOW],
 379   'regress/regress-2790': [PASS, SLOW],
 380   'regress/regress-331444': [PASS, SLOW],
 381   'regress/regress-490': [PASS, SLOW],
 382   'regress/regress-crbug-217858': [PASS, SLOW],
 383   'regress/regress-create-exception': [PASS, SLOW],
 384   'regress/regress-json-stringify-gc': [PASS, SLOW],
 385   'string-indexof-2': [PASS, SLOW],
 386   'unicodelctest-no-optimization': [PASS, SLOW],
 387   'unicodelctest': [PASS, SLOW],
 388   'unicode-test': [PASS, SLOW],
 389 }],  # 'arch == arm64'
 390
 391 ['arch == arm64 and mode == debug and simulator_run == True', {
 392
 393   # Pass but take too long with the simulator in debug mode.
 394   'array-iterate-backwards': [PASS, TIMEOUT],
 395   'array-sort': [PASS, TIMEOUT],
 396   'packed-elements': [SKIP],
 397   'regexp-global': [SKIP],
 398   'compiler/alloc-numbers': [SKIP],
 399   'harmony/symbols': [SKIP],
 400   'math-floor-of-div': [PASS, TIMEOUT],
 401   'math-floor-of-div-nosudiv': [PASS, TIMEOUT],
 402   'unicodelctest': [PASS, TIMEOUT],
 403   'unicodelctest-no-optimization': [PASS, TIMEOUT],
 404   # Issue 3219:
 405   'getters-on-elements': [PASS, ['gc_stress == True', FAIL]],
 406 }],  # 'arch == arm64 and mode == debug and simulator_run == True'
 407
 408 ##############################################################################
 409 ['asan == True', {
 410   # Skip tests not suitable for ASAN.
 411   'big-array-literal': [SKIP],
 412   'big-object-literal': [SKIP],
 413   'regress/regress-crbug-178790': [SKIP],
 414 }],  # 'asan == True'
 415
 416 ##############################################################################
 417 ['msan == True', {
 418   # Skip tests not suitable for MSAN.
 419   'big-array-literal': [SKIP],
 420   # ICU upstream issues.
 421   'date': [SKIP],
 422   'deep-recursion': [SKIP],
 423   'regress/regress-builtinbust-7': [SKIP],
 424   'string-localecompare': [SKIP],
 425 }],  # 'msan == True'
 426
 427 ##############################################################################
 428 ['arch == arm or arch == android_arm', {
 429
 430   # Slow tests which times out in debug mode.
 431   'try': [PASS, ['mode == debug', SKIP]],
 432   'debug-scripts-request': [PASS, ['mode == debug', SKIP]],
 433   'array-constructor': [PASS, ['mode == debug', SKIP]],
 434   'regress/regress-1122': [PASS, ['mode == debug and arch == android_arm', SKIP]],
 435
 436   # Flaky test that can hit compilation-time stack overflow in debug mode.
 437   'unicode-test': [PASS, ['mode == debug', PASS, FAIL]],
 438
 439   # Times out often in release mode on ARM.
 440   'compiler/regress-stacktrace-methods': [PASS, ['mode == release', TIMEOUT]],
 441   'array-splice': [PASS, TIMEOUT],
 442
 443   # Long running test.
 444   'string-indexof-2': [PASS, TIMEOUT],
 445   'mirror-object': [PASS, TIMEOUT],
 446
 447   # Long running tests. Skipping because having them timeout takes too long on
 448   # the buildbot.
 449   'big-object-literal': [SKIP],
 450   'compiler/alloc-number': [SKIP],
 451   'regress/regress-490': [SKIP],
 452   'regress/regress-634': [SKIP],
 453   'regress/regress-create-exception': [SKIP],
 454   'regress/regress-3247124': [SKIP],
 455
 456   # Requires bigger stack size in the Genesis and if stack size is increased,
 457   # the test requires too much time to run.  However, the problem test covers
 458   # should be platform-independent.
 459   'regress/regress-1132': [SKIP],
 460
 461   # Currently always deopt on minus zero
 462   'math-floor-of-div-minus-zero': [SKIP],
 463
 464   ############################################################################
 465   # Slow tests.
 466   'regress/regress-2185-2': [PASS, SLOW],
 467   'mirror-object': [PASS, SLOW],
 468   'compiler/osr-with-args': [PASS, SLOW],
 469   'array-sort': [PASS, SLOW],
 470   'packed-elements': [PASS, SLOW],
 471   'regress/regress-91008': [PASS, SLOW],
 472   'regress/regress-2790': [PASS, SLOW],
 473   'regress/regress-json-stringify-gc': [PASS, SLOW],
 474   'regress/regress-1122': [PASS, SLOW],
 475 }],  # 'arch == arm or arch == android_arm'
 476
 477 ##############################################################################
 478 ['arch == mipsel or arch == mips', {
 479
 480   # Slow tests which times out in debug mode.
 481   'try': [PASS, ['mode == debug', SKIP]],
 482   'debug-scripts-request': [PASS, ['mode == debug', SKIP]],
 483   'array-constructor': [PASS, ['mode == debug', SKIP]],
 484
 485   # Times out often in release mode on MIPS.
 486   'compiler/regress-stacktrace-methods': [PASS, ['mode == release', TIMEOUT]],
 487   'array-splice': [PASS, TIMEOUT],
 488
 489   # Long running test.
 490   'mirror-object': [PASS, TIMEOUT],
 491   'string-indexof-2': [PASS, TIMEOUT],
 492
 493   # Long running tests. Skipping because having them timeout takes too long on
 494   # the buildbot.
 495   'compiler/alloc-number': [SKIP],
 496   'regress/regress-490': [SKIP],
 497   'regress/regress-634': [SKIP],
 498   'regress/regress-create-exception': [SKIP],
 499   'regress/regress-3247124': [SKIP],
 500
 501   # Requires bigger stack size in the Genesis and if stack size is increased,
 502   # the test requires too much time to run.  However, the problem test covers
 503   # should be platform-independent.
 504   'regress/regress-1132': [SKIP],
 505
 506   # Currently always deopt on minus zero
 507   'math-floor-of-div-minus-zero': [SKIP],
 508 }],  # 'arch == mipsel or arch == mips'
 509
 510 ##############################################################################
 511 ['arch == mips', {
 512   # Flaky with TF.
 513   'mirror-script': [PASS, NO_VARIANTS],
 514 }],  # 'arch == mips'
 515
 516 ##############################################################################
 517 ['arch == mips64el', {
 518
 519   # Slow tests which times out in debug mode.
 520   'try': [PASS, ['mode == debug', SKIP]],
 521   'debug-scripts-request': [PASS, ['mode == debug', SKIP]],
 522   'array-constructor': [PASS, ['mode == debug', SKIP]],
 523
 524   # Times out often in release mode on MIPS.
 525   'compiler/regress-stacktrace-methods': [PASS, PASS, ['mode == release', TIMEOUT]],
 526   'array-splice': [PASS, TIMEOUT],
 527
 528   # Long running test.
 529   'mirror-object': [PASS, TIMEOUT],
 530   'string-indexof-2': [PASS, TIMEOUT],
 531
 532   # BUG(3251035): Timeouts in long looping crankshaft optimization
 533   # tests. Skipping because having them timeout takes too long on the
 534   # buildbot.
 535   'compiler/alloc-number': [PASS, SLOW],
 536   'compiler/array-length': [PASS, SLOW],
 537   'compiler/assignment-deopt': [PASS, SLOW],
 538   'compiler/deopt-args': [PASS, SLOW],
 539   'compiler/inline-compare': [PASS, SLOW],
 540   'compiler/inline-global-access': [PASS, SLOW],
 541   'compiler/optimized-function-calls': [PASS, SLOW],
 542   'compiler/pic': [PASS, SLOW],
 543   'compiler/property-calls': [PASS, SLOW],
 544   'compiler/recursive-deopt': [PASS, SLOW],
 545   'compiler/regress-4': [PASS, SLOW],
 546   'compiler/regress-funcaller': [PASS, SLOW],
 547   'compiler/regress-rep-change': [PASS, SLOW],
 548   'compiler/regress-arguments': [PASS, SLOW],
 549   'compiler/regress-funarguments': [PASS, SLOW],
 550   'compiler/regress-3249650': [PASS, SLOW],
 551   'compiler/simple-deopt': [PASS, SLOW],
 552   'regress/regress-490': [PASS, SLOW],
 553   'regress/regress-634': [PASS, SLOW],
 554   'regress/regress-create-exception': [PASS, SLOW],
 555   'regress/regress-3218915': [PASS, SLOW],
 556   'regress/regress-3247124': [PASS, SLOW],
 557
 558   # Requires bigger stack size in the Genesis and if stack size is increased,
 559   # the test requires too much time to run.  However, the problem test covers
 560   # should be platform-independent.
 561   'regress/regress-1132': [SKIP],
 562
 563   # Currently always deopt on minus zero
 564   'math-floor-of-div-minus-zero': [SKIP],
 565 }],  # 'arch == mips64el'
 566
 567 ['arch == mips64el and simulator_run == False', {
 568   # Random failures on HW, need investigation.
 569   'debug-*': [SKIP],
 570 }],
 571 ##############################################################################
 572 ['system == windows', {
 573   # TODO(mstarzinger): Too slow with turbo fan.
 574   'big-object-literal': [PASS, ['mode == debug', SKIP]],
 575   'math-floor-of-div': [PASS, ['mode == debug', SKIP]],
 576   'math-floor-of-div-nosudiv': [PASS, ['mode == debug', SKIP]],
 577   'osr-regress-max-locals': [PASS, ['mode == debug', SKIP]],
 578   'unicodelctest': [PASS, ['mode == debug', SKIP]],
 579
 580   # BUG(v8:3435)
 581   'debug-script-breakpoints': [PASS, FAIL],
 582
 583   # BUG(v8:4127)
 584   'deserialize-script-id': [PASS, ['no_snap == True', FLAKY]],
 585 }],  # 'system == windows'
 586
 587 ##############################################################################
 588 # Native Client uses the ARM simulator so will behave similarly to arm
 589 # on mjsunit tests.
 590 # TODO(bradchen): enable more tests for NaCl V8 when it stops using
 591 # the ARM simulator.
 592 ##############################################################################
 593 ['arch == nacl_ia32 or arch == nacl_x64', {
 594   # There is no /tmp directory for NaCl runs
 595   'd8-os': [SKIP],
 596
 597   # Stack manipulations in LiveEdit is not implemented for this arch.
 598   'debug-liveedit-check-stack': [SKIP],
 599   'debug-liveedit-stack-padding': [SKIP],
 600   'debug-liveedit-restart-frame': [SKIP],
 601   'debug-liveedit-double-call': [SKIP],
 602   'harmony/generators-debug-liveedit': [SKIP],
 603
 604   # NaCl builds have problems with this test since Pepper_28.
 605   # V8 Issue 2786
 606   'math-exp-precision': [SKIP],
 607
 608   # Requires bigger stack size in the Genesis and if stack size is increased,
 609   # the test requires too much time to run.  However, the problem test covers
 610   # should be platform-independent.
 611   'regress/regress-1132': [SKIP],
 612
 613   # Poor performance for NaCl V8 causes an assertion failure for this test.
 614   'regress/regress-165637': [SKIP],
 615
 616   # Skip long running test that times out in debug mode and goes OOM on NaCl.
 617   'regress/regress-crbug-160010': [SKIP],
 618
 619   # Skip tests that timout with turbofan.
 620   'regress/regress-1257': [PASS, NO_VARIANTS],
 621   'regress/regress-2618': [PASS, NO_VARIANTS],
 622   'regress/regress-298269': [PASS, NO_VARIANTS],
 623   'regress/regress-634': [PASS, NO_VARIANTS],
 624   'regress/regress-91008': [PASS, NO_VARIANTS],
 625   'compiler/osr-alignment': [PASS, NO_VARIANTS],
 626   'compiler/osr-one': [PASS, NO_VARIANTS],
 627   'compiler/osr-two': [PASS, NO_VARIANTS],
 628   'stack-traces-overflow': [PASS, NO_VARIANTS],
 629   'mirror-object': [PASS, NO_VARIANTS],
 630
 631   # Bug(v8:2978).
 632   'lithium/MathExp': [PASS, FAIL],
 633
 634   # Lead to OOM:
 635   'string-oom-*': [SKIP],
 636
 637   # Crashes.
 638   'harmony/private': [SKIP],
 639   'harmony/symbols': [SKIP],
 640 }],  # 'arch == nacl_ia32 or arch == nacl_x64'
 641
 642 ##############################################################################
 643 ['deopt_fuzzer == True', {
 644
 645   # Skip tests that are not suitable for deoptimization fuzzing.
 646   'assert-opt-and-deopt': [SKIP],
 647   'never-optimize': [SKIP],
 648   'regress/regress-2185-2': [SKIP],
 649   'harmony/object-observe': [SKIP],
 650   'readonly': [SKIP],
 651   'array-feedback': [SKIP],
 652
 653   # Deopting uses just enough memory to make this one OOM.
 654   'regress/regress-3976': [SKIP],
 655
 656   # Deopt every n garbage collections collides with deopt every n times.
 657   'regress/regress-2653': [SKIP],
 658 }],  # 'deopt_fuzzer == True'
 659
 660 ##############################################################################
 661 ['arch == ppc and simulator_run == True or arch == ppc64 and simulator_run == True', {
 662
 663   # take too long with the simulator.
 664   'regress/regress-1132': [SKIP],
 665 }],  # 'arch == ppc and simulator_run == True'
 666 ]