src/v8/test/mozilla/mozilla.status

   1 # Copyright 2011 the V8 project authors. All rights reserved.
   2 # Redistribution and use in source and binary forms, with or without
   3 # modification, are permitted provided that the following conditions are
   4 # met:
   5 #
   6 #     * Redistributions of source code must retain the above copyright
   7 #       notice, this list of conditions and the following disclaimer.
   8 #     * Redistributions in binary form must reproduce the above
   9 #       copyright notice, this list of conditions and the following
  10 #       disclaimer in the documentation and/or other materials provided
  11 #       with the distribution.
  12 #     * Neither the name of Google Inc. nor the names of its
  13 #       contributors may be used to endorse or promote products derived
  14 #       from this software without specific prior written permission.
  15 #
  16 # THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS
  17 # "AS IS" AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT
  18 # LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR
  19 # A PARTICULAR PURPOSE ARE DISCLAIMED. IN NO EVENT SHALL THE COPYRIGHT
  20 # OWNER OR CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL,
  21 # SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT
  22 # LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  23 # DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  24 # THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  26 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27
  28 # This file is up to date with respect to Mozilla's CVS repository as of
  29 # 2010-06-29. If new tests are added to Mozilla's CVS it may need to be
  30 # updated.
  31
  32 # To get the mozilla tests:
  33 # cd /path/to/checkout/test/mozilla
  34 # rm -rf data
  35 # cvs -d :pserver:anonymous@cvs-mirror.mozilla.org:/cvsroot co -D 2010-06-29 mozilla/js/tests
  36 # mv mozilla/js/tests data
  37 # rm -rf mozilla
  38
  39 # --------------------------------------------------------------------
  40 # If you add a test case to this file, please try to provide
  41 # an explanation of why the test fails; this may ease future
  42 # debugging.
  43 # --------------------------------------------------------------------
  44
  45 [
  46 [ALWAYS, {
  47   ##################### NEEDS INVESTIGATION ##############
  48
  49   # BUG(2893): These tests started to fail after i18n support was turned on.
  50   # Need to investigate why.
  51   'ecma_3/Number/15.7.4.3-02': [PASS, FAIL],
  52   'ecma_3/Date/15.9.5.5-02': [PASS, FAIL],
  53
  54   ##################### SKIPPED TESTS #####################
  55
  56   # This test checks that we behave properly in an out-of-memory
  57   # situation.  The test fails in V8 with an exception and takes a long
  58   # time to do so.
  59   'js1_5/Regress/regress-271716-n': [SKIP],
  60
  61   # BUG(960): This test has an insane amount of output when it times out,
  62   # messing up ability to see other failures on the waterfall.
  63   'js1_5/extensions/regress-342960': [SKIP],
  64
  65   # This test uses a unitialized variable. A Bug has been filed:
  66   # https://bugzilla.mozilla.org/show_bug.cgi?id=575575
  67   'js1_5/Array/regress-465980-02': [SKIP],
  68
  69   # These tests are simply wrong (i.e., they do not test what they intend
  70   # to test).
  71   # In particular, these two compare numbers to NaN with != in the current
  72   # version of the Mozilla tests. This is *fixed* in a later version.
  73   # The tests should be re-enabled when switching to a new version.
  74   'ecma_3/Date/15.9.3.2-1': [SKIP],
  75   'js1_2/function/Number': [SKIP],
  76
  77   # TODO(2018): Temporarily allow timeout in debug mode.
  78   'js1_5/GC/regress-203278-2': [PASS, ['mode == debug', TIMEOUT, NO_VARIANTS, FAIL]],
  79
  80   # These tests use invalid LHS expressions in assignments.
  81   'js1_5/Regress/regress-319391': [SKIP],
  82   'js1_5/Regress/regress-350253': [SKIP],
  83   'js1_5/Regress/regress-462292': [SKIP],
  84   'js1_5/decompilation/regress-443071-01': [SKIP],
  85
  86   ##################### SLOW TESTS #####################
  87
  88   # This takes a long time to run (~100 seconds). It should only be run
  89   # by the really patient.
  90   'js1_5/GC/regress-324278': [SKIP],
  91
  92   # This takes a long time to run because our indexOf operation is
  93   # pretty slow - it causes a lot of GCs; see issue
  94   # #926379. We could consider marking this SKIP because it takes a
  95   # while to run to completion.
  96   'js1_5/GC/regress-338653': [SKIP],
  97
  98   # This test is designed to run until it runs out of memory. This takes
  99   # a very long time because it builds strings character by character
 100   # and compiles a lot of regular expressions. We could consider marking
 101   # this SKIP because it takes a while to run to completion.
 102   'js1_5/GC/regress-346794': [SKIP],
 103
 104   # Runs out of memory while trying to build huge string of 'x'
 105   # characters. This takes a long time to run (~32 seconds).
 106   'js1_5/GC/regress-348532': [SKIP],
 107
 108
 109   ##################### FLAKY TESTS #####################
 110
 111   # These tests time out in debug mode but pass in product mode
 112   'js1_5/Regress/regress-360969-03': [PASS, ['mode == debug', TIMEOUT, NO_VARIANTS]],
 113   'js1_5/Regress/regress-360969-04': [PASS, ['mode == debug', TIMEOUT, NO_VARIANTS]],
 114   'js1_5/Regress/regress-360969-05': [PASS, ['mode == debug', TIMEOUT, NO_VARIANTS]],
 115   'js1_5/Regress/regress-360969-06': [PASS, ['mode == debug', TIMEOUT, NO_VARIANTS]],
 116   'js1_5/extensions/regress-365527': [PASS, ['mode == debug', TIMEOUT, NO_VARIANTS]],
 117
 118   'js1_5/Regress/regress-280769-3': [PASS, ['mode == debug', FAIL]],
 119   'js1_5/Regress/regress-203278-1': [PASS, ['mode == debug', FAIL]],
 120   'js1_5/Regress/regress-244470': [PASS, ['mode == debug', FAIL]],
 121   'ecma_3/RegExp/regress-209067': [PASS, ['mode == debug', FAIL]],
 122   'js1_5/GC/regress-278725': [PASS, ['mode == debug', FAIL]],
 123   # http://b/issue?id=1206983
 124   'js1_5/Regress/regress-367561-03': [PASS, ['mode == debug', FAIL]],
 125   'ecma/Date/15.9.5.10-2': [PASS, FAIL, ['mode == debug', TIMEOUT, NO_VARIANTS]],
 126
 127   # These tests create two Date objects just after each other and
 128   # expects them to match.  Sometimes this happens on the border
 129   # between one second and the next.
 130   'ecma/Date/15.9.2.1': [PASS, FAIL],
 131   'ecma/Date/15.9.2.2-1': [PASS, FAIL],
 132   'ecma/Date/15.9.2.2-2': [PASS, FAIL],
 133   'ecma/Date/15.9.2.2-3': [PASS, FAIL],
 134   'ecma/Date/15.9.2.2-4': [PASS, FAIL],
 135   'ecma/Date/15.9.2.2-5': [PASS, FAIL],
 136   'ecma/Date/15.9.2.2-6': [PASS, FAIL],
 137
 138   # 1026139: These date tests fail on arm and mips.
 139   # These date tests also fail in a time zone without daylight saving time.
 140   'ecma/Date/15.9.5.29-1': [PASS, FAIL],
 141   'ecma/Date/15.9.5.28-1': [PASS, FAIL],
 142
 143   # 1050186: Arm/MIPS vm is broken; probably unrelated to dates
 144   'ecma/Array/15.4.4.5-3': [PASS, ['arch == arm or arch == mipsel or arch == mips', FAIL]],
 145   'ecma/Date/15.9.5.22-2': [PASS, ['arch == arm or arch == mipsel or arch == mips', FAIL]],
 146
 147   # Flaky test that fails due to what appears to be a bug in the test.
 148   # Occurs depending on current time
 149   'ecma/Date/15.9.5.8': [PASS, FAIL],
 150
 151   # Severely brain-damaged test. Access to local variables must not
 152   # be more than 2.5 times faster than access to global variables? WTF?
 153   'js1_5/Regress/regress-169559': [PASS, FAIL],
 154
 155
 156   # Test that rely on specific timezone (not working in Denmark).
 157   'js1_5/Regress/regress-58116': [PASS, FAIL],
 158
 159
 160   # Flaky random() test. Tests the distribution of calls to Math.random().
 161   'js1_5/Regress/regress-211590': [PASS, FAIL],
 162
 163
 164   # Flaky tests; expect BigO-order computations to yield 1, but the code
 165   # cannot handle outliers. See bug #925864.
 166   'ecma_3/RegExp/regress-311414': [PASS, FAIL],
 167   'ecma_3/RegExp/regress-289669': [PASS, FAIL],
 168   'js1_5/String/regress-314890': [PASS, FAIL],
 169   'js1_5/String/regress-56940-01': [PASS, FAIL],
 170   'js1_5/String/regress-56940-02': [PASS, FAIL],
 171   'js1_5/String/regress-157334-01': [PASS, FAIL],
 172   'js1_5/String/regress-322772': [PASS, FAIL],
 173   'js1_5/Array/regress-99120-01': [PASS, FAIL],
 174   'js1_5/Array/regress-99120-02': [PASS, FAIL],
 175   'js1_5/Regress/regress-347306-01': [PASS, FAIL],
 176   'js1_5/Regress/regress-416628': [PASS, FAIL, ['mode == debug', TIMEOUT, NO_VARIANTS]],
 177
 178
 179   # The following two tests assume that daylight savings time starts first
 180   # Sunday in April. This is not true when executing the tests outside
 181   # California! In Denmark the adjustment starts one week earlier.
 182   # Tests based on shell that use dates in this gap are flaky.
 183   'ecma/Date/15.9.5.10-1': [PASS, FAIL],
 184   'ecma/Date/15.9.5.12-1': [PASS, FAIL],
 185   'ecma/Date/15.9.5.14': [PASS, FAIL],
 186   'ecma/Date/15.9.5.34-1': [PASS, FAIL],
 187
 188
 189   # These tests sometimes pass (in particular on Windows). They build up
 190   # a lot of stuff on the stack, which normally causes a stack overflow,
 191   # but sometimes it makes it through?
 192   'js1_5/Regress/regress-98901': [PASS, FAIL],
 193
 194
 195   # Tests that sorting arrays of ints is less than 3 times as fast
 196   # as sorting arrays of strings.
 197   'js1_5/extensions/regress-371636': [PASS, FAIL, ['mode == debug', TIMEOUT, NO_VARIANTS]],
 198
 199
 200   # Tests depend on GC timings. Inherently flaky.
 201   'js1_5/GC/regress-383269-01': [PASS, FAIL],
 202   'js1_5/GC/regress-383269-02': [PASS, FAIL],
 203   'js1_5/Regress/regress-404755': [PASS, FAIL],
 204
 205
 206   # Test that depends on timer resolution. Fails every now and then
 207   # if we're unlucky enough to get a context switch at a bad time.
 208   'js1_5/extensions/regress-363258': [PASS, FAIL],
 209
 210
 211   # Test that assumes specific runtime for a regexp, flaky in debug mode.
 212   'ecma_3/RegExp/regress-85721': [PASS, ['mode == debug', FAIL]],
 213
 214
 215   # Test that assumes specific execution time, flaky in debug mode.
 216   'js1_5/Array/regress-101964': [PASS, ['mode == debug', FAIL]],
 217
 218
 219   ##################### INCOMPATIBLE TESTS #####################
 220
 221   # This section is for tests that fail in both V8 and JSC.  Thus they
 222   # have been determined to be incompatible between Mozilla and V8/JSC.
 223
 224   # toPrecision argument restricted to range 1..21 in JSC/V8 and ECMA-262
 225   'js1_5/Regress/regress-452346': [FAIL_OK],
 226
 227   # Fail because it calls builtins as functions and do not expect the
 228   # builtin to have undefined as the receiver.
 229   'ecma/String/15.5.4.6-2': [FAIL_OK],
 230
 231   # Fail because it expects String.prototype.split to distinguish whether
 232   # separator was undefined or not passed at all.
 233   'ecma/String/15.5.4.8-2': [FAIL_OK],
 234
 235   # Fail because of toLowerCase and toUpperCase conversion.
 236   'ecma/String/15.5.4.11-2': [FAIL_OK],
 237   'ecma/String/15.5.4.11-5': [FAIL_OK],
 238   'ecma/String/15.5.4.12-1': [FAIL_OK],
 239   'ecma/String/15.5.4.12-4': [FAIL_OK],
 240
 241   # This test uses an older version of the unicode standard that fails
 242   # us because we correctly convert the armenian small ligature ech-yiwn
 243   # to the two upper-case characters ECH and YIWN, whereas the older
 244   # unicode version converts it to itself.
 245   'ecma/String/15.5.4.12-5': [FAIL_OK],
 246
 247   # Creates a linked list of arrays until we run out of memory or timeout.
 248   'js1_5/Regress/regress-312588': [SKIP],
 249
 250
 251   # Runs out of memory because it compiles huge functions.
 252   'js1_5/Function/regress-338001': [FAIL_OK],
 253   'js1_5/Function/regress-338121-01': [FAIL_OK],
 254   'js1_5/Function/regress-338121-02': [FAIL_OK],
 255   'js1_5/Function/regress-338121-03': [FAIL_OK],
 256
 257   # Expectes 'prototype' property of functions to be enumerable.
 258   'js1_5/Function/10.1.6-01': [FAIL_OK],
 259
 260   #:=== RegExp:===
 261   # We don't match the syntax error message of Mozilla for invalid
 262   # RegExp flags.
 263   'ecma_3/RegExp/15.10.4.1-6': [FAIL_OK],
 264
 265   # PCRE doesn't allow subpattern nesting deeper than 200, this tests
 266   # depth 500.  JSC detects the case, and return null from the match,
 267   # and passes this test (the test doesn't check for a correct return
 268   # value).
 269   'ecma_3/RegExp/regress-119909': [PASS, FAIL_OK],
 270
 271
 272   # Difference in the way capturing subpatterns work.  In JS, when the
 273   # 'minimum repeat count' is reached, the empty string must not match.
 274   # In this case, we are similar but not identical to JSC.  Hard to
 275   # support the JS behavior with PCRE, so maybe emulate JSC?
 276   'ecma_3/RegExp/regress-209919': [PASS, FAIL_OK],
 277   'js1_5/extensions/regress-459606': [PASS, FAIL_OK],
 278
 279
 280   # PCRE's match limit is reached.  SpiderMonkey hangs on the first one,
 281   # JSC returns true somehow.  Maybe they up the match limit?  There is
 282   # an open V8 bug 676063 about this.
 283   # TODO(yangguo): Hangs on complex regexp. Please investigate if this gives
 284   # any useful coverage.
 285   'ecma_3/RegExp/regress-330684': [SKIP],
 286
 287
 288   # This test contains a regexp that runs exponentially long.  Spidermonkey
 289   # standalone will hang, though apparently inside Firefox it will trigger a
 290   # long-running-script timeout.  JSCRE passes by hitting the matchLimit and
 291   # just pretending that an exhaustive search found no match.
 292   # TODO(yangguo): Hangs on complex regexp. Please investigate if this gives
 293   # any useful coverage.
 294   'ecma_3/RegExp/regress-307456': [SKIP],
 295
 296
 297   # We do not detect overflow in bounds for back references and {}
 298   # quantifiers.  Might fix by parsing numbers differently?
 299   'js1_5/Regress/regress-230216-2': [FAIL_OK],
 300
 301
 302   # Regexp too long for PCRE.
 303   'js1_5/Regress/regress-280769': [PASS, FAIL],
 304   'js1_5/Regress/regress-280769-1': [PASS, FAIL],
 305   'js1_5/Regress/regress-280769-2': [PASS, FAIL],
 306   'js1_5/Regress/regress-280769-4': [PASS, FAIL],
 307   'js1_5/Regress/regress-280769-5': [PASS, FAIL],
 308
 309
 310   # We do not support static RegExp.multiline - should we?.
 311   'js1_2/regexp/RegExp_multiline': [FAIL_OK],
 312   'js1_2/regexp/RegExp_multiline_as_array': [FAIL_OK],
 313   'js1_2/regexp/beginLine': [FAIL_OK],
 314   'js1_2/regexp/endLine': [FAIL_OK],
 315
 316   # We no longer let calls to test and exec with no argument implicitly
 317   # use the previous input.
 318   'js1_2/regexp/RegExp_input': [FAIL_OK],
 319   'js1_2/regexp/RegExp_input_as_array': [FAIL_OK],
 320
 321
 322   # To be compatible with safari typeof a regexp yields 'function';
 323   # in firefox it yields 'object'.
 324   'js1_2/function/regexparg-1': [FAIL_OK],
 325
 326
 327   # Date trouble?
 328   'js1_5/Date/regress-301738-02': [FAIL_OK],
 329
 330
 331   # This test fails for all browsers on in the CET timezone.
 332   'ecma/Date/15.9.5.35-1': [PASS, FAIL_OK],
 333
 334
 335   # Spidermonkey allows stuff in parenthesis directly after the minutes
 336   # in a date.  JSC does not, so we don't either.
 337   'js1_5/Date/regress-309925-02': [FAIL_OK],
 338
 339
 340   # Print string after deleting array element?
 341   'js1_5/Expressions/regress-96526-delelem': [FAIL_OK],
 342
 343
 344   # Stack overflows should be InternalError: too much recursion?
 345   'js1_5/Regress/regress-234389': [FAIL_OK],
 346
 347
 348   # This may very well be a bogus test. I'm not sure yet.
 349   'js1_5/Regress/regress-320119': [FAIL_OK],
 350
 351
 352   # No support for toSource().
 353   'js1_5/Regress/regress-248444': [FAIL_OK],
 354   'js1_5/Regress/regress-313967-01': [FAIL_OK],
 355   'js1_5/Regress/regress-313967-02': [FAIL_OK],
 356
 357   # This fails because we don't have stack space for Function.prototype.apply
 358   # with very large numbers of arguments.  The test uses 2^24 arguments.
 359   'js1_5/Array/regress-350256-03': [FAIL_OK],
 360
 361
 362   # Extra arguments not handled properly in String.prototype.match
 363   'js1_5/Regress/regress-179524': [FAIL_OK],
 364
 365
 366   # Uncategorized failures. Please help categorize (or fix) these failures.
 367   'js1_5/Regress/regress-172699': [FAIL_OK],
 368
 369
 370   # Assumes that the prototype of a function is enumerable. Non-ECMA,
 371   # see section 15.3.3.1, page 86.
 372   'ecma/GlobalObject/15.1.2.2-1': [FAIL_OK],
 373   'ecma/GlobalObject/15.1.2.3-1': [FAIL_OK],
 374   'ecma/GlobalObject/15.1.2.4': [FAIL_OK],
 375   'ecma/GlobalObject/15.1.2.5-1': [FAIL_OK],
 376   'ecma/GlobalObject/15.1.2.6': [FAIL_OK],
 377   'ecma/GlobalObject/15.1.2.7': [FAIL_OK],
 378
 379
 380   # Leading zero no longer signal octal numbers (ECMA-262 Annex E 15.1.2.2).
 381   'ecma/GlobalObject/15.1.2.2-2': [FAIL_OK],
 382
 383
 384   # Tests that rely on specific details of function decompilation or
 385   # print strings for errors. Non-ECMA behavior.
 386   'js1_2/function/tostring-2': [FAIL_OK],
 387   'js1_2/Objects/toString-001': [FAIL_OK],
 388   'js1_5/LexicalConventions/regress-469940': [FAIL_OK],
 389   'js1_5/Exceptions/regress-332472': [FAIL_OK],
 390   'js1_5/Regress/regress-173067': [FAIL_OK],
 391   'js1_5/Regress/regress-355556': [FAIL_OK],
 392   'js1_5/Regress/regress-328664': [FAIL_OK],
 393   'js1_5/Regress/regress-252892': [FAIL_OK],
 394   'js1_5/Regress/regress-352208': [FAIL_OK],
 395   'ecma_3/Array/15.4.5.1-01': [FAIL_OK],
 396   'ecma_3/Array/regress-387501': [FAIL_OK],
 397   'ecma_3/LexicalConventions/7.9.1': [FAIL_OK],
 398   'ecma_3/RegExp/regress-375711': [FAIL_OK],
 399   'ecma_3/Unicode/regress-352044-01': [FAIL_OK],
 400   'ecma_3/extensions/regress-274152': [FAIL_OK],
 401   'js1_5/Regress/regress-372364': [FAIL_OK],
 402   'js1_5/Regress/regress-420919': [FAIL_OK],
 403   'js1_5/Regress/regress-422348': [FAIL_OK],
 404   'js1_5/Regress/regress-410852': [FAIL_OK],
 405   'ecma_3/RegExp/regress-375715-04': [FAIL_OK],
 406   'js1_5/decompilation/regress-456964-01': [FAIL_OK],
 407   'js1_5/decompilation/regress-437288-02': [FAIL_OK],
 408   'js1_5/decompilation/regress-457824': [FAIL_OK],
 409   'js1_5/decompilation/regress-460116-01': [FAIL_OK],
 410   'js1_5/decompilation/regress-460116-02': [FAIL_OK],
 411   'js1_5/decompilation/regress-460501': [FAIL_OK],
 412   'js1_5/decompilation/regress-460116-03': [FAIL_OK],
 413   'js1_5/decompilation/regress-461110': [FAIL_OK],
 414
 415
 416   # Tests that use uneval.  Non-ECMA.
 417   'js1_5/GC/regress-418128': [FAIL_OK],
 418   'js1_5/extensions/regress-465276': [FAIL_OK],
 419   'js1_5/Error/regress-465377': [FAIL_OK],
 420
 421   # Tests that use the watch method.  Non-ECMA.
 422   'js1_5/extensions/regress-435345-01': [FAIL_OK],
 423   'js1_5/extensions/regress-455413': [FAIL_OK],
 424
 425
 426   # Uses Mozilla-specific QName, XML, XMLList and Iterator.
 427   'js1_5/Regress/regress-407323': [FAIL_OK],
 428   'js1_5/Regress/regress-407957': [FAIL_OK],
 429
 430
 431   # Relies on JavaScript 1.2 / 1.3 deprecated features.
 432   'js1_2/function/String': [FAIL_OK],
 433   'js1_2/operator/equality': [FAIL_OK],
 434   'js1_2/version120/boolean-001': [FAIL_OK],
 435   'js1_2/String/concat': [FAIL_OK],
 436   'js1_2/function/Function_object': [FAIL_OK],
 437   'js1_2/function/tostring-1': [FAIL_OK],
 438   'js1_2/version120/regress-99663': [FAIL_OK],
 439   'js1_2/regexp/RegExp_lastIndex': [FAIL_OK],
 440   'js1_2/regexp/string_split': [FAIL_OK],
 441
 442
 443   # RegExps are not callable.
 444   'js1_2/regexp/simple_form': [FAIL_OK],
 445   'js1_2/regexp/regress-6359': [FAIL_OK],
 446   'js1_2/regexp/regress-9141': [FAIL_OK],
 447   'js1_5/Regress/regress-224956': [FAIL_OK],
 448   'js1_5/Regress/regress-325925': [FAIL_OK],
 449   'ecma_2/RegExp/regress-001': [FAIL_OK],
 450
 451   # We do not check for bad surrogate pairs when quoting strings.
 452   'js1_5/Regress/regress-315974': [FAIL_OK],
 453
 454
 455   # Use unsupported "watch".
 456   'js1_5/Regress/regress-213482': [FAIL_OK],
 457   'js1_5/Regress/regress-240577': [FAIL_OK],
 458   'js1_5/Regress/regress-355344': [FAIL_OK],
 459   'js1_5/Object/regress-362872-01': [FAIL_OK],
 460   'js1_5/Object/regress-362872-02': [FAIL_OK],
 461   'js1_5/Regress/regress-361467': [FAIL_OK],
 462   'js1_5/Regress/regress-385393-06': [FAIL_OK],
 463   'js1_5/Regress/regress-506567': [FAIL_OK],
 464
 465
 466   # Use special Mozilla getter/setter syntax
 467   'js1_5/Regress/regress-354924': [FAIL_OK],
 468   'js1_5/Regress/regress-355341': [FAIL_OK],
 469   'js1_5/GC/regress-316885-01': [FAIL_OK],
 470   'js1_5/GetSet/getset-002': [FAIL_OK],
 471   'js1_5/GetSet/regress-353264': [FAIL_OK],
 472   'js1_5/Regress/regress-361617': [FAIL_OK],
 473   'js1_5/Regress/regress-362583': [FAIL_OK],
 474   'js1_5/extensions/regress-356378': [FAIL_OK],
 475   'js1_5/extensions/regress-452178': [FAIL_OK],
 476
 477
 478   # Requires Mozilla-specific strict mode or options() function.
 479   'ecma_3/Object/8.6.1-01': [FAIL_OK],
 480   'js1_5/Exceptions/regress-315147': [FAIL_OK],
 481   'js1_5/Regress/regress-106244': [FAIL_OK],
 482   'js1_5/Regress/regress-317533': [FAIL_OK],
 483   'js1_5/Regress/regress-323314-1': [FAIL_OK],
 484   'js1_5/Regress/regress-352197': [FAIL_OK],
 485
 486
 487   # Equivalent to assert(false).
 488   'ecma_2/RegExp/exec-001': [FAIL_OK],
 489   'ecma_2/String/replace-001': [FAIL_OK],
 490
 491
 492   # We do not strip unicode format control characters. This is really
 493   # required for working with non-latin character sets.  We match JSC
 494   # and IE here.  Firefox matches the spec (section 7.1).
 495   'ecma_3/Unicode/uc-001': [FAIL_OK],
 496
 497
 498   # A non-breaking space doesn't match \s in a regular expression.  This
 499   # behaviour matches JSC.  All the VMs have different behaviours in which
 500   # characters match \s so we do the same as JSC until they change.
 501   'ecma_3/Unicode/uc-002': [PASS, FAIL_OK],
 502
 503
 504   # String.prototype.split on empty strings always returns an array
 505   # with one element (as specified in ECMA-262).
 506   'js1_2/Array/array_split_1': [FAIL_OK],
 507
 508
 509   # The concat() method is defined in Array.prototype; not Array.
 510   'js1_5/Array/regress-313153': [FAIL_OK],
 511
 512   # The join() method is defined on Array.prototype; not Array.
 513   'js1_5/Array/regress-474529': [FAIL_OK],
 514
 515   # The lastIndexOf() method is defined on Array.prototype, not Array.
 516   'ecma_3/Array/15.5.4.8-01': [FAIL_OK],
 517
 518   # Properties fileName, and lineNumber of Error instances are
 519   # not supported. Mozilla specific extension.
 520   'js1_5/Exceptions/errstack-001': [FAIL_OK],
 521   'js1_5/Exceptions/regress-257751': [FAIL_OK],
 522   'js1_5/Regress/regress-119719': [FAIL_OK],
 523   'js1_5/Regress/regress-167328': [FAIL_OK],
 524   'js1_5/Regress/regress-243869': [FAIL_OK],
 525
 526
 527   # Unsupported import/export and <xml> literals. Mozilla extensions.
 528   'js1_5/Regress/regress-249211': [FAIL_OK],
 529   'js1_5/Regress/regress-309242': [FAIL_OK],
 530   'js1_5/Regress/regress-350692': [FAIL_OK],
 531   'js1_5/extensions/regress-421621': [FAIL_OK],
 532   'js1_5/extensions/regress-432075': [FAIL_OK],
 533
 534
 535   # The length of Error functions is 1 not 3.
 536   'js1_5/Exceptions/regress-123002': [FAIL_OK],
 537
 538
 539   # Reserved keywords as function names, etc is not supported.
 540   'js1_5/LexicalConventions/regress-343675': [FAIL_OK],
 541
 542
 543   # Tests if future reserved keywords of ECMA-262, edition 3 emit warnings. We
 544   # implement the edition 5 behaviour and fail on use of edition 5 future
 545   # reserved keywords as identifiers.
 546   'js1_5/Regress/regress-240317': [FAIL_OK],
 547
 548
 549   # Unsupported list comprehensions: [ ... for ... ] and for each.
 550   'js1_5/Regress/regress-352009': [FAIL_OK],
 551   'js1_5/Regress/regress-349648': [FAIL_OK],
 552
 553
 554   # Expects top level arguments (passed on command line?) to be
 555   # the empty string?
 556   'js1_5/Regress/regress-336100': [FAIL_OK],
 557
 558
 559   # Regular expression test failures due to PCRE. We match JSC (ie, perl)
 560   # behavior and not the ECMA spec.
 561   'ecma_3/RegExp/perlstress-001': [PASS, FAIL_OK],
 562   'ecma_3/RegExp/regress-334158': [PASS, FAIL],
 563
 564   # This test fails due to http://code.google.com/p/v8/issues/detail?id=187
 565   # Failure to clear captures when a lookahead is unwound.
 566   'ecma_3/RegExp/15.10.2-1': [PASS, FAIL_OK],
 567
 568   # This test requires a failure if we try to compile a function with more
 569   # than 65536 arguments.  This seems to be a Mozilla restriction.
 570   'js1_5/Regress/regress-290575': [PASS, FAIL_OK],
 571
 572
 573   # Fails because of the way function declarations are
 574   # handled in V8/JSC. V8 follows IE behavior and introduce
 575   # all nested function declarations when entering the
 576   # surrounding function, whereas Spidermonkey declares
 577   # them dynamically when the statement is executed.
 578   'ecma_3/Function/scope-001': [FAIL_OK],
 579   'ecma_3/FunExpr/fe-001': [FAIL_OK],
 580   'js1_5/Scope/regress-184107': [FAIL_OK],
 581
 582
 583   # Function is deletable in V8 and JSC.
 584   'js1_5/Regress/regress-352604': [FAIL_OK],
 585
 586
 587   # Cannot call strings as functions. Expects not to crash.
 588   'js1_5/Regress/regress-417893': [FAIL_OK],
 589
 590
 591   # Unsupported use of "[]" as function parameter. We match JSC.
 592   'js1_5/Regress/regress-416737-01': [FAIL_OK],
 593   'js1_5/Regress/regress-416737-02': [FAIL_OK],
 594
 595
 596   # Illegal escape-sequences in string literals. Has already been fixed
 597   # by most engines (i.e. V8, JSC, Opera and FF).
 598   'ecma/Array/15.4.5.1-1': [FAIL_OK],
 599   'ecma/LexicalConventions/7.7.4': [FAIL_OK],
 600   'ecma_2/RegExp/hex-001': [FAIL_OK],
 601   'js1_2/regexp/hexadecimal': [FAIL_OK],
 602
 603
 604   # The source field of RegExp objects is properly escaped. We match JSC.
 605   'ecma_2/RegExp/constructor-001': [FAIL_OK],
 606   'ecma_2/RegExp/function-001': [FAIL_OK],
 607   'ecma_2/RegExp/properties-001': [FAIL_OK],
 608
 609
 610   # Negative hexadecimal literals are parsed as NaN. This test is outdated.
 611   'ecma/TypeConversion/9.3.1-3': [FAIL_OK],
 612
 613   ##################### FAILING TESTS #####################
 614
 615   # This section is for tests that fail in V8 and pass in JSC.
 616   # Tests that fail in both V8 and JSC belong in the FAIL_OK
 617   # category.
 618
 619   # This fails because we don't handle Function.prototype.apply with very large
 620   # numbers of arguments (depending on max stack size).  350256-02 needs more
 621   # than 4Mbytes of stack space.
 622   'js1_5/Array/regress-350256-02': [FAIL],
 623
 624
 625   # This test seems designed to fail (it produces a 700Mbyte string).
 626   # We fail on out of memory.  The important thing is not to crash.
 627   'js1_5/Regress/regress-303213': [FAIL, ['mode == debug', TIMEOUT, NO_VARIANTS]],
 628
 629   # This test fails since we now throw in String.prototype.match when apply
 630   # is given null or undefined as this argument (and so does firefox nightly).
 631   'js1_5/Regress/regress-295052': [FAIL],
 632
 633   # Bug 1202592: New ecma_3/String/15.5.4.11 is failing.
 634   'ecma_3/String/15.5.4.11': [FAIL],
 635
 636   # Bug 1202597: New js1_5/Expressions/regress-394673 is failing.
 637   # Marked as: Will not fix. V8 throws an acceptable RangeError.
 638   'js1_5/Expressions/regress-394673': [FAIL],
 639
 640
 641   # Bug 762: http://code.google.com/p/v8/issues/detail?id=762
 642   # We do not correctly handle assignments within "with"
 643   'ecma_3/Statements/12.10-01': [FAIL],
 644
 645   # We do not throw an exception when a const is redeclared.
 646   # (We only fail section 1 of the test.)
 647   'js1_5/Regress/regress-103602': [FAIL],
 648
 649   ##################### MOZILLA EXTENSION TESTS #####################
 650
 651   'ecma/extensions/15.1.2.1-1': [FAIL_OK],
 652   'ecma_3/extensions/regress-385393-03': [FAIL_OK],
 653   'ecma_3/extensions/7.9.1': [FAIL_OK],
 654   'js1_5/extensions/catchguard-001': [FAIL_OK],
 655   'js1_5/extensions/catchguard-002': [FAIL_OK],
 656   'js1_5/extensions/catchguard-003': [FAIL_OK],
 657   'js1_5/extensions/getset-001': [FAIL_OK],
 658   'js1_5/extensions/getset-003': [FAIL_OK],
 659   'js1_5/extensions/no-such-method': [FAIL_OK],
 660   'js1_5/extensions/regress-104077': [FAIL_OK],
 661   'js1_5/extensions/regress-226078': [FAIL_OK],
 662   'js1_5/extensions/regress-303277': [FAIL_OK],
 663   'js1_5/extensions/regress-304897': [FAIL_OK],
 664   'js1_5/extensions/regress-306738': [FAIL_OK],
 665   'js1_5/extensions/regress-311161': [FAIL_OK],
 666   'js1_5/extensions/regress-311583': [FAIL_OK],
 667   'js1_5/extensions/regress-311792-01': [FAIL_OK],
 668   'js1_5/extensions/regress-312278': [FAIL_OK],
 669   'js1_5/extensions/regress-313630': [FAIL_OK],
 670   'js1_5/extensions/regress-313763': [FAIL_OK],
 671   'js1_5/extensions/regress-313803': [FAIL_OK],
 672   'js1_5/extensions/regress-314874': [FAIL_OK],
 673   'js1_5/extensions/regress-322957': [FAIL_OK],
 674   'js1_5/extensions/regress-328556': [FAIL_OK],
 675   'js1_5/extensions/regress-333541': [FAIL_OK],
 676   'js1_5/extensions/regress-335700': [FAIL_OK],
 677   'js1_5/extensions/regress-336409-1': [FAIL_OK],
 678   'js1_5/extensions/regress-336409-2': [FAIL_OK],
 679   'js1_5/extensions/regress-336410-2': [FAIL_OK],
 680   'js1_5/extensions/regress-341956-01': [FAIL_OK],
 681   'js1_5/extensions/regress-345967': [FAIL_OK],
 682   'js1_5/extensions/regress-346494-01': [FAIL_OK],
 683   'js1_5/extensions/regress-346494': [FAIL_OK],
 684   'js1_5/extensions/regress-347306-02': [FAIL_OK],
 685   'js1_5/extensions/regress-348986': [FAIL_OK],
 686   'js1_5/extensions/regress-349616': [FAIL_OK],
 687   'js1_5/extensions/regress-350312-02': [FAIL_OK],
 688   'js1_5/extensions/regress-350312-03': [FAIL_OK],
 689   'js1_5/extensions/regress-350531': [FAIL_OK],
 690   'js1_5/extensions/regress-351102-01': [FAIL_OK],
 691   'js1_5/extensions/regress-351102-02': [FAIL_OK],
 692   'js1_5/extensions/regress-351102-06': [FAIL_OK],
 693   'js1_5/extensions/regress-351973': [FAIL_OK],
 694   'js1_5/extensions/regress-352060': [FAIL_OK],
 695   'js1_5/extensions/regress-352094': [FAIL_OK],
 696   'js1_5/extensions/regress-352261': [FAIL_OK],
 697   'js1_5/extensions/regress-352281': [FAIL_OK],
 698   'js1_5/extensions/regress-352455': [FAIL_OK],
 699   'js1_5/extensions/regress-352604': [FAIL_OK],
 700   'js1_5/extensions/regress-353214': [FAIL_OK],
 701   'js1_5/extensions/regress-355339': [FAIL_OK],
 702   'js1_5/extensions/regress-355497': [FAIL_OK],
 703   'js1_5/extensions/regress-355622': [FAIL_OK],
 704   'js1_5/extensions/regress-355736': [FAIL_OK],
 705   'js1_5/extensions/regress-356085': [FAIL_OK],
 706   'js1_5/extensions/regress-356106': [FAIL_OK],
 707   'js1_5/extensions/regress-358594-01': [FAIL_OK],
 708   'js1_5/extensions/regress-358594-02': [FAIL_OK],
 709   'js1_5/extensions/regress-358594-03': [FAIL_OK],
 710   'js1_5/extensions/regress-358594-04': [FAIL_OK],
 711   'js1_5/extensions/regress-358594-05': [FAIL_OK],
 712   'js1_5/extensions/regress-358594-06': [FAIL_OK],
 713   'js1_5/extensions/regress-361346': [FAIL_OK],
 714   'js1_5/extensions/regress-361360': [FAIL_OK],
 715   'js1_5/extensions/regress-361558': [FAIL_OK],
 716   'js1_5/extensions/regress-361571': [FAIL_OK],
 717   'js1_5/extensions/regress-361856': [FAIL_OK],
 718   'js1_5/extensions/regress-361964': [FAIL_OK],
 719   'js1_5/extensions/regress-363988': [FAIL_OK],
 720   'js1_5/extensions/regress-365869': [FAIL_OK],
 721   'js1_5/extensions/regress-367630': [FAIL_OK],
 722   'js1_5/extensions/regress-367923': [FAIL_OK],
 723   'js1_5/extensions/regress-368859': [FAIL_OK],
 724   'js1_5/extensions/regress-369696-01': [FAIL_OK],
 725   'js1_5/extensions/regress-369696-02': [FAIL_OK],
 726   'js1_5/extensions/regress-369696-03': [FAIL_OK],
 727   'js1_5/extensions/regress-374589': [FAIL_OK],
 728   'js1_5/extensions/regress-375801': [FAIL_OK],
 729   'js1_5/extensions/regress-376052': [FAIL_OK],
 730   'js1_5/extensions/regress-379523': [FAIL_OK],
 731   'js1_5/extensions/regress-380581': [FAIL_OK],
 732   'js1_5/extensions/regress-380831': [FAIL_OK],
 733   'js1_5/extensions/regress-381205': [FAIL_OK],
 734   'js1_5/extensions/regress-381211': [FAIL_OK],
 735   'js1_5/extensions/regress-381304': [FAIL_OK],
 736   'js1_5/extensions/regress-382509': [FAIL_OK],
 737   'js1_5/extensions/regress-383965': [FAIL_OK],
 738   'js1_5/extensions/regress-384680': [FAIL_OK],
 739   'js1_5/extensions/regress-385393-09': [FAIL_OK],
 740   'js1_5/extensions/regress-407501': [FAIL_OK],
 741   'js1_5/extensions/regress-418730': [FAIL_OK],
 742   'js1_5/extensions/regress-420612': [FAIL_OK],
 743   'js1_5/extensions/regress-420869-01': [FAIL_OK],
 744   'js1_5/extensions/regress-424257': [FAIL_OK],
 745   'js1_5/extensions/regress-424683-01': [FAIL_OK],
 746   'js1_5/extensions/regress-429739': [FAIL_OK],
 747   'js1_5/extensions/regress-454142': [FAIL_OK],
 748   'js1_5/extensions/regress-465145': [FAIL_OK],
 749   'js1_5/extensions/regress-469625': [FAIL_OK],
 750   'js1_5/extensions/regress-472787': [FAIL_OK],
 751   'js1_5/extensions/regress-44009': [FAIL_OK],
 752   'js1_5/extensions/regress-50447-1': [FAIL_OK],
 753   'js1_5/extensions/regress-50447': [FAIL_OK],
 754   'js1_5/extensions/regress-90596-001': [FAIL_OK],
 755   'js1_5/extensions/regress-90596-002': [FAIL_OK],
 756   'js1_5/extensions/regress-96284-001': [FAIL_OK],
 757   'js1_5/extensions/regress-96284-002': [FAIL_OK],
 758   'js1_5/extensions/toLocaleFormat-01': [FAIL_OK],
 759   'js1_5/extensions/toLocaleFormat-02': [FAIL_OK],
 760
 761   # TODO(yangguo): Both tests have complex regular expressions (nested (.*)*
 762   # and the like). Please investigate if these tests provide any coverage.
 763   # Furthermore, an exception is expected which is not thrown by v8.
 764   'js1_5/extensions/regress-330569': [SKIP],
 765   'js1_5/extensions/regress-351448': [SKIP],
 766   # In the 64-bit version, this test takes longer to run out of memory
 767   # than it does in the 32-bit version when attempting to generate a huge
 768   # error message in debug mode.
 769   'js1_5/extensions/regress-336410-1': [FAIL_OK, ['mode == debug and arch == x64', TIMEOUT, NO_VARIANTS]],
 770
 771   ##################### DECOMPILATION TESTS #####################
 772
 773   # We don't really about the outcome of running the
 774   # decompilation tests as long as they don't crash or
 775   # timeout.
 776
 777   'js1_5/decompilation/regress-344120': [PASS, FAIL],
 778   'js1_5/decompilation/regress-346892': [PASS, FAIL],
 779   'js1_5/decompilation/regress-346902': [PASS, FAIL],
 780   'js1_5/decompilation/regress-346904': [PASS, FAIL],
 781   'js1_5/decompilation/regress-346915': [PASS, FAIL],
 782   'js1_5/decompilation/regress-349484': [PASS, FAIL],
 783   'js1_5/decompilation/regress-349489': [PASS, FAIL],
 784   'js1_5/decompilation/regress-349491': [PASS, FAIL],
 785   'js1_5/decompilation/regress-349596': [PASS, FAIL],
 786   'js1_5/decompilation/regress-349650': [PASS, FAIL],
 787   'js1_5/decompilation/regress-349663': [PASS, FAIL],
 788   'js1_5/decompilation/regress-350242': [PASS, FAIL],
 789   'js1_5/decompilation/regress-350263': [PASS, FAIL],
 790   'js1_5/decompilation/regress-350271': [PASS, FAIL],
 791   'js1_5/decompilation/regress-350666': [PASS, FAIL],
 792   'js1_5/decompilation/regress-350670': [PASS, FAIL],
 793   'js1_5/decompilation/regress-351104': [PASS, FAIL],
 794   'js1_5/decompilation/regress-351219': [PASS, FAIL],
 795   'js1_5/decompilation/regress-351336': [PASS, FAIL],
 796   'js1_5/decompilation/regress-351597': [PASS, FAIL],
 797   'js1_5/decompilation/regress-351625': [PASS, FAIL],
 798   'js1_5/decompilation/regress-351626': [PASS, FAIL],
 799   'js1_5/decompilation/regress-351693': [PASS, FAIL],
 800   'js1_5/decompilation/regress-351705': [PASS, FAIL],
 801   'js1_5/decompilation/regress-351793': [PASS, FAIL],
 802   'js1_5/decompilation/regress-352013': [PASS, FAIL],
 803   'js1_5/decompilation/regress-352022': [PASS, FAIL],
 804   'js1_5/decompilation/regress-352073': [PASS, FAIL],
 805   'js1_5/decompilation/regress-352202': [PASS, FAIL],
 806   'js1_5/decompilation/regress-352312': [PASS, FAIL],
 807   'js1_5/decompilation/regress-352360': [PASS, FAIL],
 808   'js1_5/decompilation/regress-352375': [PASS, FAIL],
 809   'js1_5/decompilation/regress-352453': [PASS, FAIL],
 810   'js1_5/decompilation/regress-352649': [PASS, FAIL],
 811   'js1_5/decompilation/regress-352873-01': [PASS, FAIL],
 812   'js1_5/decompilation/regress-352873-02': [PASS, FAIL],
 813   'js1_5/decompilation/regress-353000': [PASS, FAIL],
 814   'js1_5/decompilation/regress-353120': [PASS, FAIL],
 815   'js1_5/decompilation/regress-353146': [PASS, FAIL],
 816   'js1_5/decompilation/regress-354878': [PASS, FAIL],
 817   'js1_5/decompilation/regress-354910': [PASS, FAIL],
 818   'js1_5/decompilation/regress-355992': [PASS, FAIL],
 819   'js1_5/decompilation/regress-356083': [PASS, FAIL],
 820   'js1_5/decompilation/regress-356248': [PASS, FAIL],
 821   'js1_5/decompilation/regress-371692': [PASS, FAIL],
 822   'js1_5/decompilation/regress-373678': [PASS, FAIL],
 823   'js1_5/decompilation/regress-375639': [PASS, FAIL],
 824   'js1_5/decompilation/regress-375882': [PASS, FAIL],
 825   'js1_5/decompilation/regress-376564': [PASS, FAIL],
 826   'js1_5/decompilation/regress-383721': [PASS, FAIL],
 827   'js1_5/decompilation/regress-406555': [PASS, FAIL],
 828   'js1_5/decompilation/regress-460870': [PASS, FAIL],
 829 }],  # ALWAYS
 830
 831
 832 ['arch == arm or arch == arm64', {
 833
 834   # BUG(3251229): Times out when running new crankshaft test script.
 835   'ecma_3/RegExp/regress-311414': [SKIP],
 836   'ecma/Date/15.9.5.8': [SKIP],
 837   'ecma/Date/15.9.5.10-2': [SKIP],
 838   'ecma/Date/15.9.5.11-2': [SKIP],
 839   'ecma/Date/15.9.5.12-2': [SKIP],
 840   'js1_5/Array/regress-99120-02': [SKIP],
 841   'js1_5/extensions/regress-371636': [SKIP],
 842   'js1_5/Regress/regress-203278-1': [SKIP],
 843   'js1_5/Regress/regress-404755': [SKIP],
 844   'js1_5/Regress/regress-451322': [SKIP],
 845
 846
 847   # BUG(1040): Allow this test to timeout.
 848   'js1_5/GC/regress-203278-2': [PASS, TIMEOUT, NO_VARIANTS],
 849 }],  # 'arch == arm or arch == arm64'
 850
 851
 852 ['arch ==  arm64', {
 853   # BUG(v8:3152): Runs out of stack in debug mode.
 854   'js1_5/extensions/regress-355497': [FAIL_OK, ['mode == debug', SKIP]],
 855 }],  # 'arch ==  arm64'
 856
 857
 858 ['arch == mipsel', {
 859
 860   # BUG(3251229): Times out when running new crankshaft test script.
 861   'ecma_3/RegExp/regress-311414': [SKIP],
 862   'ecma/Date/15.9.5.8': [SKIP],
 863   'ecma/Date/15.9.5.10-2': [SKIP],
 864   'ecma/Date/15.9.5.11-2': [SKIP],
 865   'ecma/Date/15.9.5.12-2': [SKIP],
 866   'js1_5/Array/regress-99120-02': [SKIP],
 867   'js1_5/extensions/regress-371636': [SKIP],
 868   'js1_5/Regress/regress-203278-1': [SKIP],
 869   'js1_5/Regress/regress-404755': [SKIP],
 870   'js1_5/Regress/regress-451322': [SKIP],
 871
 872
 873   # BUG(1040): Allow this test to timeout.
 874   'js1_5/GC/regress-203278-2': [PASS, TIMEOUT, NO_VARIANTS],
 875 }],  # 'arch == mipsel'
 876
 877 ['arch == mips', {
 878
 879   # BUG(3251229): Times out when running new crankshaft test script.
 880   'ecma_3/RegExp/regress-311414': [SKIP],
 881   'ecma/Date/15.9.5.8': [SKIP],
 882   'ecma/Date/15.9.5.10-2': [SKIP],
 883   'ecma/Date/15.9.5.11-2': [SKIP],
 884   'ecma/Date/15.9.5.12-2': [SKIP],
 885   'js1_5/Array/regress-99120-02': [SKIP],
 886   'js1_5/extensions/regress-371636': [SKIP],
 887   'js1_5/Regress/regress-203278-1': [SKIP],
 888   'js1_5/Regress/regress-404755': [SKIP],
 889   'js1_5/Regress/regress-451322': [SKIP],
 890
 891
 892   # BUG(1040): Allow this test to timeout.
 893   'js1_5/GC/regress-203278-2': [PASS, TIMEOUT, NO_VARIANTS],
 894 }],  # 'arch == mips'
 895
 896 ['arch == arm64 and simulator_run == True', {
 897
 898   'js1_5/GC/regress-203278-2': [SKIP],
 899
 900   # These tests time out in debug mode but pass in product mode
 901   'js1_5/Regress/regress-360969-03': [SKIP],
 902   'js1_5/Regress/regress-360969-04': [SKIP],
 903   'js1_5/Regress/regress-360969-05': [SKIP],
 904   'js1_5/Regress/regress-360969-06': [SKIP],
 905   'js1_5/extensions/regress-365527': [SKIP],
 906   'ecma/Date/15.9.5.10-2': [SKIP],
 907   'js1_5/Regress/regress-416628': [SKIP],
 908   'js1_5/extensions/regress-371636': [SKIP],
 909   'ecma_3/RegExp/regress-330684': [SKIP],
 910   'ecma_3/RegExp/regress-307456': [SKIP],
 911   'js1_5/Regress/regress-303213': [SKIP],
 912   'js1_5/extensions/regress-330569': [SKIP],
 913   'js1_5/extensions/regress-351448': [SKIP],
 914   'js1_5/extensions/regress-336410-1': [SKIP],
 915 }],  # 'arch == arm64 and simulator_run == True'
 916 ]