PerformanceTests/SunSpider/sunspider-compare-results

   1 #!/usr/bin/perl -w
   2
   3 # Copyright (C) 2007 Apple Inc. All rights reserved.
   4 #
   5 # Redistribution and use in source and binary forms, with or without
   6 # modification, are permitted provided that the following conditions
   7 # are met:
   8 # 1. Redistributions of source code must retain the above copyright
   9 #    notice, this list of conditions and the following disclaimer.
  10 # 2. Redistributions in binary form must reproduce the above copyright
  11 #    notice, this list of conditions and the following disclaimer in the
  12 #    documentation and/or other materials provided with the distribution.
  13 #
  14 # THIS SOFTWARE IS PROVIDED BY APPLE COMPUTER, INC. ``AS IS'' AND ANY
  15 # EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  16 # IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR
  17 # PURPOSE ARE DISCLAIMED.  IN NO EVENT SHALL APPLE COMPUTER, INC. OR
  18 # CONTRIBUTORS BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL,
  19 # EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  20 # PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR
  21 # PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY
  22 # OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  23 # (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE
  24 # OF THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  25
  26 use strict;
  27 use Getopt::Long;
  28 use File::Basename;
  29
  30 my $showHelp = 0;
  31 my $jsShellPath;
  32 my $suite = "";
  33 my $ubench = 0;
  34 my $v8suite = 0;
  35 my $parseOnly = 0;
  36
  37 my $programName = basename($0);
  38 my $usage = <<EOF;
  39 Usage: $programName --shell=[path] [options] FILE FILE
  40   --help        Show this help message
  41   --shell       Path to javascript shell
  42   --suite           Select a specific benchmark suite. The default is sunspider-1.0
  43   --ubench          Use microbenchmark suite instead of regular tests. Same as --suite=ubench
  44   --v8-suite        Use the V8 benchmark suite. Same as --suite=v8-v4
  45   --parse-only  Compare the parse-only benchmark results
  46 EOF
  47
  48 GetOptions('shell=s' => \$jsShellPath,
  49            'suite=s' => \$suite,
  50            'ubench' => \$ubench,
  51            'v8-suite' => \$v8suite,
  52            'parse-only' => \$parseOnly,
  53            'help' => \$showHelp);
  54
  55 $suite = "ubench" if ($ubench);
  56 $suite = "v8-v4" if ($v8suite);
  57 $suite = "parse-only" if ($parseOnly);
  58 $suite = "sunspider-1.0" if (!$suite);
  59
  60 my $resultDirectory = "${suite}-results";
  61
  62 if ((scalar @ARGV != 0 && scalar @ARGV != 2) || !$jsShellPath || $showHelp) {
  63    print STDERR $usage;
  64    exit 1;
  65 }
  66
  67 sub readResultsFile($)
  68 {
  69     my ($filename) = @_;
  70     open FILE, "<", $filename or die;
  71     my $foundStart = 0;
  72     my $foundOutput = 0;
  73     my $foundEnd = 0;
  74     my $result = "";
  75     while (<FILE>) {
  76         if (!$foundStart) {
  77             if (/^\[\{$/) {
  78                 $foundStart = 1;
  79                 $result .= $_;
  80             } elsif (/^var \w+ = \[$/) {
  81                 $foundOutput = 1;
  82             } elsif ($foundOutput && /^\{$/) {
  83                 $foundOutput = 0;
  84                 $foundStart = 1;
  85                 $result = "[{\n";
  86             }
  87         } else {
  88             if (/\];?$/) {
  89                 $foundEnd = 1;
  90                 chomp;
  91                 s/;$//;
  92                 $result .= $_;
  93                 last;
  94             } else {
  95                 $result .= $_;
  96             }
  97         }
  98     }
  99     close FILE;
 100
 101     die "Cound not find data in ${filename} - needs to start with [{" unless $foundStart;
 102     die "Cound not find data in ${filename} - needs to end with }]" unless $foundEnd;
 103
 104     return $result;
 105 }
 106
 107 sub dumpToFile($$)
 108 {
 109     my ($contents, $path) = @_;
 110     open FILE, ">", $path or die;
 111     print FILE $contents;
 112     close FILE;
 113 }
 114
 115 sub readFile($)
 116 {
 117     my ($path) = @_;
 118     open FILE, "<", $path or die;
 119     my $result = <FILE>;
 120     close FILE;
 121     return $result;
 122 }
 123
 124 sub newestFile($$)
 125 {
 126     my ($dir, $pattern) = @_;
 127
 128     my $newestAge;
 129     my $newestFile = "";
 130     opendir DIR, $dir or die;
 131     for my $file (readdir DIR) {
 132         if ($file =~ $pattern) {
 133             my $age = -M "$dir/$file";
 134             if (!defined $newestAge || $age < $newestAge) {
 135                 $newestFile = $file;
 136                 $newestAge = $age;
 137             }
 138         }
 139     }
 140     closedir DIR;
 141
 142     return "$dir/$newestFile";
 143 }
 144
 145 my $file1;
 146 my $file2;
 147
 148 if (scalar @ARGV == 2) {
 149     $file1 = $ARGV[0];
 150     $file2 = $ARGV[1];
 151 } else {
 152     $file1 = readFile("$resultDirectory/baseline-filename.txt");
 153     $file2 = newestFile("$resultDirectory", qr/sunspider-results-.+\.js$/);
 154 }
 155
 156 my $output = "var output1 = " . readResultsFile($file1) . ";\n";
 157 $output .= "var output2 = " . readResultsFile($file2) . ";\n";
 158
 159 dumpToFile($output, "$resultDirectory/sunspider-comparison-data.js");
 160
 161 system($jsShellPath, "-f", "$resultDirectory/sunspider-test-prefix.js", "-f", "$resultDirectory/sunspider-comparison-data.js", "-f", "resources/sunspider-compare-results.js", "-f", "resources/sunspider-standalone-compare.js");