conform/conformtest.pl

   1 #! /usr/bin/perl
   2
   3 $CC = "gcc";
   4 $CFLAGS = "-I. '-D__attribute__(x)=' -D_XOPEN_SOURCE=500";
   5
   6 # List of the headers we are testing.
   7 @headers = ("search.h", "sched.h", "regex.h", "pwd.h", "pthread.h",
   8             "poll.h", "nl_types.h", "ndbm.h", "mqueue.h", "monetary.h",
   9             "math.h", "locale.h", "libgen.h", "langinfo.h", "iso646.h",
  10             "inttypes.h", "iconv.h", "grp.h", "glob.h", "ftw.h", "fnmatch.h",
  11             "fmtmsg.h", "float.h", "fcntl.h", "errno.h", "dlfcn.h", "dirent.h",
  12             "ctype.h", "cpio.h", "assert.h", "aio.h");
  13
  14 # These are the ISO C9x keywords.
  15 @keywords = ('auto', 'break', 'case', 'char', 'const', 'continue', 'default',
  16              'do', 'double', 'else', 'enum', 'extern', 'float', 'for', 'goto',
  17              'if', 'inline', 'int', 'long', 'register', 'restrict', 'return',
  18              'short', 'signed', 'sizeof', 'static', 'struct', 'switch',
  19              'typedef', 'union', 'unsigned', 'void', 'volatile', 'while');
  20
  21 # Make an hash table from this information.
  22 while ($#keywords) {
  23   $iskeyword{pop (@keywords)} = 1;
  24 }
  25
  26 $tmpdir = "/tmp";
  27
  28 $verbose = 1;
  29
  30 $total = 0;
  31 $skipped = 0;
  32 $errors = 0;
  33
  34 #$dialect = "ISO";
  35 #$dialect = "POSIX";
  36 #$dialect = "XPG3";
  37 #$dialect = "XPG4";
  38 $dialect = "UNIX98";
  39
  40
  41 sub poorfnmatch {
  42   my($pattern, $string) = @_;
  43   my($strlen) = length ($string);
  44   my($res);
  45
  46   if (substr ($pattern, 0, 1) eq '*') {
  47     my($patlen) = length ($pattern) - 1;
  48     $res = ($strlen >= $patlen
  49             && substr ($pattern, -$patlen, $patlen) eq substr ($string, -$patlen, $patlen));
  50   } elsif (substr ($pattern, -1, 1) eq '*') {
  51     my($patlen) = length ($pattern) - 1;
  52     $res = ($strlen >= $patlen
  53             && substr ($pattern, 0, $patlen) eq substr ($string, 0, $patlen));
  54   } else {
  55     $res = $pattern eq $string;
  56   }
  57   return $res;
  58 }
  59
  60
  61 sub compiletest
  62 {
  63   my($fnamebase, $msg, $errmsg, $skip) = @_;
  64   my($result) = $skip;
  65   my($printlog) = 0;
  66
  67   ++$total;
  68   printf ("  $msg...");
  69
  70   if ($skip != 0) {
  71     ++$skipped;
  72     printf (" SKIP\n");
  73   } else {
  74     $ret = system "$CC $CFLAGS -c $fnamebase.c -o $fnamebase.o > $fnamebase.out 2>&1";
  75     if ($ret != 0) {
  76       printf (" FAIL\n");
  77       if ($verbose != 0) {
  78         printf ("    $errmsg  Compiler message:\n");
  79         $printlog = 1;
  80       }
  81       ++$errors;
  82       $result = 1;
  83     } else {
  84       printf (" OK\n");
  85       if ($verbose > 1 && -s "$fnamebase.out") {
  86         # We print all warnings issued.
  87         $printlog = 1;
  88       }
  89     }
  90     if ($printlog != 0) {
  91       printf ("    " . "-" x 71 . "\n");
  92       open (MESSAGE, "< $fnamebase.out");
  93       while (<MESSAGE>) {
  94         printf ("    %s", $_);
  95       }
  96       close (MESSAGE);
  97       printf ("    " . "-" x 71 . "\n");
  98     }
  99   }
 100   unlink "$fnamebase.c";
 101   unlink "$fnamebase.o";
 102   unlink "$fnamebase.out";
 103
 104   $result;
 105 }
 106
 107
 108 sub runtest
 109 {
 110   my($fnamebase, $msg, $errmsg, $skip) = @_;
 111   my($result) = $skip;
 112   my($printlog) = 0;
 113
 114   ++$total;
 115   printf ("  $msg...");
 116
 117   if ($skip != 0) {
 118     ++$skipped;
 119     printf (" SKIP\n");
 120   } else {
 121     $ret = system "$CC $CFLAGS -o $fnamebase $fnamebase.c > $fnamebase.out 2>&1";
 122     if ($ret != 0) {
 123       printf (" FAIL\n");
 124       if ($verbose != 0) {
 125         printf ("    $errmsg  Compiler message:\n");
 126         $printlog = 1;
 127       }
 128       ++$errors;
 129       $result = 1;
 130     } else {
 131       # Now run the program.  If the exit code is not zero something is wrong.
 132       $result = system "$fnamebase > $fnamebase.out2 2>&1";
 133       if ($result == 0) {
 134         printf (" OK\n");
 135         if ($verbose > 1 && -s "$fnamebase.out") {
 136           # We print all warnings issued.
 137           $printlog = 1;
 138           system "cat $fnamebase.out2 >> $fnamebase.out";
 139         }
 140       } else {
 141         printf (" FAIL\n");
 142         $printlog = 1;
 143         unlink "$fnamebase.out";
 144         rename "$fnamebase.out2", "$fnamebase.out";
 145       }
 146     }
 147     if ($printlog != 0) {
 148       printf ("    " . "-" x 71 . "\n");
 149       open (MESSAGE, "< $fnamebase.out");
 150       while (<MESSAGE>) {
 151         printf ("    %s", $_);
 152       }
 153       close (MESSAGE);
 154       printf ("    " . "-" x 71 . "\n");
 155     }
 156   }
 157   unlink "$fnamebase";
 158   unlink "$fnamebase.c";
 159   unlink "$fnamebase.o";
 160   unlink "$fnamebase.out";
 161   unlink "$fnamebase.out2";
 162
 163   $result;
 164 }
 165
 166
 167 sub newtoken {
 168   my($token, $nerrors, @allow) = @_;
 169   my($idx);
 170
 171   for ($idx = 0; $idx <= $#allow; ++$idx) {
 172     if ($token =~ /^[0-9_]/ || $iskeyword{$token} || poorfnmatch ($allow[$idx], $token)) {
 173       return $nerrors;
 174     }
 175   }
 176
 177   ++$nerrors;
 178   if ($nerrors == 1) {
 179     printf ("FAIL\n    " . "-" x 72 . "\n");
 180   }
 181   printf ("    Namespace violation: \"%s\"\n", $token);
 182   return $nerrors;
 183 }
 184
 185
 186 sub checknamespace {
 187   my($h, $fnamebase, @allow) = @_;
 188   my($nerrors) = 0;
 189
 190   ++$total;
 191
 192   # Generate a program to get the contents of this header.
 193   open (TESTFILE, ">$fnamebase.c");
 194   print TESTFILE "#include <$h>\n";
 195   close (TESTFILE);
 196
 197   open (CONTENT, "$CC $CFLAGS -E $fnamebase.c -Wp,-dN | sed -e '/^# [1-9]/d' -e '/^[[:space:]]*\$/d' |");
 198   while (<CONTENT>) {
 199     chop;
 200     if (/^#define (.*)/) {
 201       $nerrors = newtoken ($1, $nerrors, @allow);
 202     } else {
 203       # We have to tokenize the line.
 204       my($str) = $_;
 205       my($index) = 0;
 206       my($len) = length ($str);
 207
 208       foreach $token (split(/[^a-zA-Z0-9_]/, $str)) {
 209         if ($token ne "") {
 210           $nerrors = newtoken ($token, $nerrors, @allow);
 211         }
 212       }
 213     }
 214   }
 215   close (CONTENT);
 216   unlink "$fnamebase.c";
 217   if ($nerrors != 0) {
 218     printf ("    " . "-" x 72 . "\n");
 219     ++$errors;
 220   } else {
 221     printf ("OK\n");
 222   }
 223 }
 224
 225
 226 while ($#headers >= 0) {
 227   my($h) = pop (@headers);
 228   my($fnamebase) = "$tmpdir/$h-test";
 229   my($missing);
 230   my(@allow) = ();
 231
 232   printf ("Testing <$h>\n");
 233   printf ("----------" . "-" x length ($h) . "\n");
 234
 235   # Generate a program to test for the availability of this header.
 236   open (TESTFILE, ">$fnamebase.c");
 237   print TESTFILE "#include <$h>\n";
 238   close (TESTFILE);
 239
 240   $missing = compiletest ($fnamebase, "Checking whether <$h> is available",
 241                           "Header <$h> not available", 0);
 242
 243   printf ("\n");
 244
 245   open (CONTROL, "$CC -E -D$dialect - < data/$h-data |");
 246   control: while (<CONTROL>) {
 247     chop;
 248     next control if (/^#/);
 249     next control if (/^[        ]*$/);
 250
 251     if (/^element *({([^}]*)}|([^ ]*)) *({([^}]*)}|([^ ]*)) *([A-Za-z0-9_]*) *(.*)/) {
 252       my($struct) = "$2$3";
 253       my($type) = "$5$6";
 254       my($member) = "$7";
 255       my($rest) = "$8";
 256       my($res) = $missing;
 257
 258       # Remember that this name is allowed.
 259       push @allow, $member;
 260
 261       # Generate a program to test for the availability of this member.
 262       open (TESTFILE, ">$fnamebase.c");
 263       print TESTFILE "#include <$h>\n";
 264       print TESTFILE "$struct a;\n";
 265       print TESTFILE "$struct b;\n";
 266       print TESTFILE "extern void xyzzy (__typeof__ (&b.$member), __typeof__ (&a.$member), unsigned);\n";
 267       print TESTFILE "void foobarbaz (void) {\n";
 268       print TESTFILE "  xyzzy (&a.$member, &b.$member, sizeof (a.$member));\n";
 269       print TESTFILE "}\n";
 270       close (TESTFILE);
 271
 272       $res = compiletest ($fnamebase, "Testing for member $member",
 273                           "Member \"$member\" not available.", $res);
 274
 275
 276       # Test the types of the members.
 277       open (TESTFILE, ">$fnamebase.c");
 278       print TESTFILE "#include <$h>\n";
 279       print TESTFILE "$struct a;\n";
 280       print TESTFILE "extern $type b$rest;\n";
 281       print TESTFILE "extern __typeof__ (a.$member) b;\n";
 282       close (TESTFILE);
 283
 284       compiletest ($fnamebase, "Testing for type of member $member",
 285                    "Member \"$member\" does not have the correct type.", $res);
 286     } elsif (/^constant *([a-zA-Z0-9_]*) *([A-Za-z0-9_]*)?/) {
 287       my($const) = $1;
 288       my($value) = $2;
 289       my($res) = $missing;
 290
 291       # Remember that this name is allowed.
 292       push @allow, $const;
 293
 294       # Generate a program to test for the availability of this constant.
 295       open (TESTFILE, ">$fnamebase.c");
 296       print TESTFILE "#include <$h>\n";
 297       print TESTFILE "__typeof__ ($const) a = $const;\n";
 298       close (TESTFILE);
 299
 300       $res = compiletest ($fnamebase, "Testing for constant $const",
 301                           "Constant \"$const\" not available.", $res);
 302
 303       if ($value ne "") {
 304         # Generate a program to test for the value of this constant.
 305         open (TESTFILE, ">$fnamebase.c");
 306         print TESTFILE "#include <$h>\n";
 307         print TESTFILE "int main (void) { return $const != $value; }\n";
 308         close (TESTFILE);
 309
 310         $res = runtest ($fnamebase, "Testing for value of constant $const",
 311                         "Constant \"$const\" has not the right value.", $res);
 312       }
 313     } elsif (/^type *({([^}]*)|([a-zA-Z0-9_]*))/) {
 314       my($type) = "$2$3";
 315
 316       # Remember that this name is allowed.
 317       if ($type =~ /^struct *(.*)/) {
 318         push @allow, $1;
 319       } elsif ($type =~ /^union *(.*)/) {
 320         push @allow, $1;
 321       } else {
 322         push @allow, $type;
 323       }
 324
 325       # Remember that this name is allowed.
 326       push @allow, $type;
 327
 328       # Generate a program to test for the availability of this constant.
 329       open (TESTFILE, ">$fnamebase.c");
 330       print TESTFILE "#include <$h>\n";
 331       print TESTFILE "$type *a;\n";
 332       close (TESTFILE);
 333
 334       compiletest ($fnamebase, "Testing for type $type",
 335                    "Type \"$type\" not available.", $missing);
 336     } elsif (/^function *({([^}]*)}|([a-zA-Z0-9_]*)) ([a-zA-Z0-9_]*) ([(][^)]*[)])/) {
 337       my($rettype) = "$2$3";
 338       my($fname) = "$4";
 339       my($args) = "$5";
 340       my($res) = $missing;
 341
 342       # Remember that this name is allowed.
 343       push @allow, $fname;
 344
 345       # Generate a program to test for availability of this function.
 346       open (TESTFILE, ">$fnamebase.c");
 347       print TESTFILE "#include <$h>\n";
 348       # print TESTFILE "#undef $fname\n";
 349       print TESTFILE "$rettype (*foobarbaz) $args = $fname;\n";
 350       close (TESTFILE);
 351
 352       $res = compiletest ($fnamebase, "Test availability of function $fname",
 353                           "Function \"$fname\" is not available.", $res);
 354
 355       # Generate a program to test for the type of this function.
 356       open (TESTFILE, ">$fnamebase.c");
 357       print TESTFILE "#include <$h>\n";
 358       # print TESTFILE "#undef $fname\n";
 359       print TESTFILE "extern $rettype (*foobarbaz) $args;\n";
 360       print TESTFILE "extern __typeof__ (&$fname) foobarbaz;\n";
 361       close (TESTFILE);
 362
 363       compiletest ($fnamebase, "Test for type of function $fname",
 364                    "Function \"$fname\" has incorrect type.", $res);
 365     } elsif (/^macro *([^       ]*)/) {
 366       my($macro) = "$1";
 367
 368       # Remember that this name is allowed.
 369       push @allow, $macro;
 370
 371       # Generate a program to test for availability of this macro.
 372       open (TESTFILE, ">$fnamebase.c");
 373       print TESTFILE "#include <$h>\n";
 374       print TESTFILE "#ifndef $macro\n";
 375       print TESTFILE "# error \"Macro $macro not defined\"\n";
 376       print TESTFILE "#endif\n";
 377       close (TESTFILE);
 378
 379       compiletest ($fnamebase, "Test availability of macro $macro",
 380                    "Macro \"$macro\" is not available.", $missing);
 381     } elsif (/^allow *(.*)/) {
 382       my($pattern) = $1;
 383       push @allow, $pattern;
 384       next control;
 385     } else {
 386       # printf ("line is `%s'\n", $_);
 387       next control;
 388     }
 389
 390     printf ("\n");
 391   }
 392   close (CONTROL);
 393
 394   # Now check the namespace.
 395   printf ("  Checking the namespace of \"%s\"... ", $h);
 396   if ($missing) {
 397     ++$skipped;
 398     printf ("SKIP\n");
 399   } else {
 400     checknamespace ($h, $fnamebase, @allow);
 401   }
 402
 403   printf ("\n\n");
 404 }
 405
 406 printf "-" x 76 . "\n";
 407 printf ("  Total number of tests  : %4d\n", $total);
 408 printf ("  Number of failed tests : %4d (%3d%%)\n", $errors, ($errors * 100) / $total);
 409 printf ("  Number of skipped tests: %4d (%3d%%)\n", $skipped, ($skipped * 100) / $total);
 410
 411 exit $errors != 0;