tests/testcurl.pl

   1 #!/usr/bin/env perl
   2 #***************************************************************************
   3 #                                  _   _ ____  _
   4 #  Project                     ___| | | |  _ \| |
   5 #                             / __| | | | |_) | |
   6 #                            | (__| |_| |  _ <| |___
   7 #                             \___|\___/|_| \_\_____|
   8 #
   9 # Copyright (C) 1998 - 2011, Daniel Stenberg, <daniel@haxx.se>, et al.
  10 #
  11 # This software is licensed as described in the file COPYING, which
  12 # you should have received as part of this distribution. The terms
  13 # are also available at http://curl.haxx.se/docs/copyright.html.
  14 #
  15 # You may opt to use, copy, modify, merge, publish, distribute and/or sell
  16 # copies of the Software, and permit persons to whom the Software is
  17 # furnished to do so, under the terms of the COPYING file.
  18 #
  19 # This software is distributed on an "AS IS" basis, WITHOUT WARRANTY OF ANY
  20 # KIND, either express or implied.
  21 #
  22 ###########################################################################
  23
  24 ###########################
  25 #  What is This Script?
  26 ###########################
  27
  28 # testcurl.pl is the master script to use for automatic testing of curl
  29 # directly off its source repository.
  30 # This is written for the purpose of being run from a crontab job or similar
  31 # at a regular interval. The output is suitable to be mailed to
  32 # curl-autocompile@haxx.se to be dealt with automatically (make sure the
  33 # subject includes the word "autobuild" as the mail gets silently discarded
  34 # otherwise).  The most current build status (with a resonable backlog) will
  35 # be published on the curl site, at http://curl.haxx.se/auto/
  36
  37 # USAGE:
  38 # testcurl.pl [options] [curl-daily-name] > output
  39
  40 # Options:
  41 #
  42 # --configure=[options]    Configure options
  43 # --crosscompile           This is a crosscompile
  44 # --desc=[desc]            Description of your test system
  45 # --email=[email]          Set email address to report as
  46 # --extvercmd=[command]    Command to use for displaying version with cross compiles.
  47 # --mktarball=[command]    Command to run after completed test
  48 # --name=[name]            Set name to report as
  49 # --nocvsup                Don't pull from git even though it is a git tree
  50 # --nogitpull              Don't pull from git even though it is a git tree
  51 # --nobuildconf            Don't run buildconf
  52 # --noconfigure            Don't run configure
  53 # --runtestopts=[options]  Options to pass to runtests.pl
  54 # --setup=[file name]      File name to read setup from (deprecated)
  55 # --target=[your os]       Specify your target environment.
  56 #
  57 # if [curl-daily-name] is omitted, a 'curl' git directory is assumed.
  58 #
  59
  60 use strict;
  61
  62 use Cwd;
  63
  64 # Turn on warnings (equivalent to -w, which can't be used with /usr/bin/env)
  65 #BEGIN { $^W = 1; }
  66
  67 use vars qw($version $fixed $infixed $CURLDIR $git $pwd $build $buildlog
  68             $buildlogname $configurebuild $targetos $confheader $binext
  69             $libext);
  70
  71 use vars qw($name $email $desc $confopts $runtestopts $setupfile $mktarball
  72             $extvercmd $nogitpull $nobuildconf $crosscompile
  73             $timestamp $notes);
  74
  75 # version of this script
  76 $version='2011-06-23';
  77 $fixed=0;
  78
  79 # Determine if we're running from git or a canned copy of curl,
  80 # or if we got a specific target option or setup file option.
  81 $CURLDIR="curl";
  82 if (-f ".git/config") {
  83   $CURLDIR = "./";
  84 }
  85
  86 $git=1;
  87 $setupfile = 'setup';
  88 $configurebuild = 1;
  89 while ($ARGV[0]) {
  90   if ($ARGV[0] =~ /--target=/) {
  91     $targetos = (split(/=/, shift @ARGV))[1];
  92   }
  93   elsif ($ARGV[0] =~ /--setup=/) {
  94     $setupfile = (split(/=/, shift @ARGV))[1];
  95   }
  96   elsif ($ARGV[0] =~ /--extvercmd=/) {
  97     $extvercmd = (split(/=/, shift @ARGV))[1];
  98   }
  99   elsif ($ARGV[0] =~ /--mktarball=/) {
 100     $mktarball = (split(/=/, shift @ARGV))[1];
 101   }
 102   elsif ($ARGV[0] =~ /--name=/) {
 103     $name = (split(/=/, shift @ARGV))[1];
 104   }
 105   elsif ($ARGV[0] =~ /--email=/) {
 106     $email = (split(/=/, shift @ARGV))[1];
 107   }
 108   elsif ($ARGV[0] =~ /--desc=/) {
 109     $desc = (split(/=/, shift @ARGV))[1];
 110   }
 111   elsif ($ARGV[0] =~ /--configure=(.*)/) {
 112     $confopts = $1;
 113     shift @ARGV;
 114   }
 115   elsif (($ARGV[0] eq "--nocvsup") || ($ARGV[0] eq "--nogitpull")) {
 116     $nogitpull=1;
 117     shift @ARGV;
 118   }
 119   elsif ($ARGV[0] =~ /--nobuildconf/) {
 120     $nobuildconf=1;
 121     shift @ARGV;
 122   }
 123   elsif ($ARGV[0] =~ /--noconfigure/) {
 124     $configurebuild=0;
 125     shift @ARGV;
 126   }
 127   elsif ($ARGV[0] =~ /--crosscompile/) {
 128     $crosscompile=1;
 129     shift @ARGV;
 130   }
 131   elsif ($ARGV[0] =~ /--runtestopts=/) {
 132     $runtestopts = (split(/=/, shift @ARGV, 2))[1];
 133   }
 134   else {
 135     $CURLDIR=shift @ARGV;
 136     $git=0; # a given dir, assume not using git
 137   }
 138 }
 139
 140 # Do the platform-specific stuff here
 141 $confheader = 'curl_config.h';
 142 $binext = '';
 143 $libext = '.la'; # .la since both libcurl and libcares are made with libtool
 144 if ($^O eq 'MSWin32' || $targetos) {
 145   if (!$targetos) {
 146     # If no target defined on Win32 lets assume vc
 147     $targetos = 'vc';
 148   }
 149   if ($targetos =~ /vc/ || $targetos =~ /borland/ || $targetos =~ /watcom/) {
 150     $binext = '.exe';
 151     $libext = '.lib';
 152   }
 153   elsif ($targetos =~ /mingw/) {
 154     $binext = '.exe';
 155     if ($^O eq 'MSWin32') {
 156       $libext = '.a';
 157     }
 158   }
 159   elsif ($targetos =~ /netware/) {
 160     $configurebuild = 0;
 161     $binext = '.nlm';
 162     if ($^O eq 'MSWin32') {
 163       $libext = '.lib';
 164     }
 165     else {
 166       $libext = '.a';
 167     }
 168   }
 169 }
 170
 171 if (($^O eq 'MSWin32' || $^O eq 'msys') &&
 172     ($targetos =~ /vc/ || $targetos =~ /mingw32/ ||
 173      $targetos =~ /borland/ || $targetos =~ /watcom/)) {
 174
 175   # Set these things only when building ON Windows and for Win32 platform.
 176   # FOR Windows since we might be cross-compiling on another system. Non-
 177   # Windows builds still default to configure-style builds with curl_config.h.
 178
 179   $configurebuild = 0;
 180   $confheader = 'config-win32.h';
 181 }
 182
 183 $ENV{LC_ALL}="C" if (($ENV{LC_ALL}) && ($ENV{LC_ALL} !~ /^C$/));
 184 $ENV{LC_CTYPE}="C" if (($ENV{LC_CTYPE}) && ($ENV{LC_CTYPE} !~ /^C$/));
 185 $ENV{LANG}="C";
 186
 187 sub rmtree($) {
 188     my $target = $_[0];
 189     if ($^O eq 'MSWin32') {
 190       foreach (glob($target)) {
 191         s:/:\\:g;
 192         system("rd /s /q $_");
 193       }
 194     } else {
 195       system("rm -rf $target");
 196     }
 197 }
 198
 199 sub grepfile($$) {
 200     my ($target, $fn) = @_;
 201     open(F, $fn) or die;
 202     while (<F>) {
 203       if (/$target/) {
 204         close(F);
 205         return 1;
 206       }
 207     }
 208     close(F);
 209     return 0;
 210 }
 211
 212 sub logit($) {
 213     my $text=$_[0];
 214     if ($text) {
 215       print "testcurl: $text\n";
 216     }
 217 }
 218
 219 sub logit_spaced($) {
 220     my $text=$_[0];
 221     if ($text) {
 222       print "\ntestcurl: $text\n\n";
 223     }
 224 }
 225
 226 sub mydie($){
 227     my $text=$_[0];
 228     logit "$text";
 229     chdir $pwd; # cd back to the original root dir
 230
 231     if ($pwd && $build) {
 232       # we have a build directory name, remove the dir
 233       logit "removing the $build dir";
 234       rmtree "$pwd/$build";
 235     }
 236     if (-r $buildlog) {
 237       # we have a build log output file left, remove it
 238       logit "removing the $buildlogname file";
 239       unlink "$buildlog";
 240     }
 241     logit "ENDING HERE"; # last line logged!
 242     exit 1;
 243 }
 244
 245 sub get_host_triplet {
 246   my $triplet;
 247   my $configfile = "$pwd/$build/lib/curl_config.h";
 248
 249   if(-f $configfile && -s $configfile && open(LIBCONFIGH, "<$configfile")) {
 250     while(<LIBCONFIGH>) {
 251       if($_ =~ /^\#define\s+OS\s+"*([^"][^"]*)"*\s*/) {
 252         $triplet = $1;
 253         last;
 254       }
 255     }
 256     close(LIBCONFIGH);
 257   }
 258   return $triplet;
 259 }
 260
 261 if (open(F, "$setupfile")) {
 262   while (<F>) {
 263     if (/(\w+)=(.*)/) {
 264       eval "\$$1=$2;";
 265     }
 266   }
 267   close(F);
 268   $infixed=$fixed;
 269 } else {
 270   $infixed=0;    # so that "additional args to configure" works properly first time...
 271 }
 272
 273 if (!$name) {
 274   print "please enter your name\n";
 275   $name = <>;
 276   chomp $name;
 277   $fixed=1;
 278 }
 279
 280 if (!$email) {
 281   print "please enter your contact email address\n";
 282   $email = <>;
 283   chomp $email;
 284   $fixed=2;
 285 }
 286
 287 if (!$desc) {
 288   print "please enter a one line system description\n";
 289   $desc = <>;
 290   chomp $desc;
 291   $fixed=3;
 292 }
 293
 294 if (!$confopts) {
 295   if ($infixed < 4) {
 296     print "please enter your additional arguments to configure\n";
 297     print "examples: --with-ssl --enable-debug --enable-ipv6 --with-krb4\n";
 298     $confopts = <>;
 299     chomp $confopts;
 300   }
 301 }
 302
 303
 304 if ($fixed < 4) {
 305     $fixed=4;
 306     open(F, ">$setupfile") or die;
 307     print F "name='$name'\n";
 308     print F "email='$email'\n";
 309     print F "desc='$desc'\n";
 310     print F "confopts='$confopts'\n";
 311     print F "notes='$notes'\n";
 312     print F "fixed='$fixed'\n";
 313     close(F);
 314 }
 315
 316 # Enable picky compiler warnings unless explicitly disabled
 317 if (($confopts !~ /--enable-debug/) &&
 318     ($confopts !~ /--enable-warnings/) &&
 319     ($confopts !~ /--disable-warnings/)) {
 320   $confopts .= " --enable-warnings";
 321 }
 322
 323 my $str1066os = 'o' x 1066;
 324
 325 # Set timestamp to the UTC this script is running. Its value might
 326 # be changed later in the script to the value present in curlver.h
 327 $timestamp = scalar(gmtime)." UTC";
 328
 329 logit "STARTING HERE"; # first line logged, for scripts to trigger on
 330 logit 'TRANSFER CONTROL ==== 1120 CHAR LINE' . $str1066os . 'LINE_END';
 331 logit "NAME = $name";
 332 logit "EMAIL = $email";
 333 logit "DESC = $desc";
 334 logit "NOTES = $notes";
 335 logit "CONFOPTS = $confopts";
 336 logit "CPPFLAGS = ".$ENV{CPPFLAGS};
 337 logit "CFLAGS = ".$ENV{CFLAGS};
 338 logit "LDFLAGS = ".$ENV{LDFLAGS};
 339 logit "CC = ".$ENV{CC};
 340 logit "MAKEFLAGS = ".$ENV{MAKEFLAGS};
 341 logit "PKG_CONFIG_PATH = ".$ENV{PKG_CONFIG_PATH};
 342 logit "target = ".$targetos;
 343 logit "version = $version"; # script version
 344 logit "date = $timestamp";  # When the test build starts
 345
 346 $str1066os = undef;
 347
 348 # Make $pwd to become the path without newline. We'll use that in order to cut
 349 # off that path from all possible logs and error messages etc.
 350 $pwd = getcwd();
 351
 352 if (-d $CURLDIR) {
 353   if ($git && -d "$CURLDIR/.git") {
 354     logit "$CURLDIR is verified to be a fine git source dir";
 355     # remove the generated sources to force them to be re-generated each
 356     # time we run this test
 357     unlink "$CURLDIR/src/hugehelp.c";
 358   } elsif (!$git && -f "$CURLDIR/tests/testcurl.pl") {
 359     logit "$CURLDIR is verified to be a fine daily source dir"
 360   } else {
 361     mydie "$CURLDIR is not a daily source dir or checked out from git!"
 362   }
 363 }
 364 $build="build-$$";
 365 $buildlogname="buildlog-$$";
 366 $buildlog="$pwd/$buildlogname";
 367
 368 # remove any previous left-overs
 369 rmtree "build-*";
 370 rmtree "buildlog-*";
 371
 372 # this is to remove old build logs that ended up in the wrong dir
 373 foreach (glob("$CURLDIR/buildlog-*")) { unlink $_; }
 374
 375 # create a dir to build in
 376 mkdir $build, 0777;
 377
 378 if (-d $build) {
 379   logit "build dir $build was created fine";
 380 } else {
 381   mydie "failed to create dir $build";
 382 }
 383
 384 # get in the curl source tree root
 385 chdir $CURLDIR;
 386
 387 # Do the git thing, or not...
 388 if ($git) {
 389   # update quietly to the latest git
 390   if($nogitpull) {
 391     logit "skipping git pull (--nogitpull)";
 392   } else {
 393     my $gitstat = 0;
 394     my @commits;
 395     logit "run git pull in curl";
 396     system("git pull 2>&1");
 397     $gitstat += $?;
 398     logit "failed to update from curl git ($?), continue anyway" if ($?);
 399     # get the last 5 commits for show (even if no pull was made)
 400     @commits=`git log --pretty=oneline --abbrev-commit -5`;
 401     logit "The most recent curl git commits:";
 402     for (@commits) {
 403       chomp ($_);
 404       logit "  $_";
 405     }
 406     if (-d "ares/.git") {
 407       chdir "ares";
 408       logit "run git pull in ares";
 409       system("git pull 2>&1");
 410       $gitstat += $?;
 411       logit "failed to update from ares git ($?), continue anyway" if ($?);
 412       # get the last 5 commits for show (even if no pull was made)
 413       @commits=`git log --pretty=oneline --abbrev-commit -5`;
 414       logit "The most recent ares git commits:";
 415       for (@commits) {
 416         chomp ($_);
 417         logit "  $_";
 418       }
 419       chdir "$pwd/$CURLDIR";
 420     }
 421     # Set timestamp to the UTC the git update took place.
 422     $timestamp = scalar(gmtime)." UTC" if (!$gitstat);
 423   }
 424
 425   if($nobuildconf) {
 426     logit "told to not run buildconf";
 427   }
 428   elsif ($configurebuild) {
 429     # remove possible left-overs from the past
 430     unlink "configure";
 431     unlink "autom4te.cache";
 432
 433     # generate the build files
 434     logit "invoke buildconf";
 435     open(F, "./buildconf 2>&1 |") or die;
 436     open(LOG, ">$buildlog") or die;
 437     while (<F>) {
 438       # ignore messages pertaining to third party m4 files we don't care
 439       next if /aclocal\/gtk.m4/;
 440       next if /aclocal\/gtkextra.m4/;
 441       print;
 442       print LOG;
 443     }
 444     close(F);
 445     close(LOG);
 446
 447     if (grepfile("^buildconf: OK", $buildlog)) {
 448       logit "buildconf was successful";
 449     }
 450     else {
 451       mydie "buildconf was NOT successful";
 452     }
 453   }
 454   else {
 455     logit "buildconf was successful (dummy message)";
 456   }
 457 }
 458
 459 # Set timestamp to the one in curlver.h if this isn't a git test build.
 460 if ((-f "include/curl/curlver.h") &&
 461     (open(F, "<include/curl/curlver.h"))) {
 462   while (<F>) {
 463     chomp;
 464     if ($_ =~ /^\#define\s+LIBCURL_TIMESTAMP\s+\"(.+)\".*$/) {
 465       my $stampstring = $1;
 466       if ($stampstring !~ /DEV/) {
 467           $stampstring =~ s/\s+UTC//;
 468           $timestamp = $stampstring." UTC";
 469       }
 470       last;
 471     }
 472   }
 473   close(F);
 474 }
 475
 476 # Show timestamp we are using for this test build.
 477 logit "timestamp = $timestamp";
 478
 479 if ($configurebuild) {
 480   if (-f "configure") {
 481     logit "configure created (at least it exists)";
 482   } else {
 483     mydie "no configure created/found";
 484   }
 485 } else {
 486   logit "configure created (dummy message)"; # dummy message to feign success
 487 }
 488
 489 sub findinpath {
 490   my $c;
 491   my $e;
 492   my $x = ($^O eq 'MSWin32') ? '.exe' : '';
 493   my $s = ($^O eq 'MSWin32') ? ';' : ':';
 494   my $p=$ENV{'PATH'};
 495   my @pa = split($s, $p);
 496   for $c (@_) {
 497     for $e (@pa) {
 498       if( -x "$e/$c$x") {
 499         return $c;
 500       }
 501     }
 502   }
 503 }
 504
 505 my $make = findinpath("gmake", "make", "nmake");
 506 if(!$make) {
 507     mydie "Couldn't find make in the PATH";
 508 }
 509 # force to 'nmake' for VC builds
 510 $make = "nmake" if ($targetos =~ /vc/);
 511 # force to 'wmake' for Watcom builds
 512 $make = "wmake" if ($targetos =~ /watcom/);
 513 logit "going with $make as make";
 514
 515 # change to build dir
 516 chdir "$pwd/$build";
 517
 518 if ($configurebuild) {
 519   # run configure script
 520   print `../$CURLDIR/configure $confopts 2>&1`;
 521
 522   if (-f "lib/Makefile") {
 523     logit "configure seems to have finished fine";
 524   } else {
 525     mydie "configure didn't work";
 526   }
 527 } else {
 528   logit "copying files to build dir ...";
 529   if (($^O eq 'MSWin32') && ($targetos !~ /netware/)) {
 530     system("xcopy /s /q ..\\$CURLDIR .");
 531     system("buildconf.bat");
 532   }
 533   elsif ($targetos =~ /netware/) {
 534     system("cp -afr ../$CURLDIR/* .");
 535     system("cp -af ../$CURLDIR/Makefile.dist Makefile");
 536     system("$make -i -C lib -f Makefile.netware prebuild");
 537     system("$make -i -C src -f Makefile.netware prebuild");
 538     if (-d "../$CURLDIR/ares") {
 539       system("$make -i -C ares -f Makefile.netware prebuild");
 540     }
 541   }
 542   elsif ($^O eq 'linux') {
 543     system("cp -afr ../$CURLDIR/* .");
 544     system("cp -af ../$CURLDIR/Makefile.dist Makefile");
 545     system("cp -af ../$CURLDIR/include/curl/curlbuild.h.dist ./include/curl/curlbuild.h");
 546     system("$make -i -C lib -f Makefile.$targetos prebuild");
 547     system("$make -i -C src -f Makefile.$targetos prebuild");
 548     if (-d "../$CURLDIR/ares") {
 549       system("cp -af ../$CURLDIR/ares/ares_build.h.dist ./ares/ares_build.h");
 550       system("$make -i -C ares -f Makefile.$targetos prebuild");
 551     }
 552   }
 553 }
 554
 555 if(-f "./libcurl.pc") {
 556   logit_spaced "display libcurl.pc";
 557   if(open(F, "<./libcurl.pc")) {
 558     while(<F>) {
 559       my $ll = $_;
 560       print $ll if(($ll !~ /^ *#/) && ($ll !~ /^ *$/));
 561     }
 562     close(F);
 563   }
 564 }
 565
 566 if(-f "./include/curl/curlbuild.h") {
 567   logit_spaced "display include/curl/curlbuild.h";
 568   if(open(F, "<./include/curl/curlbuild.h")) {
 569     while(<F>) {
 570       my $ll = $_;
 571       print $ll if(($ll =~ /^ *# *define *CURL_/) && ($ll !~ /__CURL_CURLBUILD_H/));
 572     }
 573     close(F);
 574   }
 575 }
 576 else {
 577   mydie "no curlbuild.h created/found";
 578 }
 579
 580 logit_spaced "display lib/$confheader";
 581 open(F, "lib/$confheader") or die "lib/$confheader: $!";
 582 while (<F>) {
 583   print if /^ *#/;
 584 }
 585 close(F);
 586
 587 if (grepfile("^#define USE_ARES", "lib/$confheader")) {
 588   print "\n";
 589   logit "setup to build ares";
 590
 591   if(-f "./ares/libcares.pc") {
 592     logit_spaced  "display ares/libcares.pc";
 593     if(open(F, "<./ares/libcares.pc")) {
 594       while(<F>) {
 595         my $ll = $_;
 596         print $ll if(($ll !~ /^ *#/) && ($ll !~ /^ *$/));
 597       }
 598       close(F);
 599     }
 600   }
 601
 602   if(-f "./ares/ares_build.h") {
 603     logit_spaced "display ares/ares_build.h";
 604     if(open(F, "<./ares/ares_build.h")) {
 605       while(<F>) {
 606         my $ll = $_;
 607         print $ll if(($ll =~ /^ *# *define *CARES_/) && ($ll !~ /__CARES_BUILD_H/));
 608       }
 609       close(F);
 610     }
 611   }
 612   else {
 613     mydie "no ares_build.h created/found";
 614   }
 615
 616   $confheader =~ s/curl/ares/;
 617   logit_spaced "display ares/$confheader";
 618   if(open(F, "ares/$confheader")) {
 619       while (<F>) {
 620           print if /^ *#/;
 621       }
 622       close(F);
 623   }
 624
 625   print "\n";
 626   logit "build ares";
 627   chdir "ares";
 628
 629   if ($targetos && !$configurebuild) {
 630       logit "$make -f Makefile.$targetos";
 631       open(F, "$make -f Makefile.$targetos 2>&1 |") or die;
 632   }
 633   else {
 634       logit "$make";
 635       open(F, "$make 2>&1 |") or die;
 636   }
 637   while (<F>) {
 638     s/$pwd//g;
 639     print;
 640   }
 641   close(F);
 642
 643   if (-f "libcares$libext") {
 644     logit "ares is now built successfully (libcares$libext)";
 645   } else {
 646     mydie "ares build failed (libcares$libext)";
 647   }
 648
 649   # cd back to the curl build dir
 650   chdir "$pwd/$build";
 651 }
 652
 653 my $mkcmd = "$make -i" . ($targetos && !$configurebuild ? " $targetos" : "");
 654 logit "$mkcmd";
 655 open(F, "$mkcmd 2>&1 |") or die;
 656 while (<F>) {
 657   s/$pwd//g;
 658   print;
 659 }
 660 close(F);
 661
 662 if (-f "lib/libcurl$libext") {
 663   logit "libcurl was created fine (libcurl$libext)";
 664 }
 665 else {
 666   mydie "libcurl was not created (libcurl$libext)";
 667 }
 668
 669 if (-f "src/curl$binext") {
 670   logit "curl was created fine (curl$binext)";
 671 }
 672 else {
 673   mydie "curl was not created (curl$binext)";
 674 }
 675
 676 if (!$crosscompile || (($extvercmd ne '') && (-x $extvercmd))) {
 677   logit "display curl${binext} --version output";
 678   my $cmd = ($extvercmd ne '' ? $extvercmd.' ' : '')."./src/curl${binext} --version|";
 679   open(F, $cmd);
 680   while(<F>) {
 681     # strip CR from output on non-win32 platforms (wine on Linux)
 682     s/\r// if ($^O ne 'MSWin32');
 683     print;
 684   }
 685   close(F);
 686 }
 687
 688 if ($configurebuild && !$crosscompile) {
 689   my $o;
 690   if($runtestopts) {
 691       $o = "TEST_F=\"$runtestopts\" ";
 692   }
 693   logit "$make -k ${o}test-full";
 694   open(F, "$make -k ${o}test-full 2>&1 |") or die;
 695   open(LOG, ">$buildlog") or die;
 696   while (<F>) {
 697     s/$pwd//g;
 698     print;
 699     print LOG;
 700   }
 701   close(F);
 702   close(LOG);
 703
 704   if (grepfile("^TEST", $buildlog)) {
 705     logit "tests were run";
 706   } else {
 707     mydie "test suite failure";
 708   }
 709
 710   if (grepfile("^TESTFAIL:", $buildlog)) {
 711     logit "the tests were not successful";
 712   } else {
 713     logit "the tests were successful!";
 714   }
 715 }
 716 else {
 717   if($crosscompile) {
 718     # build test harness programs for selected cross-compiles
 719     my $host_triplet = get_host_triplet();
 720     if($host_triplet =~ /([^-]+)-([^-]+)-mingw(.*)/) {
 721       chdir "$pwd/$build/tests";
 722       logit_spaced "build test harness";
 723       open(F, "$make -i 2>&1 |") or die;
 724       open(LOG, ">$buildlog") or die;
 725       while (<F>) {
 726         s/$pwd//g;
 727         print;
 728         print LOG;
 729       }
 730       close(F);
 731       close(LOG);
 732       chdir "$pwd/$build";
 733     }
 734     logit_spaced "cross-compiling, can't run tests";
 735   }
 736   # dummy message to feign success
 737   print "TESTDONE: 1 tests out of 0 (dummy message)\n";
 738 }
 739
 740 # create a tarball if we got that option.
 741 if (($mktarball ne '') && (-x $mktarball)) {
 742   system($mktarball);
 743 }
 744
 745 # mydie to cleanup
 746 mydie "ending nicely";