tests/testcurl.pl

   1 #!/usr/bin/env perl
   2 #***************************************************************************
   3 #                                  _   _ ____  _
   4 #  Project                     ___| | | |  _ \| |
   5 #                             / __| | | | |_) | |
   6 #                            | (__| |_| |  _ <| |___
   7 #                             \___|\___/|_| \_\_____|
   8 #
   9 # Copyright (C) 1998 - 2007, Daniel Stenberg, <daniel@haxx.se>, et al.
  10 #
  11 # This software is licensed as described in the file COPYING, which
  12 # you should have received as part of this distribution. The terms
  13 # are also available at http://curl.haxx.se/docs/copyright.html.
  14 #
  15 # You may opt to use, copy, modify, merge, publish, distribute and/or sell
  16 # copies of the Software, and permit persons to whom the Software is
  17 # furnished to do so, under the terms of the COPYING file.
  18 #
  19 # This software is distributed on an "AS IS" basis, WITHOUT WARRANTY OF ANY
  20 # KIND, either express or implied.
  21 #
  22 # $Id$
  23 ###########################################################################
  24
  25 ###########################
  26 #  What is This Script?
  27 ###########################
  28
  29 # testcurl.pl is the master script to use for automatic testing of CVS-curl.
  30 # This is written for the purpose of being run from a crontab job or similar
  31 # at a regular interval. The output is suitable to be mailed to
  32 # curl-autocompile@haxx.se to be dealt with automatically (make sure the
  33 # subject includes the word "autobuild" as the mail gets silently discarded
  34 # otherwise).  The most current build status (with a resonable backlog) will
  35 # be published on the curl site, at http://curl.haxx.se/auto/
  36
  37 # USAGE:
  38 # testcurl.pl [options] [curl-daily-name] > output
  39
  40 # Options:
  41 #
  42 # --configure=[options]    Configure options
  43 # --crosscompile           This is a crosscompile
  44 # --desc=[desc]            Description of your test system
  45 # --email=[email]          Set email address to report as
  46 # --mktarball=[command]    Command to run after completed test
  47 # --name=[name]            Set name to report as
  48 # --nocvsup                Don't update from CVS even though it is a CVS tree
  49 # --nobuildconf            Don't run buildconf
  50 # --runtestopts=[options]  Options to pass to runtests.pl
  51 # --setup=[file name]      File name to read setup from (deprecated)
  52 # --target=[your os]       Specify your target environment.
  53 #
  54 # if [curl-daily-name] is omitted, a 'curl' CVS directory is assumed.
  55 #
  56
  57 use strict;
  58
  59 use Cwd;
  60
  61 # Turn on warnings (equivalent to -w, which can't be used with /usr/bin/env)
  62 #BEGIN { $^W = 1; }
  63
  64 use vars qw($version $fixed $infixed $CURLDIR $CVS $pwd $build $buildlog
  65             $buildlogname $configurebuild $targetos $confsuffix $binext
  66             $libext);
  67 use vars qw($name $email $desc $confopts $runtestopts $setupfile $mktarball
  68             $nocvsup $nobuildconf $crosscompile $timestamp);
  69
  70 # version of this script
  71 $version='$Revision$';
  72 $fixed=0;
  73
  74 # Determine if we're running from CVS or a canned copy of curl,
  75 # or if we got a specific target option or setup file option.
  76 $CURLDIR="curl";
  77 $CVS=1;
  78 $setupfile = 'setup';
  79 while ($ARGV[0]) {
  80   if ($ARGV[0] =~ /--target=/) {
  81     $targetos = (split(/=/, shift @ARGV))[1];
  82   }
  83   elsif ($ARGV[0] =~ /--setup=/) {
  84     $setupfile = (split(/=/, shift @ARGV))[1];
  85   }
  86   elsif ($ARGV[0] =~ /--mktarball=/) {
  87     $mktarball = (split(/=/, shift @ARGV))[1];
  88   }
  89   elsif ($ARGV[0] =~ /--name=/) {
  90     $name = (split(/=/, shift @ARGV))[1];
  91   }
  92   elsif ($ARGV[0] =~ /--email=/) {
  93     $email = (split(/=/, shift @ARGV))[1];
  94   }
  95   elsif ($ARGV[0] =~ /--desc=/) {
  96     $desc = (split(/=/, shift @ARGV))[1];
  97   }
  98   elsif ($ARGV[0] =~ /--configure=/) {
  99     $confopts = (split(/=/, shift @ARGV))[1];
 100   }
 101   elsif ($ARGV[0] =~ /--nocvsup/) {
 102     $nocvsup=1;
 103     shift @ARGV;
 104   }
 105   elsif ($ARGV[0] =~ /--nobuildconf/) {
 106     $nobuildconf=1;
 107     shift @ARGV;
 108   }
 109   elsif ($ARGV[0] =~ /--crosscompile/) {
 110     $crosscompile=1;
 111     shift @ARGV;
 112   }
 113   elsif ($ARGV[0] =~ /--runtestopts=/) {
 114     $runtestopts = (split(/=/, shift @ARGV, 2))[1];
 115   }
 116   else {
 117     $CURLDIR=shift @ARGV;
 118     $CVS=0;
 119   }
 120 }
 121
 122 # Do the platform-specific stuff here
 123 $configurebuild = 1;
 124 $confsuffix = '';
 125 $binext = '';
 126 $libext = '.la'; # .la since both libcurl and libcares are made with libtool
 127 if ($^O eq 'MSWin32' || $targetos) {
 128   if (!$targetos) {
 129     # If no target defined on Win32 lets assume vc
 130     $targetos = 'vc';
 131   }
 132   if ($targetos =~ /vc/ || $targetos =~ /borland/) {
 133     $binext = '.exe';
 134     $libext = '.lib';
 135   }
 136   elsif ($targetos =~ /mingw32/) {
 137     $binext = '.exe';
 138     if ($^O eq 'MSWin32') {
 139       $libext = '.a';
 140     }
 141   }
 142   elsif ($targetos =~ /netware/) {
 143     $configurebuild = 0;
 144     $binext = '.nlm';
 145     $libext = '.lib';
 146   }
 147 }
 148
 149 if (($^O eq 'MSWin32') &&
 150     ($targetos =~ /vc/ || $targetos =~ /mingw32/ || $targetos =~ /borland/)) {
 151
 152   # Set these things only when building ON Windows and for Win32 platform.
 153   # FOR Windows since we might be cross-compiling on another system. Non-
 154   # Windows builds still default to configure-style builds with no confsuffix.
 155
 156   $configurebuild = 0;
 157   $confsuffix = '-win32';
 158 }
 159
 160
 161 $ENV{LANG}="C";
 162
 163 sub rmtree($) {
 164     my $target = $_[0];
 165     if ($^O eq 'MSWin32') {
 166       foreach (glob($target)) {
 167         s:/:\\:g;
 168         system("rd /s /q $_");
 169       }
 170     } else {
 171       system("rm -rf $target");
 172     }
 173 }
 174
 175 sub grepfile($$) {
 176     my ($target, $fn) = @_;
 177     open(F, $fn) or die;
 178     while (<F>) {
 179       if (/$target/) {
 180         close(F);
 181         return 1;
 182       }
 183     }
 184     close(F);
 185     return 0;
 186 }
 187
 188 sub logit($) {
 189     my $text=$_[0];
 190     if ($text) {
 191       print "testcurl: $text\n";
 192     }
 193 }
 194
 195 sub mydie($){
 196     my $text=$_[0];
 197     logit "$text";
 198     chdir $pwd; # cd back to the original root dir
 199
 200     if ($pwd && $build) {
 201       # we have a build directory name, remove the dir
 202       logit "removing the $build dir";
 203       rmtree "$pwd/$build";
 204     }
 205     if (-r $buildlog) {
 206       # we have a build log output file left, remove it
 207       logit "removing the $buildlogname file";
 208       unlink "$buildlog";
 209     }
 210     logit "ENDING HERE"; # last line logged!
 211     exit 1;
 212 }
 213
 214 if (open(F, "$setupfile")) {
 215   while (<F>) {
 216     if (/(\w+)=(.*)/) {
 217       eval "\$$1=$2;";
 218     }
 219   }
 220   close(F);
 221   $infixed=$fixed;
 222 } else {
 223   $infixed=0;    # so that "additional args to configure" works properly first time...
 224 }
 225
 226 if (!$name) {
 227   print "please enter your name\n";
 228   $name = <>;
 229   chomp $name;
 230   $fixed=1;
 231 }
 232
 233 if (!$email) {
 234   print "please enter your contact email address\n";
 235   $email = <>;
 236   chomp $email;
 237   $fixed=2;
 238 }
 239
 240 if (!$desc) {
 241   print "please enter a one line system description\n";
 242   $desc = <>;
 243   chomp $desc;
 244   $fixed=3;
 245 }
 246
 247 if (!$confopts) {
 248   if ($infixed < 4) {
 249     print "please enter your additional arguments to configure\n";
 250     print "examples: --with-ssl --enable-debug --enable-ipv6 --with-krb4\n";
 251     $confopts = <>;
 252     chomp $confopts;
 253   }
 254 }
 255
 256
 257 if ($fixed < 4) {
 258     $fixed=4;
 259     open(F, ">$setupfile") or die;
 260     print F "name='$name'\n";
 261     print F "email='$email'\n";
 262     print F "desc='$desc'\n";
 263     print F "confopts='$confopts'\n";
 264     print F "fixed='$fixed'\n";
 265     close(F);
 266 }
 267
 268 logit "STARTING HERE"; # first line logged, for scripts to trigger on
 269 logit "NAME = $name";
 270 logit "EMAIL = $email";
 271 logit "DESC = $desc";
 272 logit "CONFOPTS = $confopts";
 273 logit "CPPFLAGS = ".$ENV{CPPFLAGS};
 274 logit "CFLAGS = ".$ENV{CFLAGS};
 275 logit "LDFLAGS = ".$ENV{LDFLAGS};
 276 logit "CC = ".$ENV{CC};
 277 logit "target = ".$targetos;
 278 logit "version = $version"; # script version
 279 logit "date = ".(scalar gmtime)." UTC";
 280
 281 # Make $pwd to become the path without newline. We'll use that in order to cut
 282 # off that path from all possible logs and error messages etc.
 283 $pwd = cwd();
 284
 285 # libcurl timestamp is present in curlver.h only if this isn't a CVS version.
 286 # If no timestamp available in curlver.h then we are building from CVS and we
 287 # will use current UTC build time as the CVS version timestamp.
 288 if ((-f "$CURLDIR/include/curl/curlver.h") &&
 289     (grepfile("define LIBCURL_TIMESTAMP",
 290               "$CURLDIR/include/curl/curlver.h")) &&
 291     (open(F, "<$CURLDIR/include/curl/curlver.h"))) {
 292   while (<F>) {
 293     chomp;
 294     if ($_ =~ /^\#define LIBCURL_TIMESTAMP\s+\"(.+)\".*$/) {
 295       $timestamp = $1;
 296       $timestamp =~ s/\s+UTC//;
 297       $timestamp .= " UTC";
 298     }
 299   }
 300   close(F);
 301 }
 302 if(not defined $timestamp) {
 303   $timestamp = scalar(gmtime)." UTC";
 304 }
 305 logit "timestamp = $timestamp";
 306
 307 if (-d $CURLDIR) {
 308   if ($CVS && -d "$CURLDIR/CVS") {
 309     logit "$CURLDIR is verified to be a fine source dir";
 310     # remove the generated sources to force them to be re-generated each
 311     # time we run this test
 312     unlink "$CURLDIR/src/hugehelp.c";
 313   } elsif (!$CVS && -f "$CURLDIR/tests/testcurl.pl") {
 314     logit "$CURLDIR is verified to be a fine daily source dir"
 315   } else {
 316     mydie "$CURLDIR is not a daily source dir or checked out from CVS!"
 317   }
 318 }
 319 $build="build-$$";
 320 $buildlogname="buildlog-$$";
 321 $buildlog="$pwd/$buildlogname";
 322
 323 # remove any previous left-overs
 324 rmtree "build-*";
 325 rmtree "buildlog-*";
 326
 327 # this is to remove old build logs that ended up in the wrong dir
 328 foreach (glob("$CURLDIR/buildlog-*")) { unlink $_; }
 329
 330 # create a dir to build in
 331 mkdir $build, 0777;
 332
 333 if (-d $build) {
 334   logit "build dir $build was created fine";
 335 } else {
 336   mydie "failed to create dir $build";
 337 }
 338
 339 # get in the curl source tree root
 340 chdir $CURLDIR;
 341
 342 # Do the CVS thing, or not...
 343 if ($CVS) {
 344
 345   # this is a temporary fix to make things work again, remove later
 346   logit "remove ares/aclocal.m4";
 347   unlink "ares/aclocal.m4";
 348
 349   logit "update from CVS";
 350   my $cvsstat;
 351
 352   sub cvsup() {
 353     # update quietly to the latest CVS
 354     logit "run cvs up";
 355     if($nocvsup) {
 356         logit "Skipping CVS update (--nocvsup)";
 357         return 1;
 358     }
 359     else {
 360         system("cvs -Q up -dP 2>&1");
 361     }
 362
 363     $cvsstat=$?;
 364
 365     # return !RETURNVALUE so that errors return 0 while goodness
 366     # returns 1
 367     return !$cvsstat;
 368   }
 369
 370   my $att=0;
 371   while (!cvsup()) {
 372     $att++;
 373     logit "failed CVS update attempt number $att.";
 374     if ($att > 10) {
 375       $cvsstat=111;
 376       last; # get out of the loop
 377     }
 378     sleep 5;
 379   }
 380
 381   if ($cvsstat != 0) {
 382     mydie "failed to update from CVS ($cvsstat), exiting";
 383   }
 384
 385   if($nobuildconf) {
 386       logit "told to not run buildconf";
 387   }
 388   elsif ($configurebuild) {
 389     # remove possible left-overs from the past
 390     unlink "configure";
 391     unlink "autom4te.cache";
 392
 393     # generate the build files
 394     logit "invoke buildconf, but filter off the silly aclocal warnings";
 395     open(F, "./buildconf 2>&1 |") or die;
 396     open(LOG, ">$buildlog") or die;
 397     while (<F>) {
 398       next if /warning: underquoted definition of/;
 399       print;
 400       print LOG;
 401     }
 402     close(F);
 403     close(LOG);
 404
 405     if (grepfile("^buildconf: OK", $buildlog)) {
 406       logit "buildconf was successful";
 407     }
 408     else {
 409       mydie "buildconf was NOT successful";
 410     }
 411   }
 412   else {
 413     logit "buildconf was successful (dummy message)";
 414   }
 415 }
 416
 417 if ($configurebuild) {
 418   if (-f "configure") {
 419     logit "configure created (at least it exists)";
 420   } else {
 421     mydie "no configure created/found";
 422   }
 423 } else {
 424   logit "configure created (dummy message)"; # dummy message to feign success
 425 }
 426
 427 sub findinpath {
 428   my $c;
 429   my $e;
 430   my $x='';
 431   $x='.exe' if ($^O eq 'MSWin32');
 432   my $s=':';
 433   $s=';' if ($^O eq 'MSWin32');
 434   my $p=$ENV{'PATH'};
 435   my @pa = split($s, $p);
 436   for $c (@_) {
 437     for $e (@pa) {
 438       if( -x "$e/$c$x") {
 439         return $c;
 440       }
 441     }
 442   }
 443 }
 444
 445 my $make = findinpath("gmake", "make", "nmake");
 446 if(!$make) {
 447     mydie "Couldn't find make in the PATH";
 448 }
 449 logit "going with $make as make";
 450
 451 # change to build dir
 452 chdir "$pwd/$build";
 453
 454 if ($configurebuild) {
 455   # run configure script
 456   print `../$CURLDIR/configure $confopts 2>&1`;
 457
 458   if (-f "lib/Makefile") {
 459     logit "configure seems to have finished fine";
 460   } else {
 461     mydie "configure didn't work";
 462   }
 463 } else {
 464   if (($^O eq 'MSWin32') && ($targetos !~ /netware/)) {
 465     system("xcopy /s /q ..\\$CURLDIR .");
 466     system("buildconf.bat");
 467   }
 468   elsif (($^O eq 'linux') || ($targetos =~ /netware/)) {
 469     system("cp -afr ../$CURLDIR/* .");
 470     system("cp -af ../$CURLDIR/Makefile.dist Makefile");
 471     system("$make -i -C lib -f Makefile.$targetos prebuild");
 472     system("$make -i -C src -f Makefile.$targetos prebuild");
 473   }
 474 }
 475
 476 logit "display lib/config$confsuffix.h";
 477 open(F, "lib/config$confsuffix.h") or die "lib/config$confsuffix.h: $!";
 478 while (<F>) {
 479   print if /^ *#/;
 480 }
 481 close(F);
 482
 483 if (grepfile("define USE_ARES", "lib/config$confsuffix.h")) {
 484   logit "setup to build ares";
 485
 486   logit "display ares/config$confsuffix.h";
 487   if(open(F, "ares/config$confsuffix.h")) {
 488       while (<F>) {
 489           print if /^ *#/;
 490       }
 491       close(F);
 492   }
 493
 494   logit "build ares";
 495   chdir "ares";
 496
 497   if ($targetos && !$configurebuild) {
 498       logit "$make -f Makefile.$targetos";
 499       open(F, "$make -f Makefile.$targetos 2>&1 |") or die;
 500   }
 501   else {
 502       logit "$make";
 503       open(F, "$make 2>&1 |") or die;
 504   }
 505   while (<F>) {
 506     s/$pwd//g;
 507     print;
 508   }
 509   close(F);
 510
 511   if (-f "libcares$libext") {
 512     logit "ares is now built successfully (libcares$libext)";
 513   } else {
 514     logit "ares build failed (libares$libext)";
 515   }
 516
 517   # cd back to the curl build dir
 518   chdir "$pwd/$build";
 519 }
 520
 521 if ($configurebuild) {
 522   logit "$make -i";
 523   open(F, "$make -i 2>&1 |") or die;
 524   while (<F>) {
 525     s/$pwd//g;
 526     print;
 527   }
 528   close(F);
 529 }
 530 else {
 531   logit "$make -i $targetos";
 532   if ($^O eq 'MSWin32') {
 533     if ($targetos =~ /vc/) {
 534       open(F, "nmake -i $targetos|") or die;
 535     }
 536     else {
 537       open(F, "$make -i $targetos |") or die;
 538     }
 539   }
 540   else {
 541     open(F, "$make -i $targetos 2>&1 |") or die;
 542   }
 543   while (<F>) {
 544     s/$pwd//g;
 545     print;
 546   }
 547   close(F);
 548 }
 549
 550 if (-f "lib/libcurl$libext") {
 551   logit "libcurl was created fine (libcurl$libext)";
 552 }
 553 else {
 554   mydie "libcurl was not created (libcurl$libext)";
 555 }
 556
 557 if (-f "src/curl$binext") {
 558   logit "curl was created fine (curl$binext)";
 559 }
 560 else {
 561   mydie "curl was not created (curl$binext)";
 562 }
 563
 564 if ($targetos =~ /netware/) {
 565   if (-f '../../curlver') {
 566     system('../../curlver');
 567   }
 568 }
 569 elsif(!$crosscompile) {
 570   logit "display curl$binext --version output";
 571   open(F, "./src/curl$binext --version|");
 572   while(<F>) {
 573       print;
 574       print LOG;
 575   }
 576   close(F);
 577 }
 578
 579 if ($configurebuild && !$crosscompile) {
 580   my $o;
 581   if($runtestopts) {
 582       $o = "TEST_F=\"$runtestopts\" ";
 583   }
 584   logit "$make -k ${o}test-full";
 585   open(F, "$make -k ${o}test-full 2>&1 |") or die;
 586   open(LOG, ">$buildlog") or die;
 587   while (<F>) {
 588     s/$pwd//g;
 589     print;
 590     print LOG;
 591   }
 592   close(F);
 593   close(LOG);
 594
 595   if (grepfile("^TEST", $buildlog)) {
 596     logit "tests were run";
 597   } else {
 598     mydie "test suite failure";
 599   }
 600
 601   if (grepfile("^TESTFAIL:", $buildlog)) {
 602     logit "the tests were not successful";
 603   } else {
 604     logit "the tests were successful!";
 605   }
 606 } else {
 607   # dummy message to feign success
 608   if($crosscompile) {
 609     logit "cross-compiling, can't run tests";
 610   }
 611   print "TESTDONE: 1 tests out of 0 (dummy message)\n";
 612 }
 613
 614 # create a tarball if we got that option.
 615 if (($mktarball ne '') && (-f $mktarball)) {
 616   system($mktarball);
 617 }
 618
 619 # mydie to cleanup
 620 mydie "ending nicely";