Imported Upstream version 7.32.0
[platform/upstream/curl.git] / tests / testcurl.pl
1 #!/usr/bin/env perl
2 #***************************************************************************
3 #                                  _   _ ____  _
4 #  Project                     ___| | | |  _ \| |
5 #                             / __| | | | |_) | |
6 #                            | (__| |_| |  _ <| |___
7 #                             \___|\___/|_| \_\_____|
8 #
9 # Copyright (C) 1998 - 2012, Daniel Stenberg, <daniel@haxx.se>, et al.
10 #
11 # This software is licensed as described in the file COPYING, which
12 # you should have received as part of this distribution. The terms
13 # are also available at http://curl.haxx.se/docs/copyright.html.
14 #
15 # You may opt to use, copy, modify, merge, publish, distribute and/or sell
16 # copies of the Software, and permit persons to whom the Software is
17 # furnished to do so, under the terms of the COPYING file.
18 #
19 # This software is distributed on an "AS IS" basis, WITHOUT WARRANTY OF ANY
20 # KIND, either express or implied.
21 #
22 ###########################################################################
23
24 ###########################
25 #  What is This Script?
26 ###########################
27
28 # testcurl.pl is the master script to use for automatic testing of curl
29 # directly off its source repository.
30 # This is written for the purpose of being run from a crontab job or similar
31 # at a regular interval. The output is suitable to be mailed to
32 # curl-autocompile@haxx.se to be dealt with automatically (make sure the
33 # subject includes the word "autobuild" as the mail gets silently discarded
34 # otherwise).  The most current build status (with a resonable backlog) will
35 # be published on the curl site, at http://curl.haxx.se/auto/
36
37 # USAGE:
38 # testcurl.pl [options] [curl-daily-name] > output
39
40 # Options:
41 #
42 # --configure=[options]    Configure options
43 # --crosscompile           This is a crosscompile
44 # --desc=[desc]            Description of your test system
45 # --email=[email]          Set email address to report as
46 # --extvercmd=[command]    Command to use for displaying version with cross compiles.
47 # --mktarball=[command]    Command to run after completed test
48 # --name=[name]            Set name to report as
49 # --nocvsup                Don't pull from git even though it is a git tree
50 # --nogitpull              Don't pull from git even though it is a git tree
51 # --nobuildconf            Don't run buildconf
52 # --noconfigure            Don't run configure
53 # --runtestopts=[options]  Options to pass to runtests.pl
54 # --setup=[file name]      File name to read setup from (deprecated)
55 # --target=[your os]       Specify your target environment.
56 #
57 # if [curl-daily-name] is omitted, a 'curl' git directory is assumed.
58 #
59
60 use strict;
61
62 use Cwd;
63
64 # Turn on warnings (equivalent to -w, which can't be used with /usr/bin/env)
65 #BEGIN { $^W = 1; }
66
67 use vars qw($version $fixed $infixed $CURLDIR $git $pwd $build $buildlog
68             $buildlogname $configurebuild $targetos $confheader $binext
69             $libext);
70
71 use vars qw($name $email $desc $confopts $runtestopts $setupfile $mktarball
72             $extvercmd $nogitpull $nobuildconf $crosscompile
73             $timestamp $notes);
74
75 # version of this script
76 $version='2012-11-30';
77 $fixed=0;
78
79 # Determine if we're running from git or a canned copy of curl,
80 # or if we got a specific target option or setup file option.
81 $CURLDIR="curl";
82 if (-f ".git/config") {
83   $CURLDIR = "./";
84 }
85
86 $git=1;
87 $setupfile = 'setup';
88 $configurebuild = 1;
89 while ($ARGV[0]) {
90   if ($ARGV[0] =~ /--target=/) {
91     $targetos = (split(/=/, shift @ARGV))[1];
92   }
93   elsif ($ARGV[0] =~ /--setup=/) {
94     $setupfile = (split(/=/, shift @ARGV))[1];
95   }
96   elsif ($ARGV[0] =~ /--extvercmd=/) {
97     $extvercmd = (split(/=/, shift @ARGV))[1];
98   }
99   elsif ($ARGV[0] =~ /--mktarball=/) {
100     $mktarball = (split(/=/, shift @ARGV))[1];
101   }
102   elsif ($ARGV[0] =~ /--name=/) {
103     $name = (split(/=/, shift @ARGV))[1];
104   }
105   elsif ($ARGV[0] =~ /--email=/) {
106     $email = (split(/=/, shift @ARGV))[1];
107   }
108   elsif ($ARGV[0] =~ /--desc=/) {
109     $desc = (split(/=/, shift @ARGV))[1];
110   }
111   elsif ($ARGV[0] =~ /--configure=(.*)/) {
112     $confopts = $1;
113     shift @ARGV;
114   }
115   elsif (($ARGV[0] eq "--nocvsup") || ($ARGV[0] eq "--nogitpull")) {
116     $nogitpull=1;
117     shift @ARGV;
118   }
119   elsif ($ARGV[0] =~ /--nobuildconf/) {
120     $nobuildconf=1;
121     shift @ARGV;
122   }
123   elsif ($ARGV[0] =~ /--noconfigure/) {
124     $configurebuild=0;
125     shift @ARGV;
126   }
127   elsif ($ARGV[0] =~ /--crosscompile/) {
128     $crosscompile=1;
129     shift @ARGV;
130   }
131   elsif ($ARGV[0] =~ /--runtestopts=/) {
132     $runtestopts = (split(/=/, shift @ARGV, 2))[1];
133   }
134   else {
135     $CURLDIR=shift @ARGV;
136     $git=0; # a given dir, assume not using git
137   }
138 }
139
140 # Do the platform-specific stuff here
141 $confheader = 'curl_config.h';
142 $binext = '';
143 $libext = '.la'; # .la since both libcurl and libcares are made with libtool
144 if ($^O eq 'MSWin32' || $targetos) {
145   if (!$targetos) {
146     # If no target defined on Win32 lets assume vc
147     $targetos = 'vc';
148   }
149   if ($targetos =~ /vc/ || $targetos =~ /borland/ || $targetos =~ /watcom/) {
150     $binext = '.exe';
151     $libext = '.lib';
152   }
153   elsif ($targetos =~ /mingw/) {
154     $binext = '.exe';
155     if ($^O eq 'MSWin32') {
156       $libext = '.a';
157     }
158   }
159   elsif ($targetos =~ /netware/) {
160     $configurebuild = 0;
161     $binext = '.nlm';
162     if ($^O eq 'MSWin32') {
163       $libext = '.lib';
164     }
165     else {
166       $libext = '.a';
167     }
168   }
169 }
170
171 if (($^O eq 'MSWin32' || $^O eq 'msys') &&
172     ($targetos =~ /vc/ || $targetos =~ /mingw32/ ||
173      $targetos =~ /borland/ || $targetos =~ /watcom/)) {
174
175   # Set these things only when building ON Windows and for Win32 platform.
176   # FOR Windows since we might be cross-compiling on another system. Non-
177   # Windows builds still default to configure-style builds with curl_config.h.
178
179   $configurebuild = 0;
180   $confheader = 'config-win32.h';
181 }
182
183 $ENV{LC_ALL}="C" if (($ENV{LC_ALL}) && ($ENV{LC_ALL} !~ /^C$/));
184 $ENV{LC_CTYPE}="C" if (($ENV{LC_CTYPE}) && ($ENV{LC_CTYPE} !~ /^C$/));
185 $ENV{LANG}="C";
186
187 sub rmtree($) {
188     my $target = $_[0];
189     if ($^O eq 'MSWin32') {
190       foreach (glob($target)) {
191         s:/:\\:g;
192         system("rd /s /q $_");
193       }
194     } else {
195       system("rm -rf $target");
196     }
197 }
198
199 sub grepfile($$) {
200     my ($target, $fn) = @_;
201     open(F, $fn) or die;
202     while (<F>) {
203       if (/$target/) {
204         close(F);
205         return 1;
206       }
207     }
208     close(F);
209     return 0;
210 }
211
212 sub logit($) {
213     my $text=$_[0];
214     if ($text) {
215       print "testcurl: $text\n";
216     }
217 }
218
219 sub logit_spaced($) {
220     my $text=$_[0];
221     if ($text) {
222       print "\ntestcurl: $text\n\n";
223     }
224 }
225
226 sub mydie($){
227     my $text=$_[0];
228     logit "$text";
229     chdir $pwd; # cd back to the original root dir
230
231     if ($pwd && $build) {
232       # we have a build directory name, remove the dir
233       logit "removing the $build dir";
234       rmtree "$pwd/$build";
235     }
236     if (-r $buildlog) {
237       # we have a build log output file left, remove it
238       logit "removing the $buildlogname file";
239       unlink "$buildlog";
240     }
241     logit "ENDING HERE"; # last line logged!
242     exit 1;
243 }
244
245 sub get_host_triplet {
246   my $triplet;
247   my $configfile = "$pwd/$build/lib/curl_config.h";
248
249   if(-f $configfile && -s $configfile && open(LIBCONFIGH, "<$configfile")) {
250     while(<LIBCONFIGH>) {
251       if($_ =~ /^\#define\s+OS\s+"*([^"][^"]*)"*\s*/) {
252         $triplet = $1;
253         last;
254       }
255     }
256     close(LIBCONFIGH);
257   }
258   return $triplet;
259 }
260
261 if (open(F, "$setupfile")) {
262   while (<F>) {
263     if (/(\w+)=(.*)/) {
264       eval "\$$1=$2;";
265     }
266   }
267   close(F);
268   $infixed=$fixed;
269 } else {
270   $infixed=0;    # so that "additional args to configure" works properly first time...
271 }
272
273 if (!$name) {
274   print "please enter your name\n";
275   $name = <>;
276   chomp $name;
277   $fixed=1;
278 }
279
280 if (!$email) {
281   print "please enter your contact email address\n";
282   $email = <>;
283   chomp $email;
284   $fixed=2;
285 }
286
287 if (!$desc) {
288   print "please enter a one line system description\n";
289   $desc = <>;
290   chomp $desc;
291   $fixed=3;
292 }
293
294 if (!$confopts) {
295   if ($infixed < 4) {
296     print "please enter your additional arguments to configure\n";
297     print "examples: --with-ssl --enable-debug --enable-ipv6 --with-krb4\n";
298     $confopts = <>;
299     chomp $confopts;
300   }
301 }
302
303
304 if ($fixed < 4) {
305     $fixed=4;
306     open(F, ">$setupfile") or die;
307     print F "name='$name'\n";
308     print F "email='$email'\n";
309     print F "desc='$desc'\n";
310     print F "confopts='$confopts'\n";
311     print F "notes='$notes'\n";
312     print F "fixed='$fixed'\n";
313     close(F);
314 }
315
316 # Enable picky compiler warnings unless explicitly disabled
317 if (($confopts !~ /--enable-debug/) &&
318     ($confopts !~ /--enable-warnings/) &&
319     ($confopts !~ /--disable-warnings/)) {
320   $confopts .= " --enable-warnings";
321 }
322
323 my $str1066os = 'o' x 1066;
324
325 # Set timestamp to the UTC this script is running. Its value might
326 # be changed later in the script to the value present in curlver.h
327 $timestamp = scalar(gmtime)." UTC";
328
329 logit "STARTING HERE"; # first line logged, for scripts to trigger on
330 logit 'TRANSFER CONTROL ==== 1120 CHAR LINE' . $str1066os . 'LINE_END';
331 logit "NAME = $name";
332 logit "EMAIL = $email";
333 logit "DESC = $desc";
334 logit "NOTES = $notes";
335 logit "CONFOPTS = $confopts";
336 logit "CPPFLAGS = ".$ENV{CPPFLAGS};
337 logit "CFLAGS = ".$ENV{CFLAGS};
338 logit "LDFLAGS = ".$ENV{LDFLAGS};
339 logit "LIBS = ".$ENV{LIBS};
340 logit "CC = ".$ENV{CC};
341 logit "TMPDIR = ".$ENV{TMPDIR};
342 logit "MAKEFLAGS = ".$ENV{MAKEFLAGS};
343 logit "ACLOCAL_FLAGS = ".$ENV{ACLOCAL_FLAGS};
344 logit "PKG_CONFIG_PATH = ".$ENV{PKG_CONFIG_PATH};
345 logit "DYLD_LIBRARY_PATH = ".$ENV{DYLD_LIBRARY_PATH};
346 logit "LD_LIBRARY_PATH = ".$ENV{LD_LIBRARY_PATH};
347 logit "LIBRARY_PATH = ".$ENV{LIBRARY_PATH};
348 logit "SHLIB_PATH = ".$ENV{SHLIB_PATH};
349 logit "LIBPATH = ".$ENV{LIBPATH};
350 logit "target = ".$targetos;
351 logit "version = $version"; # script version
352 logit "date = $timestamp";  # When the test build starts
353
354 $str1066os = undef;
355
356 # Make $pwd to become the path without newline. We'll use that in order to cut
357 # off that path from all possible logs and error messages etc.
358 $pwd = getcwd();
359
360 my $have_embedded_ares = 0;
361
362 if (-d $CURLDIR) {
363   if ($git && -d "$CURLDIR/.git") {
364     logit "$CURLDIR is verified to be a fine git source dir";
365     # remove the generated sources to force them to be re-generated each
366     # time we run this test
367     unlink "$CURLDIR/src/tool_hugehelp.c";
368     # find out if curl source dir has an in-tree c-ares repo
369     $have_embedded_ares = 1 if (-f "$CURLDIR/ares/GIT-INFO");
370   } elsif (!$git && -f "$CURLDIR/tests/testcurl.pl") {
371     logit "$CURLDIR is verified to be a fine daily source dir";
372     # find out if curl source dir has an in-tree c-ares extracted tarball
373     $have_embedded_ares = 1 if (-f "$CURLDIR/ares/ares_build.h");
374   } else {
375     mydie "$CURLDIR is not a daily source dir or checked out from git!"
376   }
377 }
378 $build="build-$$";
379 $buildlogname="buildlog-$$";
380 $buildlog="$pwd/$buildlogname";
381
382 # remove any previous left-overs
383 rmtree "build-*";
384 rmtree "buildlog-*";
385
386 # this is to remove old build logs that ended up in the wrong dir
387 foreach (glob("$CURLDIR/buildlog-*")) { unlink $_; }
388
389 # create a dir to build in
390 mkdir $build, 0777;
391
392 if (-d $build) {
393   logit "build dir $build was created fine";
394 } else {
395   mydie "failed to create dir $build";
396 }
397
398 # get in the curl source tree root
399 chdir $CURLDIR;
400
401 # Do the git thing, or not...
402 if ($git) {
403   # update quietly to the latest git
404   if($nogitpull) {
405     logit "skipping git pull (--nogitpull)";
406   } else {
407     my $gitstat = 0;
408     my @commits;
409     logit "run git pull in curl";
410     system("git pull 2>&1");
411     $gitstat += $?;
412     logit "failed to update from curl git ($?), continue anyway" if ($?);
413     # get the last 5 commits for show (even if no pull was made)
414     @commits=`git log --pretty=oneline --abbrev-commit -5`;
415     logit "The most recent curl git commits:";
416     for (@commits) {
417       chomp ($_);
418       logit "  $_";
419     }
420     if (-d "ares/.git") {
421       chdir "ares";
422       logit "run git pull in ares";
423       system("git pull 2>&1");
424       $gitstat += $?;
425       logit "failed to update from ares git ($?), continue anyway" if ($?);
426       # get the last 5 commits for show (even if no pull was made)
427       @commits=`git log --pretty=oneline --abbrev-commit -5`;
428       logit "The most recent ares git commits:";
429       for (@commits) {
430         chomp ($_);
431         logit "  $_";
432       }
433       chdir "$pwd/$CURLDIR";
434     }
435     # Set timestamp to the UTC the git update took place.
436     $timestamp = scalar(gmtime)." UTC" if (!$gitstat);
437   }
438
439   if($nobuildconf) {
440     logit "told to not run buildconf";
441   }
442   elsif ($configurebuild) {
443     # remove possible left-overs from the past
444     unlink "configure";
445     unlink "autom4te.cache";
446
447     # generate the build files
448     logit "invoke buildconf";
449     open(F, "./buildconf 2>&1 |") or die;
450     open(LOG, ">$buildlog") or die;
451     while (<F>) {
452       my $ll = $_;
453       # ignore messages pertaining to third party m4 files we don't care
454       next if ($ll =~ /aclocal\/gtk\.m4/);
455       next if ($ll =~ /aclocal\/gtkextra\.m4/);
456       print $ll;
457       print LOG $ll;
458     }
459     close(F);
460     close(LOG);
461
462     if (grepfile("^buildconf: OK", $buildlog)) {
463       logit "buildconf was successful";
464     }
465     else {
466       mydie "buildconf was NOT successful";
467     }
468   }
469   else {
470     logit "buildconf was successful (dummy message)";
471   }
472 }
473
474 # Set timestamp to the one in curlver.h if this isn't a git test build.
475 if ((-f "include/curl/curlver.h") &&
476     (open(F, "<include/curl/curlver.h"))) {
477   while (<F>) {
478     chomp;
479     if ($_ =~ /^\#define\s+LIBCURL_TIMESTAMP\s+\"(.+)\".*$/) {
480       my $stampstring = $1;
481       if ($stampstring !~ /DEV/) {
482           $stampstring =~ s/\s+UTC//;
483           $timestamp = $stampstring." UTC";
484       }
485       last;
486     }
487   }
488   close(F);
489 }
490
491 # Show timestamp we are using for this test build.
492 logit "timestamp = $timestamp";
493
494 if ($configurebuild) {
495   if (-f "configure") {
496     logit "configure created (at least it exists)";
497   } else {
498     mydie "no configure created/found";
499   }
500 } else {
501   logit "configure created (dummy message)"; # dummy message to feign success
502 }
503
504 sub findinpath {
505   my $c;
506   my $e;
507   my $x = ($^O eq 'MSWin32') ? '.exe' : '';
508   my $s = ($^O eq 'MSWin32') ? ';' : ':';
509   my $p=$ENV{'PATH'};
510   my @pa = split($s, $p);
511   for $c (@_) {
512     for $e (@pa) {
513       if( -x "$e/$c$x") {
514         return $c;
515       }
516     }
517   }
518 }
519
520 my $make = findinpath("gmake", "make", "nmake");
521 if(!$make) {
522     mydie "Couldn't find make in the PATH";
523 }
524 # force to 'nmake' for VC builds
525 $make = "nmake" if ($targetos =~ /vc/);
526 # force to 'wmake' for Watcom builds
527 $make = "wmake" if ($targetos =~ /watcom/);
528 logit "going with $make as make";
529
530 # change to build dir
531 chdir "$pwd/$build";
532
533 if ($configurebuild) {
534   # run configure script
535   print `../$CURLDIR/configure $confopts 2>&1`;
536
537   if (-f "lib/Makefile") {
538     logit "configure seems to have finished fine";
539   } else {
540     mydie "configure didn't work";
541   }
542 } else {
543   logit "copying files to build dir ...";
544   if (($^O eq 'MSWin32') && ($targetos !~ /netware/)) {
545     system("xcopy /s /q ..\\$CURLDIR .");
546     system("buildconf.bat");
547   }
548   elsif ($targetos =~ /netware/) {
549     system("cp -afr ../$CURLDIR/* .");
550     system("cp -af ../$CURLDIR/Makefile.dist Makefile");
551     system("$make -i -C lib -f Makefile.netware prebuild");
552     system("$make -i -C src -f Makefile.netware prebuild");
553     if (-d "../$CURLDIR/ares") {
554       system("$make -i -C ares -f Makefile.netware prebuild");
555     }
556   }
557   elsif ($^O eq 'linux') {
558     system("cp -afr ../$CURLDIR/* .");
559     system("cp -af ../$CURLDIR/Makefile.dist Makefile");
560     system("cp -af ../$CURLDIR/include/curl/curlbuild.h.dist ./include/curl/curlbuild.h");
561     system("$make -i -C lib -f Makefile.$targetos prebuild");
562     system("$make -i -C src -f Makefile.$targetos prebuild");
563     if (-d "../$CURLDIR/ares") {
564       system("cp -af ../$CURLDIR/ares/ares_build.h.dist ./ares/ares_build.h");
565       system("$make -i -C ares -f Makefile.$targetos prebuild");
566     }
567   }
568 }
569
570 if(-f "./libcurl.pc") {
571   logit_spaced "display libcurl.pc";
572   if(open(F, "<./libcurl.pc")) {
573     while(<F>) {
574       my $ll = $_;
575       print $ll if(($ll !~ /^ *#/) && ($ll !~ /^ *$/));
576     }
577     close(F);
578   }
579 }
580
581 if(-f "./include/curl/curlbuild.h") {
582   logit_spaced "display include/curl/curlbuild.h";
583   if(open(F, "<./include/curl/curlbuild.h")) {
584     while(<F>) {
585       my $ll = $_;
586       print $ll if(($ll =~ /^ *# *define *CURL_/) && ($ll !~ /__CURL_CURLBUILD_H/));
587     }
588     close(F);
589   }
590 }
591 else {
592   mydie "no curlbuild.h created/found";
593 }
594
595 logit_spaced "display lib/$confheader";
596 open(F, "lib/$confheader") or die "lib/$confheader: $!";
597 while (<F>) {
598   print if /^ *#/;
599 }
600 close(F);
601
602 if (($have_embedded_ares) &&
603     (grepfile("^#define USE_ARES", "lib/$confheader"))) {
604   print "\n";
605   logit "setup to build ares";
606
607   if(-f "./ares/libcares.pc") {
608     logit_spaced  "display ares/libcares.pc";
609     if(open(F, "<./ares/libcares.pc")) {
610       while(<F>) {
611         my $ll = $_;
612         print $ll if(($ll !~ /^ *#/) && ($ll !~ /^ *$/));
613       }
614       close(F);
615     }
616   }
617
618   if(-f "./ares/ares_build.h") {
619     logit_spaced "display ares/ares_build.h";
620     if(open(F, "<./ares/ares_build.h")) {
621       while(<F>) {
622         my $ll = $_;
623         print $ll if(($ll =~ /^ *# *define *CARES_/) && ($ll !~ /__CARES_BUILD_H/));
624       }
625       close(F);
626     }
627   }
628   else {
629     mydie "no ares_build.h created/found";
630   }
631
632   $confheader =~ s/curl/ares/;
633   logit_spaced "display ares/$confheader";
634   if(open(F, "ares/$confheader")) {
635       while (<F>) {
636           print if /^ *#/;
637       }
638       close(F);
639   }
640
641   print "\n";
642   logit "build ares";
643   chdir "ares";
644
645   if ($targetos && !$configurebuild) {
646       logit "$make -f Makefile.$targetos";
647       open(F, "$make -f Makefile.$targetos 2>&1 |") or die;
648   }
649   else {
650       logit "$make";
651       open(F, "$make 2>&1 |") or die;
652   }
653   while (<F>) {
654     s/$pwd//g;
655     print;
656   }
657   close(F);
658
659   if (-f "libcares$libext") {
660     logit "ares is now built successfully (libcares$libext)";
661   } else {
662     mydie "ares build failed (libcares$libext)";
663   }
664
665   # cd back to the curl build dir
666   chdir "$pwd/$build";
667 }
668
669 my $mkcmd = "$make -i" . ($targetos && !$configurebuild ? " $targetos" : "");
670 logit "$mkcmd";
671 open(F, "$mkcmd 2>&1 |") or die;
672 while (<F>) {
673   s/$pwd//g;
674   print;
675 }
676 close(F);
677
678 if (-f "lib/libcurl$libext") {
679   logit "libcurl was created fine (libcurl$libext)";
680 }
681 else {
682   mydie "libcurl was not created (libcurl$libext)";
683 }
684
685 if (-f "src/curl$binext") {
686   logit "curl was created fine (curl$binext)";
687 }
688 else {
689   mydie "curl was not created (curl$binext)";
690 }
691
692 if (!$crosscompile || (($extvercmd ne '') && (-x $extvercmd))) {
693   logit "display curl${binext} --version output";
694   my $cmd = ($extvercmd ne '' ? $extvercmd.' ' : '')."./src/curl${binext} --version|";
695   open(F, $cmd);
696   while(<F>) {
697     # strip CR from output on non-win32 platforms (wine on Linux)
698     s/\r// if ($^O ne 'MSWin32');
699     print;
700   }
701   close(F);
702 }
703
704 if ($configurebuild && !$crosscompile) {
705   my $host_triplet = get_host_triplet();
706   # build example programs for selected build targets
707   if(($host_triplet =~ /([^-]+)-([^-]+)-irix(.*)/) ||
708      ($host_triplet =~ /([^-]+)-([^-]+)-aix(.*)/) ||
709      ($host_triplet =~ /([^-]+)-([^-]+)-osf(.*)/) ||
710      ($host_triplet =~ /([^-]+)-([^-]+)-solaris2(.*)/)) {
711     chdir "$pwd/$build/docs/examples";
712     logit_spaced "build examples";
713     open(F, "$make -i 2>&1 |") or die;
714     open(LOG, ">$buildlog") or die;
715     while (<F>) {
716       s/$pwd//g;
717       print;
718       print LOG;
719     }
720     close(F);
721     close(LOG);
722     chdir "$pwd/$build";
723   }
724   # build and run full test suite
725   my $o;
726   if($runtestopts) {
727       $o = "TEST_F=\"$runtestopts\" ";
728   }
729   logit "$make -k ${o}test-full";
730   open(F, "$make -k ${o}test-full 2>&1 |") or die;
731   open(LOG, ">$buildlog") or die;
732   while (<F>) {
733     s/$pwd//g;
734     print;
735     print LOG;
736   }
737   close(F);
738   close(LOG);
739
740   if (grepfile("^TEST", $buildlog)) {
741     logit "tests were run";
742   } else {
743     mydie "test suite failure";
744   }
745
746   if (grepfile("^TESTFAIL:", $buildlog)) {
747     logit "the tests were not successful";
748   } else {
749     logit "the tests were successful!";
750   }
751 }
752 else {
753   if($crosscompile) {
754     my $host_triplet = get_host_triplet();
755     # build example programs for selected cross-compiles
756     if(($host_triplet =~ /([^-]+)-([^-]+)-mingw(.*)/) ||
757        ($host_triplet =~ /([^-]+)-([^-]+)-android(.*)/)) {
758       chdir "$pwd/$build/docs/examples";
759       logit_spaced "build examples";
760       open(F, "$make -i 2>&1 |") or die;
761       open(LOG, ">$buildlog") or die;
762       while (<F>) {
763         s/$pwd//g;
764         print;
765         print LOG;
766       }
767       close(F);
768       close(LOG);
769       chdir "$pwd/$build";
770     }
771     # build test harness programs for selected cross-compiles
772     if($host_triplet =~ /([^-]+)-([^-]+)-mingw(.*)/) {
773       chdir "$pwd/$build/tests";
774       logit_spaced "build test harness";
775       open(F, "$make -i 2>&1 |") or die;
776       open(LOG, ">$buildlog") or die;
777       while (<F>) {
778         s/$pwd//g;
779         print;
780         print LOG;
781       }
782       close(F);
783       close(LOG);
784       chdir "$pwd/$build";
785     }
786     logit_spaced "cross-compiling, can't run tests";
787   }
788   # dummy message to feign success
789   print "TESTDONE: 1 tests out of 0 (dummy message)\n";
790 }
791
792 # create a tarball if we got that option.
793 if (($mktarball ne '') && (-x $mktarball)) {
794   system($mktarball);
795 }
796
797 # mydie to cleanup
798 mydie "ending nicely";