t/tap-realtime.sh

   1 #! /bin/sh
   2 # Copyright (C) 2011-2012 Free Software Foundation, Inc.
   3 #
   4 # This program is free software; you can redistribute it and/or modify
   5 # it under the terms of the GNU General Public License as published by
   6 # the Free Software Foundation; either version 2, or (at your option)
   7 # any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU General Public License
  15 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16
  17 # TAP support:
  18 #  - testsuite progress on console should happen mostly "in real time";
  19 #    i.e., it's not acceptable for the driver to wait the end of the
  20 #    script to start displaying results from it.
  21 # FIXME: this test uses expect(1) to ensure line buffering from make and
  22 # children, and is pretty hacky and complex; is there a better way to
  23 # accomplish the checks done here?
  24
  25 . ./defs || Exit 1
  26
  27 cat >expect-check <<'END'
  28 eval spawn $env(SHELL) -c ":"
  29 expect eof
  30 END
  31 expect -f expect-check || {
  32     echo "$me: failed to find a working expect program" >&2
  33     Exit 77
  34 }
  35 rm -f expect-check
  36
  37 # Unfortunately, some make implementations (among them, FreeBSD make,
  38 # NetBSD make, and Solaris Distributed make), when run in parallel mode,
  39 # serialize the output from their targets' recipes unconditionally.  In
  40 # such a situation, there's no way the partial results of a TAP test can
  41 # be displayed until the test has terminated.  And this is not something
  42 # our TAP driver script can work around; in fact, the driver *is* sending
  43 # out its output progressively and "in sync" with test execution -- it is
  44 # make that is stowing such output away instead of presenting it to the
  45 # user as soon as it gets it.
  46 if ! using_gmake; then
  47   case $MAKE in
  48     *\ -j*) skip_ "doesn't with non-GNU concurrent make";;
  49   esac
  50   # Prevent Sun Distributed Make from trying to run in parallel.
  51   DMAKE_MODE=serial; export DMAKE_MODE
  52 fi
  53
  54 cat > Makefile.am << 'END'
  55 TESTS = all.test
  56 END
  57 . "$am_testauxdir"/tap-setup.sh || fatal_ "sourcing tap-setup.sh"
  58
  59 cat > all.test <<'END'
  60 #! /bin/sh
  61 echo 1..3
  62
  63 # Creative quoting to placate maintainer-check.
  64 sleep="sleep "3
  65
  66 # The awk+shell implementation of the TAP driver must "read ahead" of one
  67 # line in order to catch the exit status of the test script it runs.  So
  68 # be sure to echo one "dummy" line after each result line in order not to
  69 # cause false positives.
  70
  71 echo ok 1 - foo
  72 echo DUMMY
  73 $sleep
  74 test -f ok-1 || { echo 'Bail out!'; exit 1; }
  75
  76 echo ok 2 - bar
  77 echo DUMMY
  78 $sleep
  79 test -f ok-2 || { echo 'Bail out!'; exit 1; }
  80
  81 echo ok 3 - baz
  82 echo DUMMY
  83 $sleep
  84 test -f ok-3 || { echo 'Bail out!'; exit 1; }
  85
  86 : > all-is-well
  87 END
  88
  89 chmod a+x all.test
  90
  91 cat > expect-make <<'END'
  92 eval spawn $env(MAKE) check
  93 expect {
  94   "PASS: all.test 1 - foo" {
  95     open "ok-1" "w"
  96     exp_continue
  97   }
  98   "PASS: all.test 2 - bar" {
  99     open "ok-2" "w"
 100     exp_continue
 101   }
 102   "PASS: all.test 3 - baz" {
 103     open "ok-3" "w"
 104     exp_continue
 105   }
 106   "Testsuite summary" {
 107     exit 0
 108   }
 109   timeout {
 110     puts "expect timed out"
 111     exit 1
 112   }
 113   default {
 114     puts "expect error"
 115     exit 1
 116   }
 117 }
 118 END
 119
 120 # Expect should simulate a tty as stdout, which should ensure a
 121 # line-buffered output.
 122 MAKE=$MAKE expect -f expect-make
 123 test -f all-is-well
 124
 125 :