t/parallel-tests-recheck-pr11791.sh

   1 #! /bin/sh
   2 # Copyright (C) 2012 Free Software Foundation, Inc.
   3 #
   4 # This program is free software; you can redistribute it and/or modify
   5 # it under the terms of the GNU General Public License as published by
   6 # the Free Software Foundation; either version 2, or (at your option)
   7 # any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU General Public License
  15 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16
  17 # parallel-tests: "make recheck" "make -k recheck" in the face of build
  18 # failures for the test cases.  See automake bug#11791.
  19
  20 required='cc native'
  21 . ./defs || Exit 1
  22
  23 cat >> configure.ac << 'END'
  24 AC_PROG_CC
  25 AC_OUTPUT
  26 END
  27
  28 cat > Makefile.am << 'END'
  29 TESTS = $(EXTRA_PROGRAMS)
  30 EXTRA_PROGRAMS = foo
  31 END
  32
  33 echo 'int main (void) { return 1; }' > foo.c
  34
  35 $ACLOCAL
  36 $AUTOCONF
  37 $AUTOMAKE -a
  38
  39 ./configure
  40
  41 $MAKE check >stdout && { cat stdout; Exit 1; }
  42 cat stdout
  43 count_test_results total=1 pass=0 fail=1 xpass=0 xfail=0 skip=0 error=0
  44
  45 $MAKE -k recheck >stdout && { cat stdout; Exit 1; }
  46 cat stdout
  47 count_test_results total=1 pass=0 fail=1 xpass=0 xfail=0 skip=0 error=0
  48
  49 # Introduce an error in foo.c, that should cause a compilation failure.
  50 $sleep
  51 echo choke me >> foo.c
  52
  53 $MAKE recheck >stdout && { cat stdout; Exit 1; }
  54 cat stdout
  55 # We don't get a change to run the testsuite.
  56 $EGREP '(X?PASS|X?FAIL|SKIP|ERROR):' stdout && Exit 1
  57 # These shouldn't be removed, otherwise the next make recheck will do
  58 # nothing.
  59 test -f foo.log
  60 test -f foo.trs
  61
  62 st=0; $MAKE -k recheck >stdout || st=$?
  63 cat stdout
  64 # Don't trust the exit status of "make -k" for non-GNU makes.
  65 if using_gmake && test $st -eq 0; then Exit 1; fi
  66 # We don't get a change to run the testsuite.
  67 $EGREP '(X?PASS|X?FAIL|SKIP|ERROR):' stdout && Exit 1
  68 test -f foo.log
  69 test -f foo.trs
  70
  71 # "Repair" foo.c, and expect everything to work.
  72 $sleep
  73 echo 'int main (void) { return 0; }' > foo.c
  74
  75 $MAKE recheck >stdout || { cat stdout; Exit 1; }
  76 cat stdout
  77 count_test_results total=1 pass=1 fail=0 xpass=0 xfail=0 skip=0 error=0
  78 test -f foo.log
  79 test -f foo.trs
  80
  81 $MAKE recheck >stdout || { cat stdout; Exit 1; }
  82 cat stdout
  83 count_test_results total=0 pass=0 fail=0 xpass=0 xfail=0 skip=0 error=0
  84 test -f foo.log
  85 test -f foo.trs
  86
  87 :