t/parallel-tests-exit-statuses.sh

   1 #! /bin/sh
   2 # Copyright (C) 2011-2012 Free Software Foundation, Inc.
   3 #
   4 # This program is free software; you can redistribute it and/or modify
   5 # it under the terms of the GNU General Public License as published by
   6 # the Free Software Foundation; either version 2, or (at your option)
   7 # any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU General Public License
  15 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16
  17 # Check parallel-tests features: normal and special exit statuses
  18 # in the test scripts.
  19
  20 . ./defs || Exit 1
  21
  22 cat >> configure.ac << 'END'
  23 AC_OUTPUT
  24 END
  25
  26 # $failure_statuses should be defined to the list of all integers between
  27 # 1 and 255 (inclusive), excluded 77 and 99.
  28 failure_statuses=$(seq_ 1 255 | $EGREP -v '^(77|99)$' | tr "$nl" ' ')
  29 # For debugging.
  30 echo "failure_statuses: $failure_statuses"
  31 # Sanity check.
  32 test $(for st in $failure_statuses; do echo $st; done | wc -l) -eq 253 \
  33   || fatal_ "initializing list of exit statuses for simple failures"
  34
  35 cat > Makefile.am <<END
  36 LOG_COMPILER = $AM_TEST_RUNNER_SHELL ./do-exit
  37 fail_tests = $failure_statuses
  38 TESTS = 0 77 99 $failure_statuses
  39 \$(TESTS):
  40 END
  41
  42 cat > do-exit <<'END'
  43 #!/bin/sh
  44 echo "$0: $1"
  45 case $1 in
  46   [0-9]|[0-9][0-9]|[0-9][0-9][0-9]) st=$1;;
  47   */[0-9]|*/[0-9][0-9]|*/[0-9][0-9][0-9]) st=${1##*/};;
  48   *) st=99;;
  49 esac
  50 exit $st
  51 END
  52 chmod a+x do-exit
  53
  54 $ACLOCAL
  55 $AUTOCONF
  56 $AUTOMAKE -a
  57
  58 {
  59   echo PASS: 0
  60   echo SKIP: 77
  61   echo ERROR: 99
  62   for st in $failure_statuses; do
  63     echo "FAIL: $st"
  64   done
  65 } | LC_ALL=C sort > exp-fail
  66
  67 sed 's/^FAIL:/XFAIL:/' exp-fail | LC_ALL=C sort > exp-xfail-1
  68 sed '/^ERROR:/d' exp-xfail-1 > exp-xfail-2
  69
  70 sort exp-fail
  71 sort exp-xfail-1
  72 sort exp-xfail-2
  73
  74 ./configure
  75
  76 st=1
  77 $MAKE check >stdout && st=0
  78 cat stdout
  79 cat test-suite.log
  80 test $st -gt 0 || Exit 1
  81 LC_ALL=C grep '^[A-Z][A-Z]*:' stdout | LC_ALL=C sort > got-fail
  82 diff exp-fail got-fail
  83
  84 st=1
  85 XFAIL_TESTS="$failure_statuses 99" $MAKE -e check >stdout && st=0
  86 cat stdout
  87 cat test-suite.log
  88 test $st -gt 0 || Exit 1
  89 LC_ALL=C grep '^[A-Z][A-Z]*:' stdout | LC_ALL=C sort > got-xfail-1
  90 diff exp-xfail-1 got-xfail-1
  91
  92 st=0
  93 XFAIL_TESTS="$failure_statuses" TESTS="0 77 $failure_statuses" \
  94   $MAKE -e check >stdout || st=$?
  95 cat stdout
  96 cat test-suite.log
  97 test $st -eq 0 || Exit 1
  98 LC_ALL=C grep '^[A-Z][A-Z]*:' stdout | LC_ALL=C sort > got-xfail-2
  99 diff exp-xfail-2 got-xfail-2
 100
 101 :