t/tap-autonumber.sh

   1 #! /bin/sh
   2 # Copyright (C) 2011-2012 Free Software Foundation, Inc.
   3 #
   4 # This program is free software; you can redistribute it and/or modify
   5 # it under the terms of the GNU General Public License as published by
   6 # the Free Software Foundation; either version 2, or (at your option)
   7 # any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU General Public License
  15 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16
  17 # TAP support:
  18 #  - unnumbered tests are OK, as long as their final total number
  19 #    agrees with the plan
  20 #  - test results without number get automatically numbered in the
  21 #    console progress output
  22
  23 . ./defs || exit 1
  24
  25 . tap-setup.sh
  26
  27 cat > all.test <<'END'
  28 1..14
  29 ok
  30 ok foo
  31 ok - foo2
  32 not ok
  33 not ok bar
  34 not ok - bar2
  35 ; See that we can intermingle different kind of results without
  36 ; messing up the autonumbering
  37 ok
  38 ok # TODO
  39 not ok # TODO who cares?
  40 ok
  41 not ok
  42 ok muuu # SKIP
  43 not ok
  44 ok
  45 END
  46
  47 TESTS=all.test $MAKE -e check >stdout && { cat stdout; exit 1; }
  48 cat stdout
  49 count_test_results total=14 pass=6 fail=5 xpass=1 xfail=1 skip=1 error=0
  50
  51 cat > exp <<'END'
  52 PASS: all.test 1
  53 PASS: all.test 2 foo
  54 PASS: all.test 3 - foo2
  55 FAIL: all.test 4
  56 FAIL: all.test 5 bar
  57 FAIL: all.test 6 - bar2
  58 PASS: all.test 7
  59 XPASS: all.test 8 # TODO
  60 XFAIL: all.test 9 # TODO who cares?
  61 PASS: all.test 10
  62 FAIL: all.test 11
  63 SKIP: all.test 12 muuu # SKIP
  64 FAIL: all.test 13
  65 PASS: all.test 14
  66 END
  67
  68 $FGREP ': all.test' stdout > got
  69
  70 cat exp
  71 cat got
  72 diff exp got
  73
  74 :