tests/tap-plan-errors.test

   1 #! /bin/sh
   2 # Copyright (C) 2011 Free Software Foundation, Inc.
   3 #
   4 # This program is free software; you can redistribute it and/or modify
   5 # it under the terms of the GNU General Public License as published by
   6 # the Free Software Foundation; either version 2, or (at your option)
   7 # any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU General Public License
  15 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16
  17 # TAP support: the following situations should be flagged as errors:
  18 #  - unmatched test plan (too few tests run)
  19 #  - multiple test plans
  20 #  - missing test plan
  21 #  - misplaced test plan (tests run after a late plan)
  22 # Checks about unplanned tests are performed in 'tap-unplanned.test'.
  23 # More checks about corner-cases in TAP plans are performed in
  24 # 'tap-plan-corner.test' and 'tap-plan-corner2.test'.
  25
  26 parallel_tests=yes
  27 . ./defs || Exit 1
  28
  29 . "$testsrcdir"/tap-setup.sh || fatal_ "sourcing tap-setup.sh"
  30
  31 my_check ()
  32 {
  33   cat > all.test
  34   test -n "$err" || fatal_ "\$err not set before calling my_check"
  35   cat all.test # For debugging.
  36   $MAKE check >stdout && { cat stdout; Exit 1; }
  37   cat stdout
  38   count_test_results "$@"
  39   grep "^ERROR: all\\.test $err$" stdout
  40   unset err
  41 }
  42
  43 err='- too few tests run (expected 2, got 1)'
  44 my_check total=2 pass=1 fail=0 xpass=0 xfail=0 skip=0 error=1 <<END
  45 1..2
  46 ok 1
  47 END
  48
  49 err='- too few tests run (expected 12, got 3)'
  50 my_check total=4 pass=2 fail=0 xpass=0 xfail=1 skip=0 error=1 <<END
  51 ok 1
  52 ok 2
  53 not ok 3 # TODO
  54 1..12
  55 END
  56
  57 err='- too few tests run (expected 1, got 0)'
  58 my_check total=1 pass=0 fail=0 xpass=0 xfail=0 skip=0 error=1 <<END
  59 1..1
  60 END
  61
  62 err='2 # AFTER LATE PLAN'
  63 my_check total=2 pass=1 fail=0 xpass=0 xfail=0 skip=0 error=1 <<END
  64 ok 1
  65 1..2
  66 ok 2
  67 END
  68
  69 err='5 # AFTER LATE PLAN'
  70 my_check total=5 pass=4 fail=0 xpass=0 xfail=0 skip=0 error=1 <<END
  71 ok 1
  72 ok 2
  73 ok 3
  74 ok 4
  75 1..5
  76 ok 5
  77 END
  78
  79 # The two test plans here are deliberately equal.
  80 err='- multiple test plans'
  81 my_check total=3 pass=2 fail=0 xpass=0 xfail=0 skip=0 error=1 <<END
  82 1..2
  83 ok 1
  84 ok 2
  85 1..2
  86 END
  87
  88 err='- missing test plan'
  89 my_check total=2 pass=1 fail=0 xpass=0 xfail=0 skip=0 error=1 <<END
  90 ok 1
  91 END
  92
  93 :