t/tap-diagnostic.sh

   1 #! /bin/sh
   2 # Copyright (C) 2011-2013 Free Software Foundation, Inc.
   3 #
   4 # This program is free software; you can redistribute it and/or modify
   5 # it under the terms of the GNU General Public License as published by
   6 # the Free Software Foundation; either version 2, or (at your option)
   7 # any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU General Public License
  15 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16
  17 # TAP support:
  18 #  - diagnostic messages (TAP lines with leading "#")
  19 #  - flags '--comments' and '--no-comments' of the TAP test driver
  20
  21 . test-init.sh
  22
  23 . tap-setup.sh
  24
  25 metacharacters=\''"\$!&()[]<>#;^?*'
  26
  27 cat > all.test <<END
  28 1..4
  29 # Hi! I'm a comment.
  30 # Tests begin.
  31 ok 1
  32 not ok 2 - foo # TODO
  33 ok 3 - bar # SKIP
  34 # Tests end.
  35 ok - zardoz
  36 # Shell metacharacters here: $metacharacters
  37 .# Leading characters before "#", not a TAP diagnostic line.
  38 x # Leading characters before "#", not a TAP diagnostic line.
  39  # Leading whitespace before "#", not a TAP diagnostic line.
  40 ${tab}# Leading whitespace before "#", not a TAP diagnostic line.
  41  ${tab}  # Leading whitespace before "#", not a TAP diagnostic line.
  42 END
  43
  44 cat > exp <<END
  45 # all.test: Hi! I'm a comment.
  46 # all.test: Tests begin.
  47 PASS: all.test 1
  48 XFAIL: all.test 2 - foo # TODO
  49 SKIP: all.test 3 - bar # SKIP
  50 # all.test: Tests end.
  51 PASS: all.test 4 - zardoz
  52 # all.test: Shell metacharacters here: $metacharacters
  53 END
  54
  55 run_make -O check
  56 $EGREP -i "#.*all\\.test|a comment|(Tests|Shell) " stdout && exit 1
  57 count_test_results total=4 pass=2 fail=0 xpass=0 xfail=1 skip=1 error=0
  58
  59 echo 'AM_TEST_LOG_DRIVER_FLAGS = --comments' >> Makefile
  60 run_make -O check
  61 $FGREP ' all.test' stdout > got
  62 cat exp
  63 cat got
  64 diff exp got
  65 count_test_results total=4 pass=2 fail=0 xpass=0 xfail=1 skip=1 error=0
  66
  67 run_make -O TEST_LOG_DRIVER_FLAGS="--no-comments" check
  68 $EGREP -i "#.*all\\.test|a comment|(Tests|Shell) " stdout && exit 1
  69 count_test_results total=4 pass=2 fail=0 xpass=0 xfail=1 skip=1 error=0
  70
  71 # The "#"-prepended lines here shouldn't be parsed as test results.
  72 cat > all.test <<END
  73 1..1
  74 ok
  75 # ok
  76 #ok
  77 # not ok
  78 #not ok
  79 # Bail out!
  80 #Bail out!
  81 # SKIP
  82 #SKIP
  83 # TODO
  84 #TODO
  85 END
  86
  87 run_make -O check
  88 count_test_results total=1 pass=1 fail=0 xpass=0 xfail=0 skip=0 error=0
  89
  90 # Diagnostic without leading whitespace, or with extra leading whitespace,
  91 # is ok.  Be laxer in the grepping checks, to allow for whitespace
  92 # normalization by the TAP driver.
  93
  94 ws="[ $tab]"
  95 ws0p="${ws}*"
  96 ws1p="${ws}${ws0p}"
  97
  98 cat > all.test <<END
  99 1..1
 100 ok 1
 101 #foo
 102 #bar${tab}
 103 #   zardoz  ${tab}
 104 #  ${tab} ${tab}${tab}foo  bar${tab}baz  ${tab}
 105 END
 106
 107 run_make -O check
 108 count_test_results total=1 pass=1 fail=0 xpass=0 xfail=0 skip=0 error=0
 109
 110 grep "^# all.test:${ws0p}foo$" stdout
 111 grep "^# all.test:${ws0p}bar${ws0p}$" stdout
 112 grep "^# all.test:${ws1p}zardoz${ws0p}$" stdout
 113 grep "^# all.test:${ws1p}foo  bar${tab}baz${ws0p}$" stdout
 114
 115 test $(grep -c '^# all\.test:' stdout) -eq 4
 116
 117 :