Merge branch 'branch-1.13.2' into maint
[platform/upstream/automake.git] / t / tap-fancy.sh
1 #! /bin/sh
2 # Copyright (C) 2011-2013 Free Software Foundation, Inc.
3 #
4 # This program is free software; you can redistribute it and/or modify
5 # it under the terms of the GNU General Public License as published by
6 # the Free Software Foundation; either version 2, or (at your option)
7 # any later version.
8 #
9 # This program is distributed in the hope that it will be useful,
10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 # GNU General Public License for more details.
13 #
14 # You should have received a copy of the GNU General Public License
15 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
16
17 # TAP support: some unusual forms for valid TAP input.
18 # See also related test 'tap-fancy2.sh'.
19
20 . test-init.sh
21
22 . tap-setup.sh
23
24 #
25 # From manpage Test::Harness::TAP(3):
26 #
27 #   Lines written to standard output matching /^(not )?ok\b/ must be
28 #   interpreted as test lines. All other lines must not be considered
29 #   test output.
30 #
31 # Unfortunately, the exact format of TODO and SKIP directives is not as
32 # clearly described in that manpage; but a simple reverse-engineering of
33 # the prove(1) utility shows that it is probably given by the perl regex
34 # /#\s*(TODO|SKIP)\b/.
35 #
36
37 cat > all.test <<END
38 1..21
39
40 ok? a question
41 not ok? a question
42
43 ok+plus
44 not ok+plus
45
46 ok-minus
47 not ok-minus
48
49 ok#55
50 not ok#55
51
52 ok${tab}  ${tab}9
53 ok ${tab}${tab}          10
54
55 not ok${tab}  ${tab}11
56 not ok ${tab}${tab}          12
57
58 ok# SKIP
59 ok${tab}#SKIP--who cares?
60 ok?#SKIP!
61 ok!#SKIP?
62
63 not ok# TODO
64 not ok${tab}#TODO--who cares?
65 not ok?#TODO!
66 not ok!#TODO?
67
68 ok~#TODO
69 END
70
71 $MAKE check >stdout && { cat stdout; exit 1; }
72 cat stdout
73
74 count_test_results total=21 pass=6 fail=6 xfail=4 xpass=1 skip=4 error=0
75
76 #
77 # "Weird" characters support.
78 #
79
80 # The "#" character might cause confusion w.r.t. TAP directives (TODO,
81 # SKIP), so we don't attempt to use it.
82 weirdchars=\''"$!&()[]<>;^?*/@%=,.:'
83
84 cat > all.test <<END
85 1..6
86 ok $weirdchars
87 not ok $weirdchars
88 ok $weirdchars # TODO
89 not ok $weirdchars # TODO
90 ok $weirdchars # SKIP
91 Bail out! $weirdchars
92 END
93
94 $MAKE check >stdout && { cat stdout; exit 1; }
95 cat stdout
96
97 count_test_results total=6 pass=1 fail=1 xfail=1 xpass=1 skip=1 error=1
98 $FGREP "PASS: all.test 1 $weirdchars" stdout
99 $FGREP "FAIL: all.test 2 $weirdchars" stdout
100 $FGREP "XPASS: all.test 3 $weirdchars" stdout
101 $FGREP "XFAIL: all.test 4 $weirdchars" stdout
102 $FGREP "SKIP: all.test 5 $weirdchars" stdout
103 $FGREP "ERROR: all.test - Bail out! $weirdchars" stdout
104
105 #
106 # Trailing backslashes does not confuse the parser.
107 #
108
109 bs='\'
110
111 cat > all.test <<END
112 1..6
113 ok $bs
114 not ok $bs
115 ok # TODO $bs
116 not ok # TODO $bs
117 ok # SKIP $bs
118 Bail out! $bs
119 END
120
121 $MAKE check >stdout && { cat stdout; exit 1; }
122 cat stdout
123
124 count_test_results total=6 pass=1 fail=1 xfail=1 xpass=1 skip=1 error=1
125 grep '^PASS: all\.test 1 \\$' stdout
126 grep '^FAIL: all\.test 2 \\$' stdout
127 grep '^XPASS: all\.test 3 # TODO \\$' stdout
128 grep '^XFAIL: all\.test 4 # TODO \\$' stdout
129 grep '^SKIP: all\.test 5 # SKIP \\$' stdout
130 grep '^ERROR: all\.test - Bail out! \\$' stdout
131
132 :