Merge branch 'maint'
[platform/upstream/automake.git] / t / ax / tap-summary-aux.sh
1 #! /bin/sh
2 # Copyright (C) 2011-2012 Free Software Foundation, Inc.
3 #
4 # This program is free software; you can redistribute it and/or modify
5 # it under the terms of the GNU General Public License as published by
6 # the Free Software Foundation; either version 2, or (at your option)
7 # any later version.
8 #
9 # This program is distributed in the hope that it will be useful,
10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
12 # GNU General Public License for more details.
13 #
14 # You should have received a copy of the GNU General Public License
15 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
16
17 # Auxiliary script for tests on TAP support: checking testsuite summary.
18
19 . ./defs || Exit 1
20
21 br='============================================================================'
22
23 case $use_colors in
24   yes|no) ;;
25   *) fatal_ "invalid \$use_colors value '$use_colors'"
26 esac
27
28 fetch_tap_driver
29
30 cat > configure.ac <<END
31 AC_INIT([GNU AutoTAP], [5.12], [bug-automake@gnu.org])
32 AM_INIT_AUTOMAKE
33 AC_CONFIG_FILES([Makefile])
34 AC_OUTPUT
35 END
36
37 cat > Makefile.am << 'END'
38 TEST_LOG_DRIVER = $(srcdir)/tap-driver
39 TEST_LOG_COMPILER = cat
40 TESTS = all.test
41 END
42
43 # The following shell variables are influential for this function:
44 #  - expect_failure
45 #  - use_colors
46 do_check ()
47 {
48   case $#,$1 in
49     1,--pass) expect_failure=no;;
50     1,--fail) expect_failure=yes;;
51            *) fatal_ "invalid usage of 'do_check'";;
52   esac
53   shift
54   cat > summary.exp
55   cat all.test
56   st=0
57   if test $use_colors = yes; then
58     # Forced colorization should take place also with non-ANSI terminals;
59     # hence the "TERM=dumb" definition.
60     make_cmd="env TERM=dumb AM_COLOR_TESTS=always $MAKE -e"
61   else
62     make_cmd=$MAKE
63   fi
64   $make_cmd check > stdout || st=$?
65   cat stdout
66   if test $expect_failure = yes; then
67     test $st -gt 0 || Exit 1
68   else
69     test $st -eq 0 || Exit 1
70   fi
71   $PERL "$am_testauxdir"/extract-testsuite-summary.pl stdout >summary.got \
72     || fatal_ "cannot extract testsuite summary"
73   cat summary.exp
74   cat summary.got
75   if test $use_colors = yes; then
76     # Use cmp, not diff, because the files might contain binary data.
77     compare=cmp
78   else
79     compare=diff
80   fi
81   $compare summary.exp summary.got || Exit 1
82 }
83
84 if test $use_colors = yes; then
85   red='\e[0;31m'
86   grn='\e[0;32m'
87   lgn='\e[1;32m'
88   blu='\e[1;34m'
89   mgn='\e[0;35m'
90   brg='\e[1m'
91   std='\e[m'
92   echo AUTOMAKE_OPTIONS = color-tests >> Makefile.am
93 else
94   red= grn= lgn= blu= mgn= brg= std=
95 fi
96
97   success_header="\
98 ${grn}${br}${std}
99 ${grn}Testsuite summary for GNU AutoTAP 5.12${std}
100 ${grn}${br}${std}"
101
102   success_footer=${grn}${br}${std}
103
104   failure_header="\
105 ${red}${br}${std}
106 ${red}Testsuite summary for GNU AutoTAP 5.12${std}
107 ${red}${br}${std}"
108
109   failure_footer="\
110 ${red}${br}${std}
111 ${red}See ./test-suite.log${std}
112 ${red}Please report to bug-automake@gnu.org${std}
113 ${red}${br}${std}"
114
115 $ACLOCAL
116 $AUTOCONF
117 $AUTOMAKE --add-missing
118
119 ./configure
120
121 # 1 pass.
122 { echo 1..1 && echo ok; } > all.test
123 do_check --pass <<END
124 $success_header
125 ${brg}# TOTAL: 1${std}
126 ${grn}# PASS:  1${std}
127 # SKIP:  0
128 # XFAIL: 0
129 # FAIL:  0
130 # XPASS: 0
131 # ERROR: 0
132 $success_footer
133 END
134
135 # 1 skip.
136 { echo 1..1 && echo 'ok # SKIP'; } > all.test
137 do_check --pass <<END
138 $success_header
139 ${brg}# TOTAL: 1${std}
140 # PASS:  0
141 ${blu}# SKIP:  1${std}
142 # XFAIL: 0
143 # FAIL:  0
144 # XPASS: 0
145 # ERROR: 0
146 $success_footer
147 END
148
149 # 1 xfail.
150 { echo 1..1 && echo 'not ok # TODO'; } > all.test
151 do_check --pass <<END
152 $success_header
153 ${brg}# TOTAL: 1${std}
154 # PASS:  0
155 # SKIP:  0
156 ${lgn}# XFAIL: 1${std}
157 # FAIL:  0
158 # XPASS: 0
159 # ERROR: 0
160 $success_footer
161 END
162
163 # 1 fail.
164 { echo 1..1 && echo not ok; } > all.test
165 do_check --fail <<END
166 $failure_header
167 ${brg}# TOTAL: 1${std}
168 # PASS:  0
169 # SKIP:  0
170 # XFAIL: 0
171 ${red}# FAIL:  1${std}
172 # XPASS: 0
173 # ERROR: 0
174 $failure_footer
175 END
176
177 # 1 xpass.
178 { echo 1..1 && echo 'ok # TODO'; } > all.test
179 do_check --fail <<END
180 $failure_header
181 ${brg}# TOTAL: 1${std}
182 # PASS:  0
183 # SKIP:  0
184 # XFAIL: 0
185 # FAIL:  0
186 ${red}# XPASS: 1${std}
187 # ERROR: 0
188 $failure_footer
189 END
190
191 # 1 hard error.
192 { echo 1..1 && echo 'Bail out!'; } > all.test
193 do_check --fail <<END
194 $failure_header
195 ${brg}# TOTAL: 1${std}
196 # PASS:  0
197 # SKIP:  0
198 # XFAIL: 0
199 # FAIL:  0
200 # XPASS: 0
201 ${mgn}# ERROR: 1${std}
202 $failure_footer
203 END
204
205 # 3 non-failing results.
206 cat > all.test <<END
207 1..3
208 ok
209 not ok # TODO
210 ok # SKIP
211 END
212 do_check --pass <<END
213 $success_header
214 ${brg}# TOTAL: 3${std}
215 ${grn}# PASS:  1${std}
216 ${blu}# SKIP:  1${std}
217 ${lgn}# XFAIL: 1${std}
218 # FAIL:  0
219 # XPASS: 0
220 # ERROR: 0
221 $success_footer
222 END
223
224 # 1 pass, 1 skip, 1 fail.
225 cat > all.test <<END
226 1..3
227 ok
228 ok # SKIP
229 not ok
230 END
231 do_check --fail <<END
232 $failure_header
233 ${brg}# TOTAL: 3${std}
234 ${grn}# PASS:  1${std}
235 ${blu}# SKIP:  1${std}
236 # XFAIL: 0
237 ${red}# FAIL:  1${std}
238 # XPASS: 0
239 # ERROR: 0
240 $failure_footer
241 END
242
243 # 1 pass, 1 xfail, 1 xpass.
244 cat > all.test <<END
245 1..3
246 ok
247 ok # TODO
248 not ok # TODO
249 END
250 do_check --fail <<END
251 $failure_header
252 ${brg}# TOTAL: 3${std}
253 ${grn}# PASS:  1${std}
254 # SKIP:  0
255 ${lgn}# XFAIL: 1${std}
256 # FAIL:  0
257 ${red}# XPASS: 1${std}
258 # ERROR: 0
259 $failure_footer
260 END
261
262 # 1 skip, 1 xfail, 1 error.
263 cat > all.test <<END
264 1..3
265 ok # SKIP
266 not ok # TODO
267 Bail out!
268 END
269 do_check --fail <<END
270 $failure_header
271 ${brg}# TOTAL: 3${std}
272 # PASS:  0
273 ${blu}# SKIP:  1${std}
274 ${lgn}# XFAIL: 1${std}
275 # FAIL:  0
276 # XPASS: 0
277 ${mgn}# ERROR: 1${std}
278 $failure_footer
279 END
280
281 # 1 of each kind
282 cat > all.test <<END
283 1..6
284 ok
285 not ok
286 ok # TODO
287 not ok # TODO
288 ok # SKIP
289 Bail out!
290 END
291 do_check --fail <<END
292 $failure_header
293 ${brg}# TOTAL: 6${std}
294 ${grn}# PASS:  1${std}
295 ${blu}# SKIP:  1${std}
296 ${lgn}# XFAIL: 1${std}
297 ${red}# FAIL:  1${std}
298 ${red}# XPASS: 1${std}
299 ${mgn}# ERROR: 1${std}
300 $failure_footer
301 END
302
303 # Prepare some common data for later.
304 for i in 0 1 2 3 4 5 6 7 8 9; do
305   for j in 0 1 2 3 4 5 6 7 8 9; do
306     echo "ok"
307     echo "not ok # TODO"
308     echo "ok # SKIP"
309   done
310 done > tap
311
312 # Lots of non-failures (300 per kind).
313 (cat tap && cat tap && cat tap) > all.test
314 test `wc -l <all.test` -eq 900 || Exit 99 # Sanity check.
315 echo 1..900 >> all.test # Test plan.
316 do_check --pass <<END
317 $success_header
318 ${brg}# TOTAL: 900${std}
319 ${grn}# PASS:  300${std}
320 ${blu}# SKIP:  300${std}
321 ${lgn}# XFAIL: 300${std}
322 # FAIL:  0
323 # XPASS: 0
324 # ERROR: 0
325 $success_footer
326 END
327
328 # 1 failure and lots of non-failures means failure.
329 (cat tap && echo "not ok" && cat tap) > all.test
330 test `wc -l <all.test` -eq 601 || Exit 99 # Sanity check.
331 echo 1..601 >> all.test # Test plan.
332 do_check --fail <<END
333 $failure_header
334 ${brg}# TOTAL: 601${std}
335 ${grn}# PASS:  200${std}
336 ${blu}# SKIP:  200${std}
337 ${lgn}# XFAIL: 200${std}
338 ${red}# FAIL:  1${std}
339 # XPASS: 0
340 # ERROR: 0
341 $failure_footer
342 END
343
344 # 1 error and lots of non-failures means failure.
345 (cat tap && sed 30q tap && echo 'Bail out!') > all.test
346 test `wc -l <all.test` -eq 331 || Exit 99 # Sanity check.
347 echo 1..331 >> all.test # Test plan.
348 do_check --fail <<END
349 $failure_header
350 ${brg}# TOTAL: 331${std}
351 ${grn}# PASS:  110${std}
352 ${blu}# SKIP:  110${std}
353 ${lgn}# XFAIL: 110${std}
354 # FAIL:  0
355 # XPASS: 0
356 ${mgn}# ERROR: 1${std}
357 $failure_footer
358 END
359
360 :