t/ax/tap-summary-aux.sh

   1 #! /bin/sh
   2 # Copyright (C) 2011-2012 Free Software Foundation, Inc.
   3 #
   4 # This program is free software; you can redistribute it and/or modify
   5 # it under the terms of the GNU General Public License as published by
   6 # the Free Software Foundation; either version 2, or (at your option)
   7 # any later version.
   8 #
   9 # This program is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12 # GNU General Public License for more details.
  13 #
  14 # You should have received a copy of the GNU General Public License
  15 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  16
  17 # Auxiliary script for tests on TAP support: checking testsuite summary.
  18
  19 . ./defs || Exit 1
  20
  21 br='============================================================================'
  22
  23 case $use_colors in
  24   yes|no) ;;
  25   *) fatal_ "invalid \$use_colors value '$use_colors'"
  26 esac
  27
  28 fetch_tap_driver
  29
  30 cat > configure.ac <<END
  31 AC_INIT([GNU AutoTAP], [5.12], [bug-automake@gnu.org])
  32 AM_INIT_AUTOMAKE
  33 AC_CONFIG_FILES([Makefile])
  34 AC_OUTPUT
  35 END
  36
  37 cat > Makefile.am << 'END'
  38 TEST_LOG_DRIVER = $(srcdir)/tap-driver
  39 TEST_LOG_COMPILER = cat
  40 TESTS = all.test
  41 END
  42
  43 # The following shell variables are influential for this function:
  44 #  - expect_failure
  45 #  - use_colors
  46 do_check ()
  47 {
  48   case $#,$1 in
  49     1,--pass) expect_failure=no;;
  50     1,--fail) expect_failure=yes;;
  51            *) fatal_ "invalid usage of 'do_check'";;
  52   esac
  53   shift
  54   cat > summary.exp
  55   cat all.test
  56   st=0
  57   if test $use_colors = yes; then
  58     # Forced colorization should take place also with non-ANSI terminals;
  59     # hence the "TERM=dumb" definition.
  60     make_cmd="env TERM=dumb AM_COLOR_TESTS=always $MAKE -e"
  61   else
  62     make_cmd=$MAKE
  63   fi
  64   $make_cmd check > stdout || st=$?
  65   cat stdout
  66   if test $expect_failure = yes; then
  67     test $st -gt 0 || Exit 1
  68   else
  69     test $st -eq 0 || Exit 1
  70   fi
  71   $PERL "$am_testauxdir"/extract-testsuite-summary.pl stdout >summary.got \
  72     || fatal_ "cannot extract testsuite summary"
  73   cat summary.exp
  74   cat summary.got
  75   if test $use_colors = yes; then
  76     # Use cmp, not diff, because the files might contain binary data.
  77     compare=cmp
  78   else
  79     compare=diff
  80   fi
  81   $compare summary.exp summary.got || Exit 1
  82 }
  83
  84 if test $use_colors = yes; then
  85   red='\e[0;31m'
  86   grn='\e[0;32m'
  87   lgn='\e[1;32m'
  88   blu='\e[1;34m'
  89   mgn='\e[0;35m'
  90   brg='\e[1m'
  91   std='\e[m'
  92   echo AUTOMAKE_OPTIONS = color-tests >> Makefile.am
  93 else
  94   red= grn= lgn= blu= mgn= brg= std=
  95 fi
  96
  97   success_header="\
  98 ${grn}${br}${std}
  99 ${grn}Testsuite summary for GNU AutoTAP 5.12${std}
 100 ${grn}${br}${std}"
 101
 102   success_footer=${grn}${br}${std}
 103
 104   failure_header="\
 105 ${red}${br}${std}
 106 ${red}Testsuite summary for GNU AutoTAP 5.12${std}
 107 ${red}${br}${std}"
 108
 109   failure_footer="\
 110 ${red}${br}${std}
 111 ${red}See ./test-suite.log${std}
 112 ${red}Please report to bug-automake@gnu.org${std}
 113 ${red}${br}${std}"
 114
 115 $ACLOCAL
 116 $AUTOCONF
 117 $AUTOMAKE --add-missing
 118
 119 ./configure
 120
 121 # 1 pass.
 122 { echo 1..1 && echo ok; } > all.test
 123 do_check --pass <<END
 124 $success_header
 125 ${brg}# TOTAL: 1${std}
 126 ${grn}# PASS:  1${std}
 127 # SKIP:  0
 128 # XFAIL: 0
 129 # FAIL:  0
 130 # XPASS: 0
 131 # ERROR: 0
 132 $success_footer
 133 END
 134
 135 # 1 skip.
 136 { echo 1..1 && echo 'ok # SKIP'; } > all.test
 137 do_check --pass <<END
 138 $success_header
 139 ${brg}# TOTAL: 1${std}
 140 # PASS:  0
 141 ${blu}# SKIP:  1${std}
 142 # XFAIL: 0
 143 # FAIL:  0
 144 # XPASS: 0
 145 # ERROR: 0
 146 $success_footer
 147 END
 148
 149 # 1 xfail.
 150 { echo 1..1 && echo 'not ok # TODO'; } > all.test
 151 do_check --pass <<END
 152 $success_header
 153 ${brg}# TOTAL: 1${std}
 154 # PASS:  0
 155 # SKIP:  0
 156 ${lgn}# XFAIL: 1${std}
 157 # FAIL:  0
 158 # XPASS: 0
 159 # ERROR: 0
 160 $success_footer
 161 END
 162
 163 # 1 fail.
 164 { echo 1..1 && echo not ok; } > all.test
 165 do_check --fail <<END
 166 $failure_header
 167 ${brg}# TOTAL: 1${std}
 168 # PASS:  0
 169 # SKIP:  0
 170 # XFAIL: 0
 171 ${red}# FAIL:  1${std}
 172 # XPASS: 0
 173 # ERROR: 0
 174 $failure_footer
 175 END
 176
 177 # 1 xpass.
 178 { echo 1..1 && echo 'ok # TODO'; } > all.test
 179 do_check --fail <<END
 180 $failure_header
 181 ${brg}# TOTAL: 1${std}
 182 # PASS:  0
 183 # SKIP:  0
 184 # XFAIL: 0
 185 # FAIL:  0
 186 ${red}# XPASS: 1${std}
 187 # ERROR: 0
 188 $failure_footer
 189 END
 190
 191 # 1 hard error.
 192 { echo 1..1 && echo 'Bail out!'; } > all.test
 193 do_check --fail <<END
 194 $failure_header
 195 ${brg}# TOTAL: 1${std}
 196 # PASS:  0
 197 # SKIP:  0
 198 # XFAIL: 0
 199 # FAIL:  0
 200 # XPASS: 0
 201 ${mgn}# ERROR: 1${std}
 202 $failure_footer
 203 END
 204
 205 # 3 non-failing results.
 206 cat > all.test <<END
 207 1..3
 208 ok
 209 not ok # TODO
 210 ok # SKIP
 211 END
 212 do_check --pass <<END
 213 $success_header
 214 ${brg}# TOTAL: 3${std}
 215 ${grn}# PASS:  1${std}
 216 ${blu}# SKIP:  1${std}
 217 ${lgn}# XFAIL: 1${std}
 218 # FAIL:  0
 219 # XPASS: 0
 220 # ERROR: 0
 221 $success_footer
 222 END
 223
 224 # 1 pass, 1 skip, 1 fail.
 225 cat > all.test <<END
 226 1..3
 227 ok
 228 ok # SKIP
 229 not ok
 230 END
 231 do_check --fail <<END
 232 $failure_header
 233 ${brg}# TOTAL: 3${std}
 234 ${grn}# PASS:  1${std}
 235 ${blu}# SKIP:  1${std}
 236 # XFAIL: 0
 237 ${red}# FAIL:  1${std}
 238 # XPASS: 0
 239 # ERROR: 0
 240 $failure_footer
 241 END
 242
 243 # 1 pass, 1 xfail, 1 xpass.
 244 cat > all.test <<END
 245 1..3
 246 ok
 247 ok # TODO
 248 not ok # TODO
 249 END
 250 do_check --fail <<END
 251 $failure_header
 252 ${brg}# TOTAL: 3${std}
 253 ${grn}# PASS:  1${std}
 254 # SKIP:  0
 255 ${lgn}# XFAIL: 1${std}
 256 # FAIL:  0
 257 ${red}# XPASS: 1${std}
 258 # ERROR: 0
 259 $failure_footer
 260 END
 261
 262 # 1 skip, 1 xfail, 1 error.
 263 cat > all.test <<END
 264 1..3
 265 ok # SKIP
 266 not ok # TODO
 267 Bail out!
 268 END
 269 do_check --fail <<END
 270 $failure_header
 271 ${brg}# TOTAL: 3${std}
 272 # PASS:  0
 273 ${blu}# SKIP:  1${std}
 274 ${lgn}# XFAIL: 1${std}
 275 # FAIL:  0
 276 # XPASS: 0
 277 ${mgn}# ERROR: 1${std}
 278 $failure_footer
 279 END
 280
 281 # 1 of each kind
 282 cat > all.test <<END
 283 1..6
 284 ok
 285 not ok
 286 ok # TODO
 287 not ok # TODO
 288 ok # SKIP
 289 Bail out!
 290 END
 291 do_check --fail <<END
 292 $failure_header
 293 ${brg}# TOTAL: 6${std}
 294 ${grn}# PASS:  1${std}
 295 ${blu}# SKIP:  1${std}
 296 ${lgn}# XFAIL: 1${std}
 297 ${red}# FAIL:  1${std}
 298 ${red}# XPASS: 1${std}
 299 ${mgn}# ERROR: 1${std}
 300 $failure_footer
 301 END
 302
 303 # Prepare some common data for later.
 304 for i in 0 1 2 3 4 5 6 7 8 9; do
 305   for j in 0 1 2 3 4 5 6 7 8 9; do
 306     echo "ok"
 307     echo "not ok # TODO"
 308     echo "ok # SKIP"
 309   done
 310 done > tap
 311
 312 # Lots of non-failures (300 per kind).
 313 (cat tap && cat tap && cat tap) > all.test
 314 test `wc -l <all.test` -eq 900 || Exit 99 # Sanity check.
 315 echo 1..900 >> all.test # Test plan.
 316 do_check --pass <<END
 317 $success_header
 318 ${brg}# TOTAL: 900${std}
 319 ${grn}# PASS:  300${std}
 320 ${blu}# SKIP:  300${std}
 321 ${lgn}# XFAIL: 300${std}
 322 # FAIL:  0
 323 # XPASS: 0
 324 # ERROR: 0
 325 $success_footer
 326 END
 327
 328 # 1 failure and lots of non-failures means failure.
 329 (cat tap && echo "not ok" && cat tap) > all.test
 330 test `wc -l <all.test` -eq 601 || Exit 99 # Sanity check.
 331 echo 1..601 >> all.test # Test plan.
 332 do_check --fail <<END
 333 $failure_header
 334 ${brg}# TOTAL: 601${std}
 335 ${grn}# PASS:  200${std}
 336 ${blu}# SKIP:  200${std}
 337 ${lgn}# XFAIL: 200${std}
 338 ${red}# FAIL:  1${std}
 339 # XPASS: 0
 340 # ERROR: 0
 341 $failure_footer
 342 END
 343
 344 # 1 error and lots of non-failures means failure.
 345 (cat tap && sed 30q tap && echo 'Bail out!') > all.test
 346 test `wc -l <all.test` -eq 331 || Exit 99 # Sanity check.
 347 echo 1..331 >> all.test # Test plan.
 348 do_check --fail <<END
 349 $failure_header
 350 ${brg}# TOTAL: 331${std}
 351 ${grn}# PASS:  110${std}
 352 ${blu}# SKIP:  110${std}
 353 ${lgn}# XFAIL: 110${std}
 354 # FAIL:  0
 355 # XPASS: 0
 356 ${mgn}# ERROR: 1${std}
 357 $failure_footer
 358 END
 359
 360 :