tests/init.sh

   1 # source this file; set up for tests
   2
   3 # Copyright (C) 2009-2014 Free Software Foundation, Inc.
   4
   5 # This program is free software: you can redistribute it and/or modify
   6 # it under the terms of the GNU General Public License as published by
   7 # the Free Software Foundation, either version 3 of the License, or
   8 # (at your option) any later version.
   9
  10 # This program is distributed in the hope that it will be useful,
  11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13 # GNU General Public License for more details.
  14
  15 # You should have received a copy of the GNU General Public License
  16 # along with this program.  If not, see <http://www.gnu.org/licenses/>.
  17
  18 # Using this file in a test
  19 # =========================
  20 #
  21 # The typical skeleton of a test looks like this:
  22 #
  23 #   #!/bin/sh
  24 #   . "${srcdir=.}/init.sh"; path_prepend_ .
  25 #   Execute some commands.
  26 #   Note that these commands are executed in a subdirectory, therefore you
  27 #   need to prepend "../" to relative filenames in the build directory.
  28 #   Note that the "path_prepend_ ." is useful only if the body of your
  29 #   test invokes programs residing in the initial directory.
  30 #   For example, if the programs you want to test are in src/, and this test
  31 #   script is named tests/test-1, then you would use "path_prepend_ ../src",
  32 #   or perhaps export PATH='$(abs_top_builddir)/src$(PATH_SEPARATOR)'"$$PATH"
  33 #   to all tests via automake's TESTS_ENVIRONMENT.
  34 #   Set the exit code 0 for success, 77 for skipped, or 1 or other for failure.
  35 #   Use the skip_ and fail_ functions to print a diagnostic and then exit
  36 #   with the corresponding exit code.
  37 #   Exit $?
  38
  39 # Executing a test that uses this file
  40 # ====================================
  41 #
  42 # Running a single test:
  43 #   $ make check TESTS=test-foo.sh
  44 #
  45 # Running a single test, with verbose output:
  46 #   $ make check TESTS=test-foo.sh VERBOSE=yes
  47 #
  48 # Running a single test, with single-stepping:
  49 #   1. Go into a sub-shell:
  50 #   $ bash
  51 #   2. Set relevant environment variables from TESTS_ENVIRONMENT in the
  52 #      Makefile:
  53 #   $ export srcdir=../../tests # this is an example
  54 #   3. Execute the commands from the test, copy&pasting them one by one:
  55 #   $ . "$srcdir/init.sh"; path_prepend_ .
  56 #   ...
  57 #   4. Finally
  58 #   $ exit
  59
  60 ME_=`expr "./$0" : '.*/\(.*\)$'`
  61
  62 # We use a trap below for cleanup.  This requires us to go through
  63 # hoops to get the right exit status transported through the handler.
  64 # So use 'Exit STATUS' instead of 'exit STATUS' inside of the tests.
  65 # Turn off errexit here so that we don't trip the bug with OSF1/Tru64
  66 # sh inside this function.
  67 Exit () { set +e; (exit $1); exit $1; }
  68
  69 # Print warnings (e.g., about skipped and failed tests) to this file number.
  70 # Override by defining to say, 9, in init.cfg, and putting say,
  71 #   export ...ENVVAR_SETTINGS...; $(SHELL) 9>&2
  72 # in the definition of TESTS_ENVIRONMENT in your tests/Makefile.am file.
  73 # This is useful when using automake's parallel tests mode, to print
  74 # the reason for skip/failure to console, rather than to the .log files.
  75 : ${stderr_fileno_=2}
  76
  77 # Note that correct expansion of "$*" depends on IFS starting with ' '.
  78 # Always write the full diagnostic to stderr.
  79 # When stderr_fileno_ is not 2, also emit the first line of the
  80 # diagnostic to that file descriptor.
  81 warn_ ()
  82 {
  83   # If IFS does not start with ' ', set it and emit the warning in a subshell.
  84   case $IFS in
  85     ' '*) printf '%s\n' "$*" >&2
  86           test $stderr_fileno_ = 2 \
  87             || { printf '%s\n' "$*" | sed 1q >&$stderr_fileno_ ; } ;;
  88     *) (IFS=' '; warn_ "$@");;
  89   esac
  90 }
  91 fail_ () { warn_ "$ME_: failed test: $@"; Exit 1; }
  92 skip_ () { warn_ "$ME_: skipped test: $@"; Exit 77; }
  93 fatal_ () { warn_ "$ME_: hard error: $@"; Exit 99; }
  94 framework_failure_ () { warn_ "$ME_: set-up failure: $@"; Exit 99; }
  95
  96 # Sanitize this shell to POSIX mode, if possible.
  97 DUALCASE=1; export DUALCASE
  98 if test -n "${ZSH_VERSION+set}" && (emulate sh) >/dev/null 2>&1; then
  99   emulate sh
 100   NULLCMD=:
 101   alias -g '${1+"$@"}'='"$@"'
 102   setopt NO_GLOB_SUBST
 103 else
 104   case `(set -o) 2>/dev/null` in
 105     *posix*) set -o posix ;;
 106   esac
 107 fi
 108
 109 # We require $(...) support unconditionally.
 110 # We require a few additional shell features only when $EXEEXT is nonempty,
 111 # in order to support automatic $EXEEXT emulation:
 112 # - hyphen-containing alias names
 113 # - we prefer to use ${var#...} substitution, rather than having
 114 #   to work around lack of support for that feature.
 115 # The following code attempts to find a shell with support for these features.
 116 # If the current shell passes the test, we're done.  Otherwise, test other
 117 # shells until we find one that passes.  If one is found, re-exec it.
 118 # If no acceptable shell is found, skip the current test.
 119 #
 120 # The "...set -x; P=1 true 2>err..." test is to disqualify any shell that
 121 # emits "P=1" into err, as /bin/sh from SunOS 5.11 and OpenBSD 4.7 do.
 122 #
 123 # Use "9" to indicate success (rather than 0), in case some shell acts
 124 # like Solaris 10's /bin/sh but exits successfully instead of with status 2.
 125
 126 # Eval this code in a subshell to determine a shell's suitability.
 127 # 10 - passes all tests; ok to use
 128 #  9 - ok, but enabling "set -x" corrupts app stderr; prefer higher score
 129 #  ? - not ok
 130 gl_shell_test_script_='
 131 test $(echo y) = y || exit 1
 132 score_=10
 133 if test "$VERBOSE" = yes; then
 134   test -n "$( (exec 3>&1; set -x; P=1 true 2>&3) 2> /dev/null)" && score_=9
 135 fi
 136 test -z "$EXEEXT" && exit $score_
 137 shopt -s expand_aliases
 138 alias a-b="echo zoo"
 139 v=abx
 140      test ${v%x} = ab \
 141   && test ${v#a} = bx \
 142   && test $(a-b) = zoo \
 143   && exit $score_
 144 '
 145
 146 if test "x$1" = "x--no-reexec"; then
 147   shift
 148 else
 149   # Assume a working shell.  Export to subshells (setup_ needs this).
 150   gl_set_x_corrupts_stderr_=false
 151   export gl_set_x_corrupts_stderr_
 152
 153   # Record the first marginally acceptable shell.
 154   marginal_=
 155
 156   # Search for a shell that meets our requirements.
 157   for re_shell_ in __current__ "${CONFIG_SHELL:-no_shell}" \
 158       /bin/sh bash dash zsh pdksh fail
 159   do
 160     test "$re_shell_" = no_shell && continue
 161
 162     # If we've made it all the way to the sentinel, "fail" without
 163     # finding even a marginal shell, skip this test.
 164     if test "$re_shell_" = fail; then
 165       test -z "$marginal_" && skip_ failed to find an adequate shell
 166       re_shell_=$marginal_
 167       break
 168     fi
 169
 170     # When testing the current shell, simply "eval" the test code.
 171     # Otherwise, run it via $re_shell_ -c ...
 172     if test "$re_shell_" = __current__; then
 173       # 'eval'ing this code makes Solaris 10's /bin/sh exit with
 174       # $? set to 2.  It does not evaluate any of the code after the
 175       # "unexpected" first '('.  Thus, we must run it in a subshell.
 176       ( eval "$gl_shell_test_script_" ) > /dev/null 2>&1
 177     else
 178       "$re_shell_" -c "$gl_shell_test_script_" 2>/dev/null
 179     fi
 180
 181     st_=$?
 182
 183     # $re_shell_ works just fine.  Use it.
 184     if test $st_ = 10; then
 185       gl_set_x_corrupts_stderr_=false
 186       break
 187     fi
 188
 189     # If this is our first marginally acceptable shell, remember it.
 190     if test "$st_:$marginal_" = 9: ; then
 191       marginal_="$re_shell_"
 192       gl_set_x_corrupts_stderr_=true
 193     fi
 194   done
 195
 196   if test "$re_shell_" != __current__; then
 197     # Found a usable shell.  Preserve -v and -x.
 198     case $- in
 199       *v*x* | *x*v*) opts_=-vx ;;
 200       *v*) opts_=-v ;;
 201       *x*) opts_=-x ;;
 202       *) opts_= ;;
 203     esac
 204     re_shell=$re_shell_
 205     export re_shell
 206     exec "$re_shell_" $opts_ "$0" --no-reexec "$@"
 207     echo "$ME_: exec failed" 1>&2
 208     exit 127
 209   fi
 210 fi
 211
 212 # If this is bash, turn off all aliases.
 213 test -n "$BASH_VERSION" && unalias -a
 214
 215 # Note that when supporting $EXEEXT (transparently mapping from PROG_NAME to
 216 # PROG_NAME.exe), we want to support hyphen-containing names like test-acos.
 217 # That is part of the shell-selection test above.  Why use aliases rather
 218 # than functions?  Because support for hyphen-containing aliases is more
 219 # widespread than that for hyphen-containing function names.
 220 test -n "$EXEEXT" && shopt -s expand_aliases
 221
 222 # Enable glibc's malloc-perturbing option.
 223 # This is useful for exposing code that depends on the fact that
 224 # malloc-related functions often return memory that is mostly zeroed.
 225 # If you have the time and cycles, use valgrind to do an even better job.
 226 : ${MALLOC_PERTURB_=87}
 227 export MALLOC_PERTURB_
 228
 229 # This is a stub function that is run upon trap (upon regular exit and
 230 # interrupt).  Override it with a per-test function, e.g., to unmount
 231 # a partition, or to undo any other global state changes.
 232 cleanup_ () { :; }
 233
 234 # Emit a header similar to that from diff -u;  Print the simulated "diff"
 235 # command so that the order of arguments is clear.  Don't bother with @@ lines.
 236 emit_diff_u_header_ ()
 237 {
 238   printf '%s\n' "diff -u $*" \
 239     "--- $1     1970-01-01" \
 240     "+++ $2     1970-01-01"
 241 }
 242
 243 # Arrange not to let diff or cmp operate on /dev/null,
 244 # since on some systems (at least OSF/1 5.1), that doesn't work.
 245 # When there are not two arguments, or no argument is /dev/null, return 2.
 246 # When one argument is /dev/null and the other is not empty,
 247 # cat the nonempty file to stderr and return 1.
 248 # Otherwise, return 0.
 249 compare_dev_null_ ()
 250 {
 251   test $# = 2 || return 2
 252
 253   if test "x$1" = x/dev/null; then
 254     test -s "$2" || return 0
 255     emit_diff_u_header_ "$@"; sed 's/^/+/' "$2"
 256     return 1
 257   fi
 258
 259   if test "x$2" = x/dev/null; then
 260     test -s "$1" || return 0
 261     emit_diff_u_header_ "$@"; sed 's/^/-/' "$1"
 262     return 1
 263   fi
 264
 265   return 2
 266 }
 267
 268 if diff_out_=`exec 2>/dev/null; diff -u "$0" "$0" < /dev/null` \
 269    && diff -u Makefile "$0" 2>/dev/null | grep '^[+]#!' >/dev/null; then
 270   # diff accepts the -u option and does not (like AIX 7 'diff') produce an
 271   # extra space on column 1 of every content line.
 272   if test -z "$diff_out_"; then
 273     compare_ () { diff -u "$@"; }
 274   else
 275     compare_ ()
 276     {
 277       if diff -u "$@" > diff.out; then
 278         # No differences were found, but Solaris 'diff' produces output
 279         # "No differences encountered". Hide this output.
 280         rm -f diff.out
 281         true
 282       else
 283         cat diff.out
 284         rm -f diff.out
 285         false
 286       fi
 287     }
 288   fi
 289 elif diff_out_=`exec 2>/dev/null; diff -c "$0" "$0" < /dev/null`; then
 290   if test -z "$diff_out_"; then
 291     compare_ () { diff -c "$@"; }
 292   else
 293     compare_ ()
 294     {
 295       if diff -c "$@" > diff.out; then
 296         # No differences were found, but AIX and HP-UX 'diff' produce output
 297         # "No differences encountered" or "There are no differences between the
 298         # files.". Hide this output.
 299         rm -f diff.out
 300         true
 301       else
 302         cat diff.out
 303         rm -f diff.out
 304         false
 305       fi
 306     }
 307   fi
 308 elif ( cmp --version < /dev/null 2>&1 | grep GNU ) > /dev/null 2>&1; then
 309   compare_ () { cmp -s "$@"; }
 310 else
 311   compare_ () { cmp "$@"; }
 312 fi
 313
 314 # Usage: compare EXPECTED ACTUAL
 315 #
 316 # Given compare_dev_null_'s preprocessing, defer to compare_ if 2 or more.
 317 # Otherwise, propagate $? to caller: any diffs have already been printed.
 318 compare ()
 319 {
 320   # This looks like it can be factored to use a simple "case $?"
 321   # after unchecked compare_dev_null_ invocation, but that would
 322   # fail in a "set -e" environment.
 323   if compare_dev_null_ "$@"; then
 324     return 0
 325   else
 326     case $? in
 327       1) return 1;;
 328       *) compare_ "$@";;
 329     esac
 330   fi
 331 }
 332
 333 # An arbitrary prefix to help distinguish test directories.
 334 testdir_prefix_ () { printf gt; }
 335
 336 # Run the user-overridable cleanup_ function, remove the temporary
 337 # directory and exit with the incoming value of $?.
 338 remove_tmp_ ()
 339 {
 340   __st=$?
 341   cleanup_
 342   # cd out of the directory we're about to remove
 343   cd "$initial_cwd_" || cd / || cd /tmp
 344   chmod -R u+rwx "$test_dir_"
 345   # If removal fails and exit status was to be 0, then change it to 1.
 346   rm -rf "$test_dir_" || { test $__st = 0 && __st=1; }
 347   exit $__st
 348 }
 349
 350 # Given a directory name, DIR, if every entry in it that matches *.exe
 351 # contains only the specified bytes (see the case stmt below), then print
 352 # a space-separated list of those names and return 0.  Otherwise, don't
 353 # print anything and return 1.  Naming constraints apply also to DIR.
 354 find_exe_basenames_ ()
 355 {
 356   feb_dir_=$1
 357   feb_fail_=0
 358   feb_result_=
 359   feb_sp_=
 360   for feb_file_ in $feb_dir_/*.exe; do
 361     # If there was no *.exe file, or there existed a file named "*.exe" that
 362     # was deleted between the above glob expansion and the existence test
 363     # below, just skip it.
 364     test "x$feb_file_" = "x$feb_dir_/*.exe" && test ! -f "$feb_file_" \
 365       && continue
 366     # Exempt [.exe, since we can't create a function by that name, yet
 367     # we can't invoke [ by PATH search anyways due to shell builtins.
 368     test "x$feb_file_" = "x$feb_dir_/[.exe" && continue
 369     case $feb_file_ in
 370       *[!-a-zA-Z/0-9_.+]*) feb_fail_=1; break;;
 371       *) # Remove leading file name components as well as the .exe suffix.
 372          feb_file_=${feb_file_##*/}
 373          feb_file_=${feb_file_%.exe}
 374          feb_result_="$feb_result_$feb_sp_$feb_file_";;
 375     esac
 376     feb_sp_=' '
 377   done
 378   test $feb_fail_ = 0 && printf %s "$feb_result_"
 379   return $feb_fail_
 380 }
 381
 382 # Consider the files in directory, $1.
 383 # For each file name of the form PROG.exe, create an alias named
 384 # PROG that simply invokes PROG.exe, then return 0.  If any selected
 385 # file name or the directory name, $1, contains an unexpected character,
 386 # define no alias and return 1.
 387 create_exe_shims_ ()
 388 {
 389   case $EXEEXT in
 390     '') return 0 ;;
 391     .exe) ;;
 392     *) echo "$0: unexpected \$EXEEXT value: $EXEEXT" 1>&2; return 1 ;;
 393   esac
 394
 395   base_names_=`find_exe_basenames_ $1` \
 396     || { echo "$0 (exe_shim): skipping directory: $1" 1>&2; return 0; }
 397
 398   if test -n "$base_names_"; then
 399     for base_ in $base_names_; do
 400       alias "$base_"="$base_$EXEEXT"
 401     done
 402   fi
 403
 404   return 0
 405 }
 406
 407 # Use this function to prepend to PATH an absolute name for each
 408 # specified, possibly-$initial_cwd_-relative, directory.
 409 path_prepend_ ()
 410 {
 411   while test $# != 0; do
 412     path_dir_=$1
 413     case $path_dir_ in
 414       '') fail_ "invalid path dir: '$1'";;
 415       /*) abs_path_dir_=$path_dir_;;
 416       *) abs_path_dir_=$initial_cwd_/$path_dir_;;
 417     esac
 418     case $abs_path_dir_ in
 419       *:*) fail_ "invalid path dir: '$abs_path_dir_'";;
 420     esac
 421     PATH="$abs_path_dir_:$PATH"
 422
 423     # Create an alias, FOO, for each FOO.exe in this directory.
 424     create_exe_shims_ "$abs_path_dir_" \
 425       || fail_ "something failed (above): $abs_path_dir_"
 426     shift
 427   done
 428   export PATH
 429 }
 430
 431 setup_ ()
 432 {
 433   if test "$VERBOSE" = yes; then
 434     # Test whether set -x may cause the selected shell to corrupt an
 435     # application's stderr.  Many do, including zsh-4.3.10 and the /bin/sh
 436     # from SunOS 5.11, OpenBSD 4.7 and Irix 5.x and 6.5.
 437     # If enabling verbose output this way would cause trouble, simply
 438     # issue a warning and refrain.
 439     if $gl_set_x_corrupts_stderr_; then
 440       warn_ "using SHELL=$SHELL with 'set -x' corrupts stderr"
 441     else
 442       set -x
 443     fi
 444   fi
 445
 446   initial_cwd_=$PWD
 447   fail=0
 448
 449   pfx_=`testdir_prefix_`
 450   test_dir_=`mktempd_ "$initial_cwd_" "$pfx_-$ME_.XXXX"` \
 451     || fail_ "failed to create temporary directory in $initial_cwd_"
 452   cd "$test_dir_" || fail_ "failed to cd to temporary directory"
 453
 454   # As autoconf-generated configure scripts do, ensure that IFS
 455   # is defined initially, so that saving and restoring $IFS works.
 456   gl_init_sh_nl_='
 457 '
 458   IFS=" ""      $gl_init_sh_nl_"
 459
 460   # This trap statement, along with a trap on 0 below, ensure that the
 461   # temporary directory, $test_dir_, is removed upon exit as well as
 462   # upon receipt of any of the listed signals.
 463   for sig_ in 1 2 3 13 15; do
 464     eval "trap 'Exit $(expr $sig_ + 128)' $sig_"
 465   done
 466 }
 467
 468 # Create a temporary directory, much like mktemp -d does.
 469 # Written by Jim Meyering.
 470 #
 471 # Usage: mktempd_ /tmp phoey.XXXXXXXXXX
 472 #
 473 # First, try to use the mktemp program.
 474 # Failing that, we'll roll our own mktemp-like function:
 475 #  - try to get random bytes from /dev/urandom
 476 #  - failing that, generate output from a combination of quickly-varying
 477 #      sources and gzip.  Ignore non-varying gzip header, and extract
 478 #      "random" bits from there.
 479 #  - given those bits, map to file-name bytes using tr, and try to create
 480 #      the desired directory.
 481 #  - make only $MAX_TRIES_ attempts
 482
 483 # Helper function.  Print $N pseudo-random bytes from a-zA-Z0-9.
 484 rand_bytes_ ()
 485 {
 486   n_=$1
 487
 488   # Maybe try openssl rand -base64 $n_prime_|tr '+/=\012' abcd first?
 489   # But if they have openssl, they probably have mktemp, too.
 490
 491   chars_=abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789
 492   dev_rand_=/dev/urandom
 493   if test -r "$dev_rand_"; then
 494     # Note: 256-length($chars_) == 194; 3 copies of $chars_ is 186 + 8 = 194.
 495     dd ibs=$n_ count=1 if=$dev_rand_ 2>/dev/null \
 496       | LC_ALL=C tr -c $chars_ 01234567$chars_$chars_$chars_
 497     return
 498   fi
 499
 500   n_plus_50_=`expr $n_ + 50`
 501   cmds_='date; date +%N; free; who -a; w; ps auxww; ps ef; netstat -n'
 502   data_=` (eval "$cmds_") 2>&1 | gzip `
 503
 504   # Ensure that $data_ has length at least 50+$n_
 505   while :; do
 506     len_=`echo "$data_"|wc -c`
 507     test $n_plus_50_ -le $len_ && break;
 508     data_=` (echo "$data_"; eval "$cmds_") 2>&1 | gzip `
 509   done
 510
 511   echo "$data_" \
 512     | dd bs=1 skip=50 count=$n_ 2>/dev/null \
 513     | LC_ALL=C tr -c $chars_ 01234567$chars_$chars_$chars_
 514 }
 515
 516 mktempd_ ()
 517 {
 518   case $# in
 519   2);;
 520   *) fail_ "Usage: mktempd_ DIR TEMPLATE";;
 521   esac
 522
 523   destdir_=$1
 524   template_=$2
 525
 526   MAX_TRIES_=4
 527
 528   # Disallow any trailing slash on specified destdir:
 529   # it would subvert the post-mktemp "case"-based destdir test.
 530   case $destdir_ in
 531   /) ;;
 532   */) fail_ "invalid destination dir: remove trailing slash(es)";;
 533   esac
 534
 535   case $template_ in
 536   *XXXX) ;;
 537   *) fail_ \
 538        "invalid template: $template_ (must have a suffix of at least 4 X's)";;
 539   esac
 540
 541   # First, try to use mktemp.
 542   d=`unset TMPDIR; { mktemp -d -t -p "$destdir_" "$template_"; } 2>/dev/null` \
 543     || fail=1
 544
 545   # The resulting name must be in the specified directory.
 546   case $d in "$destdir_"*);; *) fail=1;; esac
 547
 548   # It must have created the directory.
 549   test -d "$d" || fail=1
 550
 551   # It must have 0700 permissions.  Handle sticky "S" bits.
 552   perms=`ls -dgo "$d" 2>/dev/null|tr S -` || fail=1
 553   case $perms in drwx------*) ;; *) fail=1;; esac
 554
 555   test $fail = 0 && {
 556     echo "$d"
 557     return
 558   }
 559
 560   # If we reach this point, we'll have to create a directory manually.
 561
 562   # Get a copy of the template without its suffix of X's.
 563   base_template_=`echo "$template_"|sed 's/XX*$//'`
 564
 565   # Calculate how many X's we've just removed.
 566   template_length_=`echo "$template_" | wc -c`
 567   nx_=`echo "$base_template_" | wc -c`
 568   nx_=`expr $template_length_ - $nx_`
 569
 570   err_=
 571   i_=1
 572   while :; do
 573     X_=`rand_bytes_ $nx_`
 574     candidate_dir_="$destdir_/$base_template_$X_"
 575     err_=`mkdir -m 0700 "$candidate_dir_" 2>&1` \
 576       && { echo "$candidate_dir_"; return; }
 577     test $MAX_TRIES_ -le $i_ && break;
 578     i_=`expr $i_ + 1`
 579   done
 580   fail_ "$err_"
 581 }
 582
 583 # If you want to override the testdir_prefix_ function,
 584 # or to add more utility functions, use this file.
 585 test -f "$srcdir/init.cfg" \
 586   && . "$srcdir/init.cfg"
 587
 588 setup_ "$@"
 589 # This trap is here, rather than in the setup_ function, because some
 590 # shells run the exit trap at shell function exit, rather than script exit.
 591 trap remove_tmp_ 0