benchtests/Makefile

   1 # Copyright (C) 2013-2014 Free Software Foundation, Inc.
   2 # This file is part of the GNU C Library.
   3
   4 # The GNU C Library is free software; you can redistribute it and/or
   5 # modify it under the terms of the GNU Lesser General Public
   6 # License as published by the Free Software Foundation; either
   7 # version 2.1 of the License, or (at your option) any later version.
   8
   9 # The GNU C Library is distributed in the hope that it will be useful,
  10 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  11 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  12 # Lesser General Public License for more details.
  13
  14 # You should have received a copy of the GNU Lesser General Public
  15 # License along with the GNU C Library; if not, see
  16 # <http://www.gnu.org/licenses/>.
  17
  18
  19 # Makefile for benchmark tests.  The only useful target here is `bench`.
  20 # Add benchmark functions in alphabetical order.
  21
  22 subdir := benchtests
  23
  24 include ../Makeconfig
  25 bench := acos acosh asin asinh atan atanh cos cosh exp exp2 ffs ffsll \
  26         log log2 modf pow pthread_once rint sin sincos sinh sqrt tan tanh
  27
  28 # String function benchmarks.
  29 string-bench := bcopy bzero memccpy memchr memcmp memcpy memmem memmove \
  30                 mempcpy memset rawmemchr stpcpy stpncpy strcasecmp strcasestr \
  31                 strcat strchr strchrnul strcmp strcpy strcspn strlen \
  32                 strncasecmp strncat strncmp strncpy strnlen strpbrk strrchr \
  33                 strspn strstr strcpy_chk stpcpy_chk memrchr strsep strtok
  34 string-bench-all := $(string-bench)
  35
  36 stdlib-bench := strtod
  37
  38 benchset := $(string-bench-all) $(stdlib-bench)
  39
  40 CFLAGS-bench-ffs.c += -fno-builtin
  41 CFLAGS-bench-ffsll.c += -fno-builtin
  42
  43 LDLIBS-bench-acos = -lm
  44 LDLIBS-bench-acosh = -lm
  45 LDLIBS-bench-asin = -lm
  46 LDLIBS-bench-asinh = -lm
  47 LDLIBS-bench-atan = -lm
  48 LDLIBS-bench-atanh = -lm
  49 LDLIBS-bench-cos = -lm
  50 LDLIBS-bench-cosh = -lm
  51 LDLIBS-bench-exp = -lm
  52 LDLIBS-bench-exp2 = -lm
  53 LDLIBS-bench-log = -lm
  54 LDLIBS-bench-log2 = -lm
  55 LDLIBS-bench-pow = -lm
  56 LDLIBS-bench-pthread_once = -lpthread
  57 LDLIBS-bench-rint = -lm
  58 LDLIBS-bench-sin = -lm
  59 LDLIBS-bench-sinh = -lm
  60 LDLIBS-bench-sqrt = -lm
  61 LDLIBS-bench-tan = -lm
  62 LDLIBS-bench-tanh = -lm
  63 LDLIBS-bench-sincos = -lm
  64
  65 \f
  66
  67 # Rules to build and execute the benchmarks.  Do not put any benchmark
  68 # parameters beyond this point.
  69
  70 # We don't want the benchmark programs to run in parallel since that could
  71 # affect their performance.
  72 .NOTPARALLEL:
  73
  74 include ../Rules
  75
  76 binaries-bench := $(addprefix $(objpfx)bench-,$(bench))
  77 binaries-benchset := $(addprefix $(objpfx)bench-,$(benchset))
  78
  79 # The default duration: 10 seconds.
  80 ifndef BENCH_DURATION
  81 BENCH_DURATION := 10
  82 endif
  83
  84 CPPFLAGS-nonlib += -DDURATION=$(BENCH_DURATION)
  85
  86 # Use clock_gettime to measure performance of functions.  The default is to use
  87 # HP_TIMING if it is available.
  88 ifdef USE_CLOCK_GETTIME
  89 CPPFLAGS-nonlib += -DUSE_CLOCK_GETTIME
  90 endif
  91
  92 DETAILED_OPT :=
  93
  94 ifdef DETAILED
  95 DETAILED_OPT := -d
  96 endif
  97
  98 # This makes sure CPPFLAGS-nonlib and CFLAGS-nonlib are passed
  99 # for all these modules.
 100 cpp-srcs-left := $(binaries-benchset:=.c) $(binaries-bench:=.c)
 101 lib := nonlib
 102 include $(patsubst %,$(..)cppflags-iterator.mk,$(cpp-srcs-left))
 103
 104 extra-objs += json-lib.o
 105
 106 bench-deps := bench-skeleton.c bench-timing.h Makefile
 107
 108 run-bench = $(test-wrapper-env) \
 109             GCONV_PATH=$(common-objpfx)iconvdata LC_ALL=C \
 110             $($*-ENV) $(rtld-prefix) $${run}
 111
 112 timing-type := $(objpfx)bench-timing-type
 113
 114 bench-clean:
 115         rm -f $(binaries-bench) $(addsuffix .o,$(binaries-bench))
 116         rm -f $(binaries-benchset) $(addsuffix .o,$(binaries-benchset))
 117         rm -f $(timing-type) $(addsuffix .o,$(timing-type))
 118
 119 bench: $(timing-type) bench-set bench-func
 120
 121 bench-set: $(binaries-benchset)
 122         for run in $^; do \
 123           echo "Running $${run}"; \
 124           $(run-bench) > $${run}.out; \
 125         done
 126
 127 # Build and execute the benchmark functions.  This target generates JSON
 128 # formatted bench.out.  Each of the programs produce independent JSON output,
 129 # so one could even execute them individually and process it using any JSON
 130 # capable language or tool.
 131 bench-func: $(binaries-bench)
 132         { timing_type=$$($(timing-type)); \
 133         echo "{\"timing_type\": \"$${timing_type}\","; \
 134         echo " \"functions\": {"; \
 135         for run in $^; do \
 136           if ! [ "x$${run}" = "x$<" ]; then \
 137             echo ","; \
 138           fi; \
 139           echo "Running $${run}" >&2; \
 140           $(run-bench) $(DETAILED_OPT); \
 141         done; \
 142         echo; \
 143         echo " }"; \
 144         echo "}"; } > $(objpfx)bench.out-tmp; \
 145         if [ -f $(objpfx)bench.out ]; then \
 146           mv -f $(objpfx)bench.out $(objpfx)bench.out.old; \
 147         fi; \
 148         mv -f $(objpfx)bench.out-tmp $(objpfx)bench.out
 149
 150 $(timing-type) $(binaries-bench) $(binaries-benchset): %: %.o $(objpfx)json-lib.o \
 151   $(sort $(filter $(common-objpfx)lib%,$(link-libc))) \
 152   $(addprefix $(csu-objpfx),start.o) $(+preinit) $(+postinit)
 153         $(+link)
 154
 155 $(objpfx)bench-%.c: %-inputs $(bench-deps)
 156         { if [ -n "$($*-INCLUDE)" ]; then \
 157           cat $($*-INCLUDE); \
 158         fi; \
 159         $(.)scripts/bench.py $(patsubst %-inputs,%,$<); } > $@-tmp
 160         mv -f $@-tmp $@