tests/scripts/features/parallelism

   1 #                                                                    -*-perl-*-
   2
   3 $description = "Test parallelism (-j) option.";
   4
   5
   6 $details = "This test creates a makefile with two double-colon default
   7 rules.  The first rule has a series of sleep and echo commands
   8 intended to run in series.  The second and third have just an
   9 echo statement.  When make is called in this test, it is given
  10 the -j option with a value of 4.  This tells make that it may
  11 start up to four jobs simultaneously.  In this case, since the
  12 first command is a sleep command, the output of the second
  13 and third commands will appear before the first if indeed
  14 make is running all of these commands in parallel.";
  15
  16 if (!$parallel_jobs) {
  17   return -1;
  18 }
  19
  20 if ($vos) {
  21   $sleep_command = "sleep -seconds";
  22 }
  23 else {
  24   $sleep_command = "sleep";
  25 }
  26
  27
  28 run_make_test("
  29 all : def_1 def_2 def_3
  30 def_1 : ; \@echo ONE; $sleep_command 3 ; echo TWO
  31 def_2 : ; \@$sleep_command 2 ; echo THREE
  32 def_3 : ; \@$sleep_command 1 ; echo FOUR",
  33               '-j4', "ONE\nFOUR\nTHREE\nTWO");
  34
  35 # Test parallelism with included files.  Here we sleep/echo while
  36 # building the included files, to test that they are being built in
  37 # parallel.
  38 run_make_test("
  39 all: 1 2; \@echo success
  40 -include 1.inc 2.inc
  41 1.inc: ; \@echo ONE.inc; $sleep_command 2; echo TWO.inc; echo '1: ; \@echo ONE; $sleep_command 2; echo TWO' > \$\@
  42 2.inc: ; \@$sleep_command 1; echo THREE.inc; echo '2: ; \@$sleep_command 1; echo THREE' > \$\@",
  43               "-j4",
  44               "ONE.inc\nTHREE.inc\nTWO.inc\nONE\nTHREE\nTWO\nsuccess\n", 0, 7);
  45
  46 rmfiles(qw(1.inc 2.inc));
  47
  48
  49 # Test parallelism with included files--this time recurse first and make
  50 # sure the jobserver works.
  51 run_make_test("
  52 recurse: ; \@\$(MAKE) --no-print-directory -f #MAKEFILE# INC=yes all
  53 all: 1 2; \@echo success
  54
  55 INC = no
  56 ifeq (\$(INC),yes)
  57 -include 1.inc 2.inc
  58 endif
  59
  60 1.inc: ; \@echo ONE.inc; $sleep_command 2; echo TWO.inc; echo '1: ; \@echo ONE; $sleep_command 2; echo TWO' > \$\@
  61 2.inc: ; \@$sleep_command 1; echo THREE.inc; echo '2: ; \@$sleep_command 1; echo THREE' > \$\@",
  62               "-j4",
  63               "ONE.inc\nTHREE.inc\nTWO.inc\nONE\nTHREE\nTWO\nsuccess\n", 0, 7);
  64
  65 rmfiles(qw(1.inc 2.inc));
  66
  67 # Grant Taylor reports a problem where tokens can be lost (not written back
  68 # to the pipe when they should be): this happened when there is a $(shell ...)
  69 # function in an exported recursive variable.  I added some code to check
  70 # for this situation and print a message if it occurred.  This test used
  71 # to trigger this code when I added it but no longer does after the fix.
  72 # We have to increase the timeout from the default (5s) on this test.
  73
  74 run_make_test("
  75 export HI = \$(shell \$(\$\@.CMD))
  76 first.CMD = echo hi
  77 second.CMD = $sleep_command 4; echo hi
  78
  79 .PHONY: all first second
  80 all: first second
  81
  82 first second: ; \@echo \$\@; $sleep_command 1; echo \$\@",
  83               '-j2', "first\nfirst\nsecond\nsecond", 0, 7);
  84
  85 # Michael Matz <matz@suse.de> reported a bug where if make is running in
  86 # parallel without -k and two jobs die in a row, but not too close to each
  87 # other, then make will quit without waiting for the rest of the jobs to die.
  88
  89 run_make_test("
  90 .PHONY: all fail.1 fail.2 fail.3 ok
  91 all: fail.1 ok fail.2 fail.3
  92
  93 fail.1 fail.2 fail.3:
  94         \@$sleep_command \$(patsubst fail.%,%,\$\@)
  95         \@echo Fail
  96         \@exit 1
  97
  98 ok:
  99         \@$sleep_command 4
 100         \@echo Ok done",
 101               '-rR -j5', "Fail
 102 #MAKEFILE#:6: recipe for target 'fail.1' failed
 103 #MAKE#: *** [fail.1] Error 1
 104 #MAKE#: *** Waiting for unfinished jobs....
 105 Fail
 106 #MAKEFILE#:6: recipe for target 'fail.2' failed
 107 #MAKE#: *** [fail.2] Error 1
 108 Fail
 109 #MAKEFILE#:6: recipe for target 'fail.3' failed
 110 #MAKE#: *** [fail.3] Error 1
 111 Ok done",
 112              512);
 113
 114
 115 # Test for Savannah bug #15641.
 116 #
 117 run_make_test('
 118 .PHONY: all
 119 all:; @:
 120
 121 -include foo.d
 122
 123 foo.d: comp
 124         @echo building $@
 125
 126 comp: mod_a.o mod_b.o; @:
 127
 128 mod_a.o mod_b.o:
 129         @exit 1
 130 ', '-j2', '');
 131
 132
 133 # TEST #9 -- Savannah bugs 3330 and 15919
 134 # In earlier versions of make this will either give the wrong answer, or hang.
 135
 136 utouch(-10, 'target');
 137 run_make_test('target: intermed ; touch $@
 138
 139 .INTERMEDIATE: intermed
 140 intermed: | phony ; touch $@
 141
 142 .PHONY: phony
 143 phony: ; : phony', '-rR -j', ': phony');
 144 rmfiles('target');
 145
 146 # TEST #11: Make sure -jN from MAKEFLAGS is processed even when we re-exec
 147 # See Savannah bug #33873
 148
 149 $extraENV{MAKEFLAGS} = '-j4';
 150
 151 run_make_test(q!
 152 things = thing1 thing2
 153 all: $(things)
 154 thing1:; @sleep 1; echo '$@ start'; sleep 2; echo '$@ end'
 155 thing2:; @echo '$@ start'; sleep 2; echo '$@ end'
 156 -include inc.mk
 157 inc.mk: ; @touch $@
 158 !,
 159               '', "thing2 start\nthing1 start\nthing2 end\nthing1 end\n");
 160
 161 delete $extraENV{MAKEFLAGS};
 162 rmfiles('inc.mk');
 163
 164 # Ensure intermediate/secondary files are not pruned incorrectly.
 165 # See Savannah bug #30653
 166
 167 utouch(-15, 'file2');
 168 utouch(-10, 'file4');
 169 utouch(-5,  'file1');
 170
 171 run_make_test(q!
 172 .INTERMEDIATE: file3
 173 file4: file3 ; @mv -f $< $@
 174 file3: file2 ; touch $@
 175 file2: file1 ; @touch $@
 176 !,
 177               '--no-print-directory -j2', "touch file3");
 178
 179 rmfiles('file1', 'file2', 'file3', 'file4');
 180
 181 # Make sure that all jobserver FDs are closed if we need to re-exec the
 182 # master copy.
 183 #
 184 # First, find the "default" file descriptors we normally use
 185 # Then make sure they're still used.
 186 #
 187 # Right now we don't have a way to run a makefile and capture the output
 188 # without checking it, so we can't really write this test.
 189
 190 # run_make_test('
 191 # submake: ; @$(MAKE) --no-print-directory -f #MAKEFILE# fdprint 5>output
 192
 193 # dependfile: ; @echo FOO=bar > $@
 194
 195 # INCL := true
 196
 197 # FOO=foo
 198 # ifeq ($(INCL),true)
 199 # -include dependfile
 200 # endif
 201
 202 # fdprint: ; @echo $(filter --jobserver%,$(MAKEFLAGS))
 203
 204 # recurse: ; @$(MAKE) --no-print-directory -f #MAKEFILE# submake INCL=true',
 205 #               '-j2 INCL=false fdprint',
 206 #               'bar');
 207
 208 # rmfiles(qw(dependfile output));
 209
 210
 211 # # Do it again, this time where the include is done by the non-master make.
 212 # run_make_test(undef, '-j2 recurse INCL=false', 'bar');
 213
 214 # rmfiles(qw(dependfile output));
 215
 216 1;