[lit] Limit parallelism of sanitizer tests on Darwin [llvm part, take 2]
authorKuba Mracek <mracek@apple.com>
Fri, 20 Jan 2017 00:24:32 +0000 (00:24 +0000)
committerKuba Mracek <mracek@apple.com>
Fri, 20 Jan 2017 00:24:32 +0000 (00:24 +0000)
commit30881272e1c81467703f1e4a7a4edde8544f7058
tree3a3a498bee6ed56e0462c0f55927ec9cddda6a03
parent680663931cd91a5d3bed3846c654951c2d771db9
[lit] Limit parallelism of sanitizer tests on Darwin [llvm part, take 2]

Running lit tests and unit tests of ASan and TSan on macOS has very bad performance when running with a high number of threads. This is caused by xnu (the macOS kernel), which currently doesn't handle mapping and unmapping of sanitizer shadow regions (reserved VM which are several terabytes large) very well. The situation is so bad that increasing the number of threads actually makes the total testing time larger. The macOS buildbots are affected by this. Note that we can't easily limit the number of sanitizer testing threads without affecting the rest of the tests.

This patch adds a special "group" into lit, and limits the number of concurrently running tests in this group. This helps solve the contention problem, while still allowing other tests to run in full, that means running lit with -j8 will still with 8 threads, and parallelism is only limited in sanitizer tests.

Differential Revision: https://reviews.llvm.org/D28420

llvm-svn: 292548
llvm/utils/lit/lit/LitConfig.py
llvm/utils/lit/lit/TestingConfig.py
llvm/utils/lit/lit/main.py
llvm/utils/lit/lit/run.py