rcu: Disable laziness if lazy-tracking says so
authorJoel Fernandes (Google) <joel@joelfernandes.org>
Thu, 12 Jan 2023 00:52:23 +0000 (00:52 +0000)
committerPaul E. McKenney <paulmck@kernel.org>
Tue, 24 Jan 2023 00:51:29 +0000 (16:51 -0800)
commitcf7066b97e27b2319af1ae2ef6889c4a1704312d
treeb7e402f1e3b569b2c738e1d3e554fc1ec1fa0739
parent6efdda8bec2900ce5166ee4ff4b1844b47b529cd
rcu: Disable laziness if lazy-tracking says so

During suspend, we see failures to suspend 1 in 300-500 suspends.
Looking closer, it appears that asynchronous RCU callbacks are being
queued as lazy even though synchronous callbacks are expedited. These
delays appear to not be very welcome by the suspend/resume code as
evidenced by these occasional suspend failures.

This commit modifies call_rcu() to check if rcu_async_should_hurry(),
which will return true if we are in suspend or in-kernel boot.

[ paulmck: Alphabetize local variables. ]

Ignoring the lazy hint makes the 3000 suspend/resume cycles pass
reliably on a 12th gen 12-core Intel CPU, and there is some evidence
that it also slightly speeds up boot performance.

Fixes: 3cb278e73be5 ("rcu: Make call_rcu() lazy to save power")
Signed-off-by: Joel Fernandes (Google) <joel@joelfernandes.org>
Signed-off-by: Paul E. McKenney <paulmck@kernel.org>
kernel/rcu/tree.c