rcu: Prevent useless FQS scan after all CPUs have checked in
authorPaul E. McKenney <paulmck@linux.vnet.ibm.com>
Wed, 2 May 2018 18:07:02 +0000 (11:07 -0700)
committerPaul E. McKenney <paulmck@linux.vnet.ibm.com>
Thu, 12 Jul 2018 22:39:01 +0000 (15:39 -0700)
commit928164351e700f91ab588f20fe470cac9db477a9
tree93f0a4ee3c9bfb55d1dce30628e68c801f28bd0b
parent91f63ced7dc4e80acd13386204327d5de00a672d
rcu: Prevent useless FQS scan after all CPUs have checked in

The force_qs_rnp() function checks for ->qsmask being all zero, that is,
all CPUs for the current rcu_node structure having already passed through
quiescent states.  But with RCU-preempt, this is not sufficient to report
quiescent states further up the tree, so there are further checks that
can initiate RCU priority boosting and also for races with CPU-hotplug
operations.  However, if neither of these further checks apply, the code
proceeds to carry out a useless scan of an all-zero ->qsmask.

This commit therefore adds code to release the current rcu_node
structure's lock and continue on to the next rcu_node structure, thereby
avoiding this useless scan.

Signed-off-by: Paul E. McKenney <paulmck@linux.vnet.ibm.com>
kernel/rcu/tree.c