sched, time: Switch VIRT_CPU_ACCOUNTING_GEN to jiffy granularity
authorRik van Riel <riel@redhat.com>
Thu, 11 Feb 2016 01:08:27 +0000 (20:08 -0500)
committerIngo Molnar <mingo@kernel.org>
Mon, 29 Feb 2016 08:53:10 +0000 (09:53 +0100)
commitff9a9b4c4334b53b52ee9279f30bd5dd92ea9bdd
tree30a5fb0275291a0b80fa33055f7d9c242b2b7457
parent9344c92c2e72e495f695caef8364b3dd73af0eab
sched, time: Switch VIRT_CPU_ACCOUNTING_GEN to jiffy granularity

When profiling syscall overhead on nohz-full kernels,
after removing __acct_update_integrals() from the profile,
native_sched_clock() remains as the top CPU user. This can be
reduced by moving VIRT_CPU_ACCOUNTING_GEN to jiffy granularity.

This will reduce timing accuracy on nohz_full CPUs to jiffy
based sampling, just like on normal CPUs. It results in
totally removing native_sched_clock from the profile, and
significantly speeding up the syscall entry and exit path,
as well as irq entry and exit, and KVM guest entry & exit.

Additionally, only call the more expensive functions (and
advance the seqlock) when jiffies actually changed.

This code relies on another CPU advancing jiffies when the
system is busy. On a nohz_full system, this is done by a
housekeeping CPU.

A microbenchmark calling an invalid syscall number 10 million
times in a row speeds up an additional 30% over the numbers
with just the previous patches, for a total speedup of about
40% over 4.4 and 4.5-rc1.

Run times for the microbenchmark:

 4.4 3.8 seconds
 4.5-rc1 3.7 seconds
 4.5-rc1 + first patch 3.3 seconds
 4.5-rc1 + first 3 patches 3.1 seconds
 4.5-rc1 + all patches 2.3 seconds

A non-NOHZ_FULL cpu (not the housekeeping CPU):

 all kernels 1.86 seconds

Signed-off-by: Rik van Riel <riel@redhat.com>
Signed-off-by: Peter Zijlstra (Intel) <peterz@infradead.org>
Reviewed-by: Thomas Gleixner <tglx@linutronix.de>
Cc: Linus Torvalds <torvalds@linux-foundation.org>
Cc: Mike Galbraith <efault@gmx.de>
Cc: Peter Zijlstra <peterz@infradead.org>
Cc: clark@redhat.com
Cc: eric.dumazet@gmail.com
Cc: fweisbec@gmail.com
Cc: luto@amacapital.net
Link: http://lkml.kernel.org/r/1455152907-18495-5-git-send-email-riel@redhat.com
Signed-off-by: Ingo Molnar <mingo@kernel.org>
kernel/sched/cputime.c