tcp: optimize tcp internal pacing
authorEric Dumazet <edumazet@google.com>
Mon, 15 Oct 2018 16:37:56 +0000 (09:37 -0700)
committerDavid S. Miller <davem@davemloft.net>
Tue, 16 Oct 2018 05:56:42 +0000 (22:56 -0700)
commit864e5c090749448e879e86bec06ee396aa2c19c5
tree25eae7e82f14b3b683fc0288a1cd83d3b87a4af2
parent7baf33bdac37da65ddce3adf4daa8c7805802174
tcp: optimize tcp internal pacing

When TCP implements its own pacing (when no fq packet scheduler is used),
it is arming high resolution timer after a packet is sent.

But in many cases (like TCP_RR kind of workloads), this high resolution
timer expires before the application attempts to write the following
packet. This overhead also happens when the flow is ACK clocked and
cwnd limited instead of being limited by the pacing rate.

This leads to extra overhead (high number of IRQ)

Now tcp_wstamp_ns is reserved for the pacing timer only
(after commit "tcp: do not change tcp_wstamp_ns in tcp_mstamp_refresh"),
we can setup the timer only when a packet is about to be sent,
and if tcp_wstamp_ns is in the future.

This leads to a ~10% performance increase in TCP_RR workloads.

Signed-off-by: Eric Dumazet <edumazet@google.com>
Signed-off-by: David S. Miller <davem@davemloft.net>
net/ipv4/tcp_output.c