tcp: fix tcp_ack() performance problem
authorEric Dumazet <edumazet@google.com>
Sat, 11 Oct 2014 22:17:29 +0000 (15:17 -0700)
committerDavid S. Miller <davem@davemloft.net>
Tue, 14 Oct 2014 19:59:37 +0000 (15:59 -0400)
commitad971f616aa98ea2503f1a1064637bfb4ef7b21e
tree4af81e7b2771ea06bd8bc93ea09eaab63a0dfb50
parent14cee8e377c09dc887047b3a322c71f45de7f0c0
tcp: fix tcp_ack() performance problem

We worked hard to improve tcp_ack() performance, by not accessing
skb_shinfo() in fast path (cd7d8498c9a5 tcp: change tcp_skb_pcount()
location)

We still have one spurious access because of ACK timestamping,
added in commit e1c8a607b281 ("net-timestamp: ACK timestamp for
bytestreams")

By checking if sk_tsflags has SOF_TIMESTAMPING_TX_ACK set,
we can avoid two cache line misses for the common case.

While we are at it, add two prefetchw() :

One in tcp_ack() to bring skb at the head of write queue.

One in tcp_clean_rtx_queue() loop to bring following skb,
as we will delete skb from the write queue and dirty skb->next->prev.

Add a couple of [un]likely() clauses.

After this patch, tcp_ack() is no longer the most consuming
function in tcp stack.

Signed-off-by: Eric Dumazet <edumazet@google.com>
Cc: Willem de Bruijn <willemb@google.com>
Cc: Neal Cardwell <ncardwell@google.com>
Cc: Yuchung Cheng <ycheng@google.com>
Cc: Van Jacobson <vanj@google.com>
Signed-off-by: David S. Miller <davem@davemloft.net>
net/ipv4/tcp_input.c