net: add atomic_long_t to net_device_stats fields
authorEric Dumazet <edumazet@google.com>
Tue, 15 Nov 2022 08:53:55 +0000 (08:53 +0000)
committerGreg Kroah-Hartman <gregkh@linuxfoundation.org>
Sat, 31 Dec 2022 12:33:02 +0000 (13:33 +0100)
commit9921d1b68c46ae1926e634d21dc3d2103f4310fd
tree4fe61cd09c5848b3b1c2830d2b3bb66607a93e57
parent1f116dfd114fe8e419c1f4f90ce55a38a92a4fe1
net: add atomic_long_t to net_device_stats fields

[ Upstream commit 6c1c5097781f563b70a81683ea6fdac21637573b ]

Long standing KCSAN issues are caused by data-race around
some dev->stats changes.

Most performance critical paths already use per-cpu
variables, or per-queue ones.

It is reasonable (and more correct) to use atomic operations
for the slow paths.

This patch adds an union for each field of net_device_stats,
so that we can convert paths that are not yet protected
by a spinlock or a mutex.

netdev_stats_to_stats64() no longer has an #if BITS_PER_LONG==64

Note that the memcpy() we were using on 64bit arches
had no provision to avoid load-tearing,
while atomic_long_read() is providing the needed protection
at no cost.

Signed-off-by: Eric Dumazet <edumazet@google.com>
Signed-off-by: David S. Miller <davem@davemloft.net>
Signed-off-by: Sasha Levin <sashal@kernel.org>
include/linux/netdevice.h
include/net/dst.h
net/core/dev.c