net: add atomic_long_t to net_device_stats fields
authorEric Dumazet <edumazet@google.com>
Tue, 15 Nov 2022 08:53:55 +0000 (08:53 +0000)
committerDavid S. Miller <davem@davemloft.net>
Wed, 16 Nov 2022 12:48:44 +0000 (12:48 +0000)
commit6c1c5097781f563b70a81683ea6fdac21637573b
tree55d3046d731a5bc00f1c0a6f4e535385d3de7e43
parent68d268d089314b7c9c9754388a9a301175287b1a
net: add atomic_long_t to net_device_stats fields

Long standing KCSAN issues are caused by data-race around
some dev->stats changes.

Most performance critical paths already use per-cpu
variables, or per-queue ones.

It is reasonable (and more correct) to use atomic operations
for the slow paths.

This patch adds an union for each field of net_device_stats,
so that we can convert paths that are not yet protected
by a spinlock or a mutex.

netdev_stats_to_stats64() no longer has an #if BITS_PER_LONG==64

Note that the memcpy() we were using on 64bit arches
had no provision to avoid load-tearing,
while atomic_long_read() is providing the needed protection
at no cost.

Signed-off-by: Eric Dumazet <edumazet@google.com>
Signed-off-by: David S. Miller <davem@davemloft.net>
include/linux/netdevice.h
include/net/dst.h
net/core/dev.c