net/smc: Use percpu ref for wr tx reference
authorKai Shen <KaiShen@linux.alibaba.com>
Fri, 17 Mar 2023 03:21:32 +0000 (03:21 +0000)
committerDavid S. Miller <davem@davemloft.net>
Fri, 17 Mar 2023 08:59:01 +0000 (08:59 +0000)
commit79a22238b4f22c45cadd3b4040d644f4de320d1b
treed2615b104eee4ca8404dfb4afd1eb488f64a0f81
parentd27d367d3b7861d9d6c852450d935507ba4044ee
net/smc: Use percpu ref for wr tx reference

The refcount wr_tx_refcnt may cause cache thrashing problems among
cores and we can use percpu ref to mitigate this issue here. We
gain some performance improvement with percpu ref here on our
customized smc-r verion. Applying cache alignment may also mitigate
this problem but it seem more reasonable to use percpu ref here.
We can also replace wr_reg_refcnt with one percpu reference like
wr_tx_refcnt.

redis-benchmark on smc-r with atomic wr_tx_refcnt:
SET: 525707.06 requests per second, p50=0.087 msec
GET: 554877.38 requests per second, p50=0.087 msec

redis-benchmark on the percpu_ref version:
SET: 540482.06 requests per second, p50=0.087 msec
GET: 570711.12 requests per second, p50=0.079 msec

Cases are like "redis-benchmark -h x.x.x.x -q -t set,get -P 1 -n
5000000 -c 50 -d 10 --threads 4".

Signed-off-by: Kai Shen <KaiShen@linux.alibaba.com>
Reviewed-by: Tony Lu <tonylu@linux.alibaba.com>
Signed-off-by: David S. Miller <davem@davemloft.net>
net/smc/smc_core.h
net/smc/smc_wr.c
net/smc/smc_wr.h