tools/testing/selftests/net/udpgro_fwd.sh

   1 #!/bin/bash
   2 # SPDX-License-Identifier: GPL-2.0
   3
   4 source net_helper.sh
   5
   6 BPF_FILE="xdp_dummy.o"
   7 readonly BASE="ns-$(mktemp -u XXXXXX)"
   8 readonly SRC=2
   9 readonly DST=1
  10 readonly DST_NAT=100
  11 readonly NS_SRC=$BASE$SRC
  12 readonly NS_DST=$BASE$DST
  13
  14 # "baremetal" network used for raw UDP traffic
  15 readonly BM_NET_V4=192.168.1.
  16 readonly BM_NET_V6=2001:db8::
  17
  18 # "overlay" network used for UDP over UDP tunnel traffic
  19 readonly OL_NET_V4=172.16.1.
  20 readonly OL_NET_V6=2001:db8:1::
  21 readonly NPROCS=`nproc`
  22
  23 cleanup() {
  24         local ns
  25         local -r jobs="$(jobs -p)"
  26         [ -n "${jobs}" ] && kill -1 ${jobs} 2>/dev/null
  27
  28         for ns in $NS_SRC $NS_DST; do
  29                 ip netns del $ns 2>/dev/null
  30         done
  31 }
  32
  33 trap cleanup EXIT
  34
  35 create_ns() {
  36         local net
  37         local ns
  38
  39         for ns in $NS_SRC $NS_DST; do
  40                 ip netns add $ns
  41                 ip -n $ns link set dev lo up
  42         done
  43
  44         ip link add name veth$SRC type veth peer name veth$DST
  45
  46         for ns in $SRC $DST; do
  47                 ip link set dev veth$ns netns $BASE$ns
  48                 ip -n $BASE$ns link set dev veth$ns up
  49                 ip -n $BASE$ns addr add dev veth$ns $BM_NET_V4$ns/24
  50                 ip -n $BASE$ns addr add dev veth$ns $BM_NET_V6$ns/64 nodad
  51         done
  52         ip -n $NS_DST link set veth$DST xdp object ${BPF_FILE} section xdp 2>/dev/null
  53 }
  54
  55 create_vxlan_endpoint() {
  56         local -r netns=$1
  57         local -r bm_dev=$2
  58         local -r bm_rem_addr=$3
  59         local -r vxlan_dev=$4
  60         local -r vxlan_id=$5
  61         local -r vxlan_port=4789
  62
  63         ip -n $netns link set dev $bm_dev up
  64         ip -n $netns link add dev $vxlan_dev type vxlan id $vxlan_id \
  65                                 dstport $vxlan_port remote $bm_rem_addr
  66         ip -n $netns link set dev $vxlan_dev up
  67 }
  68
  69 create_vxlan_pair() {
  70         local ns
  71
  72         create_ns
  73
  74         for ns in $SRC $DST; do
  75                 # note that 3 - $SRC == $DST and 3 - $DST == $SRC
  76                 create_vxlan_endpoint $BASE$ns veth$ns $BM_NET_V4$((3 - $ns)) vxlan$ns 4
  77                 ip -n $BASE$ns addr add dev vxlan$ns $OL_NET_V4$ns/24
  78         done
  79         for ns in $SRC $DST; do
  80                 create_vxlan_endpoint $BASE$ns veth$ns $BM_NET_V6$((3 - $ns)) vxlan6$ns 6
  81                 ip -n $BASE$ns addr add dev vxlan6$ns $OL_NET_V6$ns/24 nodad
  82         done
  83 }
  84
  85 is_ipv6() {
  86         if [[ $1 =~ .*:.* ]]; then
  87                 return 0
  88         fi
  89         return 1
  90 }
  91
  92 run_test() {
  93         local -r msg=$1
  94         local -r dst=$2
  95         local -r pkts=$3
  96         local -r vxpkts=$4
  97         local bind=$5
  98         local rx_args=""
  99         local rx_family="-4"
 100         local family=-4
 101         local filter=IpInReceives
 102         local ipt=iptables
 103
 104         printf "%-40s" "$msg"
 105
 106         if is_ipv6 $dst; then
 107                 # rx program does not support '-6' and implies ipv6 usage by default
 108                 rx_family=""
 109                 family=-6
 110                 filter=Ip6InReceives
 111                 ipt=ip6tables
 112         fi
 113
 114         rx_args="$rx_family"
 115         [ -n "$bind" ] && rx_args="$rx_args -b $bind"
 116
 117         # send a single GSO packet, segmented in 10 UDP frames.
 118         # Always expect 10 UDP frames on RX side as rx socket does
 119         # not enable GRO
 120         ip netns exec $NS_DST $ipt -A INPUT -p udp --dport 4789
 121         ip netns exec $NS_DST $ipt -A INPUT -p udp --dport 8000
 122         ip netns exec $NS_DST ./udpgso_bench_rx -C 1000 -R 10 -n 10 -l 1300 $rx_args &
 123         local spid=$!
 124         wait_local_port_listen "$NS_DST" 8000 udp
 125         ip netns exec $NS_SRC ./udpgso_bench_tx $family -M 1 -s 13000 -S 1300 -D $dst
 126         local retc=$?
 127         wait $spid
 128         local rets=$?
 129         if [ ${rets} -ne 0 ] || [ ${retc} -ne 0 ]; then
 130                 echo " fail client exit code $retc, server $rets"
 131                 ret=1
 132                 return
 133         fi
 134
 135         local rcv=`ip netns exec $NS_DST $ipt"-save" -c | grep 'dport 8000' | \
 136                                                           sed -e 's/\[//' -e 's/:.*//'`
 137         if [ $rcv != $pkts ]; then
 138                 echo " fail - received $rcv packets, expected $pkts"
 139                 ret=1
 140                 return
 141         fi
 142
 143         local vxrcv=`ip netns exec $NS_DST $ipt"-save" -c | grep 'dport 4789' | \
 144                                                             sed -e 's/\[//' -e 's/:.*//'`
 145
 146         # upper net can generate a little noise, allow some tolerance
 147         if [ $vxrcv -lt $vxpkts -o $vxrcv -gt $((vxpkts + 3)) ]; then
 148                 echo " fail - received $vxrcv vxlan packets, expected $vxpkts"
 149                 ret=1
 150                 return
 151         fi
 152         echo " ok"
 153 }
 154
 155 run_bench() {
 156         local -r msg=$1
 157         local -r dst=$2
 158         local family=-4
 159
 160         printf "%-40s" "$msg"
 161         if [ $NPROCS -lt 2 ]; then
 162                 echo " skip - needed 2 CPUs found $NPROCS"
 163                 return
 164         fi
 165
 166         is_ipv6 $dst && family=-6
 167
 168         # bind the sender and the receiver to different CPUs to try
 169         # get reproducible results
 170         ip netns exec $NS_DST bash -c "echo 2 > /sys/class/net/veth$DST/queues/rx-0/rps_cpus"
 171         ip netns exec $NS_DST taskset 0x2 ./udpgso_bench_rx -C 1000 -R 10  &
 172         local spid=$!
 173         wait_local_port_listen "$NS_DST" 8000 udp
 174         ip netns exec $NS_SRC taskset 0x1 ./udpgso_bench_tx $family -l 3 -S 1300 -D $dst
 175         local retc=$?
 176         wait $spid
 177         local rets=$?
 178         if [ ${rets} -ne 0 ] || [ ${retc} -ne 0 ]; then
 179                 echo " fail client exit code $retc, server $rets"
 180                 ret=1
 181                 return
 182         fi
 183 }
 184
 185 for family in 4 6; do
 186         BM_NET=$BM_NET_V4
 187         OL_NET=$OL_NET_V4
 188         IPT=iptables
 189         SUFFIX=24
 190         VXDEV=vxlan
 191         PING=ping
 192
 193         if [ $family = 6 ]; then
 194                 BM_NET=$BM_NET_V6
 195                 OL_NET=$OL_NET_V6
 196                 SUFFIX="64 nodad"
 197                 VXDEV=vxlan6
 198                 IPT=ip6tables
 199                 # Use ping6 on systems where ping doesn't handle IPv6
 200                 ping -w 1 -c 1 ::1 > /dev/null 2>&1 || PING="ping6"
 201         fi
 202
 203         echo "IPv$family"
 204
 205         create_ns
 206         run_test "No GRO" $BM_NET$DST 10 0
 207         cleanup
 208
 209         create_ns
 210         ip netns exec $NS_DST ethtool -K veth$DST rx-gro-list on
 211         run_test "GRO frag list" $BM_NET$DST 1 0
 212         cleanup
 213
 214         # UDP GRO fwd skips aggregation when find an udp socket with the GRO option
 215         # if there is an UDP tunnel in the running system, such lookup happen
 216         # take place.
 217         # use NAT to circumvent GRO FWD check
 218         create_ns
 219         ip -n $NS_DST addr add dev veth$DST $BM_NET$DST_NAT/$SUFFIX
 220         ip netns exec $NS_DST ethtool -K veth$DST rx-udp-gro-forwarding on
 221         ip netns exec $NS_DST $IPT -t nat -I PREROUTING -d $BM_NET$DST_NAT \
 222                                         -j DNAT --to-destination $BM_NET$DST
 223         run_test "GRO fwd" $BM_NET$DST_NAT 1 0 $BM_NET$DST
 224         cleanup
 225
 226         create_ns
 227         run_bench "UDP fwd perf" $BM_NET$DST
 228         ip netns exec $NS_DST ethtool -K veth$DST rx-udp-gro-forwarding on
 229         run_bench "UDP GRO fwd perf" $BM_NET$DST
 230         cleanup
 231
 232         create_vxlan_pair
 233         ip netns exec $NS_DST ethtool -K veth$DST rx-gro-list on
 234         run_test "GRO frag list over UDP tunnel" $OL_NET$DST 1 1
 235         cleanup
 236
 237         # use NAT to circumvent GRO FWD check
 238         create_vxlan_pair
 239         ip -n $NS_DST addr add dev $VXDEV$DST $OL_NET$DST_NAT/$SUFFIX
 240         ip netns exec $NS_DST ethtool -K veth$DST rx-udp-gro-forwarding on
 241         ip netns exec $NS_DST $IPT -t nat -I PREROUTING -d $OL_NET$DST_NAT \
 242                                         -j DNAT --to-destination $OL_NET$DST
 243
 244         # load arp cache before running the test to reduce the amount of
 245         # stray traffic on top of the UDP tunnel
 246         ip netns exec $NS_SRC $PING -q -c 1 $OL_NET$DST_NAT >/dev/null
 247         run_test "GRO fwd over UDP tunnel" $OL_NET$DST_NAT 1 1 $OL_NET$DST
 248         cleanup
 249
 250         create_vxlan_pair
 251         run_bench "UDP tunnel fwd perf" $OL_NET$DST
 252         ip netns exec $NS_DST ethtool -K veth$DST rx-udp-gro-forwarding on
 253         run_bench "UDP tunnel GRO fwd perf" $OL_NET$DST
 254         cleanup
 255 done
 256
 257 exit $ret