tools/testing/selftests/bpf/xskxceiver.h

   1 /* SPDX-License-Identifier: GPL-2.0
   2  * Copyright(c) 2020 Intel Corporation.
   3  */
   4
   5 #ifndef XSKXCEIVER_H_
   6 #define XSKXCEIVER_H_
   7
   8 #include "xsk_xdp_progs.skel.h"
   9
  10 #ifndef SOL_XDP
  11 #define SOL_XDP 283
  12 #endif
  13
  14 #ifndef AF_XDP
  15 #define AF_XDP 44
  16 #endif
  17
  18 #ifndef PF_XDP
  19 #define PF_XDP AF_XDP
  20 #endif
  21
  22 #ifndef SO_BUSY_POLL_BUDGET
  23 #define SO_BUSY_POLL_BUDGET 70
  24 #endif
  25
  26 #ifndef SO_PREFER_BUSY_POLL
  27 #define SO_PREFER_BUSY_POLL 69
  28 #endif
  29
  30 #define TEST_PASS 0
  31 #define TEST_FAILURE -1
  32 #define TEST_CONTINUE 1
  33 #define MAX_INTERFACES 2
  34 #define MAX_INTERFACE_NAME_CHARS 16
  35 #define MAX_SOCKETS 2
  36 #define MAX_TEST_NAME_SIZE 32
  37 #define MAX_TEARDOWN_ITER 10
  38 #define PKT_HDR_SIZE (sizeof(struct ethhdr) + sizeof(struct iphdr) + \
  39                         sizeof(struct udphdr))
  40 #define MIN_ETH_PKT_SIZE 64
  41 #define ETH_FCS_SIZE 4
  42 #define MIN_PKT_SIZE (MIN_ETH_PKT_SIZE - ETH_FCS_SIZE)
  43 #define PKT_SIZE (MIN_PKT_SIZE)
  44 #define IP_PKT_SIZE (PKT_SIZE - sizeof(struct ethhdr))
  45 #define IP_PKT_VER 0x4
  46 #define IP_PKT_TOS 0x9
  47 #define UDP_PKT_SIZE (IP_PKT_SIZE - sizeof(struct iphdr))
  48 #define UDP_PKT_DATA_SIZE (UDP_PKT_SIZE - sizeof(struct udphdr))
  49 #define USLEEP_MAX 10000
  50 #define SOCK_RECONF_CTR 10
  51 #define BATCH_SIZE 64
  52 #define POLL_TMOUT 1000
  53 #define THREAD_TMOUT 3
  54 #define DEFAULT_PKT_CNT (4 * 1024)
  55 #define DEFAULT_UMEM_BUFFERS (DEFAULT_PKT_CNT / 4)
  56 #define UMEM_SIZE (DEFAULT_UMEM_BUFFERS * XSK_UMEM__DEFAULT_FRAME_SIZE)
  57 #define RX_FULL_RXQSIZE 32
  58 #define UMEM_HEADROOM_TEST_SIZE 128
  59 #define XSK_UMEM__INVALID_FRAME_SIZE (XSK_UMEM__DEFAULT_FRAME_SIZE + 1)
  60
  61 #define print_verbose(x...) do { if (opt_verbose) ksft_print_msg(x); } while (0)
  62
  63 enum test_mode {
  64         TEST_MODE_SKB,
  65         TEST_MODE_DRV,
  66         TEST_MODE_ZC,
  67         TEST_MODE_MAX
  68 };
  69
  70 enum test_type {
  71         TEST_TYPE_RUN_TO_COMPLETION,
  72         TEST_TYPE_RUN_TO_COMPLETION_2K_FRAME,
  73         TEST_TYPE_RUN_TO_COMPLETION_SINGLE_PKT,
  74         TEST_TYPE_RX_POLL,
  75         TEST_TYPE_TX_POLL,
  76         TEST_TYPE_POLL_RXQ_TMOUT,
  77         TEST_TYPE_POLL_TXQ_TMOUT,
  78         TEST_TYPE_UNALIGNED,
  79         TEST_TYPE_ALIGNED_INV_DESC,
  80         TEST_TYPE_ALIGNED_INV_DESC_2K_FRAME,
  81         TEST_TYPE_UNALIGNED_INV_DESC,
  82         TEST_TYPE_HEADROOM,
  83         TEST_TYPE_TEARDOWN,
  84         TEST_TYPE_BIDI,
  85         TEST_TYPE_STATS_RX_DROPPED,
  86         TEST_TYPE_STATS_TX_INVALID_DESCS,
  87         TEST_TYPE_STATS_RX_FULL,
  88         TEST_TYPE_STATS_FILL_EMPTY,
  89         TEST_TYPE_BPF_RES,
  90         TEST_TYPE_XDP_DROP_HALF,
  91         TEST_TYPE_XDP_METADATA_COUNT,
  92         TEST_TYPE_MAX
  93 };
  94
  95 static bool opt_pkt_dump;
  96 static bool opt_verbose;
  97
  98 struct xsk_umem_info {
  99         struct xsk_ring_prod fq;
 100         struct xsk_ring_cons cq;
 101         struct xsk_umem *umem;
 102         u32 num_frames;
 103         u32 frame_headroom;
 104         void *buffer;
 105         u32 frame_size;
 106         u32 base_addr;
 107         bool unaligned_mode;
 108 };
 109
 110 struct xsk_socket_info {
 111         struct xsk_ring_cons rx;
 112         struct xsk_ring_prod tx;
 113         struct xsk_umem_info *umem;
 114         struct xsk_socket *xsk;
 115         u32 outstanding_tx;
 116         u32 rxqsize;
 117 };
 118
 119 struct pkt {
 120         u64 addr;
 121         u32 len;
 122         u32 payload;
 123         bool valid;
 124 };
 125
 126 struct pkt_stream {
 127         u32 nb_pkts;
 128         u32 rx_pkt_nb;
 129         struct pkt *pkts;
 130         bool use_addr_for_fill;
 131 };
 132
 133 struct ifobject;
 134 typedef int (*validation_func_t)(struct ifobject *ifobj);
 135 typedef void *(*thread_func_t)(void *arg);
 136
 137 struct ifobject {
 138         char ifname[MAX_INTERFACE_NAME_CHARS];
 139         struct xsk_socket_info *xsk;
 140         struct xsk_socket_info *xsk_arr;
 141         struct xsk_umem_info *umem;
 142         thread_func_t func_ptr;
 143         validation_func_t validation_func;
 144         struct pkt_stream *pkt_stream;
 145         struct xsk_xdp_progs *xdp_progs;
 146         struct bpf_map *xskmap;
 147         struct bpf_program *xdp_prog;
 148         enum test_mode mode;
 149         int ifindex;
 150         u32 dst_ip;
 151         u32 src_ip;
 152         u32 bind_flags;
 153         u16 src_port;
 154         u16 dst_port;
 155         bool tx_on;
 156         bool rx_on;
 157         bool use_poll;
 158         bool busy_poll;
 159         bool use_fill_ring;
 160         bool release_rx;
 161         bool shared_umem;
 162         bool use_metadata;
 163         u8 dst_mac[ETH_ALEN];
 164         u8 src_mac[ETH_ALEN];
 165 };
 166
 167 struct test_spec {
 168         struct ifobject *ifobj_tx;
 169         struct ifobject *ifobj_rx;
 170         struct pkt_stream *tx_pkt_stream_default;
 171         struct pkt_stream *rx_pkt_stream_default;
 172         struct bpf_program *xdp_prog_rx;
 173         struct bpf_program *xdp_prog_tx;
 174         struct bpf_map *xskmap_rx;
 175         struct bpf_map *xskmap_tx;
 176         u16 total_steps;
 177         u16 current_step;
 178         u16 nb_sockets;
 179         bool fail;
 180         enum test_mode mode;
 181         char name[MAX_TEST_NAME_SIZE];
 182 };
 183
 184 pthread_barrier_t barr;
 185 pthread_mutex_t pacing_mutex = PTHREAD_MUTEX_INITIALIZER;
 186 pthread_cond_t pacing_cond = PTHREAD_COND_INITIALIZER;
 187
 188 int pkts_in_flight;
 189
 190 #endif                          /* XSKXCEIVER_H_ */