netfilter: conntrack: avoid useless indirection during conntrack destruction
[platform/kernel/linux-rpi.git] / include / net / netfilter / nf_conntrack.h
1 /* SPDX-License-Identifier: GPL-2.0 */
2 /*
3  * Connection state tracking for netfilter.  This is separated from,
4  * but required by, the (future) NAT layer; it can also be used by an iptables
5  * extension.
6  *
7  * 16 Dec 2003: Yasuyuki Kozakai @USAGI <yasuyuki.kozakai@toshiba.co.jp>
8  *      - generalize L3 protocol dependent part.
9  *
10  * Derived from include/linux/netfiter_ipv4/ip_conntrack.h
11  */
12
13 #ifndef _NF_CONNTRACK_H
14 #define _NF_CONNTRACK_H
15
16 #include <linux/bitops.h>
17 #include <linux/compiler.h>
18
19 #include <linux/netfilter/nf_conntrack_common.h>
20 #include <linux/netfilter/nf_conntrack_tcp.h>
21 #include <linux/netfilter/nf_conntrack_dccp.h>
22 #include <linux/netfilter/nf_conntrack_sctp.h>
23 #include <linux/netfilter/nf_conntrack_proto_gre.h>
24
25 #include <net/netfilter/nf_conntrack_tuple.h>
26
27 struct nf_ct_udp {
28         unsigned long   stream_ts;
29 };
30
31 /* per conntrack: protocol private data */
32 union nf_conntrack_proto {
33         /* insert conntrack proto private data here */
34         struct nf_ct_dccp dccp;
35         struct ip_ct_sctp sctp;
36         struct ip_ct_tcp tcp;
37         struct nf_ct_udp udp;
38         struct nf_ct_gre gre;
39         unsigned int tmpl_padto;
40 };
41
42 union nf_conntrack_expect_proto {
43         /* insert expect proto private data here */
44 };
45
46 struct nf_conntrack_net {
47         /* only used when new connection is allocated: */
48         atomic_t count;
49         unsigned int expect_count;
50         u8 sysctl_auto_assign_helper;
51         bool auto_assign_helper_warned;
52
53         /* only used from work queues, configuration plane, and so on: */
54         unsigned int users4;
55         unsigned int users6;
56         unsigned int users_bridge;
57 #ifdef CONFIG_SYSCTL
58         struct ctl_table_header *sysctl_header;
59 #endif
60 #ifdef CONFIG_NF_CONNTRACK_EVENTS
61         struct delayed_work ecache_dwork;
62         struct netns_ct *ct_net;
63 #endif
64 };
65
66 #include <linux/types.h>
67 #include <linux/skbuff.h>
68
69 #include <net/netfilter/ipv4/nf_conntrack_ipv4.h>
70 #include <net/netfilter/ipv6/nf_conntrack_ipv6.h>
71
72 struct nf_conn {
73         /* Usage count in here is 1 for hash table, 1 per skb,
74          * plus 1 for any connection(s) we are `master' for
75          *
76          * Hint, SKB address this struct and refcnt via skb->_nfct and
77          * helpers nf_conntrack_get() and nf_conntrack_put().
78          * Helper nf_ct_put() equals nf_conntrack_put() by dec refcnt,
79          * except that the latter uses internal indirection and does not
80          * result in a conntrack module dependency.
81          * beware nf_ct_get() is different and don't inc refcnt.
82          */
83         struct nf_conntrack ct_general;
84
85         spinlock_t      lock;
86         /* jiffies32 when this ct is considered dead */
87         u32 timeout;
88
89 #ifdef CONFIG_NF_CONNTRACK_ZONES
90         struct nf_conntrack_zone zone;
91 #endif
92         /* XXX should I move this to the tail ? - Y.K */
93         /* These are my tuples; original and reply */
94         struct nf_conntrack_tuple_hash tuplehash[IP_CT_DIR_MAX];
95
96         /* Have we seen traffic both ways yet? (bitset) */
97         unsigned long status;
98
99         u16             cpu;
100         possible_net_t ct_net;
101
102 #if IS_ENABLED(CONFIG_NF_NAT)
103         struct hlist_node       nat_bysource;
104 #endif
105         /* all members below initialized via memset */
106         struct { } __nfct_init_offset;
107
108         /* If we were expected by an expectation, this will be it */
109         struct nf_conn *master;
110
111 #if defined(CONFIG_NF_CONNTRACK_MARK)
112         u_int32_t mark;
113 #endif
114
115 #ifdef CONFIG_NF_CONNTRACK_SECMARK
116         u_int32_t secmark;
117 #endif
118
119         /* Extensions */
120         struct nf_ct_ext *ext;
121
122         /* Storage reserved for other modules, must be the last member */
123         union nf_conntrack_proto proto;
124 };
125
126 static inline struct nf_conn *
127 nf_ct_tuplehash_to_ctrack(const struct nf_conntrack_tuple_hash *hash)
128 {
129         return container_of(hash, struct nf_conn,
130                             tuplehash[hash->tuple.dst.dir]);
131 }
132
133 static inline u_int16_t nf_ct_l3num(const struct nf_conn *ct)
134 {
135         return ct->tuplehash[IP_CT_DIR_ORIGINAL].tuple.src.l3num;
136 }
137
138 static inline u_int8_t nf_ct_protonum(const struct nf_conn *ct)
139 {
140         return ct->tuplehash[IP_CT_DIR_ORIGINAL].tuple.dst.protonum;
141 }
142
143 #define nf_ct_tuple(ct, dir) (&(ct)->tuplehash[dir].tuple)
144
145 /* get master conntrack via master expectation */
146 #define master_ct(conntr) (conntr->master)
147
148 extern struct net init_net;
149
150 static inline struct net *nf_ct_net(const struct nf_conn *ct)
151 {
152         return read_pnet(&ct->ct_net);
153 }
154
155 /* Alter reply tuple (maybe alter helper). */
156 void nf_conntrack_alter_reply(struct nf_conn *ct,
157                               const struct nf_conntrack_tuple *newreply);
158
159 /* Is this tuple taken? (ignoring any belonging to the given
160    conntrack). */
161 int nf_conntrack_tuple_taken(const struct nf_conntrack_tuple *tuple,
162                              const struct nf_conn *ignored_conntrack);
163
164 /* Return conntrack_info and tuple hash for given skb. */
165 static inline struct nf_conn *
166 nf_ct_get(const struct sk_buff *skb, enum ip_conntrack_info *ctinfo)
167 {
168         unsigned long nfct = skb_get_nfct(skb);
169
170         *ctinfo = nfct & NFCT_INFOMASK;
171         return (struct nf_conn *)(nfct & NFCT_PTRMASK);
172 }
173
174 void nf_ct_destroy(struct nf_conntrack *nfct);
175
176 /* decrement reference count on a conntrack */
177 static inline void nf_ct_put(struct nf_conn *ct)
178 {
179         if (ct && refcount_dec_and_test(&ct->ct_general.use))
180                 nf_ct_destroy(&ct->ct_general);
181 }
182
183 /* Protocol module loading */
184 int nf_ct_l3proto_try_module_get(unsigned short l3proto);
185 void nf_ct_l3proto_module_put(unsigned short l3proto);
186
187 /* load module; enable/disable conntrack in this namespace */
188 int nf_ct_netns_get(struct net *net, u8 nfproto);
189 void nf_ct_netns_put(struct net *net, u8 nfproto);
190
191 /*
192  * Allocate a hashtable of hlist_head (if nulls == 0),
193  * or hlist_nulls_head (if nulls == 1)
194  */
195 void *nf_ct_alloc_hashtable(unsigned int *sizep, int nulls);
196
197 int nf_conntrack_hash_check_insert(struct nf_conn *ct);
198 bool nf_ct_delete(struct nf_conn *ct, u32 pid, int report);
199
200 bool nf_ct_get_tuplepr(const struct sk_buff *skb, unsigned int nhoff,
201                        u_int16_t l3num, struct net *net,
202                        struct nf_conntrack_tuple *tuple);
203
204 void __nf_ct_refresh_acct(struct nf_conn *ct, enum ip_conntrack_info ctinfo,
205                           const struct sk_buff *skb,
206                           u32 extra_jiffies, bool do_acct);
207
208 /* Refresh conntrack for this many jiffies and do accounting */
209 static inline void nf_ct_refresh_acct(struct nf_conn *ct,
210                                       enum ip_conntrack_info ctinfo,
211                                       const struct sk_buff *skb,
212                                       u32 extra_jiffies)
213 {
214         __nf_ct_refresh_acct(ct, ctinfo, skb, extra_jiffies, true);
215 }
216
217 /* Refresh conntrack for this many jiffies */
218 static inline void nf_ct_refresh(struct nf_conn *ct,
219                                  const struct sk_buff *skb,
220                                  u32 extra_jiffies)
221 {
222         __nf_ct_refresh_acct(ct, 0, skb, extra_jiffies, false);
223 }
224
225 /* kill conntrack and do accounting */
226 bool nf_ct_kill_acct(struct nf_conn *ct, enum ip_conntrack_info ctinfo,
227                      const struct sk_buff *skb);
228
229 /* kill conntrack without accounting */
230 static inline bool nf_ct_kill(struct nf_conn *ct)
231 {
232         return nf_ct_delete(ct, 0, 0);
233 }
234
235 /* Set all unconfirmed conntrack as dying */
236 void nf_ct_unconfirmed_destroy(struct net *);
237
238 /* Iterate over all conntracks: if iter returns true, it's deleted. */
239 void nf_ct_iterate_cleanup_net(struct net *net,
240                                int (*iter)(struct nf_conn *i, void *data),
241                                void *data, u32 portid, int report);
242
243 /* also set unconfirmed conntracks as dying. Only use in module exit path. */
244 void nf_ct_iterate_destroy(int (*iter)(struct nf_conn *i, void *data),
245                            void *data);
246
247 struct nf_conntrack_zone;
248
249 void nf_conntrack_free(struct nf_conn *ct);
250 struct nf_conn *nf_conntrack_alloc(struct net *net,
251                                    const struct nf_conntrack_zone *zone,
252                                    const struct nf_conntrack_tuple *orig,
253                                    const struct nf_conntrack_tuple *repl,
254                                    gfp_t gfp);
255
256 static inline int nf_ct_is_template(const struct nf_conn *ct)
257 {
258         return test_bit(IPS_TEMPLATE_BIT, &ct->status);
259 }
260
261 /* It's confirmed if it is, or has been in the hash table. */
262 static inline int nf_ct_is_confirmed(const struct nf_conn *ct)
263 {
264         return test_bit(IPS_CONFIRMED_BIT, &ct->status);
265 }
266
267 static inline int nf_ct_is_dying(const struct nf_conn *ct)
268 {
269         return test_bit(IPS_DYING_BIT, &ct->status);
270 }
271
272 /* Packet is received from loopback */
273 static inline bool nf_is_loopback_packet(const struct sk_buff *skb)
274 {
275         return skb->dev && skb->skb_iif && skb->dev->flags & IFF_LOOPBACK;
276 }
277
278 #define nfct_time_stamp ((u32)(jiffies))
279
280 /* jiffies until ct expires, 0 if already expired */
281 static inline unsigned long nf_ct_expires(const struct nf_conn *ct)
282 {
283         s32 timeout = READ_ONCE(ct->timeout) - nfct_time_stamp;
284
285         return timeout > 0 ? timeout : 0;
286 }
287
288 static inline bool nf_ct_is_expired(const struct nf_conn *ct)
289 {
290         return (__s32)(READ_ONCE(ct->timeout) - nfct_time_stamp) <= 0;
291 }
292
293 /* use after obtaining a reference count */
294 static inline bool nf_ct_should_gc(const struct nf_conn *ct)
295 {
296         return nf_ct_is_expired(ct) && nf_ct_is_confirmed(ct) &&
297                !nf_ct_is_dying(ct);
298 }
299
300 #define NF_CT_DAY       (86400 * HZ)
301
302 /* Set an arbitrary timeout large enough not to ever expire, this save
303  * us a check for the IPS_OFFLOAD_BIT from the packet path via
304  * nf_ct_is_expired().
305  */
306 static inline void nf_ct_offload_timeout(struct nf_conn *ct)
307 {
308         if (nf_ct_expires(ct) < NF_CT_DAY / 2)
309                 WRITE_ONCE(ct->timeout, nfct_time_stamp + NF_CT_DAY);
310 }
311
312 struct kernel_param;
313
314 int nf_conntrack_set_hashsize(const char *val, const struct kernel_param *kp);
315 int nf_conntrack_hash_resize(unsigned int hashsize);
316
317 extern struct hlist_nulls_head *nf_conntrack_hash;
318 extern unsigned int nf_conntrack_htable_size;
319 extern seqcount_spinlock_t nf_conntrack_generation;
320 extern unsigned int nf_conntrack_max;
321
322 /* must be called with rcu read lock held */
323 static inline void
324 nf_conntrack_get_ht(struct hlist_nulls_head **hash, unsigned int *hsize)
325 {
326         struct hlist_nulls_head *hptr;
327         unsigned int sequence, hsz;
328
329         do {
330                 sequence = read_seqcount_begin(&nf_conntrack_generation);
331                 hsz = nf_conntrack_htable_size;
332                 hptr = nf_conntrack_hash;
333         } while (read_seqcount_retry(&nf_conntrack_generation, sequence));
334
335         *hash = hptr;
336         *hsize = hsz;
337 }
338
339 struct nf_conn *nf_ct_tmpl_alloc(struct net *net,
340                                  const struct nf_conntrack_zone *zone,
341                                  gfp_t flags);
342 void nf_ct_tmpl_free(struct nf_conn *tmpl);
343
344 u32 nf_ct_get_id(const struct nf_conn *ct);
345 u32 nf_conntrack_count(const struct net *net);
346
347 static inline void
348 nf_ct_set(struct sk_buff *skb, struct nf_conn *ct, enum ip_conntrack_info info)
349 {
350         skb_set_nfct(skb, (unsigned long)ct | info);
351 }
352
353 extern unsigned int nf_conntrack_net_id;
354
355 static inline struct nf_conntrack_net *nf_ct_pernet(const struct net *net)
356 {
357         return net_generic(net, nf_conntrack_net_id);
358 }
359
360 #define NF_CT_STAT_INC(net, count)        __this_cpu_inc((net)->ct.stat->count)
361 #define NF_CT_STAT_INC_ATOMIC(net, count) this_cpu_inc((net)->ct.stat->count)
362 #define NF_CT_STAT_ADD_ATOMIC(net, count, v) this_cpu_add((net)->ct.stat->count, (v))
363
364 #define MODULE_ALIAS_NFCT_HELPER(helper) \
365         MODULE_ALIAS("nfct-helper-" helper)
366
367 #endif /* _NF_CONNTRACK_H */