Bluetooth: MGMT: add CIS feature bits to controller information
[platform/kernel/linux-starfive.git] / net / xfrm / xfrm_interface_core.c
1 // SPDX-License-Identifier: GPL-2.0
2 /*
3  *      XFRM virtual interface
4  *
5  *      Copyright (C) 2018 secunet Security Networks AG
6  *
7  *      Author:
8  *      Steffen Klassert <steffen.klassert@secunet.com>
9  */
10
11 #include <linux/module.h>
12 #include <linux/capability.h>
13 #include <linux/errno.h>
14 #include <linux/types.h>
15 #include <linux/sockios.h>
16 #include <linux/icmp.h>
17 #include <linux/if.h>
18 #include <linux/in.h>
19 #include <linux/ip.h>
20 #include <linux/net.h>
21 #include <linux/in6.h>
22 #include <linux/netdevice.h>
23 #include <linux/if_link.h>
24 #include <linux/if_arp.h>
25 #include <linux/icmpv6.h>
26 #include <linux/init.h>
27 #include <linux/route.h>
28 #include <linux/rtnetlink.h>
29 #include <linux/netfilter_ipv6.h>
30 #include <linux/slab.h>
31 #include <linux/hash.h>
32
33 #include <linux/uaccess.h>
34 #include <linux/atomic.h>
35
36 #include <net/icmp.h>
37 #include <net/ip.h>
38 #include <net/ipv6.h>
39 #include <net/ip6_route.h>
40 #include <net/ip_tunnels.h>
41 #include <net/addrconf.h>
42 #include <net/xfrm.h>
43 #include <net/net_namespace.h>
44 #include <net/dst_metadata.h>
45 #include <net/netns/generic.h>
46 #include <linux/etherdevice.h>
47
48 static int xfrmi_dev_init(struct net_device *dev);
49 static void xfrmi_dev_setup(struct net_device *dev);
50 static struct rtnl_link_ops xfrmi_link_ops __read_mostly;
51 static unsigned int xfrmi_net_id __read_mostly;
52 static const struct net_device_ops xfrmi_netdev_ops;
53
54 #define XFRMI_HASH_BITS 8
55 #define XFRMI_HASH_SIZE BIT(XFRMI_HASH_BITS)
56
57 struct xfrmi_net {
58         /* lists for storing interfaces in use */
59         struct xfrm_if __rcu *xfrmi[XFRMI_HASH_SIZE];
60         struct xfrm_if __rcu *collect_md_xfrmi;
61 };
62
63 static const struct nla_policy xfrm_lwt_policy[LWT_XFRM_MAX + 1] = {
64         [LWT_XFRM_IF_ID]        = NLA_POLICY_MIN(NLA_U32, 1),
65         [LWT_XFRM_LINK]         = NLA_POLICY_MIN(NLA_U32, 1),
66 };
67
68 static void xfrmi_destroy_state(struct lwtunnel_state *lwt)
69 {
70 }
71
72 static int xfrmi_build_state(struct net *net, struct nlattr *nla,
73                              unsigned int family, const void *cfg,
74                              struct lwtunnel_state **ts,
75                              struct netlink_ext_ack *extack)
76 {
77         struct nlattr *tb[LWT_XFRM_MAX + 1];
78         struct lwtunnel_state *new_state;
79         struct xfrm_md_info *info;
80         int ret;
81
82         ret = nla_parse_nested(tb, LWT_XFRM_MAX, nla, xfrm_lwt_policy, extack);
83         if (ret < 0)
84                 return ret;
85
86         if (!tb[LWT_XFRM_IF_ID]) {
87                 NL_SET_ERR_MSG(extack, "if_id must be set");
88                 return -EINVAL;
89         }
90
91         new_state = lwtunnel_state_alloc(sizeof(*info));
92         if (!new_state) {
93                 NL_SET_ERR_MSG(extack, "failed to create encap info");
94                 return -ENOMEM;
95         }
96
97         new_state->type = LWTUNNEL_ENCAP_XFRM;
98
99         info = lwt_xfrm_info(new_state);
100
101         info->if_id = nla_get_u32(tb[LWT_XFRM_IF_ID]);
102
103         if (tb[LWT_XFRM_LINK])
104                 info->link = nla_get_u32(tb[LWT_XFRM_LINK]);
105
106         *ts = new_state;
107         return 0;
108 }
109
110 static int xfrmi_fill_encap_info(struct sk_buff *skb,
111                                  struct lwtunnel_state *lwt)
112 {
113         struct xfrm_md_info *info = lwt_xfrm_info(lwt);
114
115         if (nla_put_u32(skb, LWT_XFRM_IF_ID, info->if_id) ||
116             (info->link && nla_put_u32(skb, LWT_XFRM_LINK, info->link)))
117                 return -EMSGSIZE;
118
119         return 0;
120 }
121
122 static int xfrmi_encap_nlsize(struct lwtunnel_state *lwtstate)
123 {
124         return nla_total_size(sizeof(u32)) + /* LWT_XFRM_IF_ID */
125                 nla_total_size(sizeof(u32)); /* LWT_XFRM_LINK */
126 }
127
128 static int xfrmi_encap_cmp(struct lwtunnel_state *a, struct lwtunnel_state *b)
129 {
130         struct xfrm_md_info *a_info = lwt_xfrm_info(a);
131         struct xfrm_md_info *b_info = lwt_xfrm_info(b);
132
133         return memcmp(a_info, b_info, sizeof(*a_info));
134 }
135
136 static const struct lwtunnel_encap_ops xfrmi_encap_ops = {
137         .build_state    = xfrmi_build_state,
138         .destroy_state  = xfrmi_destroy_state,
139         .fill_encap     = xfrmi_fill_encap_info,
140         .get_encap_size = xfrmi_encap_nlsize,
141         .cmp_encap      = xfrmi_encap_cmp,
142         .owner          = THIS_MODULE,
143 };
144
145 #define for_each_xfrmi_rcu(start, xi) \
146         for (xi = rcu_dereference(start); xi; xi = rcu_dereference(xi->next))
147
148 static u32 xfrmi_hash(u32 if_id)
149 {
150         return hash_32(if_id, XFRMI_HASH_BITS);
151 }
152
153 static struct xfrm_if *xfrmi_lookup(struct net *net, struct xfrm_state *x)
154 {
155         struct xfrmi_net *xfrmn = net_generic(net, xfrmi_net_id);
156         struct xfrm_if *xi;
157
158         for_each_xfrmi_rcu(xfrmn->xfrmi[xfrmi_hash(x->if_id)], xi) {
159                 if (x->if_id == xi->p.if_id &&
160                     (xi->dev->flags & IFF_UP))
161                         return xi;
162         }
163
164         xi = rcu_dereference(xfrmn->collect_md_xfrmi);
165         if (xi && (xi->dev->flags & IFF_UP))
166                 return xi;
167
168         return NULL;
169 }
170
171 static bool xfrmi_decode_session(struct sk_buff *skb,
172                                  unsigned short family,
173                                  struct xfrm_if_decode_session_result *res)
174 {
175         struct net_device *dev;
176         struct xfrm_if *xi;
177         int ifindex = 0;
178
179         if (!secpath_exists(skb) || !skb->dev)
180                 return false;
181
182         switch (family) {
183         case AF_INET6:
184                 ifindex = inet6_sdif(skb);
185                 break;
186         case AF_INET:
187                 ifindex = inet_sdif(skb);
188                 break;
189         }
190
191         if (ifindex) {
192                 struct net *net = xs_net(xfrm_input_state(skb));
193
194                 dev = dev_get_by_index_rcu(net, ifindex);
195         } else {
196                 dev = skb->dev;
197         }
198
199         if (!dev || !(dev->flags & IFF_UP))
200                 return false;
201         if (dev->netdev_ops != &xfrmi_netdev_ops)
202                 return false;
203
204         xi = netdev_priv(dev);
205         res->net = xi->net;
206
207         if (xi->p.collect_md)
208                 res->if_id = xfrm_input_state(skb)->if_id;
209         else
210                 res->if_id = xi->p.if_id;
211         return true;
212 }
213
214 static void xfrmi_link(struct xfrmi_net *xfrmn, struct xfrm_if *xi)
215 {
216         struct xfrm_if __rcu **xip = &xfrmn->xfrmi[xfrmi_hash(xi->p.if_id)];
217
218         rcu_assign_pointer(xi->next , rtnl_dereference(*xip));
219         rcu_assign_pointer(*xip, xi);
220 }
221
222 static void xfrmi_unlink(struct xfrmi_net *xfrmn, struct xfrm_if *xi)
223 {
224         struct xfrm_if __rcu **xip;
225         struct xfrm_if *iter;
226
227         for (xip = &xfrmn->xfrmi[xfrmi_hash(xi->p.if_id)];
228              (iter = rtnl_dereference(*xip)) != NULL;
229              xip = &iter->next) {
230                 if (xi == iter) {
231                         rcu_assign_pointer(*xip, xi->next);
232                         break;
233                 }
234         }
235 }
236
237 static void xfrmi_dev_free(struct net_device *dev)
238 {
239         struct xfrm_if *xi = netdev_priv(dev);
240
241         gro_cells_destroy(&xi->gro_cells);
242         free_percpu(dev->tstats);
243 }
244
245 static int xfrmi_create(struct net_device *dev)
246 {
247         struct xfrm_if *xi = netdev_priv(dev);
248         struct net *net = dev_net(dev);
249         struct xfrmi_net *xfrmn = net_generic(net, xfrmi_net_id);
250         int err;
251
252         dev->rtnl_link_ops = &xfrmi_link_ops;
253         err = register_netdevice(dev);
254         if (err < 0)
255                 goto out;
256
257         if (xi->p.collect_md)
258                 rcu_assign_pointer(xfrmn->collect_md_xfrmi, xi);
259         else
260                 xfrmi_link(xfrmn, xi);
261
262         return 0;
263
264 out:
265         return err;
266 }
267
268 static struct xfrm_if *xfrmi_locate(struct net *net, struct xfrm_if_parms *p)
269 {
270         struct xfrm_if __rcu **xip;
271         struct xfrm_if *xi;
272         struct xfrmi_net *xfrmn = net_generic(net, xfrmi_net_id);
273
274         for (xip = &xfrmn->xfrmi[xfrmi_hash(p->if_id)];
275              (xi = rtnl_dereference(*xip)) != NULL;
276              xip = &xi->next)
277                 if (xi->p.if_id == p->if_id)
278                         return xi;
279
280         return NULL;
281 }
282
283 static void xfrmi_dev_uninit(struct net_device *dev)
284 {
285         struct xfrm_if *xi = netdev_priv(dev);
286         struct xfrmi_net *xfrmn = net_generic(xi->net, xfrmi_net_id);
287
288         if (xi->p.collect_md)
289                 RCU_INIT_POINTER(xfrmn->collect_md_xfrmi, NULL);
290         else
291                 xfrmi_unlink(xfrmn, xi);
292 }
293
294 static void xfrmi_scrub_packet(struct sk_buff *skb, bool xnet)
295 {
296         skb_clear_tstamp(skb);
297         skb->pkt_type = PACKET_HOST;
298         skb->skb_iif = 0;
299         skb->ignore_df = 0;
300         skb_dst_drop(skb);
301         nf_reset_ct(skb);
302         nf_reset_trace(skb);
303
304         if (!xnet)
305                 return;
306
307         ipvs_reset(skb);
308         secpath_reset(skb);
309         skb_orphan(skb);
310         skb->mark = 0;
311 }
312
313 static int xfrmi_input(struct sk_buff *skb, int nexthdr, __be32 spi,
314                        int encap_type, unsigned short family)
315 {
316         struct sec_path *sp;
317
318         sp = skb_sec_path(skb);
319         if (sp && (sp->len || sp->olen) &&
320             !xfrm_policy_check(NULL, XFRM_POLICY_IN, skb, family))
321                 goto discard;
322
323         XFRM_SPI_SKB_CB(skb)->family = family;
324         if (family == AF_INET) {
325                 XFRM_SPI_SKB_CB(skb)->daddroff = offsetof(struct iphdr, daddr);
326                 XFRM_TUNNEL_SKB_CB(skb)->tunnel.ip4 = NULL;
327         } else {
328                 XFRM_SPI_SKB_CB(skb)->daddroff = offsetof(struct ipv6hdr, daddr);
329                 XFRM_TUNNEL_SKB_CB(skb)->tunnel.ip6 = NULL;
330         }
331
332         return xfrm_input(skb, nexthdr, spi, encap_type);
333 discard:
334         kfree_skb(skb);
335         return 0;
336 }
337
338 static int xfrmi4_rcv(struct sk_buff *skb)
339 {
340         return xfrmi_input(skb, ip_hdr(skb)->protocol, 0, 0, AF_INET);
341 }
342
343 static int xfrmi6_rcv(struct sk_buff *skb)
344 {
345         return xfrmi_input(skb, skb_network_header(skb)[IP6CB(skb)->nhoff],
346                            0, 0, AF_INET6);
347 }
348
349 static int xfrmi4_input(struct sk_buff *skb, int nexthdr, __be32 spi, int encap_type)
350 {
351         return xfrmi_input(skb, nexthdr, spi, encap_type, AF_INET);
352 }
353
354 static int xfrmi6_input(struct sk_buff *skb, int nexthdr, __be32 spi, int encap_type)
355 {
356         return xfrmi_input(skb, nexthdr, spi, encap_type, AF_INET6);
357 }
358
359 static int xfrmi_rcv_cb(struct sk_buff *skb, int err)
360 {
361         const struct xfrm_mode *inner_mode;
362         struct net_device *dev;
363         struct xfrm_state *x;
364         struct xfrm_if *xi;
365         bool xnet;
366         int link;
367
368         if (err && !secpath_exists(skb))
369                 return 0;
370
371         x = xfrm_input_state(skb);
372
373         xi = xfrmi_lookup(xs_net(x), x);
374         if (!xi)
375                 return 1;
376
377         link = skb->dev->ifindex;
378         dev = xi->dev;
379         skb->dev = dev;
380
381         if (err) {
382                 dev->stats.rx_errors++;
383                 dev->stats.rx_dropped++;
384
385                 return 0;
386         }
387
388         xnet = !net_eq(xi->net, dev_net(skb->dev));
389
390         if (xnet) {
391                 inner_mode = &x->inner_mode;
392
393                 if (x->sel.family == AF_UNSPEC) {
394                         inner_mode = xfrm_ip2inner_mode(x, XFRM_MODE_SKB_CB(skb)->protocol);
395                         if (inner_mode == NULL) {
396                                 XFRM_INC_STATS(dev_net(skb->dev),
397                                                LINUX_MIB_XFRMINSTATEMODEERROR);
398                                 return -EINVAL;
399                         }
400                 }
401
402                 if (!xfrm_policy_check(NULL, XFRM_POLICY_IN, skb,
403                                        inner_mode->family))
404                         return -EPERM;
405         }
406
407         xfrmi_scrub_packet(skb, xnet);
408         if (xi->p.collect_md) {
409                 struct metadata_dst *md_dst;
410
411                 md_dst = metadata_dst_alloc(0, METADATA_XFRM, GFP_ATOMIC);
412                 if (!md_dst)
413                         return -ENOMEM;
414
415                 md_dst->u.xfrm_info.if_id = x->if_id;
416                 md_dst->u.xfrm_info.link = link;
417                 skb_dst_set(skb, (struct dst_entry *)md_dst);
418         }
419         dev_sw_netstats_rx_add(dev, skb->len);
420
421         return 0;
422 }
423
424 static int
425 xfrmi_xmit2(struct sk_buff *skb, struct net_device *dev, struct flowi *fl)
426 {
427         struct xfrm_if *xi = netdev_priv(dev);
428         struct net_device_stats *stats = &xi->dev->stats;
429         struct dst_entry *dst = skb_dst(skb);
430         unsigned int length = skb->len;
431         struct net_device *tdev;
432         struct xfrm_state *x;
433         int err = -1;
434         u32 if_id;
435         int mtu;
436
437         if (xi->p.collect_md) {
438                 struct xfrm_md_info *md_info = skb_xfrm_md_info(skb);
439
440                 if (unlikely(!md_info))
441                         return -EINVAL;
442
443                 if_id = md_info->if_id;
444                 fl->flowi_oif = md_info->link;
445         } else {
446                 if_id = xi->p.if_id;
447         }
448
449         dst_hold(dst);
450         dst = xfrm_lookup_with_ifid(xi->net, dst, fl, NULL, 0, if_id);
451         if (IS_ERR(dst)) {
452                 err = PTR_ERR(dst);
453                 dst = NULL;
454                 goto tx_err_link_failure;
455         }
456
457         x = dst->xfrm;
458         if (!x)
459                 goto tx_err_link_failure;
460
461         if (x->if_id != if_id)
462                 goto tx_err_link_failure;
463
464         tdev = dst->dev;
465
466         if (tdev == dev) {
467                 stats->collisions++;
468                 net_warn_ratelimited("%s: Local routing loop detected!\n",
469                                      dev->name);
470                 goto tx_err_dst_release;
471         }
472
473         mtu = dst_mtu(dst);
474         if ((!skb_is_gso(skb) && skb->len > mtu) ||
475             (skb_is_gso(skb) && !skb_gso_validate_network_len(skb, mtu))) {
476                 skb_dst_update_pmtu_no_confirm(skb, mtu);
477
478                 if (skb->protocol == htons(ETH_P_IPV6)) {
479                         if (mtu < IPV6_MIN_MTU)
480                                 mtu = IPV6_MIN_MTU;
481
482                         if (skb->len > 1280)
483                                 icmpv6_ndo_send(skb, ICMPV6_PKT_TOOBIG, 0, mtu);
484                         else
485                                 goto xmit;
486                 } else {
487                         if (!(ip_hdr(skb)->frag_off & htons(IP_DF)))
488                                 goto xmit;
489                         icmp_ndo_send(skb, ICMP_DEST_UNREACH, ICMP_FRAG_NEEDED,
490                                       htonl(mtu));
491                 }
492
493                 dst_release(dst);
494                 return -EMSGSIZE;
495         }
496
497 xmit:
498         xfrmi_scrub_packet(skb, !net_eq(xi->net, dev_net(dev)));
499         skb_dst_set(skb, dst);
500         skb->dev = tdev;
501
502         err = dst_output(xi->net, skb->sk, skb);
503         if (net_xmit_eval(err) == 0) {
504                 dev_sw_netstats_tx_add(dev, 1, length);
505         } else {
506                 stats->tx_errors++;
507                 stats->tx_aborted_errors++;
508         }
509
510         return 0;
511 tx_err_link_failure:
512         stats->tx_carrier_errors++;
513         dst_link_failure(skb);
514 tx_err_dst_release:
515         dst_release(dst);
516         return err;
517 }
518
519 static netdev_tx_t xfrmi_xmit(struct sk_buff *skb, struct net_device *dev)
520 {
521         struct xfrm_if *xi = netdev_priv(dev);
522         struct net_device_stats *stats = &xi->dev->stats;
523         struct dst_entry *dst = skb_dst(skb);
524         struct flowi fl;
525         int ret;
526
527         memset(&fl, 0, sizeof(fl));
528
529         switch (skb->protocol) {
530         case htons(ETH_P_IPV6):
531                 xfrm_decode_session(skb, &fl, AF_INET6);
532                 memset(IP6CB(skb), 0, sizeof(*IP6CB(skb)));
533                 if (!dst) {
534                         fl.u.ip6.flowi6_oif = dev->ifindex;
535                         fl.u.ip6.flowi6_flags |= FLOWI_FLAG_ANYSRC;
536                         dst = ip6_route_output(dev_net(dev), NULL, &fl.u.ip6);
537                         if (dst->error) {
538                                 dst_release(dst);
539                                 stats->tx_carrier_errors++;
540                                 goto tx_err;
541                         }
542                         skb_dst_set(skb, dst);
543                 }
544                 break;
545         case htons(ETH_P_IP):
546                 xfrm_decode_session(skb, &fl, AF_INET);
547                 memset(IPCB(skb), 0, sizeof(*IPCB(skb)));
548                 if (!dst) {
549                         struct rtable *rt;
550
551                         fl.u.ip4.flowi4_oif = dev->ifindex;
552                         fl.u.ip4.flowi4_flags |= FLOWI_FLAG_ANYSRC;
553                         rt = __ip_route_output_key(dev_net(dev), &fl.u.ip4);
554                         if (IS_ERR(rt)) {
555                                 stats->tx_carrier_errors++;
556                                 goto tx_err;
557                         }
558                         skb_dst_set(skb, &rt->dst);
559                 }
560                 break;
561         default:
562                 goto tx_err;
563         }
564
565         fl.flowi_oif = xi->p.link;
566
567         ret = xfrmi_xmit2(skb, dev, &fl);
568         if (ret < 0)
569                 goto tx_err;
570
571         return NETDEV_TX_OK;
572
573 tx_err:
574         stats->tx_errors++;
575         stats->tx_dropped++;
576         kfree_skb(skb);
577         return NETDEV_TX_OK;
578 }
579
580 static int xfrmi4_err(struct sk_buff *skb, u32 info)
581 {
582         const struct iphdr *iph = (const struct iphdr *)skb->data;
583         struct net *net = dev_net(skb->dev);
584         int protocol = iph->protocol;
585         struct ip_comp_hdr *ipch;
586         struct ip_esp_hdr *esph;
587         struct ip_auth_hdr *ah ;
588         struct xfrm_state *x;
589         struct xfrm_if *xi;
590         __be32 spi;
591
592         switch (protocol) {
593         case IPPROTO_ESP:
594                 esph = (struct ip_esp_hdr *)(skb->data+(iph->ihl<<2));
595                 spi = esph->spi;
596                 break;
597         case IPPROTO_AH:
598                 ah = (struct ip_auth_hdr *)(skb->data+(iph->ihl<<2));
599                 spi = ah->spi;
600                 break;
601         case IPPROTO_COMP:
602                 ipch = (struct ip_comp_hdr *)(skb->data+(iph->ihl<<2));
603                 spi = htonl(ntohs(ipch->cpi));
604                 break;
605         default:
606                 return 0;
607         }
608
609         switch (icmp_hdr(skb)->type) {
610         case ICMP_DEST_UNREACH:
611                 if (icmp_hdr(skb)->code != ICMP_FRAG_NEEDED)
612                         return 0;
613                 break;
614         case ICMP_REDIRECT:
615                 break;
616         default:
617                 return 0;
618         }
619
620         x = xfrm_state_lookup(net, skb->mark, (const xfrm_address_t *)&iph->daddr,
621                               spi, protocol, AF_INET);
622         if (!x)
623                 return 0;
624
625         xi = xfrmi_lookup(net, x);
626         if (!xi) {
627                 xfrm_state_put(x);
628                 return -1;
629         }
630
631         if (icmp_hdr(skb)->type == ICMP_DEST_UNREACH)
632                 ipv4_update_pmtu(skb, net, info, 0, protocol);
633         else
634                 ipv4_redirect(skb, net, 0, protocol);
635         xfrm_state_put(x);
636
637         return 0;
638 }
639
640 static int xfrmi6_err(struct sk_buff *skb, struct inet6_skb_parm *opt,
641                     u8 type, u8 code, int offset, __be32 info)
642 {
643         const struct ipv6hdr *iph = (const struct ipv6hdr *)skb->data;
644         struct net *net = dev_net(skb->dev);
645         int protocol = iph->nexthdr;
646         struct ip_comp_hdr *ipch;
647         struct ip_esp_hdr *esph;
648         struct ip_auth_hdr *ah;
649         struct xfrm_state *x;
650         struct xfrm_if *xi;
651         __be32 spi;
652
653         switch (protocol) {
654         case IPPROTO_ESP:
655                 esph = (struct ip_esp_hdr *)(skb->data + offset);
656                 spi = esph->spi;
657                 break;
658         case IPPROTO_AH:
659                 ah = (struct ip_auth_hdr *)(skb->data + offset);
660                 spi = ah->spi;
661                 break;
662         case IPPROTO_COMP:
663                 ipch = (struct ip_comp_hdr *)(skb->data + offset);
664                 spi = htonl(ntohs(ipch->cpi));
665                 break;
666         default:
667                 return 0;
668         }
669
670         if (type != ICMPV6_PKT_TOOBIG &&
671             type != NDISC_REDIRECT)
672                 return 0;
673
674         x = xfrm_state_lookup(net, skb->mark, (const xfrm_address_t *)&iph->daddr,
675                               spi, protocol, AF_INET6);
676         if (!x)
677                 return 0;
678
679         xi = xfrmi_lookup(net, x);
680         if (!xi) {
681                 xfrm_state_put(x);
682                 return -1;
683         }
684
685         if (type == NDISC_REDIRECT)
686                 ip6_redirect(skb, net, skb->dev->ifindex, 0,
687                              sock_net_uid(net, NULL));
688         else
689                 ip6_update_pmtu(skb, net, info, 0, 0, sock_net_uid(net, NULL));
690         xfrm_state_put(x);
691
692         return 0;
693 }
694
695 static int xfrmi_change(struct xfrm_if *xi, const struct xfrm_if_parms *p)
696 {
697         if (xi->p.link != p->link)
698                 return -EINVAL;
699
700         xi->p.if_id = p->if_id;
701
702         return 0;
703 }
704
705 static int xfrmi_update(struct xfrm_if *xi, struct xfrm_if_parms *p)
706 {
707         struct net *net = xi->net;
708         struct xfrmi_net *xfrmn = net_generic(net, xfrmi_net_id);
709         int err;
710
711         xfrmi_unlink(xfrmn, xi);
712         synchronize_net();
713         err = xfrmi_change(xi, p);
714         xfrmi_link(xfrmn, xi);
715         netdev_state_change(xi->dev);
716         return err;
717 }
718
719 static int xfrmi_get_iflink(const struct net_device *dev)
720 {
721         struct xfrm_if *xi = netdev_priv(dev);
722
723         return xi->p.link;
724 }
725
726 static const struct net_device_ops xfrmi_netdev_ops = {
727         .ndo_init       = xfrmi_dev_init,
728         .ndo_uninit     = xfrmi_dev_uninit,
729         .ndo_start_xmit = xfrmi_xmit,
730         .ndo_get_stats64 = dev_get_tstats64,
731         .ndo_get_iflink = xfrmi_get_iflink,
732 };
733
734 static void xfrmi_dev_setup(struct net_device *dev)
735 {
736         dev->netdev_ops         = &xfrmi_netdev_ops;
737         dev->header_ops         = &ip_tunnel_header_ops;
738         dev->type               = ARPHRD_NONE;
739         dev->mtu                = ETH_DATA_LEN;
740         dev->min_mtu            = ETH_MIN_MTU;
741         dev->max_mtu            = IP_MAX_MTU;
742         dev->flags              = IFF_NOARP;
743         dev->needs_free_netdev  = true;
744         dev->priv_destructor    = xfrmi_dev_free;
745         netif_keep_dst(dev);
746
747         eth_broadcast_addr(dev->broadcast);
748 }
749
750 #define XFRMI_FEATURES (NETIF_F_SG |            \
751                         NETIF_F_FRAGLIST |      \
752                         NETIF_F_GSO_SOFTWARE |  \
753                         NETIF_F_HW_CSUM)
754
755 static int xfrmi_dev_init(struct net_device *dev)
756 {
757         struct xfrm_if *xi = netdev_priv(dev);
758         struct net_device *phydev = __dev_get_by_index(xi->net, xi->p.link);
759         int err;
760
761         dev->tstats = netdev_alloc_pcpu_stats(struct pcpu_sw_netstats);
762         if (!dev->tstats)
763                 return -ENOMEM;
764
765         err = gro_cells_init(&xi->gro_cells, dev);
766         if (err) {
767                 free_percpu(dev->tstats);
768                 return err;
769         }
770
771         dev->features |= NETIF_F_LLTX;
772         dev->features |= XFRMI_FEATURES;
773         dev->hw_features |= XFRMI_FEATURES;
774
775         if (phydev) {
776                 dev->needed_headroom = phydev->needed_headroom;
777                 dev->needed_tailroom = phydev->needed_tailroom;
778
779                 if (is_zero_ether_addr(dev->dev_addr))
780                         eth_hw_addr_inherit(dev, phydev);
781                 if (is_zero_ether_addr(dev->broadcast))
782                         memcpy(dev->broadcast, phydev->broadcast,
783                                dev->addr_len);
784         } else {
785                 eth_hw_addr_random(dev);
786                 eth_broadcast_addr(dev->broadcast);
787         }
788
789         return 0;
790 }
791
792 static int xfrmi_validate(struct nlattr *tb[], struct nlattr *data[],
793                          struct netlink_ext_ack *extack)
794 {
795         return 0;
796 }
797
798 static void xfrmi_netlink_parms(struct nlattr *data[],
799                                struct xfrm_if_parms *parms)
800 {
801         memset(parms, 0, sizeof(*parms));
802
803         if (!data)
804                 return;
805
806         if (data[IFLA_XFRM_LINK])
807                 parms->link = nla_get_u32(data[IFLA_XFRM_LINK]);
808
809         if (data[IFLA_XFRM_IF_ID])
810                 parms->if_id = nla_get_u32(data[IFLA_XFRM_IF_ID]);
811
812         if (data[IFLA_XFRM_COLLECT_METADATA])
813                 parms->collect_md = true;
814 }
815
816 static int xfrmi_newlink(struct net *src_net, struct net_device *dev,
817                         struct nlattr *tb[], struct nlattr *data[],
818                         struct netlink_ext_ack *extack)
819 {
820         struct net *net = dev_net(dev);
821         struct xfrm_if_parms p = {};
822         struct xfrm_if *xi;
823         int err;
824
825         xfrmi_netlink_parms(data, &p);
826         if (p.collect_md) {
827                 struct xfrmi_net *xfrmn = net_generic(net, xfrmi_net_id);
828
829                 if (p.link || p.if_id) {
830                         NL_SET_ERR_MSG(extack, "link and if_id must be zero");
831                         return -EINVAL;
832                 }
833
834                 if (rtnl_dereference(xfrmn->collect_md_xfrmi))
835                         return -EEXIST;
836
837         } else {
838                 if (!p.if_id) {
839                         NL_SET_ERR_MSG(extack, "if_id must be non zero");
840                         return -EINVAL;
841                 }
842
843                 xi = xfrmi_locate(net, &p);
844                 if (xi)
845                         return -EEXIST;
846         }
847
848         xi = netdev_priv(dev);
849         xi->p = p;
850         xi->net = net;
851         xi->dev = dev;
852
853         err = xfrmi_create(dev);
854         return err;
855 }
856
857 static void xfrmi_dellink(struct net_device *dev, struct list_head *head)
858 {
859         unregister_netdevice_queue(dev, head);
860 }
861
862 static int xfrmi_changelink(struct net_device *dev, struct nlattr *tb[],
863                            struct nlattr *data[],
864                            struct netlink_ext_ack *extack)
865 {
866         struct xfrm_if *xi = netdev_priv(dev);
867         struct net *net = xi->net;
868         struct xfrm_if_parms p = {};
869
870         xfrmi_netlink_parms(data, &p);
871         if (!p.if_id) {
872                 NL_SET_ERR_MSG(extack, "if_id must be non zero");
873                 return -EINVAL;
874         }
875
876         if (p.collect_md) {
877                 NL_SET_ERR_MSG(extack, "collect_md can't be changed");
878                 return -EINVAL;
879         }
880
881         xi = xfrmi_locate(net, &p);
882         if (!xi) {
883                 xi = netdev_priv(dev);
884         } else {
885                 if (xi->dev != dev)
886                         return -EEXIST;
887                 if (xi->p.collect_md) {
888                         NL_SET_ERR_MSG(extack,
889                                        "device can't be changed to collect_md");
890                         return -EINVAL;
891                 }
892         }
893
894         return xfrmi_update(xi, &p);
895 }
896
897 static size_t xfrmi_get_size(const struct net_device *dev)
898 {
899         return
900                 /* IFLA_XFRM_LINK */
901                 nla_total_size(4) +
902                 /* IFLA_XFRM_IF_ID */
903                 nla_total_size(4) +
904                 /* IFLA_XFRM_COLLECT_METADATA */
905                 nla_total_size(0) +
906                 0;
907 }
908
909 static int xfrmi_fill_info(struct sk_buff *skb, const struct net_device *dev)
910 {
911         struct xfrm_if *xi = netdev_priv(dev);
912         struct xfrm_if_parms *parm = &xi->p;
913
914         if (nla_put_u32(skb, IFLA_XFRM_LINK, parm->link) ||
915             nla_put_u32(skb, IFLA_XFRM_IF_ID, parm->if_id) ||
916             (xi->p.collect_md && nla_put_flag(skb, IFLA_XFRM_COLLECT_METADATA)))
917                 goto nla_put_failure;
918         return 0;
919
920 nla_put_failure:
921         return -EMSGSIZE;
922 }
923
924 static struct net *xfrmi_get_link_net(const struct net_device *dev)
925 {
926         struct xfrm_if *xi = netdev_priv(dev);
927
928         return xi->net;
929 }
930
931 static const struct nla_policy xfrmi_policy[IFLA_XFRM_MAX + 1] = {
932         [IFLA_XFRM_UNSPEC]              = { .strict_start_type = IFLA_XFRM_COLLECT_METADATA },
933         [IFLA_XFRM_LINK]                = { .type = NLA_U32 },
934         [IFLA_XFRM_IF_ID]               = { .type = NLA_U32 },
935         [IFLA_XFRM_COLLECT_METADATA]    = { .type = NLA_FLAG },
936 };
937
938 static struct rtnl_link_ops xfrmi_link_ops __read_mostly = {
939         .kind           = "xfrm",
940         .maxtype        = IFLA_XFRM_MAX,
941         .policy         = xfrmi_policy,
942         .priv_size      = sizeof(struct xfrm_if),
943         .setup          = xfrmi_dev_setup,
944         .validate       = xfrmi_validate,
945         .newlink        = xfrmi_newlink,
946         .dellink        = xfrmi_dellink,
947         .changelink     = xfrmi_changelink,
948         .get_size       = xfrmi_get_size,
949         .fill_info      = xfrmi_fill_info,
950         .get_link_net   = xfrmi_get_link_net,
951 };
952
953 static void __net_exit xfrmi_exit_batch_net(struct list_head *net_exit_list)
954 {
955         struct net *net;
956         LIST_HEAD(list);
957
958         rtnl_lock();
959         list_for_each_entry(net, net_exit_list, exit_list) {
960                 struct xfrmi_net *xfrmn = net_generic(net, xfrmi_net_id);
961                 struct xfrm_if __rcu **xip;
962                 struct xfrm_if *xi;
963                 int i;
964
965                 for (i = 0; i < XFRMI_HASH_SIZE; i++) {
966                         for (xip = &xfrmn->xfrmi[i];
967                              (xi = rtnl_dereference(*xip)) != NULL;
968                              xip = &xi->next)
969                                 unregister_netdevice_queue(xi->dev, &list);
970                 }
971                 xi = rtnl_dereference(xfrmn->collect_md_xfrmi);
972                 if (xi)
973                         unregister_netdevice_queue(xi->dev, &list);
974         }
975         unregister_netdevice_many(&list);
976         rtnl_unlock();
977 }
978
979 static struct pernet_operations xfrmi_net_ops = {
980         .exit_batch = xfrmi_exit_batch_net,
981         .id   = &xfrmi_net_id,
982         .size = sizeof(struct xfrmi_net),
983 };
984
985 static struct xfrm6_protocol xfrmi_esp6_protocol __read_mostly = {
986         .handler        =       xfrmi6_rcv,
987         .input_handler  =       xfrmi6_input,
988         .cb_handler     =       xfrmi_rcv_cb,
989         .err_handler    =       xfrmi6_err,
990         .priority       =       10,
991 };
992
993 static struct xfrm6_protocol xfrmi_ah6_protocol __read_mostly = {
994         .handler        =       xfrm6_rcv,
995         .input_handler  =       xfrm_input,
996         .cb_handler     =       xfrmi_rcv_cb,
997         .err_handler    =       xfrmi6_err,
998         .priority       =       10,
999 };
1000
1001 static struct xfrm6_protocol xfrmi_ipcomp6_protocol __read_mostly = {
1002         .handler        =       xfrm6_rcv,
1003         .input_handler  =       xfrm_input,
1004         .cb_handler     =       xfrmi_rcv_cb,
1005         .err_handler    =       xfrmi6_err,
1006         .priority       =       10,
1007 };
1008
1009 #if IS_REACHABLE(CONFIG_INET6_XFRM_TUNNEL)
1010 static int xfrmi6_rcv_tunnel(struct sk_buff *skb)
1011 {
1012         const xfrm_address_t *saddr;
1013         __be32 spi;
1014
1015         saddr = (const xfrm_address_t *)&ipv6_hdr(skb)->saddr;
1016         spi = xfrm6_tunnel_spi_lookup(dev_net(skb->dev), saddr);
1017
1018         return xfrm6_rcv_spi(skb, IPPROTO_IPV6, spi, NULL);
1019 }
1020
1021 static struct xfrm6_tunnel xfrmi_ipv6_handler __read_mostly = {
1022         .handler        =       xfrmi6_rcv_tunnel,
1023         .cb_handler     =       xfrmi_rcv_cb,
1024         .err_handler    =       xfrmi6_err,
1025         .priority       =       2,
1026 };
1027
1028 static struct xfrm6_tunnel xfrmi_ip6ip_handler __read_mostly = {
1029         .handler        =       xfrmi6_rcv_tunnel,
1030         .cb_handler     =       xfrmi_rcv_cb,
1031         .err_handler    =       xfrmi6_err,
1032         .priority       =       2,
1033 };
1034 #endif
1035
1036 static struct xfrm4_protocol xfrmi_esp4_protocol __read_mostly = {
1037         .handler        =       xfrmi4_rcv,
1038         .input_handler  =       xfrmi4_input,
1039         .cb_handler     =       xfrmi_rcv_cb,
1040         .err_handler    =       xfrmi4_err,
1041         .priority       =       10,
1042 };
1043
1044 static struct xfrm4_protocol xfrmi_ah4_protocol __read_mostly = {
1045         .handler        =       xfrm4_rcv,
1046         .input_handler  =       xfrm_input,
1047         .cb_handler     =       xfrmi_rcv_cb,
1048         .err_handler    =       xfrmi4_err,
1049         .priority       =       10,
1050 };
1051
1052 static struct xfrm4_protocol xfrmi_ipcomp4_protocol __read_mostly = {
1053         .handler        =       xfrm4_rcv,
1054         .input_handler  =       xfrm_input,
1055         .cb_handler     =       xfrmi_rcv_cb,
1056         .err_handler    =       xfrmi4_err,
1057         .priority       =       10,
1058 };
1059
1060 #if IS_REACHABLE(CONFIG_INET_XFRM_TUNNEL)
1061 static int xfrmi4_rcv_tunnel(struct sk_buff *skb)
1062 {
1063         return xfrm4_rcv_spi(skb, IPPROTO_IPIP, ip_hdr(skb)->saddr);
1064 }
1065
1066 static struct xfrm_tunnel xfrmi_ipip_handler __read_mostly = {
1067         .handler        =       xfrmi4_rcv_tunnel,
1068         .cb_handler     =       xfrmi_rcv_cb,
1069         .err_handler    =       xfrmi4_err,
1070         .priority       =       3,
1071 };
1072
1073 static struct xfrm_tunnel xfrmi_ipip6_handler __read_mostly = {
1074         .handler        =       xfrmi4_rcv_tunnel,
1075         .cb_handler     =       xfrmi_rcv_cb,
1076         .err_handler    =       xfrmi4_err,
1077         .priority       =       2,
1078 };
1079 #endif
1080
1081 static int __init xfrmi4_init(void)
1082 {
1083         int err;
1084
1085         err = xfrm4_protocol_register(&xfrmi_esp4_protocol, IPPROTO_ESP);
1086         if (err < 0)
1087                 goto xfrm_proto_esp_failed;
1088         err = xfrm4_protocol_register(&xfrmi_ah4_protocol, IPPROTO_AH);
1089         if (err < 0)
1090                 goto xfrm_proto_ah_failed;
1091         err = xfrm4_protocol_register(&xfrmi_ipcomp4_protocol, IPPROTO_COMP);
1092         if (err < 0)
1093                 goto xfrm_proto_comp_failed;
1094 #if IS_REACHABLE(CONFIG_INET_XFRM_TUNNEL)
1095         err = xfrm4_tunnel_register(&xfrmi_ipip_handler, AF_INET);
1096         if (err < 0)
1097                 goto xfrm_tunnel_ipip_failed;
1098         err = xfrm4_tunnel_register(&xfrmi_ipip6_handler, AF_INET6);
1099         if (err < 0)
1100                 goto xfrm_tunnel_ipip6_failed;
1101 #endif
1102
1103         return 0;
1104
1105 #if IS_REACHABLE(CONFIG_INET_XFRM_TUNNEL)
1106 xfrm_tunnel_ipip6_failed:
1107         xfrm4_tunnel_deregister(&xfrmi_ipip_handler, AF_INET);
1108 xfrm_tunnel_ipip_failed:
1109         xfrm4_protocol_deregister(&xfrmi_ipcomp4_protocol, IPPROTO_COMP);
1110 #endif
1111 xfrm_proto_comp_failed:
1112         xfrm4_protocol_deregister(&xfrmi_ah4_protocol, IPPROTO_AH);
1113 xfrm_proto_ah_failed:
1114         xfrm4_protocol_deregister(&xfrmi_esp4_protocol, IPPROTO_ESP);
1115 xfrm_proto_esp_failed:
1116         return err;
1117 }
1118
1119 static void xfrmi4_fini(void)
1120 {
1121 #if IS_REACHABLE(CONFIG_INET_XFRM_TUNNEL)
1122         xfrm4_tunnel_deregister(&xfrmi_ipip6_handler, AF_INET6);
1123         xfrm4_tunnel_deregister(&xfrmi_ipip_handler, AF_INET);
1124 #endif
1125         xfrm4_protocol_deregister(&xfrmi_ipcomp4_protocol, IPPROTO_COMP);
1126         xfrm4_protocol_deregister(&xfrmi_ah4_protocol, IPPROTO_AH);
1127         xfrm4_protocol_deregister(&xfrmi_esp4_protocol, IPPROTO_ESP);
1128 }
1129
1130 static int __init xfrmi6_init(void)
1131 {
1132         int err;
1133
1134         err = xfrm6_protocol_register(&xfrmi_esp6_protocol, IPPROTO_ESP);
1135         if (err < 0)
1136                 goto xfrm_proto_esp_failed;
1137         err = xfrm6_protocol_register(&xfrmi_ah6_protocol, IPPROTO_AH);
1138         if (err < 0)
1139                 goto xfrm_proto_ah_failed;
1140         err = xfrm6_protocol_register(&xfrmi_ipcomp6_protocol, IPPROTO_COMP);
1141         if (err < 0)
1142                 goto xfrm_proto_comp_failed;
1143 #if IS_REACHABLE(CONFIG_INET6_XFRM_TUNNEL)
1144         err = xfrm6_tunnel_register(&xfrmi_ipv6_handler, AF_INET6);
1145         if (err < 0)
1146                 goto xfrm_tunnel_ipv6_failed;
1147         err = xfrm6_tunnel_register(&xfrmi_ip6ip_handler, AF_INET);
1148         if (err < 0)
1149                 goto xfrm_tunnel_ip6ip_failed;
1150 #endif
1151
1152         return 0;
1153
1154 #if IS_REACHABLE(CONFIG_INET6_XFRM_TUNNEL)
1155 xfrm_tunnel_ip6ip_failed:
1156         xfrm6_tunnel_deregister(&xfrmi_ipv6_handler, AF_INET6);
1157 xfrm_tunnel_ipv6_failed:
1158         xfrm6_protocol_deregister(&xfrmi_ipcomp6_protocol, IPPROTO_COMP);
1159 #endif
1160 xfrm_proto_comp_failed:
1161         xfrm6_protocol_deregister(&xfrmi_ah6_protocol, IPPROTO_AH);
1162 xfrm_proto_ah_failed:
1163         xfrm6_protocol_deregister(&xfrmi_esp6_protocol, IPPROTO_ESP);
1164 xfrm_proto_esp_failed:
1165         return err;
1166 }
1167
1168 static void xfrmi6_fini(void)
1169 {
1170 #if IS_REACHABLE(CONFIG_INET6_XFRM_TUNNEL)
1171         xfrm6_tunnel_deregister(&xfrmi_ip6ip_handler, AF_INET);
1172         xfrm6_tunnel_deregister(&xfrmi_ipv6_handler, AF_INET6);
1173 #endif
1174         xfrm6_protocol_deregister(&xfrmi_ipcomp6_protocol, IPPROTO_COMP);
1175         xfrm6_protocol_deregister(&xfrmi_ah6_protocol, IPPROTO_AH);
1176         xfrm6_protocol_deregister(&xfrmi_esp6_protocol, IPPROTO_ESP);
1177 }
1178
1179 static const struct xfrm_if_cb xfrm_if_cb = {
1180         .decode_session =       xfrmi_decode_session,
1181 };
1182
1183 static int __init xfrmi_init(void)
1184 {
1185         const char *msg;
1186         int err;
1187
1188         pr_info("IPsec XFRM device driver\n");
1189
1190         msg = "tunnel device";
1191         err = register_pernet_device(&xfrmi_net_ops);
1192         if (err < 0)
1193                 goto pernet_dev_failed;
1194
1195         msg = "xfrm4 protocols";
1196         err = xfrmi4_init();
1197         if (err < 0)
1198                 goto xfrmi4_failed;
1199
1200         msg = "xfrm6 protocols";
1201         err = xfrmi6_init();
1202         if (err < 0)
1203                 goto xfrmi6_failed;
1204
1205
1206         msg = "netlink interface";
1207         err = rtnl_link_register(&xfrmi_link_ops);
1208         if (err < 0)
1209                 goto rtnl_link_failed;
1210
1211         lwtunnel_encap_add_ops(&xfrmi_encap_ops, LWTUNNEL_ENCAP_XFRM);
1212
1213         xfrm_if_register_cb(&xfrm_if_cb);
1214
1215         return err;
1216
1217 rtnl_link_failed:
1218         xfrmi6_fini();
1219 xfrmi6_failed:
1220         xfrmi4_fini();
1221 xfrmi4_failed:
1222         unregister_pernet_device(&xfrmi_net_ops);
1223 pernet_dev_failed:
1224         pr_err("xfrmi init: failed to register %s\n", msg);
1225         return err;
1226 }
1227
1228 static void __exit xfrmi_fini(void)
1229 {
1230         xfrm_if_unregister_cb();
1231         lwtunnel_encap_del_ops(&xfrmi_encap_ops, LWTUNNEL_ENCAP_XFRM);
1232         rtnl_link_unregister(&xfrmi_link_ops);
1233         xfrmi4_fini();
1234         xfrmi6_fini();
1235         unregister_pernet_device(&xfrmi_net_ops);
1236 }
1237
1238 module_init(xfrmi_init);
1239 module_exit(xfrmi_fini);
1240 MODULE_LICENSE("GPL");
1241 MODULE_ALIAS_RTNL_LINK("xfrm");
1242 MODULE_ALIAS_NETDEV("xfrm0");
1243 MODULE_AUTHOR("Steffen Klassert");
1244 MODULE_DESCRIPTION("XFRM virtual interface");