Clean compiler warnings.
[platform/upstream/iotivity.git] / resource / csdk / connectivity / src / ip_adapter / caipserver.c
1 /*****************************************************************j
2  *
3  * Copyright 2014 Samsung Electronics All Rights Reserved.
4  *
5  *
6  *
7  * Licensed under the Apache License, Version 2.0 (the "License");
8  * you may not use this file except in compliance with the License.
9  * You may obtain a copy of the License at
10  *
11  *      http://www.apache.org/licenses/LICENSE-2.0
12  *
13  * Unless required by applicable law or agreed to in writing, software
14  * distributed under the License is distributed on an "AS IS" BASIS,
15  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
16  * See the License for the specific language governing permissions and
17  * limitations under the License.
18  *
19  ******************************************************************/
20
21 #ifndef __APPLE_USE_RFC_3542
22 #define __APPLE_USE_RFC_3542 // for PKTINFO
23 #endif
24 #ifndef _GNU_SOURCE
25 #define _GNU_SOURCE // for in6_pktinfo
26 #endif
27
28 #include <sys/types.h>
29 #include <sys/socket.h>
30 #include <stdio.h>
31 #include <unistd.h>
32 #include <sys/types.h>
33 #include <fcntl.h>
34 #include <sys/select.h>
35 #include <arpa/inet.h>
36 #include <netinet/in.h>
37 #include <net/if.h>
38 #include <errno.h>
39 #ifdef __linux__
40 #include <linux/netlink.h>
41 #include <linux/rtnetlink.h>
42 #endif
43
44 #include "pdu.h"
45 #include "caipinterface.h"
46 #include "caadapterutils.h"
47 #ifdef __WITH_DTLS__
48 #include "caadapternetdtls.h"
49 #endif
50 #include "camutex.h"
51 #include "oic_malloc.h"
52 #include "oic_string.h"
53
54 /*
55  * Logging tag for module name
56  */
57 #define TAG "OIC_CA_IP_SERVER"
58
59 #define SELECT_TIMEOUT 1     // select() seconds (and termination latency)
60
61 #define IPv4_MULTICAST     "224.0.1.187"
62 static struct in_addr IPv4MulticastAddress = { 0 };
63
64 #define IPv6_DOMAINS       16
65 #define IPv6_MULTICAST_INT "ff01::fd"
66 static struct in6_addr IPv6MulticastAddressInt;
67 #define IPv6_MULTICAST_LNK "ff02::fd"
68 static struct in6_addr IPv6MulticastAddressLnk;
69 #define IPv6_MULTICAST_RLM "ff03::fd"
70 static struct in6_addr IPv6MulticastAddressRlm;
71 #define IPv6_MULTICAST_ADM "ff04::fd"
72 static struct in6_addr IPv6MulticastAddressAdm;
73 #define IPv6_MULTICAST_SIT "ff05::fd"
74 static struct in6_addr IPv6MulticastAddressSit;
75 #define IPv6_MULTICAST_ORG "ff08::fd"
76 static struct in6_addr IPv6MulticastAddressOrg;
77 #define IPv6_MULTICAST_GLB "ff0e::fd"
78 static struct in6_addr IPv6MulticastAddressGlb;
79
80 static char *ipv6mcnames[IPv6_DOMAINS] = {
81     NULL,
82     IPv6_MULTICAST_INT,
83     IPv6_MULTICAST_LNK,
84     IPv6_MULTICAST_RLM,
85     IPv6_MULTICAST_ADM,
86     IPv6_MULTICAST_SIT,
87     NULL,
88     NULL,
89     IPv6_MULTICAST_ORG,
90     NULL,
91     NULL,
92     NULL,
93     NULL,
94     NULL,
95     IPv6_MULTICAST_GLB,
96     NULL
97 };
98
99 static CAIPPacketReceivedCallback g_packetReceivedCallback = NULL;
100
101 static CAIPErrorHandleCallback g_ipErrorHandler = NULL;
102
103 static void CAFindReadyMessage();
104 static void CASelectReturned(fd_set *readFds, int ret);
105 static void CAProcessNewInterface(CAInterface_t *ifchanged);
106 static CAResult_t CAReceiveMessage(int fd, CATransportFlags_t flags);
107
108 #define SET(TYPE, FDS) \
109     if (caglobals.ip.TYPE.fd != -1) \
110     { \
111         FD_SET(caglobals.ip.TYPE.fd, FDS); \
112     }
113
114 #define ISSET(TYPE, FDS, FLAGS) \
115     if (caglobals.ip.TYPE.fd != -1 && FD_ISSET(caglobals.ip.TYPE.fd, FDS)) \
116     { \
117         fd = caglobals.ip.TYPE.fd; \
118         flags = FLAGS; \
119     }
120
121 #define CLOSE_SOCKET(TYPE) \
122     if (caglobals.ip.TYPE.fd != -1) \
123     { \
124         close(caglobals.ip.TYPE.fd); \
125         caglobals.ip.TYPE.fd = -1; \
126     }
127
128 void CADeInitializeIPGlobals()
129 {
130     CLOSE_SOCKET(u6);
131     CLOSE_SOCKET(u6s);
132     CLOSE_SOCKET(u4);
133     CLOSE_SOCKET(u4s);
134     CLOSE_SOCKET(m6);
135     CLOSE_SOCKET(m6s);
136     CLOSE_SOCKET(m4);
137     CLOSE_SOCKET(m4s);
138
139     if (caglobals.ip.netlinkFd != -1)
140     {
141         close(caglobals.ip.netlinkFd);
142         caglobals.ip.netlinkFd = -1;
143     }
144 }
145
146 static void CAReceiveHandler(void *data)
147 {
148     (void)data;
149
150     while (!caglobals.ip.terminate)
151     {
152         CAFindReadyMessage();
153     }
154 }
155
156 static void CAFindReadyMessage()
157 {
158     fd_set readFds;
159     struct timeval timeout;
160
161     timeout.tv_sec = caglobals.ip.selectTimeout;
162     timeout.tv_usec = 0;
163     struct timeval *tv = caglobals.ip.selectTimeout == -1 ? NULL : &timeout;
164
165     FD_ZERO(&readFds);
166     SET(u6,  &readFds)
167     SET(u6s, &readFds)
168     SET(u4,  &readFds)
169     SET(u4s, &readFds)
170     SET(m6,  &readFds)
171     SET(m6s, &readFds)
172     SET(m4,  &readFds)
173     SET(m4s, &readFds)
174     if (caglobals.ip.shutdownFds[0] != -1)
175     {
176         FD_SET(caglobals.ip.shutdownFds[0], &readFds);
177     }
178     if (caglobals.ip.netlinkFd != -1)
179     {
180         FD_SET(caglobals.ip.netlinkFd, &readFds);
181     }
182
183     int ret = select(caglobals.ip.maxfd + 1, &readFds, NULL, NULL, tv);
184
185     if (caglobals.ip.terminate)
186     {
187         OIC_LOG_V(DEBUG, TAG, "Packet receiver Stop request received.");
188         return;
189     }
190     if (ret <= 0)
191     {
192         if (ret < 0)
193         {
194             OIC_LOG_V(FATAL, TAG, "select error %s", strerror(errno));
195         }
196         return;
197     }
198
199     CASelectReturned(&readFds, ret);
200 }
201
202 static void CASelectReturned(fd_set *readFds, int ret)
203 {
204     (void)ret;
205     int fd = -1;
206     CATransportFlags_t flags = CA_DEFAULT_FLAGS;
207
208     while (!caglobals.ip.terminate)
209     {
210         ISSET(u6,  readFds, CA_IPV6)
211         else ISSET(u6s, readFds, CA_IPV6 | CA_SECURE)
212         else ISSET(u4,  readFds, CA_IPV4)
213         else ISSET(u4s, readFds, CA_IPV4 | CA_SECURE)
214         else ISSET(m6,  readFds, CA_MULTICAST | CA_IPV6)
215         else ISSET(m6s, readFds, CA_MULTICAST | CA_IPV6 | CA_SECURE)
216         else ISSET(m4,  readFds, CA_MULTICAST | CA_IPV4)
217         else ISSET(m4s, readFds, CA_MULTICAST | CA_IPV4 | CA_SECURE)
218         else if (FD_ISSET(caglobals.ip.netlinkFd, readFds))
219         {
220             CAInterface_t *ifchanged = CAFindInterfaceChange();
221             if (ifchanged)
222             {
223                 CAProcessNewInterface(ifchanged);
224                 OICFree(ifchanged);
225             }
226             break;
227         }
228         else if (FD_ISSET(caglobals.ip.shutdownFds[0], readFds))
229         {
230             char buf[10] = {0};
231             ssize_t len = read(caglobals.ip.shutdownFds[0], buf, sizeof (buf));
232             if (-1 == len)
233             {
234                 continue;
235             }
236             break;
237         }
238         else
239         {
240             break;
241         }
242
243         (void)CAReceiveMessage(fd, flags);
244         FD_CLR(fd, readFds);
245     }
246 }
247
248 static CAResult_t CAReceiveMessage(int fd, CATransportFlags_t flags)
249 {
250     char recvBuffer[COAP_MAX_PDU_SIZE];
251
252     size_t len;
253     int level, type, namelen;
254     struct sockaddr_storage srcAddr;
255     unsigned char *pktinfo = NULL;
256     struct cmsghdr *cmp = NULL;
257     struct iovec iov = { recvBuffer, sizeof (recvBuffer) };
258     union control
259     {
260         struct cmsghdr cmsg;
261         unsigned char data[CMSG_SPACE(sizeof (struct in6_pktinfo))];
262     } cmsg;
263
264     if (flags & CA_IPV6)
265     {
266         namelen = sizeof (struct sockaddr_in6);
267         level = IPPROTO_IPV6;
268         type = IPV6_PKTINFO;
269         len = sizeof (struct in6_pktinfo);
270     }
271     else
272     {
273         namelen = sizeof (struct sockaddr_in);
274         level = IPPROTO_IP;
275         type = IP_PKTINFO;
276         len = sizeof (struct in6_pktinfo);
277     }
278
279     struct msghdr msg = { .msg_name = &srcAddr,
280                           .msg_namelen = namelen,
281                           .msg_iov = &iov,
282                           .msg_iovlen = 1,
283                           .msg_control = &cmsg,
284                           .msg_controllen = CMSG_SPACE(len) };
285
286     ssize_t recvLen = recvmsg(fd, &msg, flags);
287     if (-1 == recvLen)
288     {
289         OIC_LOG_V(ERROR, TAG, "Recvfrom failed %s", strerror(errno));
290         return CA_STATUS_FAILED;
291     }
292
293     if (flags & CA_MULTICAST)
294     {
295         for (cmp = CMSG_FIRSTHDR(&msg); cmp != NULL; cmp = CMSG_NXTHDR(&msg, cmp))
296         {
297             if (cmp->cmsg_level == level && cmp->cmsg_type == type)
298             {
299                 pktinfo = CMSG_DATA(cmp);
300             }
301         }
302     }
303
304     CASecureEndpoint_t sep = {.endpoint = {.adapter = CA_ADAPTER_IP, .flags = flags}};
305
306     if (flags & CA_IPV6)
307     {
308         sep.endpoint.interface = ((struct sockaddr_in6 *)&srcAddr)->sin6_scope_id;
309         ((struct sockaddr_in6 *)&srcAddr)->sin6_scope_id = 0;
310
311         if ((flags & CA_MULTICAST) && pktinfo)
312         {
313             struct in6_addr *addr = &(((struct in6_pktinfo *)pktinfo)->ipi6_addr);
314             unsigned char topbits = ((unsigned char *)addr)[0];
315             if (topbits != 0xff)
316             {
317                 sep.endpoint.flags &= ~CA_MULTICAST;
318             }
319         }
320     }
321     else
322     {
323         if ((flags & CA_MULTICAST) && pktinfo)
324         {
325             struct in_addr *addr = &((struct in_pktinfo *)pktinfo)->ipi_addr;
326             uint32_t host = ntohl(addr->s_addr);
327             unsigned char topbits = ((unsigned char *)&host)[3];
328             if (topbits < 224 || topbits > 239)
329             {
330                 sep.endpoint.flags &= ~CA_MULTICAST;
331             }
332         }
333     }
334
335     CAConvertAddrToName(&srcAddr, msg.msg_namelen, sep.endpoint.addr, &sep.endpoint.port);
336
337     if (flags & CA_SECURE)
338     {
339 #ifdef __WITH_DTLS__
340         int ret = CAAdapterNetDtlsDecrypt(&sep, (uint8_t *)recvBuffer, recvLen);
341         OIC_LOG_V(DEBUG, TAG, "CAAdapterNetDtlsDecrypt returns [%d]", ret);
342 #else
343         OIC_LOG(ERROR, TAG, "Encrypted message but no DTLS");
344 #endif
345     }
346     else
347     {
348         if (g_packetReceivedCallback)
349         {
350             g_packetReceivedCallback(&sep, recvBuffer, recvLen);
351         }
352     }
353
354     return CA_STATUS_OK;
355 }
356
357 void CAIPPullData()
358 {
359     OIC_LOG(DEBUG, TAG, "IN");
360     OIC_LOG(DEBUG, TAG, "OUT");
361 }
362
363 static int CACreateSocket(int family, uint16_t *port, bool isMulticast)
364 {
365     int socktype = SOCK_DGRAM;
366 #ifdef SOCK_CLOEXEC
367     socktype |= SOCK_CLOEXEC;
368 #endif
369     int fd = socket(family, socktype, IPPROTO_UDP);
370     if (-1 == fd)
371     {
372         OIC_LOG_V(ERROR, TAG, "create socket failed: %s", strerror(errno));
373         return -1;
374     }
375
376 #ifndef SOCK_CLOEXEC
377     int fl = fcntl(fd, F_GETFD);
378     if (-1 == fl || -1 == fcntl(fd, F_SETFD, fl|FD_CLOEXEC))
379     {
380         OIC_LOG_V(ERROR, TAG, "set FD_CLOEXEC failed: %s", strerror(errno));
381         close(fd);
382         return -1;
383     }
384 #endif
385
386     struct sockaddr_storage sa = { .ss_family = family };
387     socklen_t socklen;
388
389     if (family == AF_INET6)
390     {
391         int on = 1;
392
393         if (-1 == setsockopt(fd, IPPROTO_IPV6, IPV6_V6ONLY, &on, sizeof (on)))
394         {
395             OIC_LOG_V(ERROR, TAG, "IPV6_V6ONLY failed: %s", strerror(errno));
396         }
397
398         if (isMulticast && *port)  // only do this for multicast ports
399         {
400             if (-1 == setsockopt(fd, IPPROTO_IPV6, IPV6_RECVPKTINFO, &on, sizeof (on)))
401             {
402                 OIC_LOG_V(ERROR, TAG, "IPV6_RECVPKTINFO failed: %s", strerror(errno));
403             }
404         }
405
406         ((struct sockaddr_in6 *)&sa)->sin6_port = htons(*port);
407         socklen = sizeof (struct sockaddr_in6);
408     }
409     else
410     {
411         if (isMulticast && *port)  // only do this for multicast ports
412         {
413             int on = 1;
414             if (-1 == setsockopt(fd, IPPROTO_IP, IP_PKTINFO, &on, sizeof (on)))
415             {
416                 OIC_LOG_V(ERROR, TAG, "IP_PKTINFO failed: %s", strerror(errno));
417             }
418         }
419
420         ((struct sockaddr_in *)&sa)->sin_port = htons(*port);
421         socklen = sizeof (struct sockaddr_in);
422     }
423
424     if (isMulticast && *port)  // use the given port
425     {
426         int on = 1;
427         if (setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, (char *)&on, sizeof (on)))
428         {
429             OIC_LOG_V(ERROR, TAG, "SO_REUSEADDR failed: %s", strerror(errno));
430             close(fd);
431             return -1;
432         }
433     }
434
435     if (-1 == bind(fd, (struct sockaddr *)&sa, socklen))
436     {
437         OIC_LOG_V(ERROR, TAG, "bind socket failed: %s", strerror(errno));
438         close(fd);
439         return -1;
440     }
441
442     if (!*port)  // return the assigned port
443     {
444         if (-1 == getsockname(fd, (struct sockaddr *)&sa, &socklen))
445         {
446             OIC_LOG_V(ERROR, TAG, "getsockname failed: %s", strerror(errno));
447             close(fd);
448             return -1;
449         }
450         *port = ntohs(family == AF_INET6 ?
451                       ((struct sockaddr_in6 *)&sa)->sin6_port :
452                       ((struct sockaddr_in *)&sa)->sin_port);
453     }
454
455     return fd;
456 }
457
458 #define CHECKFD(FD) \
459     if (FD > caglobals.ip.maxfd) \
460         caglobals.ip.maxfd = FD;
461 #define NEWSOCKET(FAMILY, NAME, MULTICAST) \
462     caglobals.ip.NAME.fd = CACreateSocket(FAMILY, &caglobals.ip.NAME.port, MULTICAST); \
463     if (caglobals.ip.NAME.fd == -1) \
464     {   \
465         caglobals.ip.NAME.port = 0; \
466         caglobals.ip.NAME.fd = CACreateSocket(FAMILY, &caglobals.ip.NAME.port, MULTICAST); \
467     }   \
468     CHECKFD(caglobals.ip.NAME.fd)
469
470 static void CAInitializeNetlink()
471 {
472 #ifdef __linux__
473     // create NETLINK fd for interface change notifications
474     struct sockaddr_nl sa = { AF_NETLINK, 0, 0, RTMGRP_LINK };
475
476     caglobals.ip.netlinkFd = socket(AF_NETLINK, SOCK_RAW|SOCK_CLOEXEC, NETLINK_ROUTE);
477     if (caglobals.ip.netlinkFd == -1)
478     {
479         OIC_LOG_V(ERROR, TAG, "netlink socket failed: %s", strerror(errno));
480     }
481     else
482     {
483         int r = bind(caglobals.ip.netlinkFd, (struct sockaddr *)&sa, sizeof (sa));
484         if (r)
485         {
486             OIC_LOG_V(ERROR, TAG, "netlink bind failed: %s", strerror(errno));
487             close(caglobals.ip.netlinkFd);
488             caglobals.ip.netlinkFd = -1;
489         }
490         else
491         {
492             CHECKFD(caglobals.ip.netlinkFd);
493         }
494     }
495 #endif
496 }
497
498 static void CAInitializePipe()
499 {
500     caglobals.ip.selectTimeout = -1;
501 #ifdef HAVE_PIPE2
502     int ret = pipe2(caglobals.ip.shutdownFds, O_CLOEXEC);
503 #else
504     int ret = pipe(caglobals.ip.shutdownFds);
505     if (-1 != ret)
506     {
507         ret = fcntl(caglobals.ip.shutdownFds[0], F_GETFD);
508         if (-1 != ret)
509         {
510             ret = fcntl(caglobals.ip.shutdownFds[0], F_SETFD, ret|FD_CLOEXEC);
511         }
512         if (-1 != ret)
513         {
514             ret = fcntl(caglobals.ip.shutdownFds[1], F_GETFD);
515         }
516         if (-1 != ret)
517         {
518             ret = fcntl(caglobals.ip.shutdownFds[1], F_SETFD, ret|FD_CLOEXEC);
519         }
520         if (-1 == ret)
521         {
522             close(caglobals.ip.shutdownFds[1]);
523             close(caglobals.ip.shutdownFds[0]);
524             caglobals.ip.shutdownFds[0] = -1;
525             caglobals.ip.shutdownFds[1] = -1;
526         }
527     }
528 #endif
529     if (-1 == ret)
530     {
531         OIC_LOG_V(ERROR, TAG, "pipe failed: %s", strerror(errno));
532         caglobals.ip.selectTimeout = SELECT_TIMEOUT; //poll needed for shutdown
533     }
534 }
535
536 CAResult_t CAIPStartServer(const ca_thread_pool_t threadPool)
537 {
538     CAResult_t res = CA_STATUS_OK;
539
540     if (caglobals.ip.started)
541     {
542         return res;
543     }
544
545     if (!IPv4MulticastAddress.s_addr)
546     {
547         (void)inet_pton(AF_INET, IPv4_MULTICAST, &IPv4MulticastAddress);
548         (void)inet_pton(AF_INET6, IPv6_MULTICAST_INT, &IPv6MulticastAddressInt);
549         (void)inet_pton(AF_INET6, IPv6_MULTICAST_LNK, &IPv6MulticastAddressLnk);
550         (void)inet_pton(AF_INET6, IPv6_MULTICAST_RLM, &IPv6MulticastAddressRlm);
551         (void)inet_pton(AF_INET6, IPv6_MULTICAST_ADM, &IPv6MulticastAddressAdm);
552         (void)inet_pton(AF_INET6, IPv6_MULTICAST_SIT, &IPv6MulticastAddressSit);
553         (void)inet_pton(AF_INET6, IPv6_MULTICAST_ORG, &IPv6MulticastAddressOrg);
554         (void)inet_pton(AF_INET6, IPv6_MULTICAST_GLB, &IPv6MulticastAddressGlb);
555     }
556
557     if (!caglobals.ip.ipv6enabled && !caglobals.ip.ipv4enabled)
558     {
559         caglobals.ip.ipv4enabled = true;  // only needed to run CA tests
560     }
561
562     if (caglobals.ip.ipv6enabled)
563     {
564         NEWSOCKET(AF_INET6, u6, false)
565         NEWSOCKET(AF_INET6, u6s, false)
566         NEWSOCKET(AF_INET6, m6, true)
567         NEWSOCKET(AF_INET6, m6s, true)
568         OIC_LOG_V(INFO, TAG, "IPv6 unicast port: %u", caglobals.ip.u6.port);
569     }
570     if (caglobals.ip.ipv4enabled)
571     {
572         NEWSOCKET(AF_INET, u4, false)
573         NEWSOCKET(AF_INET, u4s, false)
574         NEWSOCKET(AF_INET, m4, true)
575         NEWSOCKET(AF_INET, m4s, true)
576         OIC_LOG_V(INFO, TAG, "IPv4 unicast port: %u", caglobals.ip.u4.port);
577     }
578
579     OIC_LOG_V(DEBUG, TAG,
580               "socket summary: u6=%d, u6s=%d, u4=%d, u4s=%d, m6=%d, m6s=%d, m4=%d, m4s=%d",
581               caglobals.ip.u6.fd, caglobals.ip.u6s.fd, caglobals.ip.u4.fd, caglobals.ip.u4s.fd,
582               caglobals.ip.m6.fd, caglobals.ip.m6s.fd, caglobals.ip.m4.fd, caglobals.ip.m4s.fd);
583
584     OIC_LOG_V(DEBUG, TAG,
585               "port summary: u6 port=%d, u6s port=%d, u4 port=%d, u4s port=%d, m6 port=%d,"
586               "m6s port=%d, m4 port=%d, m4s port=%d",
587               caglobals.ip.u6.port, caglobals.ip.u6s.port, caglobals.ip.u4.port,
588               caglobals.ip.u4s.port, caglobals.ip.m6.port, caglobals.ip.m6s.port,
589               caglobals.ip.m4.port, caglobals.ip.m4s.port);
590     // create pipe for fast shutdown
591     CAInitializePipe();
592     CHECKFD(caglobals.ip.shutdownFds[0]);
593     CHECKFD(caglobals.ip.shutdownFds[1]);
594
595     // create source of network interface change notifications
596     CAInitializeNetlink();
597
598     caglobals.ip.selectTimeout = CAGetPollingInterval(caglobals.ip.selectTimeout);
599
600     res = CAIPStartListenServer();
601     if (CA_STATUS_OK != res)
602     {
603         OIC_LOG_V(ERROR, TAG, "Failed to start listening server![%d]", res);
604         return res;
605     }
606
607     caglobals.ip.terminate = false;
608     res = ca_thread_pool_add_task(threadPool, CAReceiveHandler, NULL);
609     if (CA_STATUS_OK != res)
610     {
611         OIC_LOG(ERROR, TAG, "thread_pool_add_task failed");
612         return res;
613     }
614     OIC_LOG(DEBUG, TAG, "CAReceiveHandler thread started successfully.");
615
616     caglobals.ip.started = true;
617     return CA_STATUS_OK;
618 }
619
620 void CAIPStopServer()
621 {
622     caglobals.ip.started = false;
623     caglobals.ip.terminate = true;
624
625     if (caglobals.ip.shutdownFds[1] != -1)
626     {
627         close(caglobals.ip.shutdownFds[1]);
628         // receive thread will stop immediately
629     }
630     else
631     {
632         // receive thread will stop in SELECT_TIMEOUT seconds.
633     }
634 }
635
636 void CAWakeUpForChange()
637 {
638     if (caglobals.ip.shutdownFds[1] != -1)
639     {
640         ssize_t len = 0;
641         do
642         {
643             len = write(caglobals.ip.shutdownFds[1], "w", 1);
644         } while ((len == -1) && (errno == EINTR));
645         if ((len == -1) && (errno != EINTR) && (errno != EPIPE))
646         {
647             OIC_LOG_V(DEBUG, TAG, "write failed: %s", strerror(errno));
648         }
649     }
650 }
651
652 static void applyMulticastToInterface4(struct in_addr inaddr)
653 {
654     if (!caglobals.ip.ipv4enabled)
655     {
656         return;
657     }
658
659     struct ip_mreqn mreq = { .imr_multiaddr = IPv4MulticastAddress,
660                              .imr_address = inaddr,
661                              .imr_ifindex = 0 };
662     if (setsockopt(caglobals.ip.m4.fd, IPPROTO_IP, IP_ADD_MEMBERSHIP, &mreq, sizeof (mreq)))
663     {
664         if (EADDRINUSE != errno)
665         {
666             OIC_LOG_V(ERROR, TAG, "IPv4 IP_ADD_MEMBERSHIP failed: %s", strerror(errno));
667         }
668     }
669     if (setsockopt(caglobals.ip.m4s.fd, IPPROTO_IP, IP_ADD_MEMBERSHIP, &mreq, sizeof (mreq)))
670     {
671         if (EADDRINUSE != errno)
672         {
673             OIC_LOG_V(ERROR, TAG, "secure IPv4 IP_ADD_MEMBERSHIP failed: %s", strerror(errno));
674         }
675     }
676 }
677
678 static void applyMulticast6(int fd, struct in6_addr *addr, uint32_t interface)
679 {
680     struct ipv6_mreq mreq = {.ipv6mr_multiaddr = *addr, .ipv6mr_interface = interface};
681
682     if (setsockopt(fd, IPPROTO_IPV6, IPV6_JOIN_GROUP, &mreq, sizeof (mreq)))
683     {
684         if (EADDRINUSE != errno)
685         {
686             OIC_LOG_V(ERROR, TAG, "IPv6 IP_ADD_MEMBERSHIP failed: %s", strerror(errno));
687         }
688     }
689 }
690
691 static void applyMulticastToInterface6(uint32_t interface)
692 {
693     if (!caglobals.ip.ipv6enabled)
694     {
695         return;
696     }
697     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressInt, interface);
698     applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressLnk, interface);
699     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressRlm, interface);
700     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressAdm, interface);
701     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressSit, interface);
702     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressOrg, interface);
703     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressGlb, interface);
704
705     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressInt, interface);
706     applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressLnk, interface);
707     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressRlm, interface);
708     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressAdm, interface);
709     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressSit, interface);
710     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressOrg, interface);
711     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressGlb, interface);
712 }
713
714 CAResult_t CAIPStartListenServer()
715 {
716     u_arraylist_t *iflist = CAIPGetInterfaceInformation(0);
717     if (!iflist)
718     {
719         OIC_LOG_V(ERROR, TAG, "get interface info failed: %s", strerror(errno));
720         return CA_STATUS_FAILED;
721     }
722
723     uint32_t len = u_arraylist_length(iflist);
724     OIC_LOG_V(DEBUG, TAG, "IP network interfaces found: %d", len);
725
726     for (uint32_t i = 0; i < len; i++)
727     {
728         CAInterface_t *ifitem = (CAInterface_t *)u_arraylist_get(iflist, i);
729
730         if (!ifitem)
731         {
732             continue;
733         }
734         if ((ifitem->flags & (IFF_UP|IFF_RUNNING)) != (IFF_UP|IFF_RUNNING))
735         {
736             continue;
737         }
738         if (ifitem->family == AF_INET)
739         {
740             struct in_addr inaddr;
741             inaddr.s_addr = ifitem->ipv4addr;
742             applyMulticastToInterface4(inaddr);
743             OIC_LOG_V(DEBUG, TAG, "IPv4 network interface: %s", ifitem->name);
744         }
745         if (ifitem->family == AF_INET6)
746         {
747             applyMulticastToInterface6(ifitem->index);
748             OIC_LOG_V(DEBUG, TAG, "IPv6 network interface: %s", ifitem->name);
749         }
750     }
751
752     u_arraylist_destroy(iflist);
753     return CA_STATUS_OK;
754 }
755
756 CAResult_t CAIPStopListenServer()
757 {
758     u_arraylist_t *iflist = CAIPGetInterfaceInformation(0);
759     if (!iflist)
760     {
761         OIC_LOG_V(ERROR, TAG, "Get interface info failed: %s", strerror(errno));
762         return CA_STATUS_FAILED;
763     }
764
765     uint32_t len = u_arraylist_length(iflist);
766     OIC_LOG_V(DEBUG, TAG, "IP network interfaces found: %d", len);
767
768     for (uint32_t i = 0; i < len; i++)
769     {
770         CAInterface_t *ifitem = (CAInterface_t *)u_arraylist_get(iflist, i);
771
772         if (!ifitem)
773         {
774             continue;
775         }
776
777         if ((ifitem->flags & (IFF_UP|IFF_RUNNING)) != (IFF_UP|IFF_RUNNING))
778         {
779             continue;
780         }
781         if (ifitem->family == AF_INET)
782         {
783             close(caglobals.ip.m4.fd);
784             close(caglobals.ip.m4s.fd);
785             caglobals.ip.m4.fd = -1;
786             caglobals.ip.m4s.fd = -1;
787             OIC_LOG_V(DEBUG, TAG, "IPv4 network interface: %s cloed", ifitem->name);
788         }
789         if (ifitem->family == AF_INET6)
790         {
791             close(caglobals.ip.m6.fd);
792             close(caglobals.ip.m6s.fd);
793             caglobals.ip.m6.fd = -1;
794             caglobals.ip.m6s.fd = -1;
795             OIC_LOG_V(DEBUG, TAG, "IPv6 network interface: %s", ifitem->name);
796         }
797     }
798     u_arraylist_destroy(iflist);
799     return CA_STATUS_OK;
800 }
801
802 static void CAProcessNewInterface(CAInterface_t *ifitem)
803 {
804     if (!ifitem)
805     {
806         OIC_LOG(DEBUG, TAG, "ifitem is null");
807         return;
808     }
809     if (ifitem->family == AF_INET6)
810     {
811         applyMulticastToInterface6(ifitem->index);
812     }
813     if (ifitem->family == AF_INET)
814     {
815         struct in_addr inaddr = { .s_addr = ifitem->ipv4addr };
816         applyMulticastToInterface4(inaddr);
817     }
818 }
819
820 void CAIPSetPacketReceiveCallback(CAIPPacketReceivedCallback callback)
821 {
822     g_packetReceivedCallback = callback;
823 }
824
825 void CAIPSetConnectionStateChangeCallback(CAIPConnectionStateChangeCallback callback)
826 {
827     CAIPSetNetworkMonitorCallback(callback);
828 }
829
830 static void sendData(int fd, const CAEndpoint_t *endpoint,
831                      const void *data, uint32_t dlen,
832                      const char *cast, const char *fam)
833 {
834     OIC_LOG(DEBUG, TAG, "IN");
835
836     if (!endpoint)
837     {
838         OIC_LOG(DEBUG, TAG, "endpoint is null");
839         if (g_ipErrorHandler)
840         {
841             g_ipErrorHandler(endpoint, data, dlen, CA_STATUS_INVALID_PARAM);
842         }
843         return;
844     }
845
846     char *secure = (endpoint->flags & CA_SECURE) ? "secure " : "";
847     (void)secure;   // eliminates release warning
848     struct sockaddr_storage sock;
849     CAConvertNameToAddr(endpoint->addr, endpoint->port, &sock);
850
851     socklen_t socklen;
852     if (sock.ss_family == AF_INET6)
853     {
854         struct sockaddr_in6 *sock6 = (struct sockaddr_in6 *)&sock;
855         if (!sock6->sin6_scope_id)
856         {
857             sock6->sin6_scope_id = endpoint->interface;
858         }
859         socklen = sizeof(struct sockaddr_in6);
860     }
861     else
862     {
863         socklen = sizeof(struct sockaddr_in);
864     }
865
866     ssize_t len = sendto(fd, data, dlen, 0, (struct sockaddr *)&sock, socklen);
867     if (-1 == len)
868     {
869          // If logging is not defined/enabled.
870         (void)cast;
871         (void)fam;
872         if (g_ipErrorHandler)
873         {
874             g_ipErrorHandler(endpoint, data, dlen, CA_SEND_FAILED);
875         }
876         OIC_LOG_V(ERROR, TAG, "%s%s %s sendTo failed: %s", secure, cast, fam, strerror(errno));
877     }
878     else
879     {
880         OIC_LOG_V(INFO, TAG, "%s%s %s sendTo is successful: %zd bytes", secure, cast, fam, len);
881     }
882 }
883
884 static void sendMulticastData6(const u_arraylist_t *iflist,
885                                CAEndpoint_t *endpoint,
886                                const void *data, uint32_t datalen)
887 {
888     if (!endpoint)
889     {
890         OIC_LOG(DEBUG, TAG, "endpoint is null");
891         return;
892     }
893
894     int scope = endpoint->flags & CA_SCOPE_MASK;
895     char *ipv6mcname = ipv6mcnames[scope];
896     if (!ipv6mcname)
897     {
898         OIC_LOG_V(INFO, TAG, "IPv6 multicast scope invalid: %d", scope);
899         return;
900     }
901     OICStrcpy(endpoint->addr, sizeof(endpoint->addr), ipv6mcname);
902     int fd = caglobals.ip.u6.fd;
903
904     uint32_t len = u_arraylist_length(iflist);
905     for (uint32_t i = 0; i < len; i++)
906     {
907         CAInterface_t *ifitem = (CAInterface_t *)u_arraylist_get(iflist, i);
908         if (!ifitem)
909         {
910             continue;
911         }
912         if ((ifitem->flags & (IFF_UP|IFF_RUNNING)) != (IFF_UP|IFF_RUNNING))
913         {
914             continue;
915         }
916         if (ifitem->family != AF_INET6)
917         {
918             continue;
919         }
920
921         int index = ifitem->index;
922         if (setsockopt(fd, IPPROTO_IPV6, IPV6_MULTICAST_IF, &index, sizeof (index)))
923         {
924             OIC_LOG_V(ERROR, TAG, "setsockopt6 failed: %s", strerror(errno));
925             return;
926         }
927         sendData(fd, endpoint, data, datalen, "multicast", "ipv6");
928     }
929 }
930
931 static void sendMulticastData4(const u_arraylist_t *iflist,
932                                CAEndpoint_t *endpoint,
933                                const void *data, uint32_t datalen)
934 {
935     VERIFY_NON_NULL_VOID(endpoint, TAG, "endpoint is NULL");
936
937     struct ip_mreqn mreq = { .imr_multiaddr = IPv4MulticastAddress,
938                              .imr_ifindex = 0 };
939     OICStrcpy(endpoint->addr, sizeof(endpoint->addr), IPv4_MULTICAST);
940     int fd = caglobals.ip.u4.fd;
941
942     uint32_t len = u_arraylist_length(iflist);
943     for (uint32_t i = 0; i < len; i++)
944     {
945         CAInterface_t *ifitem = (CAInterface_t *)u_arraylist_get(iflist, i);
946         if (!ifitem)
947         {
948             continue;
949         }
950         if ((ifitem->flags & (IFF_UP|IFF_RUNNING)) != (IFF_UP|IFF_RUNNING))
951         {
952             continue;
953         }
954         if (ifitem->family != AF_INET)
955         {
956             continue;
957         }
958
959         struct in_addr inaddr;
960         inaddr.s_addr = ifitem->ipv4addr;
961         mreq.imr_address = inaddr;
962         if (setsockopt(fd, IPPROTO_IP, IP_MULTICAST_IF, &mreq, sizeof (mreq)))
963         {
964             OIC_LOG_V(ERROR, TAG, "send IP_MULTICAST_IF failed: %s (using defualt)",
965                     strerror(errno));
966         }
967         sendData(fd, endpoint, data, datalen, "multicast", "ipv4");
968     }
969 }
970
971 void CAIPSendData(CAEndpoint_t *endpoint, const void *data, uint32_t datalen,
972                   bool isMulticast)
973 {
974     VERIFY_NON_NULL_VOID(endpoint, TAG, "endpoint is NULL");
975     VERIFY_NON_NULL_VOID(data, TAG, "data is NULL");
976
977     bool isSecure = (endpoint->flags & CA_SECURE) != 0;
978
979     if (isMulticast)
980     {
981         endpoint->port = isSecure ? CA_SECURE_COAP : CA_COAP;
982
983         u_arraylist_t *iflist = CAIPGetInterfaceInformation(0);
984         if (!iflist)
985         {
986             OIC_LOG_V(ERROR, TAG, "get interface info failed: %s", strerror(errno));
987             return;
988         }
989
990         if ((endpoint->flags & CA_IPV6) && caglobals.ip.ipv6enabled)
991         {
992             sendMulticastData6(iflist, endpoint, data, datalen);
993         }
994         if ((endpoint->flags & CA_IPV4) && caglobals.ip.ipv4enabled)
995         {
996             sendMulticastData4(iflist, endpoint, data, datalen);
997         }
998
999         u_arraylist_destroy(iflist);
1000     }
1001     else
1002     {
1003         if (!endpoint->port)    // unicast discovery
1004         {
1005             endpoint->port = isSecure ? CA_SECURE_COAP : CA_COAP;
1006         }
1007
1008         int fd;
1009         if (caglobals.ip.ipv6enabled && (endpoint->flags & CA_IPV6))
1010         {
1011             fd = isSecure ? caglobals.ip.u6s.fd : caglobals.ip.u6.fd;
1012 #ifndef __WITH_DTLS__
1013             fd = caglobals.ip.u6.fd;
1014 #endif
1015             sendData(fd, endpoint, data, datalen, "unicast", "ipv6");
1016         }
1017         if (caglobals.ip.ipv4enabled && (endpoint->flags & CA_IPV4))
1018         {
1019             fd = isSecure ? caglobals.ip.u4s.fd : caglobals.ip.u4.fd;
1020 #ifndef __WITH_DTLS__
1021             fd = caglobals.ip.u4.fd;
1022 #endif
1023             sendData(fd, endpoint, data, datalen, "unicast", "ipv4");
1024         }
1025     }
1026 }
1027
1028 CAResult_t CAGetIPInterfaceInformation(CAEndpoint_t **info, uint32_t *size)
1029 {
1030     VERIFY_NON_NULL(info, TAG, "info is NULL");
1031     VERIFY_NON_NULL(size, TAG, "size is NULL");
1032
1033     u_arraylist_t *iflist = CAIPGetInterfaceInformation(0);
1034     if (!iflist)
1035     {
1036         OIC_LOG_V(ERROR, TAG, "get interface info failed: %s", strerror(errno));
1037         return CA_STATUS_FAILED;
1038     }
1039
1040     uint32_t len = u_arraylist_length(iflist);
1041     uint32_t length = len;
1042
1043 #ifdef __WITH_DTLS__
1044     //If DTLS is supported, each interface can support secure port as well
1045     length = len * 2;
1046 #endif
1047
1048     CAEndpoint_t *eps = (CAEndpoint_t *)OICCalloc(length, sizeof (CAEndpoint_t));
1049     if (!eps)
1050     {
1051         OIC_LOG(ERROR, TAG, "Malloc Failed");
1052         u_arraylist_destroy(iflist);
1053         return CA_MEMORY_ALLOC_FAILED;
1054     }
1055
1056     for (uint32_t i = 0, j = 0; i < len; i++)
1057     {
1058         CAInterface_t *ifitem = (CAInterface_t *)u_arraylist_get(iflist, i);
1059         if(!ifitem)
1060         {
1061             continue;
1062         }
1063
1064         eps[j].adapter = CA_ADAPTER_IP;
1065         eps[j].interface = 0;
1066
1067         if (ifitem->family == AF_INET6)
1068         {
1069             eps[j].flags = CA_IPV6;
1070             eps[j].port = caglobals.ip.u6.port;
1071         }
1072         else
1073         {
1074             eps[j].flags = CA_IPV4;
1075             eps[j].port = caglobals.ip.u4.port;
1076
1077             inet_ntop(AF_INET, &(ifitem->ipv4addr), eps[j].addr, MAX_ADDR_STR_SIZE_CA);
1078         }
1079
1080 #ifdef __WITH_DTLS__
1081         j++;
1082
1083         eps[j].adapter = CA_ADAPTER_IP;
1084         eps[j].interface = 0;
1085
1086         if (ifitem->family == AF_INET6)
1087         {
1088             eps[j].flags = CA_IPV6 | CA_SECURE;
1089             eps[j].port = caglobals.ip.u6s.port;
1090         }
1091         else
1092         {
1093             eps[j].flags = CA_IPV4 | CA_SECURE;
1094             eps[j].port = caglobals.ip.u4s.port;
1095             inet_ntop(AF_INET, &(ifitem->ipv4addr), eps[j].addr, MAX_ADDR_STR_SIZE_CA);
1096         }
1097 #endif
1098         j++;
1099     }
1100
1101     *info = eps;
1102     *size = len;
1103
1104     u_arraylist_destroy(iflist);
1105
1106     return CA_STATUS_OK;
1107 }
1108
1109 void CAIPSetErrorHandler(CAIPErrorHandleCallback errorHandleCallback)
1110 {
1111     g_ipErrorHandler = errorHandleCallback;
1112 }