resource/csdk/connectivity/src/ip_adapter/caipserver.c

   1 /* ****************************************************************
   2  *
   3  * Copyright 2014 Samsung Electronics All Rights Reserved.
   4  *
   5  *
   6  *
   7  * Licensed under the Apache License, Version 2.0 (the "License");
   8  * you may not use this file except in compliance with the License.
   9  * You may obtain a copy of the License at
  10  *
  11  *      http://www.apache.org/licenses/LICENSE-2.0
  12  *
  13  * Unless required by applicable law or agreed to in writing, software
  14  * distributed under the License is distributed on an "AS IS" BASIS,
  15  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  16  * See the License for the specific language governing permissions and
  17  * limitations under the License.
  18  *
  19  ******************************************************************/
  20
  21 #ifndef __APPLE_USE_RFC_3542
  22 #define __APPLE_USE_RFC_3542 // for PKTINFO
  23 #endif
  24 #ifndef _GNU_SOURCE
  25 #define _GNU_SOURCE // for in6_pktinfo
  26 #endif
  27
  28 #include "iotivity_config.h"
  29 #include <sys/types.h>
  30 #if !defined(_WIN32)
  31 #include <sys/socket.h>
  32 #endif
  33
  34 #if defined(_WIN32)
  35 #include <assert.h>
  36 #include <winsock2.h>
  37 #include <ws2def.h>
  38 #include <mswsock.h>
  39 #include <ws2tcpip.h>
  40 #endif
  41
  42 #include <stdio.h>
  43 #if !defined(_MSC_VER)
  44 #include <unistd.h>
  45 #endif //!defined(_MSC_VER)
  46 #include <sys/types.h>
  47 #include <fcntl.h>
  48 #if !defined(_WIN32)
  49 #include <sys/select.h>
  50 #include <arpa/inet.h>
  51 #include <netinet/in.h>
  52 #include <net/if.h>
  53 #endif
  54 #include <errno.h>
  55 #ifdef __linux__
  56 #include <linux/netlink.h>
  57 #include <linux/rtnetlink.h>
  58 #endif
  59
  60 #include <coap/pdu.h>
  61 #include "caipinterface.h"
  62 #include "caipnwmonitor.h"
  63 #include "caadapterutils.h"
  64 #if defined(__WITH_DTLS__) || defined(__WITH_TLS__)
  65 #include "ca_adapter_net_ssl.h"
  66 #endif
  67 #include "octhread.h"
  68 #include "oic_malloc.h"
  69 #include "oic_string.h"
  70
  71 #define USE_IP_MREQN
  72 #if defined(_WIN32)
  73 #undef USE_IP_MREQN
  74 #endif
  75
  76 /*
  77  * Logging tag for module name
  78  */
  79 #define TAG "OIC_CA_IP_SERVER"
  80
  81 #define SELECT_TIMEOUT 1     // select() seconds (and termination latency)
  82
  83 #define IPv4_MULTICAST     "224.0.1.187"
  84 static struct in_addr IPv4MulticastAddress = { 0 };
  85
  86 #define IPv6_DOMAINS       16
  87 #define IPv6_MULTICAST_INT "ff01::158"
  88 static struct in6_addr IPv6MulticastAddressInt;
  89 #define IPv6_MULTICAST_LNK "ff02::158"
  90 static struct in6_addr IPv6MulticastAddressLnk;
  91 #define IPv6_MULTICAST_RLM "ff03::158"
  92 static struct in6_addr IPv6MulticastAddressRlm;
  93 #define IPv6_MULTICAST_ADM "ff04::158"
  94 static struct in6_addr IPv6MulticastAddressAdm;
  95 #define IPv6_MULTICAST_SIT "ff05::158"
  96 static struct in6_addr IPv6MulticastAddressSit;
  97 #define IPv6_MULTICAST_ORG "ff08::158"
  98 static struct in6_addr IPv6MulticastAddressOrg;
  99 #define IPv6_MULTICAST_GLB "ff0e::158"
 100 static struct in6_addr IPv6MulticastAddressGlb;
 101
 102 static char *ipv6mcnames[IPv6_DOMAINS] = {
 103     NULL,
 104     IPv6_MULTICAST_INT,
 105     IPv6_MULTICAST_LNK,
 106     IPv6_MULTICAST_RLM,
 107     IPv6_MULTICAST_ADM,
 108     IPv6_MULTICAST_SIT,
 109     NULL,
 110     NULL,
 111     IPv6_MULTICAST_ORG,
 112     NULL,
 113     NULL,
 114     NULL,
 115     NULL,
 116     NULL,
 117     IPv6_MULTICAST_GLB,
 118     NULL
 119 };
 120
 121 #if defined (_WIN32)
 122 #define IFF_UP_RUNNING_FLAGS  (IFF_UP)
 123
 124     char* caips_get_error(){
 125         static char buffer[32];
 126         snprintf(buffer, 32, "%i", WSAGetLastError());
 127         return buffer;
 128     }
 129 #define CAIPS_GET_ERROR \
 130     caips_get_error()
 131 #else
 132 #define IFF_UP_RUNNING_FLAGS  (IFF_UP|IFF_RUNNING)
 133
 134 #define CAIPS_GET_ERROR \
 135     strerror(errno)
 136 #endif
 137 static CAIPErrorHandleCallback g_ipErrorHandler = NULL;
 138
 139 static CAIPPacketReceivedCallback g_packetReceivedCallback = NULL;
 140
 141 static void CAFindReadyMessage();
 142 #if !defined(WSA_WAIT_EVENT_0)
 143 static void CASelectReturned(fd_set *readFds, int ret);
 144 #else
 145 static void CAEventReturned(CASocketFd_t socket);
 146 #endif
 147 static void CAProcessNewInterface(CAInterface_t *ifchanged);
 148 static CAResult_t CAReceiveMessage(CASocketFd_t fd, CATransportFlags_t flags);
 149
 150 static void CAReceiveHandler(void *data)
 151 {
 152     (void)data;
 153
 154     while (!caglobals.ip.terminate)
 155     {
 156         CAFindReadyMessage();
 157     }
 158 }
 159
 160 #if !defined(WSA_WAIT_EVENT_0)
 161
 162 #define CLOSE_SOCKET(TYPE) \
 163     if (caglobals.ip.TYPE.fd != OC_INVALID_SOCKET) \
 164     { \
 165         close(caglobals.ip.TYPE.fd); \
 166         caglobals.ip.TYPE.fd = OC_INVALID_SOCKET; \
 167     }
 168
 169 #define SET(TYPE, FDS) \
 170     if (caglobals.ip.TYPE.fd != OC_INVALID_SOCKET) \
 171     { \
 172         FD_SET(caglobals.ip.TYPE.fd, FDS); \
 173     }
 174
 175 #define ISSET(TYPE, FDS, FLAGS) \
 176     if (caglobals.ip.TYPE.fd != OC_INVALID_SOCKET && FD_ISSET(caglobals.ip.TYPE.fd, FDS)) \
 177     { \
 178         fd = caglobals.ip.TYPE.fd; \
 179         flags = FLAGS; \
 180     }
 181
 182
 183 static void CAFindReadyMessage()
 184 {
 185     fd_set readFds;
 186     struct timeval timeout;
 187
 188     timeout.tv_sec = caglobals.ip.selectTimeout;
 189     timeout.tv_usec = 0;
 190     struct timeval *tv = caglobals.ip.selectTimeout == -1 ? NULL : &timeout;
 191
 192     FD_ZERO(&readFds);
 193     SET(u6,  &readFds)
 194     SET(u6s, &readFds)
 195     SET(u4,  &readFds)
 196     SET(u4s, &readFds)
 197     SET(m6,  &readFds)
 198     SET(m6s, &readFds)
 199     SET(m4,  &readFds)
 200     SET(m4s, &readFds)
 201
 202     if (caglobals.ip.shutdownFds[0] != -1)
 203     {
 204         FD_SET(caglobals.ip.shutdownFds[0], &readFds);
 205     }
 206     if (caglobals.ip.netlinkFd != OC_INVALID_SOCKET)
 207     {
 208         FD_SET(caglobals.ip.netlinkFd, &readFds);
 209     }
 210
 211     int ret = select(caglobals.ip.maxfd + 1, &readFds, NULL, NULL, tv);
 212
 213     if (caglobals.ip.terminate)
 214     {
 215         OIC_LOG_V(DEBUG, TAG, "Packet receiver Stop request received.");
 216         return;
 217     }
 218
 219     if (ret <= 0)
 220     {
 221         if (ret < 0)
 222         {
 223             OIC_LOG_V(FATAL, TAG, "select error %s", CAIPS_GET_ERROR);
 224         }
 225         return;
 226     }
 227
 228     CASelectReturned(&readFds, ret);
 229 }
 230
 231 static void CASelectReturned(fd_set *readFds, int ret)
 232 {
 233     (void)ret;
 234     CASocketFd_t fd = OC_INVALID_SOCKET;
 235     CATransportFlags_t flags = CA_DEFAULT_FLAGS;
 236
 237     while (!caglobals.ip.terminate)
 238     {
 239         ISSET(u6,  readFds, CA_IPV6)
 240         else ISSET(u6s, readFds, CA_IPV6 | CA_SECURE)
 241         else ISSET(u4,  readFds, CA_IPV4)
 242         else ISSET(u4s, readFds, CA_IPV4 | CA_SECURE)
 243         else ISSET(m6,  readFds, CA_MULTICAST | CA_IPV6)
 244         else ISSET(m6s, readFds, CA_MULTICAST | CA_IPV6 | CA_SECURE)
 245         else ISSET(m4,  readFds, CA_MULTICAST | CA_IPV4)
 246         else ISSET(m4s, readFds, CA_MULTICAST | CA_IPV4 | CA_SECURE)
 247         else if ((caglobals.ip.netlinkFd != OC_INVALID_SOCKET) && FD_ISSET(caglobals.ip.netlinkFd, readFds))
 248         {
 249             CAInterface_t *ifchanged = CAFindInterfaceChange();
 250             if (ifchanged)
 251             {
 252                 CAProcessNewInterface(ifchanged);
 253                 OICFree(ifchanged);
 254             }
 255             break;
 256         }
 257         else if (FD_ISSET(caglobals.ip.shutdownFds[0], readFds))
 258         {
 259             char buf[10] = {0};
 260             ssize_t len = read(caglobals.ip.shutdownFds[0], buf, sizeof (buf));
 261             if (-1 == len)
 262             {
 263                 continue;
 264             }
 265             break;
 266         }
 267         else
 268         {
 269             break;
 270         }
 271         (void)CAReceiveMessage(fd, flags);
 272         FD_CLR(fd, readFds);
 273     }
 274 }
 275
 276 #else // if defined(WSA_WAIT_EVENT_0)
 277
 278 #define CLOSE_SOCKET(TYPE) \
 279     if (caglobals.ip.TYPE.fd != OC_INVALID_SOCKET) \
 280     { \
 281         closesocket(caglobals.ip.TYPE.fd); \
 282         caglobals.ip.TYPE.fd = OC_INVALID_SOCKET; \
 283     }
 284
 285 #define PUSH_HANDLE(HANDLE, ARRAY, INDEX) \
 286 { \
 287     ARRAY[INDEX] = HANDLE; \
 288     INDEX++; \
 289 }
 290
 291 // Turn handle into WSAEvent and push to ARRAY
 292 #define PUSH_SOCKET(SOCKET, ARRAY, INDEX) \
 293     if (SOCKET != OC_INVALID_SOCKET) \
 294     { \
 295         WSAEVENT NewEvent; \
 296         NewEvent = WSACreateEvent(); \
 297         if (WSA_INVALID_EVENT != NewEvent) \
 298         { \
 299             if (0 != WSAEventSelect(SOCKET, NewEvent, FD_READ)) \
 300             { \
 301                 OIC_LOG_V(ERROR, TAG, "WSAEventSelect failed 0x%08x ", WSAGetLastError()); \
 302                 if (!WSACloseEvent(NewEvent)) \
 303                 { \
 304                     OIC_LOG_V(ERROR, TAG, "WSACloseEvent(NewEvent) failed 0x%08x", WSAGetLastError()); \
 305                 } \
 306             } \
 307             else \
 308             { \
 309                 PUSH_HANDLE(NewEvent, ARRAY, INDEX); \
 310             } \
 311         } \
 312         else \
 313         { \
 314             OIC_LOG_V(ERROR, TAG, "WSACreateEvent(NewEvent) failed 0x%08x", WSAGetLastError()); \
 315         }\
 316     }
 317
 318 #define INSERT_SOCKET(FD, ARRAY, INDEX) \
 319     { \
 320         if (OC_INVALID_SOCKET != FD) \
 321         { \
 322             ARRAY[INDEX] = FD; \
 323         } \
 324     }
 325
 326
 327 // Inserts the socket into the SOCKET_ARRAY and pushes the socket event into EVENT_ARRAY
 328 #define PUSH_IP_SOCKET(TYPE, EVENT_ARRAY, SOCKET_ARRAY, INDEX) \
 329     { \
 330         if (OC_INVALID_SOCKET != caglobals.ip.TYPE.fd) \
 331         { \
 332             INSERT_SOCKET(caglobals.ip.TYPE.fd, SOCKET_ARRAY, INDEX); \
 333             PUSH_SOCKET(caglobals.ip.TYPE.fd, EVENT_ARRAY, INDEX); \
 334         } \
 335     }
 336
 337 #define IS_MATCHING_IP_SOCKET(TYPE, SOCKET, FLAGS) \
 338     if ((caglobals.ip.TYPE.fd != OC_INVALID_SOCKET) && (caglobals.ip.TYPE.fd == SOCKET)) \
 339     { \
 340         fd = caglobals.ip.TYPE.fd; \
 341         flags = FLAGS; \
 342     }
 343
 344 #define EVENT_ARRAY_SIZE  10
 345
 346 static void CAFindReadyMessage()
 347 {
 348     CASocketFd_t socketArray[EVENT_ARRAY_SIZE];
 349     HANDLE eventArray[EVENT_ARRAY_SIZE];
 350     int arraySize = 0;
 351     int eventIndex;
 352
 353     // socketArray and eventArray should have same number of elements
 354     OC_STATIC_ASSERT(_countof(socketArray) == _countof(eventArray), "Arrays should have same number of elements");
 355
 356     PUSH_IP_SOCKET(u6,  eventArray, socketArray, arraySize);
 357     PUSH_IP_SOCKET(u6s, eventArray, socketArray, arraySize);
 358     PUSH_IP_SOCKET(u4,  eventArray, socketArray, arraySize);
 359     PUSH_IP_SOCKET(u4s, eventArray, socketArray, arraySize);
 360     PUSH_IP_SOCKET(m6,  eventArray, socketArray, arraySize);
 361     PUSH_IP_SOCKET(m6s, eventArray, socketArray, arraySize);
 362     PUSH_IP_SOCKET(m4,  eventArray, socketArray, arraySize);
 363     PUSH_IP_SOCKET(m4s, eventArray, socketArray, arraySize);
 364
 365     if (WSA_INVALID_EVENT != caglobals.ip.shutdownEvent)
 366     {
 367         INSERT_SOCKET(OC_INVALID_SOCKET, socketArray, arraySize);
 368         PUSH_HANDLE(caglobals.ip.shutdownEvent, eventArray, arraySize);
 369     }
 370
 371     if (WSA_INVALID_EVENT != caglobals.ip.addressChangeEvent)
 372     {
 373         INSERT_SOCKET(OC_INVALID_SOCKET, socketArray, arraySize);
 374         PUSH_HANDLE(caglobals.ip.addressChangeEvent, eventArray, arraySize);
 375     }
 376
 377     // Should not have overflowed buffer
 378     assert(arraySize <= (_countof(socketArray)));
 379
 380     // Timeout is unnecessary on Windows
 381     assert(-1 == caglobals.ip.selectTimeout);
 382
 383     while (!caglobals.ip.terminate)
 384     {
 385         int ret = WSAWaitForMultipleEvents(arraySize, eventArray, FALSE, WSA_INFINITE, FALSE);
 386
 387         switch (ret)
 388         {
 389             case WSA_WAIT_FAILED:
 390                 OIC_LOG_V(ERROR, TAG, "WSAWaitForMultipleEvents returned WSA_WAIT_FAILED 0x%08x", WSAGetLastError());
 391                 break;
 392             case WSA_WAIT_IO_COMPLETION:
 393                 OIC_LOG_V(ERROR, TAG, "WSAWaitForMultipleEvents returned WSA_WAIT_IO_COMPLETION 0x%08x", WSAGetLastError());
 394                 break;
 395             case WSA_WAIT_TIMEOUT:
 396                 OIC_LOG_V(ERROR, TAG, "WSAWaitForMultipleEvents returned WSA_WAIT_TIMEOUT 0x%08x", WSAGetLastError());
 397                 break;
 398             default:
 399                 eventIndex = ret - WSA_WAIT_EVENT_0;
 400                 if ((eventIndex >= 0) && (eventIndex < arraySize))
 401                 {
 402                     if (false == WSAResetEvent(eventArray[eventIndex]))
 403                     {
 404                         OIC_LOG_V(ERROR, TAG, "WSAResetEvent failed 0x%08x", WSAGetLastError());
 405                     }
 406
 407                     // Handle address changes if addressChangeEvent is triggered.
 408                     if ((caglobals.ip.addressChangeEvent != WSA_INVALID_EVENT) &&
 409                         (caglobals.ip.addressChangeEvent == eventArray[eventIndex]))
 410                     {
 411                         CAInterface_t *newAddress;
 412                         while ((newAddress = CAFindInterfaceChange()) != NULL)
 413                         {
 414                             CAProcessNewInterface(newAddress);
 415                             OICFree(newAddress);
 416                         }
 417                         break;
 418                     }
 419
 420                     // Break out if shutdownEvent is triggered.
 421                     if ((caglobals.ip.shutdownEvent != WSA_INVALID_EVENT) &&
 422                         (caglobals.ip.shutdownEvent == eventArray[eventIndex]))
 423                     {
 424                         break;
 425                     }
 426                     CAEventReturned(socketArray[eventIndex]);
 427                 }
 428                 else
 429                 {
 430                     OIC_LOG_V(ERROR, TAG, "WSAWaitForMultipleEvents failed 0x%08x", WSAGetLastError());
 431                 }
 432                 break;
 433         }
 434
 435     }
 436
 437     while (arraySize > 0)
 438     {
 439         arraySize--;
 440         if (!WSACloseEvent(eventArray[arraySize]))
 441         {
 442             OIC_LOG_V(ERROR, TAG, "WSACloseEvent (Index %i) failed 0x%08x", arraySize, WSAGetLastError());
 443         }
 444     }
 445
 446     if (caglobals.ip.terminate)
 447     {
 448         caglobals.ip.shutdownEvent = WSA_INVALID_EVENT;
 449         WSACleanup();
 450     }
 451 }
 452
 453 static void CAEventReturned(CASocketFd_t socket)
 454 {
 455     CASocketFd_t fd = OC_INVALID_SOCKET;
 456     CATransportFlags_t flags = CA_DEFAULT_FLAGS;
 457
 458     while (!caglobals.ip.terminate)
 459     {
 460         IS_MATCHING_IP_SOCKET(u6,  socket, CA_IPV6)
 461         else IS_MATCHING_IP_SOCKET(u6s, socket, CA_IPV6 | CA_SECURE)
 462         else IS_MATCHING_IP_SOCKET(u4,  socket, CA_IPV4)
 463         else IS_MATCHING_IP_SOCKET(u4s, socket, CA_IPV4 | CA_SECURE)
 464         else IS_MATCHING_IP_SOCKET(m6,  socket, CA_MULTICAST | CA_IPV6)
 465         else IS_MATCHING_IP_SOCKET(m6s, socket, CA_MULTICAST | CA_IPV6 | CA_SECURE)
 466         else IS_MATCHING_IP_SOCKET(m4,  socket, CA_MULTICAST | CA_IPV4)
 467         else IS_MATCHING_IP_SOCKET(m4s, socket, CA_MULTICAST | CA_IPV4 | CA_SECURE)
 468         else
 469         {
 470             break;
 471         }
 472         (void)CAReceiveMessage(socket, flags);
 473         // We will never get more than one match per socket, so always break.
 474         break;
 475     }
 476 }
 477
 478 #endif
 479
 480 void CAUnregisterForAddressChanges()
 481 {
 482 #ifdef _WIN32
 483     if (caglobals.ip.addressChangeEvent != WSA_INVALID_EVENT)
 484     {
 485         WSACloseEvent(caglobals.ip.addressChangeEvent);
 486         caglobals.ip.addressChangeEvent = WSA_INVALID_EVENT;
 487     }
 488 #else
 489     if (caglobals.ip.netlinkFd != OC_INVALID_SOCKET)
 490     {
 491         close(caglobals.ip.netlinkFd);
 492         caglobals.ip.netlinkFd = OC_INVALID_SOCKET;
 493     }
 494 #endif
 495 }
 496
 497 void CADeInitializeIPGlobals()
 498 {
 499     CLOSE_SOCKET(u6);
 500     CLOSE_SOCKET(u6s);
 501     CLOSE_SOCKET(u4);
 502     CLOSE_SOCKET(u4s);
 503     CLOSE_SOCKET(m6);
 504     CLOSE_SOCKET(m6s);
 505     CLOSE_SOCKET(m4);
 506     CLOSE_SOCKET(m4s);
 507
 508     CAUnregisterForAddressChanges();
 509 }
 510
 511 static CAResult_t CAReceiveMessage(CASocketFd_t fd, CATransportFlags_t flags)
 512 {
 513     char recvBuffer[COAP_MAX_PDU_SIZE] = {0};
 514
 515     size_t len = 0;
 516     int level = 0;
 517     int type = 0;
 518     int namelen = 0;
 519     struct sockaddr_storage srcAddr = { .ss_family = 0 };
 520     unsigned char *pktinfo = NULL;
 521 #if !defined(WSA_CMSG_DATA)
 522     struct cmsghdr *cmp = NULL;
 523     struct iovec iov = { .iov_base = recvBuffer, .iov_len = sizeof (recvBuffer) };
 524     union control
 525     {
 526         struct cmsghdr cmsg;
 527         unsigned char data[CMSG_SPACE(sizeof (struct in6_pktinfo))];
 528     } cmsg;
 529
 530     if (flags & CA_IPV6)
 531     {
 532         namelen = sizeof (struct sockaddr_in6);
 533         level = IPPROTO_IPV6;
 534         type = IPV6_PKTINFO;
 535         len = sizeof (struct in6_pktinfo);
 536     }
 537     else
 538     {
 539         namelen = sizeof (struct sockaddr_in);
 540         level = IPPROTO_IP;
 541         type = IP_PKTINFO;
 542         len = sizeof (struct in6_pktinfo);
 543     }
 544
 545     struct msghdr msg = { .msg_name = &srcAddr,
 546                           .msg_namelen = namelen,
 547                           .msg_iov = &iov,
 548                           .msg_iovlen = 1,
 549                           .msg_control = &cmsg,
 550                           .msg_controllen = CMSG_SPACE(len) };
 551
 552     ssize_t recvLen = recvmsg(fd, &msg, flags);
 553     if (OC_SOCKET_ERROR == recvLen)
 554     {
 555         OIC_LOG_V(ERROR, TAG, "Recvfrom failed %s", strerror(errno));
 556         return CA_STATUS_FAILED;
 557     }
 558
 559     if (flags & CA_MULTICAST)
 560     {
 561         for (cmp = CMSG_FIRSTHDR(&msg); cmp != NULL; cmp = CMSG_NXTHDR(&msg, cmp))
 562         {
 563             if (cmp->cmsg_level == level && cmp->cmsg_type == type)
 564             {
 565                 pktinfo = CMSG_DATA(cmp);
 566             }
 567         }
 568     }
 569 #else // if defined(WSA_CMSG_DATA)
 570     union control
 571     {
 572         WSACMSGHDR cmsg;
 573         uint8_t data[WSA_CMSG_SPACE(sizeof (IN6_PKTINFO))];
 574     } cmsg;
 575     memset(&cmsg, 0, sizeof(cmsg));
 576
 577     if (flags & CA_IPV6)
 578     {
 579         namelen  = sizeof (struct sockaddr_in6);
 580         level = IPPROTO_IPV6;
 581         type = IPV6_PKTINFO;
 582     }
 583     else
 584     {
 585         namelen = sizeof (struct sockaddr_in);
 586         level = IPPROTO_IP;
 587         type = IP_PKTINFO;
 588     }
 589
 590     WSABUF iov = {.len = sizeof (recvBuffer), .buf = recvBuffer};
 591     WSAMSG msg = {.name = (PSOCKADDR)&srcAddr,
 592                   .namelen = namelen,
 593                   .lpBuffers = &iov,
 594                   .dwBufferCount = 1,
 595                   .Control = {.buf = cmsg.data, .len = sizeof (cmsg)}
 596                  };
 597
 598     uint32_t recvLen = 0;
 599     uint32_t ret = caglobals.ip.wsaRecvMsg(fd, &msg, &recvLen, 0,0);
 600     OIC_LOG_V(DEBUG, TAG, "WSARecvMsg recvd %u bytes", recvLen);
 601     if (OC_SOCKET_ERROR == ret)
 602     {
 603         OIC_LOG_V(ERROR, TAG, "WSARecvMsg failed %i", WSAGetLastError());
 604     }
 605
 606     if (flags & CA_MULTICAST)
 607     {
 608         for (WSACMSGHDR *cmp = WSA_CMSG_FIRSTHDR(&msg); cmp != NULL;
 609              cmp = WSA_CMSG_NXTHDR(&msg, cmp))
 610         {
 611             if (cmp->cmsg_level == level && cmp->cmsg_type == type)
 612             {
 613                 pktinfo = WSA_CMSG_DATA(cmp);
 614             }
 615         }
 616     }
 617 #endif // !defined(WSA_CMSG_DATA)
 618     CASecureEndpoint_t sep = {.endpoint = {.adapter = CA_ADAPTER_IP, .flags = flags}};
 619
 620     if (flags & CA_IPV6)
 621     {
 622         /** @todo figure out correct usage for ifindex, and sin6_scope_id.*/
 623         if ((flags & CA_MULTICAST) && pktinfo)
 624         {
 625             struct in6_addr *addr = &(((struct in6_pktinfo *)pktinfo)->ipi6_addr);
 626             unsigned char topbits = ((unsigned char *)addr)[0];
 627             if (topbits != 0xff)
 628             {
 629                 sep.endpoint.flags &= ~CA_MULTICAST;
 630             }
 631         }
 632     }
 633     else
 634     {
 635         if ((flags & CA_MULTICAST) && pktinfo)
 636         {
 637             struct in_addr *addr = &((struct in_pktinfo *)pktinfo)->ipi_addr;
 638             uint32_t host = ntohl(addr->s_addr);
 639             unsigned char topbits = ((unsigned char *)&host)[3];
 640             if (topbits < 224 || topbits > 239)
 641             {
 642                 sep.endpoint.flags &= ~CA_MULTICAST;
 643             }
 644         }
 645     }
 646
 647     CAConvertAddrToName(&srcAddr, namelen, sep.endpoint.addr, &sep.endpoint.port);
 648
 649     if (flags & CA_SECURE)
 650     {
 651 #ifdef __WITH_DTLS__
 652         int ret = CAdecryptSsl(&sep, (uint8_t *)recvBuffer, recvLen);
 653         OIC_LOG_V(DEBUG, TAG, "CAdecryptSsl returns [%d]", ret);
 654 #else
 655         OIC_LOG(ERROR, TAG, "Encrypted message but no DTLS");
 656 #endif
 657     }
 658     else
 659     {
 660         if (g_packetReceivedCallback)
 661         {
 662             g_packetReceivedCallback(&sep, recvBuffer, recvLen);
 663         }
 664     }
 665
 666     return CA_STATUS_OK;
 667
 668 }
 669
 670 void CAIPPullData()
 671 {
 672     OIC_LOG(DEBUG, TAG, "IN");
 673     OIC_LOG(DEBUG, TAG, "OUT");
 674 }
 675
 676 static CASocketFd_t CACreateSocket(int family, uint16_t *port, bool isMulticast)
 677 {
 678     int socktype = SOCK_DGRAM;
 679 #ifdef SOCK_CLOEXEC
 680     socktype |= SOCK_CLOEXEC;
 681 #endif
 682     CASocketFd_t fd = socket(family, socktype, IPPROTO_UDP);
 683     if (OC_INVALID_SOCKET == fd)
 684     {
 685         OIC_LOG_V(ERROR, TAG, "create socket failed: %s", CAIPS_GET_ERROR);
 686         return OC_INVALID_SOCKET;
 687     }
 688
 689 #if !defined(SOCK_CLOEXEC) && defined(FD_CLOEXEC)
 690     int fl = fcntl(fd, F_GETFD);
 691     if (-1 == fl || -1 == fcntl(fd, F_SETFD, fl|FD_CLOEXEC))
 692     {
 693         OIC_LOG_V(ERROR, TAG, "set FD_CLOEXEC failed: %s", strerror(errno));
 694         close(fd);
 695         return OC_INVALID_SOCKET;
 696     }
 697 #endif
 698     struct sockaddr_storage sa = { .ss_family = family };
 699     socklen_t socklen = 0;
 700
 701     if (family == AF_INET6)
 702     {
 703         int on = 1;
 704
 705         if (OC_SOCKET_ERROR == setsockopt(fd, IPPROTO_IPV6, IPV6_V6ONLY, OPTVAL_T(&on), sizeof (on)))
 706         {
 707             OIC_LOG_V(ERROR, TAG, "IPV6_V6ONLY failed: %s", CAIPS_GET_ERROR);
 708         }
 709
 710         if (isMulticast && *port) // only do this for multicast ports
 711         {
 712 #if defined(IPV6_RECVPKTINFO)
 713             if (OC_SOCKET_ERROR == setsockopt(fd, IPPROTO_IPV6, IPV6_RECVPKTINFO, &on, sizeof (on)))
 714 #else
 715             if (OC_SOCKET_ERROR == setsockopt(fd, IPPROTO_IPV6, IPV6_PKTINFO, OPTVAL_T(&on), sizeof (on)))
 716 #endif
 717             {
 718                 OIC_LOG_V(ERROR, TAG, "IPV6_RECVPKTINFO failed: %s",CAIPS_GET_ERROR);
 719             }
 720         }
 721
 722         ((struct sockaddr_in6 *)&sa)->sin6_port = htons(*port);
 723         socklen = sizeof (struct sockaddr_in6);
 724     }
 725     else
 726     {
 727         if (isMulticast && *port) // only do this for multicast ports
 728         {
 729             int on = 1;
 730             if (OC_SOCKET_ERROR == setsockopt(fd, IPPROTO_IP, IP_PKTINFO, OPTVAL_T(&on), sizeof (on)))
 731             {
 732                 OIC_LOG_V(ERROR, TAG, "IP_PKTINFO failed: %s", CAIPS_GET_ERROR);
 733             }
 734         }
 735
 736         ((struct sockaddr_in *)&sa)->sin_port = htons(*port);
 737         socklen = sizeof (struct sockaddr_in);
 738     }
 739
 740     if (isMulticast && *port) // use the given port
 741     {
 742         int on = 1;
 743         if (setsockopt(fd, SOL_SOCKET, SO_REUSEADDR, OPTVAL_T(&on), sizeof (on)))
 744         {
 745             OIC_LOG_V(ERROR, TAG, "SO_REUSEADDR failed: %s", CAIPS_GET_ERROR);
 746 #ifdef _WIN32
 747             closesocket(fd);
 748 #else
 749             close(fd);
 750 #endif
 751             return OC_INVALID_SOCKET;
 752         }
 753     }
 754
 755     if (OC_SOCKET_ERROR == bind(fd, (struct sockaddr *)&sa, socklen))
 756     {
 757         OIC_LOG_V(ERROR, TAG, "bind socket failed: %s", CAIPS_GET_ERROR);
 758 #ifdef _WIN32
 759         closesocket(fd);
 760 #else
 761         close(fd);
 762 #endif
 763         return OC_INVALID_SOCKET;
 764     }
 765
 766     if (!*port) // return the assigned port
 767     {
 768         if (OC_SOCKET_ERROR == getsockname(fd, (struct sockaddr *)&sa, &socklen))
 769         {
 770             OIC_LOG_V(ERROR, TAG, "getsockname failed: %s", CAIPS_GET_ERROR);
 771 #ifdef _WIN32
 772             closesocket(fd);
 773 #else
 774             close(fd);
 775 #endif
 776             return OC_INVALID_SOCKET;
 777         }
 778         *port = ntohs(family == AF_INET6 ?
 779                       ((struct sockaddr_in6 *)&sa)->sin6_port :
 780                       ((struct sockaddr_in *)&sa)->sin_port);
 781     }
 782
 783     return fd;
 784 }
 785
 786 #define CHECKFD(FD) \
 787     if (FD > caglobals.ip.maxfd) \
 788         caglobals.ip.maxfd = FD;
 789 #define NEWSOCKET(FAMILY, NAME, MULTICAST) \
 790     caglobals.ip.NAME.fd = CACreateSocket(FAMILY, &caglobals.ip.NAME.port, MULTICAST); \
 791     if (caglobals.ip.NAME.fd == OC_INVALID_SOCKET) \
 792     {   \
 793         caglobals.ip.NAME.port = 0; \
 794         caglobals.ip.NAME.fd = CACreateSocket(FAMILY, &caglobals.ip.NAME.port, MULTICAST); \
 795     }   \
 796     CHECKFD(caglobals.ip.NAME.fd)
 797
 798 static void CARegisterForAddressChanges()
 799 {
 800 #ifdef _WIN32
 801     caglobals.ip.addressChangeEvent = WSACreateEvent();
 802     if (WSA_INVALID_EVENT != caglobals.ip.addressChangeEvent)
 803     {
 804         OIC_LOG(ERROR, TAG, "WSACreateEvent failed");
 805     }
 806 #else
 807     caglobals.ip.netlinkFd = OC_INVALID_SOCKET;
 808 #ifdef __linux__
 809     // create NETLINK fd for interface change notifications
 810     struct sockaddr_nl sa = { AF_NETLINK, 0, 0, RTMGRP_LINK };
 811
 812     caglobals.ip.netlinkFd = socket(AF_NETLINK, SOCK_RAW|SOCK_CLOEXEC, NETLINK_ROUTE);
 813     if (caglobals.ip.netlinkFd == OC_INVALID_SOCKET)
 814     {
 815         OIC_LOG_V(ERROR, TAG, "netlink socket failed: %s", strerror(errno));
 816     }
 817     else
 818     {
 819         int r = bind(caglobals.ip.netlinkFd, (struct sockaddr *)&sa, sizeof (sa));
 820         if (r)
 821         {
 822             OIC_LOG_V(ERROR, TAG, "netlink bind failed: %s", strerror(errno));
 823             close(caglobals.ip.netlinkFd);
 824             caglobals.ip.netlinkFd = OC_INVALID_SOCKET;
 825         }
 826         else
 827         {
 828             CHECKFD(caglobals.ip.netlinkFd);
 829         }
 830     }
 831 #endif
 832 #endif
 833 }
 834
 835 static void CAInitializeFastShutdownMechanism()
 836 {
 837     caglobals.ip.selectTimeout = -1; // don't poll for shutdown
 838     int ret = -1;
 839 #if defined(WSA_WAIT_EVENT_0)
 840     caglobals.ip.shutdownEvent = WSACreateEvent();
 841     if (WSA_INVALID_EVENT != caglobals.ip.shutdownEvent)
 842     {
 843         ret = 0;
 844     }
 845 #elif defined(HAVE_PIPE2)
 846     ret = pipe2(caglobals.ip.shutdownFds, O_CLOEXEC);
 847     CHECKFD(caglobals.ip.shutdownFds[0]);
 848     CHECKFD(caglobals.ip.shutdownFds[1]);
 849 #else
 850     ret = pipe(caglobals.ip.shutdownFds);
 851     if (-1 != ret)
 852     {
 853         ret = fcntl(caglobals.ip.shutdownFds[0], F_GETFD);
 854         if (-1 != ret)
 855         {
 856             ret = fcntl(caglobals.ip.shutdownFds[0], F_SETFD, ret|FD_CLOEXEC);
 857         }
 858         if (-1 != ret)
 859         {
 860             ret = fcntl(caglobals.ip.shutdownFds[1], F_GETFD);
 861         }
 862         if (-1 != ret)
 863         {
 864             ret = fcntl(caglobals.ip.shutdownFds[1], F_SETFD, ret|FD_CLOEXEC);
 865         }
 866         if (-1 == ret)
 867         {
 868             close(caglobals.ip.shutdownFds[1]);
 869             close(caglobals.ip.shutdownFds[0]);
 870             caglobals.ip.shutdownFds[0] = -1;
 871             caglobals.ip.shutdownFds[1] = -1;
 872         }
 873     }
 874     CHECKFD(caglobals.ip.shutdownFds[0]);
 875     CHECKFD(caglobals.ip.shutdownFds[1]);
 876 #endif
 877     if (-1 == ret)
 878     {
 879         OIC_LOG_V(ERROR, TAG, "fast shutdown mechanism init failed: %s", CAIPS_GET_ERROR);
 880         caglobals.ip.selectTimeout = SELECT_TIMEOUT; //poll needed for shutdown
 881     }
 882 }
 883
 884 CAResult_t CAIPStartServer(const ca_thread_pool_t threadPool)
 885 {
 886     CAResult_t res = CA_STATUS_OK;
 887
 888     if (caglobals.ip.started)
 889     {
 890         return res;
 891     }
 892 #if defined (_WIN32)
 893     WORD wVersionRequested = MAKEWORD(2, 2);
 894     WSADATA wsaData ={.wVersion = 0};
 895     int err = WSAStartup(wVersionRequested, &wsaData);
 896     if (err != 0)
 897     {
 898         OIC_LOG_V(ERROR, TAG, "WSAStartup failed: %i", err);
 899         return CA_STATUS_FAILED;
 900     }
 901     OIC_LOG(DEBUG, TAG, "WSAStartup Succeeded");
 902 #endif
 903     if (!IPv4MulticastAddress.s_addr)
 904     {
 905         (void)inet_pton(AF_INET, IPv4_MULTICAST, &IPv4MulticastAddress);
 906         (void)inet_pton(AF_INET6, IPv6_MULTICAST_INT, &IPv6MulticastAddressInt);
 907         (void)inet_pton(AF_INET6, IPv6_MULTICAST_LNK, &IPv6MulticastAddressLnk);
 908         (void)inet_pton(AF_INET6, IPv6_MULTICAST_RLM, &IPv6MulticastAddressRlm);
 909         (void)inet_pton(AF_INET6, IPv6_MULTICAST_ADM, &IPv6MulticastAddressAdm);
 910         (void)inet_pton(AF_INET6, IPv6_MULTICAST_SIT, &IPv6MulticastAddressSit);
 911         (void)inet_pton(AF_INET6, IPv6_MULTICAST_ORG, &IPv6MulticastAddressOrg);
 912         (void)inet_pton(AF_INET6, IPv6_MULTICAST_GLB, &IPv6MulticastAddressGlb);
 913     }
 914
 915     if (!caglobals.ip.ipv6enabled && !caglobals.ip.ipv4enabled)
 916     {
 917         caglobals.ip.ipv4enabled = true;  // only needed to run CA tests
 918     }
 919
 920     if (caglobals.ip.ipv6enabled)
 921     {
 922         NEWSOCKET(AF_INET6, u6, false)
 923         NEWSOCKET(AF_INET6, u6s, false)
 924         NEWSOCKET(AF_INET6, m6, true)
 925         NEWSOCKET(AF_INET6, m6s, true)
 926         OIC_LOG_V(INFO, TAG, "IPv6 unicast port: %u", caglobals.ip.u6.port);
 927     }
 928     if (caglobals.ip.ipv4enabled)
 929     {
 930         NEWSOCKET(AF_INET, u4, false)
 931         NEWSOCKET(AF_INET, u4s, false)
 932         NEWSOCKET(AF_INET, m4, true)
 933         NEWSOCKET(AF_INET, m4s, true)
 934         OIC_LOG_V(INFO, TAG, "IPv4 unicast port: %u", caglobals.ip.u4.port);
 935     }
 936
 937     OIC_LOG_V(DEBUG, TAG,
 938               "socket summary: u6=%d, u6s=%d, u4=%d, u4s=%d, m6=%d, m6s=%d, m4=%d, m4s=%d",
 939               caglobals.ip.u6.fd, caglobals.ip.u6s.fd, caglobals.ip.u4.fd, caglobals.ip.u4s.fd,
 940               caglobals.ip.m6.fd, caglobals.ip.m6s.fd, caglobals.ip.m4.fd, caglobals.ip.m4s.fd);
 941
 942     OIC_LOG_V(DEBUG, TAG,
 943               "port summary: u6 port=%d, u6s port=%d, u4 port=%d, u4s port=%d, m6 port=%d,"
 944               "m6s port=%d, m4 port=%d, m4s port=%d",
 945               caglobals.ip.u6.port, caglobals.ip.u6s.port, caglobals.ip.u4.port,
 946               caglobals.ip.u4s.port, caglobals.ip.m6.port, caglobals.ip.m6s.port,
 947               caglobals.ip.m4.port, caglobals.ip.m4s.port);
 948 #if defined (SIO_GET_EXTENSION_FUNCTION_POINTER)
 949     caglobals.ip.wsaRecvMsg = NULL;
 950     GUID GuidWSARecvMsg = WSAID_WSARECVMSG;
 951     DWORD copied = 0;
 952     err = WSAIoctl(caglobals.ip.u4.fd, SIO_GET_EXTENSION_FUNCTION_POINTER, &GuidWSARecvMsg, sizeof(GuidWSARecvMsg), &(caglobals.ip.wsaRecvMsg), sizeof(caglobals.ip.wsaRecvMsg), &copied, 0, 0);
 953     if (0 != err)
 954     {
 955         OIC_LOG_V(ERROR, TAG, "WSAIoctl failed %i", WSAGetLastError());
 956         return CA_STATUS_FAILED;
 957     }
 958 #endif
 959     // set up appropriate FD mechanism for fast shutdown
 960     CAInitializeFastShutdownMechanism();
 961
 962     // create source of network address change notifications
 963     CARegisterForAddressChanges();
 964
 965     caglobals.ip.selectTimeout = CAGetPollingInterval(caglobals.ip.selectTimeout);
 966
 967     res = CAIPStartListenServer();
 968     if (CA_STATUS_OK != res)
 969     {
 970         OIC_LOG_V(ERROR, TAG, "Failed to start listening server![%d]", res);
 971         return res;
 972     }
 973
 974     caglobals.ip.terminate = false;
 975     res = ca_thread_pool_add_task(threadPool, CAReceiveHandler, NULL);
 976     if (CA_STATUS_OK != res)
 977     {
 978         OIC_LOG(ERROR, TAG, "thread_pool_add_task failed");
 979         return res;
 980     }
 981     OIC_LOG(DEBUG, TAG, "CAReceiveHandler thread started successfully.");
 982
 983     caglobals.ip.started = true;
 984     return CA_STATUS_OK;
 985 }
 986
 987 void CAIPStopServer()
 988 {
 989     caglobals.ip.started = false;
 990     caglobals.ip.terminate = true;
 991
 992 #if !defined(WSA_WAIT_EVENT_0)
 993     if (caglobals.ip.shutdownFds[1] != -1)
 994     {
 995         close(caglobals.ip.shutdownFds[1]);
 996         // receive thread will stop immediately
 997     }
 998     else
 999     {
1000         // receive thread will stop in SELECT_TIMEOUT seconds.
1001     }
1002 #else
1003     // receive thread will stop immediately.
1004     if (!WSASetEvent(caglobals.ip.shutdownEvent))
1005     {
1006         OIC_LOG_V(DEBUG, TAG, "set shutdown event failed: %#08X", GetLastError());
1007     }
1008 #endif
1009 }
1010
1011 void CAWakeUpForChange()
1012 {
1013 #if !defined(WSA_WAIT_EVENT_0)
1014     if (caglobals.ip.shutdownFds[1] != -1)
1015     {
1016         ssize_t len = 0;
1017         do
1018         {
1019             len = write(caglobals.ip.shutdownFds[1], "w", 1);
1020         } while ((len == -1) && (errno == EINTR));
1021         if ((len == -1) && (errno != EINTR) && (errno != EPIPE))
1022         {
1023             OIC_LOG_V(DEBUG, TAG, "write failed: %s", strerror(errno));
1024         }
1025     }
1026 #else
1027     if (!WSASetEvent(caglobals.ip.shutdownEvent))
1028     {
1029         OIC_LOG_V(DEBUG, TAG, "set shutdown event failed: %#08X", GetLastError());
1030     }
1031 #endif
1032 }
1033
1034 static void applyMulticastToInterface4(uint32_t ifindex)
1035 {
1036     if (!caglobals.ip.ipv4enabled)
1037     {
1038         return;
1039     }
1040
1041 #if defined(USE_IP_MREQN)
1042     struct ip_mreqn mreq = { .imr_multiaddr = IPv4MulticastAddress,
1043                              .imr_address.s_addr = htonl(INADDR_ANY),
1044                              .imr_ifindex = ifindex };
1045 #else
1046     struct ip_mreq mreq  = { .imr_multiaddr.s_addr = IPv4MulticastAddress.s_addr,
1047                              .imr_interface.s_addr = htonl(ifindex) };
1048 #endif
1049
1050     int ret = setsockopt(caglobals.ip.m4.fd, IPPROTO_IP, IP_ADD_MEMBERSHIP, OPTVAL_T(&mreq), sizeof (mreq));
1051     if (OC_SOCKET_ERROR == ret)
1052     {
1053 #if !defined(WSAEINVAL)
1054         if (EADDRINUSE != errno)
1055 #else
1056         if (WSAEINVAL != WSAGetLastError()) // Joining multicast group more than once (IPv4 Flavor)
1057 #endif
1058         {
1059             OIC_LOG_V(ERROR, TAG, "       IPv4 IP_ADD_MEMBERSHIP failed: %s", CAIPS_GET_ERROR);
1060         }
1061     }
1062     ret = setsockopt(caglobals.ip.m4s.fd, IPPROTO_IP, IP_ADD_MEMBERSHIP, OPTVAL_T(&mreq), sizeof (mreq));
1063     if (OC_SOCKET_ERROR == ret)
1064     {
1065 #if !defined(WSAEINVAL)
1066         if (EADDRINUSE != errno)
1067 #else
1068         if (WSAEINVAL == WSAGetLastError())
1069         {
1070             // We're trying to join the multicast group again.
1071             // If the interface has gone down and come back up, the socket might be in
1072             // an inconsistent state where it still thinks we're joined when the interface
1073             // doesn't think we're joined.  So try to leave and rejoin the group just in case.
1074             setsockopt(caglobals.ip.m4s.fd, IPPROTO_IP, IP_DROP_MEMBERSHIP, OPTVAL_T(&mreq),
1075                              sizeof(mreq));
1076             ret = setsockopt(caglobals.ip.m4s.fd, IPPROTO_IP, IP_ADD_MEMBERSHIP, OPTVAL_T(&mreq),
1077                              sizeof(mreq));
1078         }
1079         if (OC_SOCKET_ERROR == ret)
1080 #endif
1081         {
1082             OIC_LOG_V(ERROR, TAG, "SECURE IPv4 IP_ADD_MEMBERSHIP failed: %s", CAIPS_GET_ERROR);
1083         }
1084     }
1085 }
1086
1087 static void applyMulticast6(int fd, struct in6_addr *addr, uint32_t ifindex)
1088 {
1089     struct ipv6_mreq mreq = {.ipv6mr_multiaddr = {0},
1090                              .ipv6mr_interface = ifindex };
1091
1092     // VS2013 has problems with struct copies inside struct initializers, so copy separately.
1093     mreq.ipv6mr_multiaddr = *addr;
1094
1095     int ret = setsockopt(fd, IPPROTO_IPV6, IPV6_JOIN_GROUP, OPTVAL_T(&mreq), sizeof (mreq));
1096     if (OC_SOCKET_ERROR == ret)
1097     {
1098 #if !defined(_WIN32)
1099         if (EADDRINUSE != errno)
1100 #else
1101         if (WSAEINVAL == WSAGetLastError())
1102         {
1103             // We're trying to join the multicast group again.
1104             // If the interface has gone down and come back up, the socket might be in
1105             // an inconsistent state where it still thinks we're joined when the interface
1106             // doesn't think we're joined.  So try to leave and rejoin the group just in case.
1107             setsockopt(fd, IPPROTO_IPV6, IPV6_LEAVE_GROUP, OPTVAL_T(&mreq), sizeof(mreq));
1108             ret = setsockopt(fd, IPPROTO_IPV6, IPV6_JOIN_GROUP, OPTVAL_T(&mreq), sizeof(mreq));
1109         }
1110         if (OC_SOCKET_ERROR == ret)
1111 #endif
1112         {
1113             OIC_LOG_V(ERROR, TAG, "IPv6 IPV6_JOIN_GROUP failed: %s", CAIPS_GET_ERROR);
1114         }
1115     }
1116 }
1117
1118 static void applyMulticastToInterface6(uint32_t ifindex)
1119 {
1120     if (!caglobals.ip.ipv6enabled)
1121     {
1122         return;
1123     }
1124     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressInt, ifindex);
1125     applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressLnk, ifindex);
1126     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressRlm, ifindex);
1127     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressAdm, ifindex);
1128     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressSit, ifindex);
1129     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressOrg, ifindex);
1130     //applyMulticast6(caglobals.ip.m6.fd, &IPv6MulticastAddressGlb, ifindex);
1131
1132     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressInt, ifindex);
1133     applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressLnk, ifindex);
1134     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressRlm, ifindex);
1135     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressAdm, ifindex);
1136     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressSit, ifindex);
1137     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressOrg, ifindex);
1138     //applyMulticast6(caglobals.ip.m6s.fd, &IPv6MulticastAddressGlb, ifindex);
1139 }
1140
1141 CAResult_t CAIPStartListenServer()
1142 {
1143     u_arraylist_t *iflist = CAIPGetInterfaceInformation(0);
1144     if (!iflist)
1145     {
1146         OIC_LOG_V(ERROR, TAG, "CAIPGetInterfaceInformation() failed: %s", strerror(errno));
1147         return CA_STATUS_FAILED;
1148     }
1149
1150     uint32_t len = u_arraylist_length(iflist);
1151     OIC_LOG_V(DEBUG, TAG, "IP network interfaces found: %d", len);
1152
1153     for (uint32_t i = 0; i < len; i++)
1154     {
1155         CAInterface_t *ifitem = (CAInterface_t *)u_arraylist_get(iflist, i);
1156
1157         if (!ifitem)
1158         {
1159             continue;
1160         }
1161         if ((ifitem->flags & IFF_UP_RUNNING_FLAGS) != IFF_UP_RUNNING_FLAGS)
1162         {
1163             continue;
1164         }
1165         if (ifitem->family == AF_INET)
1166         {
1167             OIC_LOG_V(DEBUG, TAG, "Adding IPv4 interface %i to multicast group", ifitem->index);
1168             applyMulticastToInterface4(ifitem->index);
1169         }
1170         if (ifitem->family == AF_INET6)
1171         {
1172             OIC_LOG_V(DEBUG, TAG, "Adding IPv6 interface %i to multicast group", ifitem->index);
1173             applyMulticastToInterface6(ifitem->index);
1174         }
1175     }
1176
1177     u_arraylist_destroy(iflist);
1178     return CA_STATUS_OK;
1179 }
1180
1181 CAResult_t CAIPStopListenServer()
1182 {
1183     u_arraylist_t *iflist = CAIPGetInterfaceInformation(0);
1184     if (!iflist)
1185     {
1186         OIC_LOG_V(ERROR, TAG, "Get interface info failed: %s", strerror(errno));
1187         return CA_STATUS_FAILED;
1188     }
1189
1190     uint32_t len = u_arraylist_length(iflist);
1191     OIC_LOG_V(DEBUG, TAG, "IP network interfaces found: %d", len);
1192
1193     for (uint32_t i = 0; i < len; i++)
1194     {
1195         CAInterface_t *ifitem = (CAInterface_t *)u_arraylist_get(iflist, i);
1196
1197         if (!ifitem)
1198         {
1199             continue;
1200         }
1201         if ((ifitem->flags & IFF_UP_RUNNING_FLAGS) != IFF_UP_RUNNING_FLAGS)
1202         {
1203             continue;
1204         }
1205         if (ifitem->family == AF_INET)
1206         {
1207             CLOSE_SOCKET(m4);
1208             CLOSE_SOCKET(m4s);
1209             OIC_LOG_V(DEBUG, TAG, "IPv4 network interface: %s cloed", ifitem->name);
1210         }
1211         if (ifitem->family == AF_INET6)
1212         {
1213             CLOSE_SOCKET(m6);
1214             CLOSE_SOCKET(m6s);
1215             OIC_LOG_V(DEBUG, TAG, "IPv6 network interface: %s", ifitem->name);
1216         }
1217     }
1218     u_arraylist_destroy(iflist);
1219     return CA_STATUS_OK;
1220 }
1221
1222 static void CAProcessNewInterface(CAInterface_t *ifitem)
1223 {
1224     if (!ifitem)
1225     {
1226         OIC_LOG(DEBUG, TAG, "ifitem is null");
1227         return;
1228     }
1229
1230     if (ifitem->family == AF_INET6)
1231     {
1232         applyMulticastToInterface6(ifitem->index);
1233     }
1234     if (ifitem->family == AF_INET)
1235     {
1236         applyMulticastToInterface4(ifitem->index);
1237     }
1238 }
1239
1240 void CAIPSetPacketReceiveCallback(CAIPPacketReceivedCallback callback)
1241 {
1242     g_packetReceivedCallback = callback;
1243 }
1244
1245 static void sendData(int fd, const CAEndpoint_t *endpoint,
1246                      const void *data, uint32_t dlen,
1247                      const char *cast, const char *fam)
1248 {
1249     OIC_LOG(DEBUG, TAG, "IN");
1250
1251     if (!endpoint)
1252     {
1253         OIC_LOG(DEBUG, TAG, "endpoint is null");
1254         if (g_ipErrorHandler)
1255         {
1256             g_ipErrorHandler(endpoint, data, dlen, CA_STATUS_INVALID_PARAM);
1257         }
1258         return;
1259     }
1260
1261     (void)cast;  // eliminates release warning
1262     (void)fam;
1263
1264     struct sockaddr_storage sock = { .ss_family = 0 };
1265     CAConvertNameToAddr(endpoint->addr, endpoint->port, &sock);
1266
1267     socklen_t socklen = 0;
1268     if (sock.ss_family == AF_INET6)
1269     {
1270         /** @todo figure out correct usage for ifindex, and sin6_scope_id */
1271         socklen = sizeof(struct sockaddr_in6);
1272     }
1273     else
1274     {
1275         socklen = sizeof(struct sockaddr_in);
1276     }
1277
1278 #ifdef TB_LOG
1279     const char *secure = (endpoint->flags & CA_SECURE) ? "secure " : "";
1280 #endif
1281 #if !defined(_WIN32)
1282     ssize_t len = sendto(fd, data, dlen, 0, (struct sockaddr *)&sock, socklen);
1283     if (OC_SOCKET_ERROR == len)
1284     {
1285          // If logging is not defined/enabled.
1286         if (g_ipErrorHandler)
1287         {
1288             g_ipErrorHandler(endpoint, data, dlen, CA_SEND_FAILED);
1289         }
1290         OIC_LOG_V(ERROR, TAG, "%s%s %s sendTo failed: %s", secure, cast, fam, strerror(errno));
1291     }
1292     else
1293     {
1294         OIC_LOG_V(INFO, TAG, "%s%s %s sendTo is successful: %zd bytes", secure, cast, fam, len);
1295     }
1296 #else
1297     int err = 0;
1298     int len = 0;
1299     int sent = 0;
1300     do {
1301         len = sendto(fd, ((char*)data) + sent, dlen - sent, 0, (struct sockaddr *)&sock, socklen);
1302         if (OC_SOCKET_ERROR == len)
1303         {
1304             err = WSAGetLastError();
1305             if ((WSAEWOULDBLOCK != err) && (WSAENOBUFS != err))
1306             {
1307                  // If logging is not defined/enabled.
1308                 if (g_ipErrorHandler)
1309                 {
1310                     g_ipErrorHandler(endpoint, data, dlen, CA_SEND_FAILED);
1311                 }
1312
1313                 OIC_LOG_V(ERROR, TAG, "%s%s %s sendTo failed: %i", secure, cast, fam, err);
1314             }
1315         }
1316         else
1317         {
1318             sent += len;
1319             if (sent != len)
1320             {
1321                 OIC_LOG_V(DEBUG, TAG, "%s%s %s sendTo (Partial Send) is successful: "
1322                                       "currently sent: %ld bytes, "
1323                                       "total sent: %ld bytes, "
1324                                       "remaining: %ld bytes",
1325                                       secure, cast, fam, len, sent, dlen-sent);
1326             }
1327             else
1328             {
1329                 OIC_LOG_V(INFO, TAG, "%s%s %s sendTo is successful: %ld bytes",
1330                                      secure, cast, fam, len);
1331             }
1332         }
1333     } while ((OC_SOCKET_ERROR == len) && ((WSAEWOULDBLOCK == err) || (WSAENOBUFS == err)) || (sent < dlen));
1334 #endif
1335 }
1336
1337 static void sendMulticastData6(const u_arraylist_t *iflist,
1338                                CAEndpoint_t *endpoint,
1339                                const void *data, uint32_t datalen)
1340 {
1341     if (!endpoint)
1342     {
1343         OIC_LOG(DEBUG, TAG, "endpoint is null");
1344         return;
1345     }
1346
1347     int scope = endpoint->flags & CA_SCOPE_MASK;
1348     char *ipv6mcname = ipv6mcnames[scope];
1349     if (!ipv6mcname)
1350     {
1351         OIC_LOG_V(INFO, TAG, "IPv6 multicast scope invalid: %d", scope);
1352         return;
1353     }
1354     OICStrcpy(endpoint->addr, sizeof(endpoint->addr), ipv6mcname);
1355     int fd = caglobals.ip.u6.fd;
1356
1357     uint32_t len = u_arraylist_length(iflist);
1358     for (uint32_t i = 0; i < len; i++)
1359     {
1360         CAInterface_t *ifitem = (CAInterface_t *)u_arraylist_get(iflist, i);
1361         if (!ifitem)
1362         {
1363             continue;
1364         }
1365         if ((ifitem->flags & IFF_UP_RUNNING_FLAGS) != IFF_UP_RUNNING_FLAGS)
1366         {
1367             continue;
1368         }
1369         if (ifitem->family != AF_INET6)
1370         {
1371             continue;
1372         }
1373
1374         int index = ifitem->index;
1375         if (setsockopt(fd, IPPROTO_IPV6, IPV6_MULTICAST_IF, OPTVAL_T(&index), sizeof (index)))
1376         {
1377             OIC_LOG_V(ERROR, TAG, "setsockopt6 failed: %s", CAIPS_GET_ERROR);
1378             return;
1379         }
1380         sendData(fd, endpoint, data, datalen, "multicast", "ipv6");
1381     }
1382 }
1383
1384 static void sendMulticastData4(const u_arraylist_t *iflist,
1385                                CAEndpoint_t *endpoint,
1386                                const void *data, uint32_t datalen)
1387 {
1388     VERIFY_NON_NULL_VOID(endpoint, TAG, "endpoint is NULL");
1389
1390 #if defined(USE_IP_MREQN)
1391     struct ip_mreqn mreq = { .imr_multiaddr = IPv4MulticastAddress,
1392                              .imr_address.s_addr = htonl(INADDR_ANY),
1393                              .imr_ifindex = 0};
1394 #else
1395     struct ip_mreq mreq  = { .imr_multiaddr.s_addr = IPv4MulticastAddress.s_addr,
1396                              .imr_interface = {0}};
1397 #endif
1398
1399     OICStrcpy(endpoint->addr, sizeof(endpoint->addr), IPv4_MULTICAST);
1400     int fd = caglobals.ip.u4.fd;
1401
1402     uint32_t len = u_arraylist_length(iflist);
1403     for (uint32_t i = 0; i < len; i++)
1404     {
1405         CAInterface_t *ifitem = (CAInterface_t *)u_arraylist_get(iflist, i);
1406         if (!ifitem)
1407         {
1408             continue;
1409         }
1410         if ((ifitem->flags & IFF_UP_RUNNING_FLAGS) != IFF_UP_RUNNING_FLAGS)
1411         {
1412             continue;
1413         }
1414         if (ifitem->family != AF_INET)
1415         {
1416             continue;
1417         }
1418 #if defined(USE_IP_MREQN)
1419         mreq.imr_ifindex = ifitem->index;
1420 #else
1421         mreq.imr_interface.s_addr = htonl(ifitem->index);
1422 #endif
1423         if (setsockopt(fd, IPPROTO_IP, IP_MULTICAST_IF, OPTVAL_T(&mreq), sizeof (mreq)))
1424         {
1425             OIC_LOG_V(ERROR, TAG, "send IP_MULTICAST_IF failed: %s (using defualt)",
1426                     CAIPS_GET_ERROR);
1427         }
1428         sendData(fd, endpoint, data, datalen, "multicast", "ipv4");
1429     }
1430 }
1431
1432 void CAIPSendData(CAEndpoint_t *endpoint, const void *data, uint32_t datalen,
1433                   bool isMulticast)
1434 {
1435     VERIFY_NON_NULL_VOID(endpoint, TAG, "endpoint is NULL");
1436     VERIFY_NON_NULL_VOID(data, TAG, "data is NULL");
1437
1438     bool isSecure = (endpoint->flags & CA_SECURE) != 0;
1439
1440     if (isMulticast)
1441     {
1442         endpoint->port = isSecure ? CA_SECURE_COAP : CA_COAP;
1443
1444         u_arraylist_t *iflist = CAIPGetInterfaceInformation(0);
1445         if (!iflist)
1446         {
1447             OIC_LOG_V(ERROR, TAG, "get interface info failed: %s", strerror(errno));
1448             return;
1449         }
1450
1451         if ((endpoint->flags & CA_IPV6) && caglobals.ip.ipv6enabled)
1452         {
1453             sendMulticastData6(iflist, endpoint, data, datalen);
1454         }
1455         if ((endpoint->flags & CA_IPV4) && caglobals.ip.ipv4enabled)
1456         {
1457             sendMulticastData4(iflist, endpoint, data, datalen);
1458         }
1459
1460         u_arraylist_destroy(iflist);
1461     }
1462     else
1463     {
1464         if (!endpoint->port)    // unicast discovery
1465         {
1466             endpoint->port = isSecure ? CA_SECURE_COAP : CA_COAP;
1467         }
1468
1469         CASocketFd_t fd;
1470         if (caglobals.ip.ipv6enabled && (endpoint->flags & CA_IPV6))
1471         {
1472             fd = isSecure ? caglobals.ip.u6s.fd : caglobals.ip.u6.fd;
1473 #ifndef __WITH_DTLS__
1474             fd = caglobals.ip.u6.fd;
1475 #endif
1476             sendData(fd, endpoint, data, datalen, "unicast", "ipv6");
1477         }
1478         if (caglobals.ip.ipv4enabled && (endpoint->flags & CA_IPV4))
1479         {
1480             fd = isSecure ? caglobals.ip.u4s.fd : caglobals.ip.u4.fd;
1481 #ifndef __WITH_DTLS__
1482             fd = caglobals.ip.u4.fd;
1483 #endif
1484             sendData(fd, endpoint, data, datalen, "unicast", "ipv4");
1485         }
1486     }
1487 }
1488
1489 CAResult_t CAGetIPInterfaceInformation(CAEndpoint_t **info, uint32_t *size)
1490 {
1491     VERIFY_NON_NULL(info, TAG, "info is NULL");
1492     VERIFY_NON_NULL(size, TAG, "size is NULL");
1493
1494     u_arraylist_t *iflist = CAIPGetInterfaceInformation(0);
1495     if (!iflist)
1496     {
1497         OIC_LOG_V(ERROR, TAG, "get interface info failed: %s", strerror(errno));
1498         return CA_STATUS_FAILED;
1499     }
1500
1501     uint32_t len = u_arraylist_length(iflist);
1502     uint32_t length = len;
1503
1504 #ifdef __WITH_DTLS__
1505     //If DTLS is supported, each interface can support secure port as well
1506     length = len * 2;
1507 #endif
1508
1509     CAEndpoint_t *eps = (CAEndpoint_t *)OICCalloc(length, sizeof (CAEndpoint_t));
1510     if (!eps)
1511     {
1512         OIC_LOG(ERROR, TAG, "Malloc Failed");
1513         u_arraylist_destroy(iflist);
1514         return CA_MEMORY_ALLOC_FAILED;
1515     }
1516
1517     for (uint32_t i = 0, j = 0; i < len; i++)
1518     {
1519         CAInterface_t *ifitem = (CAInterface_t *)u_arraylist_get(iflist, i);
1520         if(!ifitem)
1521         {
1522             continue;
1523         }
1524
1525         eps[j].adapter = CA_ADAPTER_IP;
1526         eps[j].ifindex = 0;
1527
1528         if (ifitem->family == AF_INET6)
1529         {
1530             eps[j].flags = CA_IPV6;
1531             eps[j].port = caglobals.ip.u6.port;
1532         }
1533         else
1534         {
1535             eps[j].flags = CA_IPV4;
1536             eps[j].port = caglobals.ip.u4.port;
1537         }
1538         OICStrcpy(eps[j].addr, sizeof(eps[j].addr), ifitem->addr);
1539
1540 #ifdef __WITH_DTLS__
1541         j++;
1542
1543         eps[j].adapter = CA_ADAPTER_IP;
1544         eps[j].ifindex = 0;
1545
1546         if (ifitem->family == AF_INET6)
1547         {
1548             eps[j].flags = CA_IPV6 | CA_SECURE;
1549             eps[j].port = caglobals.ip.u6s.port;
1550         }
1551         else
1552         {
1553             eps[j].flags = CA_IPV4 | CA_SECURE;
1554             eps[j].port = caglobals.ip.u4s.port;
1555         }
1556         OICStrcpy(eps[j].addr, sizeof(eps[j].addr), ifitem->addr);
1557 #endif
1558         j++;
1559     }
1560
1561     *info = eps;
1562     *size = length;
1563
1564     u_arraylist_destroy(iflist);
1565
1566     return CA_STATUS_OK;
1567 }
1568
1569 void CAIPSetErrorHandler(CAIPErrorHandleCallback errorHandleCallback)
1570 {
1571     g_ipErrorHandler = errorHandleCallback;
1572 }