deps/uv/src/unix/ev/ev.c

   1 /*
   2  * libev event processing core, watcher management
   3  *
   4  * Copyright (c) 2007,2008,2009,2010,2011 Marc Alexander Lehmann <libev@schmorp.de>
   5  * All rights reserved.
   6  *
   7  * Redistribution and use in source and binary forms, with or without modifica-
   8  * tion, are permitted provided that the following conditions are met:
   9  *
  10  *   1.  Redistributions of source code must retain the above copyright notice,
  11  *       this list of conditions and the following disclaimer.
  12  *
  13  *   2.  Redistributions in binary form must reproduce the above copyright
  14  *       notice, this list of conditions and the following disclaimer in the
  15  *       documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR IMPLIED
  18  * WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MER-
  19  * CHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.  IN NO
  20  * EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPE-
  21  * CIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO,
  22  * PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS;
  23  * OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY,
  24  * WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTH-
  25  * ERWISE) ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED
  26  * OF THE POSSIBILITY OF SUCH DAMAGE.
  27  *
  28  * Alternatively, the contents of this file may be used under the terms of
  29  * the GNU General Public License ("GPL") version 2 or any later version,
  30  * in which case the provisions of the GPL are applicable instead of
  31  * the above. If you wish to allow the use of your version of this file
  32  * only under the terms of the GPL and not to allow others to use your
  33  * version of this file under the BSD license, indicate your decision
  34  * by deleting the provisions above and replace them with the notice
  35  * and other provisions required by the GPL. If you do not delete the
  36  * provisions above, a recipient may use your version of this file under
  37  * either the BSD or the GPL.
  38  */
  39
  40 /* this big block deduces configuration from config.h */
  41 #ifndef EV_STANDALONE
  42 # ifdef EV_CONFIG_H
  43 #  include EV_CONFIG_H
  44 # else
  45 #  include "config.h"
  46 # endif
  47
  48 # if HAVE_CLOCK_SYSCALL
  49 #  ifndef EV_USE_CLOCK_SYSCALL
  50 #   define EV_USE_CLOCK_SYSCALL 1
  51 #   ifndef EV_USE_REALTIME
  52 #    define EV_USE_REALTIME  0
  53 #   endif
  54 #   ifndef EV_USE_MONOTONIC
  55 #    define EV_USE_MONOTONIC 1
  56 #   endif
  57 #  endif
  58 # elif !defined(EV_USE_CLOCK_SYSCALL)
  59 #  define EV_USE_CLOCK_SYSCALL 0
  60 # endif
  61
  62 # if HAVE_CLOCK_GETTIME
  63 #  ifndef EV_USE_MONOTONIC
  64 #   define EV_USE_MONOTONIC 1
  65 #  endif
  66 #  ifndef EV_USE_REALTIME
  67 #   define EV_USE_REALTIME  0
  68 #  endif
  69 # else
  70 #  ifndef EV_USE_MONOTONIC
  71 #   define EV_USE_MONOTONIC 0
  72 #  endif
  73 #  ifndef EV_USE_REALTIME
  74 #   define EV_USE_REALTIME  0
  75 #  endif
  76 # endif
  77
  78 # if HAVE_NANOSLEEP
  79 #  ifndef EV_USE_NANOSLEEP
  80 #    define EV_USE_NANOSLEEP EV_FEATURE_OS
  81 #  endif
  82 # else
  83 #   undef EV_USE_NANOSLEEP
  84 #   define EV_USE_NANOSLEEP 0
  85 # endif
  86
  87 # if HAVE_SELECT && HAVE_SYS_SELECT_H
  88 #  ifndef EV_USE_SELECT
  89 #   define EV_USE_SELECT EV_FEATURE_BACKENDS
  90 #  endif
  91 # else
  92 #  undef EV_USE_SELECT
  93 #  define EV_USE_SELECT 0
  94 # endif
  95
  96 # if HAVE_POLL && HAVE_POLL_H
  97 #  ifndef EV_USE_POLL
  98 #   define EV_USE_POLL EV_FEATURE_BACKENDS
  99 #  endif
 100 # else
 101 #  undef EV_USE_POLL
 102 #  define EV_USE_POLL 0
 103 # endif
 104
 105 # if HAVE_EPOLL_CTL && HAVE_SYS_EPOLL_H
 106 #  ifndef EV_USE_EPOLL
 107 #   define EV_USE_EPOLL EV_FEATURE_BACKENDS
 108 #  endif
 109 # else
 110 #  undef EV_USE_EPOLL
 111 #  define EV_USE_EPOLL 0
 112 # endif
 113
 114 # if HAVE_KQUEUE && HAVE_SYS_EVENT_H
 115 #  ifndef EV_USE_KQUEUE
 116 #   define EV_USE_KQUEUE EV_FEATURE_BACKENDS
 117 #  endif
 118 # else
 119 #  undef EV_USE_KQUEUE
 120 #  define EV_USE_KQUEUE 0
 121 # endif
 122
 123 # if HAVE_PORT_H && HAVE_PORT_CREATE
 124 #  ifndef EV_USE_PORT
 125 #   define EV_USE_PORT EV_FEATURE_BACKENDS
 126 #  endif
 127 # else
 128 #  undef EV_USE_PORT
 129 #  define EV_USE_PORT 0
 130 # endif
 131
 132 # if HAVE_INOTIFY_INIT && HAVE_SYS_INOTIFY_H
 133 #  ifndef EV_USE_INOTIFY
 134 #   define EV_USE_INOTIFY EV_FEATURE_OS
 135 #  endif
 136 # else
 137 #  undef EV_USE_INOTIFY
 138 #  define EV_USE_INOTIFY 0
 139 # endif
 140
 141 # if HAVE_SIGNALFD && HAVE_SYS_SIGNALFD_H
 142 #  ifndef EV_USE_SIGNALFD
 143 #   define EV_USE_SIGNALFD EV_FEATURE_OS
 144 #  endif
 145 # else
 146 #  undef EV_USE_SIGNALFD
 147 #  define EV_USE_SIGNALFD 0
 148 # endif
 149
 150 # if HAVE_EVENTFD
 151 #  ifndef EV_USE_EVENTFD
 152 #   define EV_USE_EVENTFD EV_FEATURE_OS
 153 #  endif
 154 # else
 155 #  undef EV_USE_EVENTFD
 156 #  define EV_USE_EVENTFD 0
 157 # endif
 158
 159 #endif
 160
 161 #include <math.h>
 162 #include <stdlib.h>
 163 #include <string.h>
 164 #include <fcntl.h>
 165 #include <stddef.h>
 166
 167 #include <stdio.h>
 168
 169 #include <assert.h>
 170 #include <errno.h>
 171 #include <sys/types.h>
 172 #include <time.h>
 173 #include <limits.h>
 174
 175 #include <signal.h>
 176
 177 #ifdef EV_H
 178 # include EV_H
 179 #else
 180 # include "ev.h"
 181 #endif
 182
 183 EV_CPP(extern "C" {)
 184
 185 #ifndef _WIN32
 186 # include <sys/time.h>
 187 # include <sys/wait.h>
 188 # include <unistd.h>
 189 #else
 190 # include <io.h>
 191 # define WIN32_LEAN_AND_MEAN
 192 # include <windows.h>
 193 # ifndef EV_SELECT_IS_WINSOCKET
 194 #  define EV_SELECT_IS_WINSOCKET 1
 195 # endif
 196 # undef EV_AVOID_STDIO
 197 #endif
 198
 199 /* OS X, in its infinite idiocy, actually HARDCODES
 200  * a limit of 1024 into their select. Where people have brains,
 201  * OS X engineers apparently have a vacuum. Or maybe they were
 202  * ordered to have a vacuum, or they do anything for money.
 203  * This might help. Or not.
 204  */
 205 #define _DARWIN_UNLIMITED_SELECT 1
 206
 207 /* this block tries to deduce configuration from header-defined symbols and defaults */
 208
 209 /* try to deduce the maximum number of signals on this platform */
 210 #if defined (EV_NSIG)
 211 /* use what's provided */
 212 #elif defined (NSIG)
 213 # define EV_NSIG (NSIG)
 214 #elif defined(_NSIG)
 215 # define EV_NSIG (_NSIG)
 216 #elif defined (SIGMAX)
 217 # define EV_NSIG (SIGMAX+1)
 218 #elif defined (SIG_MAX)
 219 # define EV_NSIG (SIG_MAX+1)
 220 #elif defined (_SIG_MAX)
 221 # define EV_NSIG (_SIG_MAX+1)
 222 #elif defined (MAXSIG)
 223 # define EV_NSIG (MAXSIG+1)
 224 #elif defined (MAX_SIG)
 225 # define EV_NSIG (MAX_SIG+1)
 226 #elif defined (SIGARRAYSIZE)
 227 # define EV_NSIG (SIGARRAYSIZE) /* Assume ary[SIGARRAYSIZE] */
 228 #elif defined (_sys_nsig)
 229 # define EV_NSIG (_sys_nsig) /* Solaris 2.5 */
 230 #else
 231 # error "unable to find value for NSIG, please report"
 232 /* to make it compile regardless, just remove the above line, */
 233 /* but consider reporting it, too! :) */
 234 # define EV_NSIG 65
 235 #endif
 236
 237 #ifndef EV_USE_CLOCK_SYSCALL
 238 # if __linux && __GLIBC__ >= 2
 239 #  define EV_USE_CLOCK_SYSCALL EV_FEATURE_OS
 240 # else
 241 #  define EV_USE_CLOCK_SYSCALL 0
 242 # endif
 243 #endif
 244
 245 #ifndef EV_USE_MONOTONIC
 246 # if defined (_POSIX_MONOTONIC_CLOCK) && _POSIX_MONOTONIC_CLOCK >= 0
 247 #  define EV_USE_MONOTONIC EV_FEATURE_OS
 248 # else
 249 #  define EV_USE_MONOTONIC 0
 250 # endif
 251 #endif
 252
 253 #ifndef EV_USE_REALTIME
 254 # define EV_USE_REALTIME !EV_USE_CLOCK_SYSCALL
 255 #endif
 256
 257 #ifndef EV_USE_NANOSLEEP
 258 # if _POSIX_C_SOURCE >= 199309L
 259 #  define EV_USE_NANOSLEEP EV_FEATURE_OS
 260 # else
 261 #  define EV_USE_NANOSLEEP 0
 262 # endif
 263 #endif
 264
 265 #ifndef EV_USE_SELECT
 266 # define EV_USE_SELECT EV_FEATURE_BACKENDS
 267 #endif
 268
 269 #ifndef EV_USE_POLL
 270 # ifdef _WIN32
 271 #  define EV_USE_POLL 0
 272 # else
 273 #  define EV_USE_POLL EV_FEATURE_BACKENDS
 274 # endif
 275 #endif
 276
 277 #ifndef EV_USE_EPOLL
 278 # if __linux && (__GLIBC__ > 2 || (__GLIBC__ == 2 && __GLIBC_MINOR__ >= 4))
 279 #  define EV_USE_EPOLL EV_FEATURE_BACKENDS
 280 # else
 281 #  define EV_USE_EPOLL 0
 282 # endif
 283 #endif
 284
 285 #ifndef EV_USE_KQUEUE
 286 # define EV_USE_KQUEUE 0
 287 #endif
 288
 289 #ifndef EV_USE_PORT
 290 # define EV_USE_PORT 0
 291 #endif
 292
 293 #ifndef EV_USE_INOTIFY
 294 # if __linux && (__GLIBC__ > 2 || (__GLIBC__ == 2 && __GLIBC_MINOR__ >= 4))
 295 #  define EV_USE_INOTIFY EV_FEATURE_OS
 296 # else
 297 #  define EV_USE_INOTIFY 0
 298 # endif
 299 #endif
 300
 301 #ifndef EV_PID_HASHSIZE
 302 # define EV_PID_HASHSIZE EV_FEATURE_DATA ? 16 : 1
 303 #endif
 304
 305 #ifndef EV_INOTIFY_HASHSIZE
 306 # define EV_INOTIFY_HASHSIZE EV_FEATURE_DATA ? 16 : 1
 307 #endif
 308
 309 #ifndef EV_USE_EVENTFD
 310 # if __linux && (__GLIBC__ > 2 || (__GLIBC__ == 2 && __GLIBC_MINOR__ >= 7))
 311 #  define EV_USE_EVENTFD EV_FEATURE_OS
 312 # else
 313 #  define EV_USE_EVENTFD 0
 314 # endif
 315 #endif
 316
 317 #ifndef EV_USE_SIGNALFD
 318 # if __linux && (__GLIBC__ > 2 || (__GLIBC__ == 2 && __GLIBC_MINOR__ >= 7))
 319 #  define EV_USE_SIGNALFD EV_FEATURE_OS
 320 # else
 321 #  define EV_USE_SIGNALFD 0
 322 # endif
 323 #endif
 324
 325 #if 0 /* debugging */
 326 # define EV_VERIFY 3
 327 # define EV_USE_4HEAP 1
 328 # define EV_HEAP_CACHE_AT 1
 329 #endif
 330
 331 #ifndef EV_VERIFY
 332 # define EV_VERIFY (EV_FEATURE_API ? 1 : 0)
 333 #endif
 334
 335 #ifndef EV_USE_4HEAP
 336 # define EV_USE_4HEAP EV_FEATURE_DATA
 337 #endif
 338
 339 #ifndef EV_HEAP_CACHE_AT
 340 # define EV_HEAP_CACHE_AT EV_FEATURE_DATA
 341 #endif
 342
 343 /* on linux, we can use a (slow) syscall to avoid a dependency on pthread, */
 344 /* which makes programs even slower. might work on other unices, too. */
 345 #if EV_USE_CLOCK_SYSCALL
 346 # include <syscall.h>
 347 # ifdef SYS_clock_gettime
 348 #  define clock_gettime(id, ts) syscall (SYS_clock_gettime, (id), (ts))
 349 #  undef EV_USE_MONOTONIC
 350 #  define EV_USE_MONOTONIC 1
 351 # else
 352 #  undef EV_USE_CLOCK_SYSCALL
 353 #  define EV_USE_CLOCK_SYSCALL 0
 354 # endif
 355 #endif
 356
 357 /* this block fixes any misconfiguration where we know we run into trouble otherwise */
 358
 359 #ifdef _AIX
 360 /* AIX has a completely broken poll.h header */
 361 # undef EV_USE_POLL
 362 # define EV_USE_POLL 0
 363 #endif
 364
 365 #ifndef CLOCK_MONOTONIC
 366 # undef EV_USE_MONOTONIC
 367 # define EV_USE_MONOTONIC 0
 368 #endif
 369
 370 #ifndef CLOCK_REALTIME
 371 # undef EV_USE_REALTIME
 372 # define EV_USE_REALTIME 0
 373 #endif
 374
 375 #if !EV_STAT_ENABLE
 376 # undef EV_USE_INOTIFY
 377 # define EV_USE_INOTIFY 0
 378 #endif
 379
 380 #if !EV_USE_NANOSLEEP
 381 /* hp-ux has it in sys/time.h, which we unconditionally include above */
 382 # if !defined(_WIN32) && !defined(__hpux)
 383 #  include <sys/select.h>
 384 # endif
 385 #endif
 386
 387 #if EV_USE_INOTIFY
 388 # include <sys/statfs.h>
 389 # include <sys/inotify.h>
 390 /* some very old inotify.h headers don't have IN_DONT_FOLLOW */
 391 # ifndef IN_DONT_FOLLOW
 392 #  undef EV_USE_INOTIFY
 393 #  define EV_USE_INOTIFY 0
 394 # endif
 395 #endif
 396
 397 #if EV_SELECT_IS_WINSOCKET
 398 # include <winsock.h>
 399 #endif
 400
 401 #if EV_USE_EVENTFD
 402 /* our minimum requirement is glibc 2.7 which has the stub, but not the header */
 403 # include <stdint.h>
 404 # ifndef EFD_NONBLOCK
 405 #  define EFD_NONBLOCK O_NONBLOCK
 406 # endif
 407 # ifndef EFD_CLOEXEC
 408 #  ifdef O_CLOEXEC
 409 #   define EFD_CLOEXEC O_CLOEXEC
 410 #  else
 411 #   define EFD_CLOEXEC 02000000
 412 #  endif
 413 # endif
 414 EV_CPP(extern "C") int (eventfd) (unsigned int initval, int flags);
 415 #endif
 416
 417 #if EV_USE_SIGNALFD
 418 /* our minimum requirement is glibc 2.7 which has the stub, but not the header */
 419 # include <stdint.h>
 420 # ifndef SFD_NONBLOCK
 421 #  define SFD_NONBLOCK O_NONBLOCK
 422 # endif
 423 # ifndef SFD_CLOEXEC
 424 #  ifdef O_CLOEXEC
 425 #   define SFD_CLOEXEC O_CLOEXEC
 426 #  else
 427 #   define SFD_CLOEXEC 02000000
 428 #  endif
 429 # endif
 430 EV_CPP (extern "C") int signalfd (int fd, const sigset_t *mask, int flags);
 431
 432 struct signalfd_siginfo
 433 {
 434   uint32_t ssi_signo;
 435   char pad[128 - sizeof (uint32_t)];
 436 };
 437 #endif
 438
 439 /**/
 440
 441 #if EV_VERIFY >= 3
 442 # define EV_FREQUENT_CHECK ev_verify (EV_A)
 443 #else
 444 # define EV_FREQUENT_CHECK do { } while (0)
 445 #endif
 446
 447 /*
 448  * This is used to avoid floating point rounding problems.
 449  * It is added to ev_rt_now when scheduling periodics
 450  * to ensure progress, time-wise, even when rounding
 451  * errors are against us.
 452  * This value is good at least till the year 4000.
 453  * Better solutions welcome.
 454  */
 455 #define TIME_EPSILON  0.0001220703125 /* 1/8192 */
 456
 457 #define MIN_TIMEJUMP  1. /* minimum timejump that gets detected (if monotonic clock available) */
 458 #define MAX_BLOCKTIME 59.743 /* never wait longer than this time (to detect time jumps) */
 459
 460 #define EV_TV_SET(tv,t) do { tv.tv_sec = (long)t; tv.tv_usec = (long)((t - tv.tv_sec) * 1e6); } while (0)
 461 #define EV_TS_SET(ts,t) do { ts.tv_sec = (long)t; ts.tv_nsec = (long)((t - ts.tv_sec) * 1e9); } while (0)
 462
 463 #if __GNUC__ >= 4
 464 # define expect(expr,value)         __builtin_expect ((expr),(value))
 465 # define noinline                   __attribute__ ((noinline))
 466 #else
 467 # define expect(expr,value)         (expr)
 468 # define noinline
 469 # if __STDC_VERSION__ < 199901L && __GNUC__ < 2
 470 #  define inline
 471 # endif
 472 #endif
 473
 474 #define expect_false(expr) expect ((expr) != 0, 0)
 475 #define expect_true(expr)  expect ((expr) != 0, 1)
 476 #define inline_size        static inline
 477
 478 #if EV_FEATURE_CODE
 479 # define inline_speed      static inline
 480 #else
 481 # define inline_speed      static noinline
 482 #endif
 483
 484 #define NUMPRI (EV_MAXPRI - EV_MINPRI + 1)
 485
 486 #if EV_MINPRI == EV_MAXPRI
 487 # define ABSPRI(w) (((W)w), 0)
 488 #else
 489 # define ABSPRI(w) (((W)w)->priority - EV_MINPRI)
 490 #endif
 491
 492 #define EMPTY       /* required for microsofts broken pseudo-c compiler */
 493 #define EMPTY2(a,b) /* used to suppress some warnings */
 494
 495 typedef ev_watcher *W;
 496 typedef ev_watcher_list *WL;
 497 typedef ev_watcher_time *WT;
 498
 499 #define ev_active(w) ((W)(w))->active
 500 #define ev_at(w) ((WT)(w))->at
 501
 502 #if EV_USE_REALTIME
 503 /* sig_atomic_t is used to avoid per-thread variables or locking but still */
 504 /* giving it a reasonably high chance of working on typical architectures */
 505 static EV_ATOMIC_T have_realtime; /* did clock_gettime (CLOCK_REALTIME) work? */
 506 #endif
 507
 508 #if EV_USE_MONOTONIC
 509 static EV_ATOMIC_T have_monotonic; /* did clock_gettime (CLOCK_MONOTONIC) work? */
 510 #endif
 511
 512 #ifndef EV_FD_TO_WIN32_HANDLE
 513 # define EV_FD_TO_WIN32_HANDLE(fd) _get_osfhandle (fd)
 514 #endif
 515 #ifndef EV_WIN32_HANDLE_TO_FD
 516 # define EV_WIN32_HANDLE_TO_FD(handle) _open_osfhandle (handle, 0)
 517 #endif
 518 #ifndef EV_WIN32_CLOSE_FD
 519 # define EV_WIN32_CLOSE_FD(fd) close (fd)
 520 #endif
 521
 522 #ifdef _WIN32
 523 # include "ev_win32.c"
 524 #endif
 525
 526 /*****************************************************************************/
 527
 528 #ifdef __linux
 529 # include <sys/utsname.h>
 530 #endif
 531
 532 static unsigned int noinline
 533 ev_linux_version (void)
 534 {
 535 #ifdef __linux
 536   unsigned int v = 0;
 537   struct utsname buf;
 538   int i;
 539   char *p = buf.release;
 540
 541   if (uname (&buf))
 542     return 0;
 543
 544   for (i = 3+1; --i; )
 545     {
 546       unsigned int c = 0;
 547
 548       for (;;)
 549         {
 550           if (*p >= '0' && *p <= '9')
 551             c = c * 10 + *p++ - '0';
 552           else
 553             {
 554               p += *p == '.';
 555               break;
 556             }
 557         }
 558
 559       v = (v << 8) | c;
 560     }
 561
 562   return v;
 563 #else
 564   return 0;
 565 #endif
 566 }
 567
 568 /*****************************************************************************/
 569
 570 #if EV_AVOID_STDIO
 571 static void noinline
 572 ev_printerr (const char *msg)
 573 {
 574   write (STDERR_FILENO, msg, strlen (msg));
 575 }
 576 #endif
 577
 578 static void (*syserr_cb)(const char *msg);
 579
 580 void
 581 ev_set_syserr_cb (void (*cb)(const char *msg))
 582 {
 583   syserr_cb = cb;
 584 }
 585
 586 static void noinline
 587 ev_syserr (const char *msg)
 588 {
 589   if (!msg)
 590     msg = "(libev) system error";
 591
 592   if (syserr_cb)
 593     syserr_cb (msg);
 594   else
 595     {
 596 #if EV_AVOID_STDIO
 597       ev_printerr (msg);
 598       ev_printerr (": ");
 599       ev_printerr (strerror (errno));
 600       ev_printerr ("\n");
 601 #else
 602       perror (msg);
 603 #endif
 604       abort ();
 605     }
 606 }
 607
 608 static void *
 609 ev_realloc_emul (void *ptr, long size)
 610 {
 611 #if __GLIBC__
 612   return realloc (ptr, size);
 613 #else
 614   /* some systems, notably openbsd and darwin, fail to properly
 615    * implement realloc (x, 0) (as required by both ansi c-89 and
 616    * the single unix specification, so work around them here.
 617    */
 618
 619   if (size)
 620     return realloc (ptr, size);
 621
 622   free (ptr);
 623   return 0;
 624 #endif
 625 }
 626
 627 static void *(*alloc)(void *ptr, long size) = ev_realloc_emul;
 628
 629 void
 630 ev_set_allocator (void *(*cb)(void *ptr, long size))
 631 {
 632   alloc = cb;
 633 }
 634
 635 inline_speed void *
 636 ev_realloc (void *ptr, long size)
 637 {
 638   ptr = alloc (ptr, size);
 639
 640   if (!ptr && size)
 641     {
 642 #if EV_AVOID_STDIO
 643       ev_printerr ("(libev) memory allocation failed, aborting.\n");
 644 #else
 645       fprintf (stderr, "(libev) cannot allocate %ld bytes, aborting.", size);
 646 #endif
 647       abort ();
 648     }
 649
 650   return ptr;
 651 }
 652
 653 #define ev_malloc(size) ev_realloc (0, (size))
 654 #define ev_free(ptr)    ev_realloc ((ptr), 0)
 655
 656 /*****************************************************************************/
 657
 658 /* set in reify when reification needed */
 659 #define EV_ANFD_REIFY 1
 660
 661 /* file descriptor info structure */
 662 typedef struct
 663 {
 664   WL head;
 665   unsigned char events; /* the events watched for */
 666   unsigned char reify;  /* flag set when this ANFD needs reification (EV_ANFD_REIFY, EV__IOFDSET) */
 667   unsigned char emask;  /* the epoll backend stores the actual kernel mask in here */
 668   unsigned char unused;
 669 #if EV_USE_EPOLL
 670   unsigned int egen;    /* generation counter to counter epoll bugs */
 671 #endif
 672 #if EV_SELECT_IS_WINSOCKET || EV_USE_IOCP
 673   SOCKET handle;
 674 #endif
 675 #if EV_USE_IOCP
 676   OVERLAPPED or, ow;
 677 #endif
 678 } ANFD;
 679
 680 /* stores the pending event set for a given watcher */
 681 typedef struct
 682 {
 683   W w;
 684   int events; /* the pending event set for the given watcher */
 685 } ANPENDING;
 686
 687 #if EV_USE_INOTIFY
 688 /* hash table entry per inotify-id */
 689 typedef struct
 690 {
 691   WL head;
 692 } ANFS;
 693 #endif
 694
 695 /* Heap Entry */
 696 #if EV_HEAP_CACHE_AT
 697   /* a heap element */
 698   typedef struct {
 699     ev_tstamp at;
 700     WT w;
 701   } ANHE;
 702
 703   #define ANHE_w(he)        (he).w     /* access watcher, read-write */
 704   #define ANHE_at(he)       (he).at    /* access cached at, read-only */
 705   #define ANHE_at_cache(he) (he).at = (he).w->at /* update at from watcher */
 706 #else
 707   /* a heap element */
 708   typedef WT ANHE;
 709
 710   #define ANHE_w(he)        (he)
 711   #define ANHE_at(he)       (he)->at
 712   #define ANHE_at_cache(he)
 713 #endif
 714
 715 #if EV_MULTIPLICITY
 716
 717   struct ev_loop
 718   {
 719     ev_tstamp ev_rt_now;
 720     #define ev_rt_now ((loop)->ev_rt_now)
 721     #define VAR(name,decl) decl;
 722       #include "ev_vars.h"
 723     #undef VAR
 724   };
 725   #include "ev_wrap.h"
 726
 727   static struct ev_loop default_loop_struct;
 728   struct ev_loop *ev_default_loop_ptr;
 729
 730 #else
 731
 732   ev_tstamp ev_rt_now;
 733   #define VAR(name,decl) static decl;
 734     #include "ev_vars.h"
 735   #undef VAR
 736
 737   static int ev_default_loop_ptr;
 738
 739 #endif
 740
 741 #if EV_FEATURE_API
 742 # define EV_RELEASE_CB if (expect_false (release_cb)) release_cb (EV_A)
 743 # define EV_ACQUIRE_CB if (expect_false (acquire_cb)) acquire_cb (EV_A)
 744 # define EV_INVOKE_PENDING invoke_cb (EV_A)
 745 #else
 746 # define EV_RELEASE_CB (void)0
 747 # define EV_ACQUIRE_CB (void)0
 748 # define EV_INVOKE_PENDING ev_invoke_pending (EV_A)
 749 #endif
 750
 751 #define EVBREAK_RECURSE 0x80
 752
 753 /*****************************************************************************/
 754
 755 #ifndef EV_HAVE_EV_TIME
 756 ev_tstamp
 757 ev_time (void)
 758 {
 759 #if EV_USE_REALTIME
 760   if (expect_true (have_realtime))
 761     {
 762       struct timespec ts;
 763       clock_gettime (CLOCK_REALTIME, &ts);
 764       return ts.tv_sec + ts.tv_nsec * 1e-9;
 765     }
 766 #endif
 767
 768   struct timeval tv;
 769   gettimeofday (&tv, 0);
 770   return tv.tv_sec + tv.tv_usec * 1e-6;
 771 }
 772 #endif
 773
 774 inline_size ev_tstamp
 775 get_clock (void)
 776 {
 777 #if EV_USE_MONOTONIC
 778   if (expect_true (have_monotonic))
 779     {
 780       struct timespec ts;
 781       clock_gettime (CLOCK_MONOTONIC, &ts);
 782       return ts.tv_sec + ts.tv_nsec * 1e-9;
 783     }
 784 #endif
 785
 786   return ev_time ();
 787 }
 788
 789 #if EV_MULTIPLICITY
 790 ev_tstamp
 791 ev_now (EV_P)
 792 {
 793   return ev_rt_now;
 794 }
 795 #endif
 796
 797 void
 798 ev_sleep (ev_tstamp delay)
 799 {
 800   if (delay > 0.)
 801     {
 802 #if EV_USE_NANOSLEEP
 803       struct timespec ts;
 804
 805       EV_TS_SET (ts, delay);
 806       nanosleep (&ts, 0);
 807 #elif defined(_WIN32)
 808       Sleep ((unsigned long)(delay * 1e3));
 809 #else
 810       struct timeval tv;
 811
 812       /* here we rely on sys/time.h + sys/types.h + unistd.h providing select */
 813       /* something not guaranteed by newer posix versions, but guaranteed */
 814       /* by older ones */
 815       EV_TV_SET (tv, delay);
 816       select (0, 0, 0, 0, &tv);
 817 #endif
 818     }
 819 }
 820
 821 inline_speed int
 822 ev_timeout_to_ms (ev_tstamp timeout)
 823 {
 824   int ms = timeout * 1000. + .999999;
 825
 826   return expect_true (ms) ? ms : timeout < 1e-6 ? 0 : 1;
 827 }
 828
 829 /*****************************************************************************/
 830
 831 #define MALLOC_ROUND 4096 /* prefer to allocate in chunks of this size, must be 2**n and >> 4 longs */
 832
 833 /* find a suitable new size for the given array, */
 834 /* hopefully by rounding to a nice-to-malloc size */
 835 inline_size int
 836 array_nextsize (int elem, int cur, int cnt)
 837 {
 838   int ncur = cur + 1;
 839
 840   do
 841     ncur <<= 1;
 842   while (cnt > ncur);
 843
 844   /* if size is large, round to MALLOC_ROUND - 4 * longs to accomodate malloc overhead */
 845   if (elem * ncur > MALLOC_ROUND - sizeof (void *) * 4)
 846     {
 847       ncur *= elem;
 848       ncur = (ncur + elem + (MALLOC_ROUND - 1) + sizeof (void *) * 4) & ~(MALLOC_ROUND - 1);
 849       ncur = ncur - sizeof (void *) * 4;
 850       ncur /= elem;
 851     }
 852
 853   return ncur;
 854 }
 855
 856 static noinline void *
 857 array_realloc (int elem, void *base, int *cur, int cnt)
 858 {
 859   *cur = array_nextsize (elem, *cur, cnt);
 860   return ev_realloc (base, elem * *cur);
 861 }
 862
 863 #define array_init_zero(base,count)     \
 864   memset ((void *)(base), 0, sizeof (*(base)) * (count))
 865
 866 #define array_needsize(type,base,cur,cnt,init)                  \
 867   if (expect_false ((cnt) > (cur)))                             \
 868     {                                                           \
 869       int ocur_ = (cur);                                        \
 870       (base) = (type *)array_realloc                            \
 871          (sizeof (type), (base), &(cur), (cnt));                \
 872       init ((base) + (ocur_), (cur) - ocur_);                   \
 873     }
 874
 875 #if 0
 876 #define array_slim(type,stem)                                   \
 877   if (stem ## max < array_roundsize (stem ## cnt >> 2))         \
 878     {                                                           \
 879       stem ## max = array_roundsize (stem ## cnt >> 1);         \
 880       base = (type *)ev_realloc (base, sizeof (type) * (stem ## max));\
 881       fprintf (stderr, "slimmed down " # stem " to %d\n", stem ## max);/*D*/\
 882     }
 883 #endif
 884
 885 #define array_free(stem, idx) \
 886   ev_free (stem ## s idx); stem ## cnt idx = stem ## max idx = 0; stem ## s idx = 0
 887
 888 /*****************************************************************************/
 889
 890 /* dummy callback for pending events */
 891 static void noinline
 892 pendingcb (EV_P_ ev_prepare *w, int revents)
 893 {
 894 }
 895
 896 void noinline
 897 ev_feed_event (EV_P_ void *w, int revents)
 898 {
 899   W w_ = (W)w;
 900   int pri = ABSPRI (w_);
 901
 902   if (expect_false (w_->pending))
 903     pendings [pri][w_->pending - 1].events |= revents;
 904   else
 905     {
 906       w_->pending = ++pendingcnt [pri];
 907       array_needsize (ANPENDING, pendings [pri], pendingmax [pri], w_->pending, EMPTY2);
 908       pendings [pri][w_->pending - 1].w      = w_;
 909       pendings [pri][w_->pending - 1].events = revents;
 910     }
 911 }
 912
 913 inline_speed void
 914 feed_reverse (EV_P_ W w)
 915 {
 916   array_needsize (W, rfeeds, rfeedmax, rfeedcnt + 1, EMPTY2);
 917   rfeeds [rfeedcnt++] = w;
 918 }
 919
 920 inline_size void
 921 feed_reverse_done (EV_P_ int revents)
 922 {
 923   do
 924     ev_feed_event (EV_A_ rfeeds [--rfeedcnt], revents);
 925   while (rfeedcnt);
 926 }
 927
 928 inline_speed void
 929 queue_events (EV_P_ W *events, int eventcnt, int type)
 930 {
 931   int i;
 932
 933   for (i = 0; i < eventcnt; ++i)
 934     ev_feed_event (EV_A_ events [i], type);
 935 }
 936
 937 /*****************************************************************************/
 938
 939 inline_speed void
 940 fd_event_nocheck (EV_P_ int fd, int revents)
 941 {
 942   ANFD *anfd = anfds + fd;
 943   ev_io *w;
 944
 945   for (w = (ev_io *)anfd->head; w; w = (ev_io *)((WL)w)->next)
 946     {
 947       int ev = w->events & revents;
 948
 949       if (ev)
 950         ev_feed_event (EV_A_ (W)w, ev);
 951     }
 952 }
 953
 954 /* do not submit kernel events for fds that have reify set */
 955 /* because that means they changed while we were polling for new events */
 956 inline_speed void
 957 fd_event (EV_P_ int fd, int revents)
 958 {
 959   ANFD *anfd = anfds + fd;
 960
 961   if (expect_true (!anfd->reify))
 962     fd_event_nocheck (EV_A_ fd, revents);
 963 }
 964
 965 void
 966 ev_feed_fd_event (EV_P_ int fd, int revents)
 967 {
 968   if (fd >= 0 && fd < anfdmax)
 969     fd_event_nocheck (EV_A_ fd, revents);
 970 }
 971
 972 /* make sure the external fd watch events are in-sync */
 973 /* with the kernel/libev internal state */
 974 inline_size void
 975 fd_reify (EV_P)
 976 {
 977   int i;
 978
 979 #if EV_SELECT_IS_WINSOCKET || EV_USE_IOCP
 980   for (i = 0; i < fdchangecnt; ++i)
 981     {
 982       int fd = fdchanges [i];
 983       ANFD *anfd = anfds + fd;
 984
 985       if (anfd->reify & EV__IOFDSET)
 986         {
 987           SOCKET handle = EV_FD_TO_WIN32_HANDLE (fd);
 988
 989           if (handle != anfd->handle)
 990             {
 991               unsigned long arg;
 992
 993               assert (("libev: only socket fds supported in this configuration", ioctlsocket (handle, FIONREAD, &arg) == 0));
 994
 995               /* handle changed, but fd didn't - we need to do it in two steps */
 996               backend_modify (EV_A_ fd, anfd->events, 0);
 997               anfd->events = 0;
 998               anfd->handle = handle;
 999             }
1000         }
1001     }
1002 #endif
1003
1004   for (i = 0; i < fdchangecnt; ++i)
1005     {
1006       int fd = fdchanges [i];
1007       ANFD *anfd = anfds + fd;
1008       ev_io *w;
1009
1010       unsigned char o_events = anfd->events;
1011       unsigned char o_reify  = anfd->reify;
1012
1013       anfd->reify  = 0;
1014
1015       /*if (expect_true (o_reify & EV_ANFD_REIFY)) probably a deoptimisation */
1016         {
1017           anfd->events = 0;
1018
1019           for (w = (ev_io *)anfd->head; w; w = (ev_io *)((WL)w)->next)
1020             anfd->events |= (unsigned char)w->events;
1021
1022           if (o_events != anfd->events)
1023             o_reify = EV__IOFDSET; /* actually |= */
1024         }
1025
1026       if (o_reify & EV__IOFDSET)
1027         backend_modify (EV_A_ fd, o_events, anfd->events);
1028     }
1029
1030   fdchangecnt = 0;
1031 }
1032
1033 /* something about the given fd changed */
1034 inline_size void
1035 fd_change (EV_P_ int fd, int flags)
1036 {
1037   unsigned char reify = anfds [fd].reify;
1038   anfds [fd].reify |= flags;
1039
1040   if (expect_true (!reify))
1041     {
1042       ++fdchangecnt;
1043       array_needsize (int, fdchanges, fdchangemax, fdchangecnt, EMPTY2);
1044       fdchanges [fdchangecnt - 1] = fd;
1045     }
1046 }
1047
1048 /* the given fd is invalid/unusable, so make sure it doesn't hurt us anymore */
1049 inline_speed void
1050 fd_kill (EV_P_ int fd)
1051 {
1052   ev_io *w;
1053
1054   while ((w = (ev_io *)anfds [fd].head))
1055     {
1056       ev_io_stop (EV_A_ w);
1057       ev_feed_event (EV_A_ (W)w, EV_ERROR | EV_READ | EV_WRITE);
1058     }
1059 }
1060
1061 /* check whether the given fd is actually valid, for error recovery */
1062 inline_size int
1063 fd_valid (int fd)
1064 {
1065 #ifdef _WIN32
1066   return EV_FD_TO_WIN32_HANDLE (fd) != -1;
1067 #else
1068   return fcntl (fd, F_GETFD) != -1;
1069 #endif
1070 }
1071
1072 /* called on EBADF to verify fds */
1073 static void noinline
1074 fd_ebadf (EV_P)
1075 {
1076   int fd;
1077
1078   for (fd = 0; fd < anfdmax; ++fd)
1079     if (anfds [fd].events)
1080       if (!fd_valid (fd) && errno == EBADF)
1081         fd_kill (EV_A_ fd);
1082 }
1083
1084 /* called on ENOMEM in select/poll to kill some fds and retry */
1085 static void noinline
1086 fd_enomem (EV_P)
1087 {
1088   int fd;
1089
1090   for (fd = anfdmax; fd--; )
1091     if (anfds [fd].events)
1092       {
1093         fd_kill (EV_A_ fd);
1094         break;
1095       }
1096 }
1097
1098 /* usually called after fork if backend needs to re-arm all fds from scratch */
1099 static void noinline
1100 fd_rearm_all (EV_P)
1101 {
1102   int fd;
1103
1104   for (fd = 0; fd < anfdmax; ++fd)
1105     if (anfds [fd].events)
1106       {
1107         anfds [fd].events = 0;
1108         anfds [fd].emask  = 0;
1109         fd_change (EV_A_ fd, EV__IOFDSET | EV_ANFD_REIFY);
1110       }
1111 }
1112
1113 /* used to prepare libev internal fd's */
1114 /* this is not fork-safe */
1115 inline_speed void
1116 fd_intern (int fd)
1117 {
1118 #ifdef _WIN32
1119   unsigned long arg = 1;
1120   ioctlsocket (EV_FD_TO_WIN32_HANDLE (fd), FIONBIO, &arg);
1121 #else
1122   fcntl (fd, F_SETFD, FD_CLOEXEC);
1123   fcntl (fd, F_SETFL, O_NONBLOCK);
1124 #endif
1125 }
1126
1127 /*****************************************************************************/
1128
1129 /*
1130  * the heap functions want a real array index. array index 0 is guaranteed to not
1131  * be in-use at any time. the first heap entry is at array [HEAP0]. DHEAP gives
1132  * the branching factor of the d-tree.
1133  */
1134
1135 /*
1136  * at the moment we allow libev the luxury of two heaps,
1137  * a small-code-size 2-heap one and a ~1.5kb larger 4-heap
1138  * which is more cache-efficient.
1139  * the difference is about 5% with 50000+ watchers.
1140  */
1141 #if EV_USE_4HEAP
1142
1143 #define DHEAP 4
1144 #define HEAP0 (DHEAP - 1) /* index of first element in heap */
1145 #define HPARENT(k) ((((k) - HEAP0 - 1) / DHEAP) + HEAP0)
1146 #define UPHEAP_DONE(p,k) ((p) == (k))
1147
1148 /* away from the root */
1149 inline_speed void
1150 downheap (ANHE *heap, int N, int k)
1151 {
1152   ANHE he = heap [k];
1153   ANHE *E = heap + N + HEAP0;
1154
1155   for (;;)
1156     {
1157       ev_tstamp minat;
1158       ANHE *minpos;
1159       ANHE *pos = heap + DHEAP * (k - HEAP0) + HEAP0 + 1;
1160
1161       /* find minimum child */
1162       if (expect_true (pos + DHEAP - 1 < E))
1163         {
1164           /* fast path */                               (minpos = pos + 0), (minat = ANHE_at (*minpos));
1165           if (               ANHE_at (pos [1]) < minat) (minpos = pos + 1), (minat = ANHE_at (*minpos));
1166           if (               ANHE_at (pos [2]) < minat) (minpos = pos + 2), (minat = ANHE_at (*minpos));
1167           if (               ANHE_at (pos [3]) < minat) (minpos = pos + 3), (minat = ANHE_at (*minpos));
1168         }
1169       else if (pos < E)
1170         {
1171           /* slow path */                               (minpos = pos + 0), (minat = ANHE_at (*minpos));
1172           if (pos + 1 < E && ANHE_at (pos [1]) < minat) (minpos = pos + 1), (minat = ANHE_at (*minpos));
1173           if (pos + 2 < E && ANHE_at (pos [2]) < minat) (minpos = pos + 2), (minat = ANHE_at (*minpos));
1174           if (pos + 3 < E && ANHE_at (pos [3]) < minat) (minpos = pos + 3), (minat = ANHE_at (*minpos));
1175         }
1176       else
1177         break;
1178
1179       if (ANHE_at (he) <= minat)
1180         break;
1181
1182       heap [k] = *minpos;
1183       ev_active (ANHE_w (*minpos)) = k;
1184
1185       k = minpos - heap;
1186     }
1187
1188   heap [k] = he;
1189   ev_active (ANHE_w (he)) = k;
1190 }
1191
1192 #else /* 4HEAP */
1193
1194 #define HEAP0 1
1195 #define HPARENT(k) ((k) >> 1)
1196 #define UPHEAP_DONE(p,k) (!(p))
1197
1198 /* away from the root */
1199 inline_speed void
1200 downheap (ANHE *heap, int N, int k)
1201 {
1202   ANHE he = heap [k];
1203
1204   for (;;)
1205     {
1206       int c = k << 1;
1207
1208       if (c >= N + HEAP0)
1209         break;
1210
1211       c += c + 1 < N + HEAP0 && ANHE_at (heap [c]) > ANHE_at (heap [c + 1])
1212            ? 1 : 0;
1213
1214       if (ANHE_at (he) <= ANHE_at (heap [c]))
1215         break;
1216
1217       heap [k] = heap [c];
1218       ev_active (ANHE_w (heap [k])) = k;
1219
1220       k = c;
1221     }
1222
1223   heap [k] = he;
1224   ev_active (ANHE_w (he)) = k;
1225 }
1226 #endif
1227
1228 /* towards the root */
1229 inline_speed void
1230 upheap (ANHE *heap, int k)
1231 {
1232   ANHE he = heap [k];
1233
1234   for (;;)
1235     {
1236       int p = HPARENT (k);
1237
1238       if (UPHEAP_DONE (p, k) || ANHE_at (heap [p]) <= ANHE_at (he))
1239         break;
1240
1241       heap [k] = heap [p];
1242       ev_active (ANHE_w (heap [k])) = k;
1243       k = p;
1244     }
1245
1246   heap [k] = he;
1247   ev_active (ANHE_w (he)) = k;
1248 }
1249
1250 /* move an element suitably so it is in a correct place */
1251 inline_size void
1252 adjustheap (ANHE *heap, int N, int k)
1253 {
1254   if (k > HEAP0 && ANHE_at (heap [k]) <= ANHE_at (heap [HPARENT (k)]))
1255     upheap (heap, k);
1256   else
1257     downheap (heap, N, k);
1258 }
1259
1260 /* rebuild the heap: this function is used only once and executed rarely */
1261 inline_size void
1262 reheap (ANHE *heap, int N)
1263 {
1264   int i;
1265
1266   /* we don't use floyds algorithm, upheap is simpler and is more cache-efficient */
1267   /* also, this is easy to implement and correct for both 2-heaps and 4-heaps */
1268   for (i = 0; i < N; ++i)
1269     upheap (heap, i + HEAP0);
1270 }
1271
1272 /*****************************************************************************/
1273
1274 /* associate signal watchers to a signal signal */
1275 typedef struct
1276 {
1277   EV_ATOMIC_T pending;
1278 #if EV_MULTIPLICITY
1279   EV_P;
1280 #endif
1281   WL head;
1282 } ANSIG;
1283
1284 static ANSIG signals [EV_NSIG - 1];
1285
1286 /*****************************************************************************/
1287
1288 #if EV_SIGNAL_ENABLE || EV_ASYNC_ENABLE
1289
1290 static void noinline
1291 evpipe_init (EV_P)
1292 {
1293   if (!ev_is_active (&pipe_w))
1294     {
1295 # if EV_USE_EVENTFD
1296       evfd = eventfd (0, EFD_NONBLOCK | EFD_CLOEXEC);
1297       if (evfd < 0 && errno == EINVAL)
1298         evfd = eventfd (0, 0);
1299
1300       if (evfd >= 0)
1301         {
1302           evpipe [0] = -1;
1303           fd_intern (evfd); /* doing it twice doesn't hurt */
1304           ev_io_set (&pipe_w, evfd, EV_READ);
1305         }
1306       else
1307 # endif
1308         {
1309           while (pipe (evpipe))
1310             ev_syserr ("(libev) error creating signal/async pipe");
1311
1312           fd_intern (evpipe [0]);
1313           fd_intern (evpipe [1]);
1314           ev_io_set (&pipe_w, evpipe [0], EV_READ);
1315         }
1316
1317       ev_io_start (EV_A_ &pipe_w);
1318       ev_unref (EV_A); /* watcher should not keep loop alive */
1319     }
1320 }
1321
1322 inline_size void
1323 evpipe_write (EV_P_ EV_ATOMIC_T *flag)
1324 {
1325   if (!*flag)
1326     {
1327       int old_errno = errno; /* save errno because write might clobber it */
1328       char dummy;
1329
1330       *flag = 1;
1331
1332 #if EV_USE_EVENTFD
1333       if (evfd >= 0)
1334         {
1335           uint64_t counter = 1;
1336           write (evfd, &counter, sizeof (uint64_t));
1337         }
1338       else
1339 #endif
1340         /* win32 people keep sending patches that change this write() to send() */
1341         /* and then run away. but send() is wrong, it wants a socket handle on win32 */
1342         /* so when you think this write should be a send instead, please find out */
1343         /* where your send() is from - it's definitely not the microsoft send, and */
1344         /* tell me. thank you. */
1345         write (evpipe [1], &dummy, 1);
1346
1347       errno = old_errno;
1348     }
1349 }
1350
1351 /* called whenever the libev signal pipe */
1352 /* got some events (signal, async) */
1353 static void
1354 pipecb (EV_P_ ev_io *iow, int revents)
1355 {
1356   int i;
1357
1358 #if EV_USE_EVENTFD
1359   if (evfd >= 0)
1360     {
1361       uint64_t counter;
1362       read (evfd, &counter, sizeof (uint64_t));
1363     }
1364   else
1365 #endif
1366     {
1367       char dummy;
1368       /* see discussion in evpipe_write when you think this read should be recv in win32 */
1369       read (evpipe [0], &dummy, 1);
1370     }
1371
1372 #if EV_SIGNAL_ENABLE
1373   if (sig_pending)
1374     {
1375       sig_pending = 0;
1376
1377       for (i = EV_NSIG - 1; i--; )
1378         if (expect_false (signals [i].pending))
1379           ev_feed_signal_event (EV_A_ i + 1);
1380     }
1381 #endif
1382
1383 #if EV_ASYNC_ENABLE
1384   if (async_pending)
1385     {
1386       async_pending = 0;
1387
1388       for (i = asynccnt; i--; )
1389         if (asyncs [i]->sent)
1390           {
1391             asyncs [i]->sent = 0;
1392             ev_feed_event (EV_A_ asyncs [i], EV_ASYNC);
1393           }
1394     }
1395 #endif
1396 }
1397
1398 /*****************************************************************************/
1399
1400 void
1401 ev_feed_signal (int signum)
1402 {
1403 #if EV_MULTIPLICITY
1404   EV_P = signals [signum - 1].loop;
1405
1406   if (!EV_A)
1407     return;
1408 #endif
1409
1410   signals [signum - 1].pending = 1;
1411   evpipe_write (EV_A_ &sig_pending);
1412 }
1413
1414 static void
1415 ev_sighandler (int signum)
1416 {
1417 #ifdef _WIN32
1418   signal (signum, ev_sighandler);
1419 #endif
1420
1421   ev_feed_signal (signum);
1422 }
1423
1424 void noinline
1425 ev_feed_signal_event (EV_P_ int signum)
1426 {
1427   WL w;
1428
1429   if (expect_false (signum <= 0 || signum > EV_NSIG))
1430     return;
1431
1432   --signum;
1433
1434 #if EV_MULTIPLICITY
1435   /* it is permissible to try to feed a signal to the wrong loop */
1436   /* or, likely more useful, feeding a signal nobody is waiting for */
1437
1438   if (expect_false (signals [signum].loop != EV_A))
1439     return;
1440 #endif
1441
1442   signals [signum].pending = 0;
1443
1444   for (w = signals [signum].head; w; w = w->next)
1445     ev_feed_event (EV_A_ (W)w, EV_SIGNAL);
1446 }
1447
1448 #if EV_USE_SIGNALFD
1449 static void
1450 sigfdcb (EV_P_ ev_io *iow, int revents)
1451 {
1452   struct signalfd_siginfo si[2], *sip; /* these structs are big */
1453
1454   for (;;)
1455     {
1456       ssize_t res = read (sigfd, si, sizeof (si));
1457
1458       /* not ISO-C, as res might be -1, but works with SuS */
1459       for (sip = si; (char *)sip < (char *)si + res; ++sip)
1460         ev_feed_signal_event (EV_A_ sip->ssi_signo);
1461
1462       if (res < (ssize_t)sizeof (si))
1463         break;
1464     }
1465 }
1466 #endif
1467
1468 #endif
1469
1470 /*****************************************************************************/
1471
1472 #if EV_CHILD_ENABLE
1473 static WL childs [EV_PID_HASHSIZE];
1474
1475 static ev_signal childev;
1476
1477 #ifndef WIFCONTINUED
1478 # define WIFCONTINUED(status) 0
1479 #endif
1480
1481 /* handle a single child status event */
1482 inline_speed void
1483 child_reap (EV_P_ int chain, int pid, int status)
1484 {
1485   ev_child *w;
1486   int traced = WIFSTOPPED (status) || WIFCONTINUED (status);
1487
1488   for (w = (ev_child *)childs [chain & ((EV_PID_HASHSIZE) - 1)]; w; w = (ev_child *)((WL)w)->next)
1489     {
1490       if ((w->pid == pid || !w->pid)
1491           && (!traced || (w->flags & 1)))
1492         {
1493           ev_set_priority (w, EV_MAXPRI); /* need to do it *now*, this *must* be the same prio as the signal watcher itself */
1494           w->rpid    = pid;
1495           w->rstatus = status;
1496           ev_feed_event (EV_A_ (W)w, EV_CHILD);
1497         }
1498     }
1499 }
1500
1501 #ifndef WCONTINUED
1502 # define WCONTINUED 0
1503 #endif
1504
1505 /* called on sigchld etc., calls waitpid */
1506 static void
1507 childcb (EV_P_ ev_signal *sw, int revents)
1508 {
1509   int pid, status;
1510
1511   /* some systems define WCONTINUED but then fail to support it (linux 2.4) */
1512   if (0 >= (pid = waitpid (-1, &status, WNOHANG | WUNTRACED | WCONTINUED)))
1513     if (!WCONTINUED
1514         || errno != EINVAL
1515         || 0 >= (pid = waitpid (-1, &status, WNOHANG | WUNTRACED)))
1516       return;
1517
1518   /* make sure we are called again until all children have been reaped */
1519   /* we need to do it this way so that the callback gets called before we continue */
1520   ev_feed_event (EV_A_ (W)sw, EV_SIGNAL);
1521
1522   child_reap (EV_A_ pid, pid, status);
1523   if ((EV_PID_HASHSIZE) > 1)
1524     child_reap (EV_A_ 0, pid, status); /* this might trigger a watcher twice, but feed_event catches that */
1525 }
1526
1527 #endif
1528
1529 /*****************************************************************************/
1530
1531 #if EV_USE_IOCP
1532 # include "ev_iocp.c"
1533 #endif
1534 #if EV_USE_PORT
1535 # include "ev_port.c"
1536 #endif
1537 #if EV_USE_KQUEUE
1538 # include "ev_kqueue.c"
1539 #endif
1540 #if EV_USE_EPOLL
1541 # include "ev_epoll.c"
1542 #endif
1543 #if EV_USE_POLL
1544 # include "ev_poll.c"
1545 #endif
1546 #if EV_USE_SELECT
1547 # include "ev_select.c"
1548 #endif
1549
1550 int
1551 ev_version_major (void)
1552 {
1553   return EV_VERSION_MAJOR;
1554 }
1555
1556 int
1557 ev_version_minor (void)
1558 {
1559   return EV_VERSION_MINOR;
1560 }
1561
1562 /* return true if we are running with elevated privileges and should ignore env variables */
1563 int inline_size
1564 enable_secure (void)
1565 {
1566 #ifdef _WIN32
1567   return 0;
1568 #else
1569   return getuid () != geteuid ()
1570       || getgid () != getegid ();
1571 #endif
1572 }
1573
1574 unsigned int
1575 ev_supported_backends (void)
1576 {
1577   unsigned int flags = 0;
1578
1579   if (EV_USE_PORT  ) flags |= EVBACKEND_PORT;
1580   if (EV_USE_KQUEUE) flags |= EVBACKEND_KQUEUE;
1581   if (EV_USE_EPOLL ) flags |= EVBACKEND_EPOLL;
1582   if (EV_USE_POLL  ) flags |= EVBACKEND_POLL;
1583   if (EV_USE_SELECT) flags |= EVBACKEND_SELECT;
1584
1585   return flags;
1586 }
1587
1588 unsigned int
1589 ev_recommended_backends (void)
1590 {
1591   unsigned int flags = ev_supported_backends ();
1592
1593 #ifndef __NetBSD__
1594   /* kqueue is borked on everything but netbsd apparently */
1595   /* it usually doesn't work correctly on anything but sockets and pipes */
1596   flags &= ~EVBACKEND_KQUEUE;
1597 #endif
1598 #ifdef __APPLE__
1599   /* only select works correctly on that "unix-certified" platform */
1600   flags &= ~EVBACKEND_KQUEUE; /* horribly broken, even for sockets */
1601   flags &= ~EVBACKEND_POLL;   /* poll is based on kqueue from 10.5 onwards */
1602 #endif
1603 #ifdef __FreeBSD__
1604   flags &= ~EVBACKEND_POLL;   /* poll return value is unusable (http://forums.freebsd.org/archive/index.php/t-10270.html) */
1605 #endif
1606
1607   return flags;
1608 }
1609
1610 unsigned int
1611 ev_embeddable_backends (void)
1612 {
1613   int flags = EVBACKEND_EPOLL | EVBACKEND_KQUEUE | EVBACKEND_PORT;
1614
1615   /* epoll embeddability broken on all linux versions up to at least 2.6.23 */
1616   if (ev_linux_version () < 0x020620) /* disable it on linux < 2.6.32 */
1617     flags &= ~EVBACKEND_EPOLL;
1618
1619   return flags;
1620 }
1621
1622 unsigned int
1623 ev_backend (EV_P)
1624 {
1625   return backend;
1626 }
1627
1628 #if EV_FEATURE_API
1629 unsigned int
1630 ev_iteration (EV_P)
1631 {
1632   return loop_count;
1633 }
1634
1635 unsigned int
1636 ev_depth (EV_P)
1637 {
1638   return loop_depth;
1639 }
1640
1641 void
1642 ev_set_io_collect_interval (EV_P_ ev_tstamp interval)
1643 {
1644   io_blocktime = interval;
1645 }
1646
1647 void
1648 ev_set_timeout_collect_interval (EV_P_ ev_tstamp interval)
1649 {
1650   timeout_blocktime = interval;
1651 }
1652
1653 void
1654 ev_set_userdata (EV_P_ void *data)
1655 {
1656   userdata = data;
1657 }
1658
1659 void *
1660 ev_userdata (EV_P)
1661 {
1662   return userdata;
1663 }
1664
1665 void ev_set_invoke_pending_cb (EV_P_ void (*invoke_pending_cb)(EV_P))
1666 {
1667   invoke_cb = invoke_pending_cb;
1668 }
1669
1670 void ev_set_loop_release_cb (EV_P_ void (*release)(EV_P), void (*acquire)(EV_P))
1671 {
1672   release_cb = release;
1673   acquire_cb = acquire;
1674 }
1675 #endif
1676
1677 /* initialise a loop structure, must be zero-initialised */
1678 static void noinline
1679 loop_init (EV_P_ unsigned int flags)
1680 {
1681   if (!backend)
1682     {
1683       origflags = flags;
1684
1685 #if EV_USE_REALTIME
1686       if (!have_realtime)
1687         {
1688           struct timespec ts;
1689
1690           if (!clock_gettime (CLOCK_REALTIME, &ts))
1691             have_realtime = 1;
1692         }
1693 #endif
1694
1695 #if EV_USE_MONOTONIC
1696       if (!have_monotonic)
1697         {
1698           struct timespec ts;
1699
1700           if (!clock_gettime (CLOCK_MONOTONIC, &ts))
1701             have_monotonic = 1;
1702         }
1703 #endif
1704
1705       /* pid check not overridable via env */
1706 #ifndef _WIN32
1707       if (flags & EVFLAG_FORKCHECK)
1708         curpid = getpid ();
1709 #endif
1710
1711       if (!(flags & EVFLAG_NOENV)
1712           && !enable_secure ()
1713           && getenv ("LIBEV_FLAGS"))
1714         flags = atoi (getenv ("LIBEV_FLAGS"));
1715
1716       ev_rt_now         = ev_time ();
1717       mn_now            = get_clock ();
1718       now_floor         = mn_now;
1719       rtmn_diff         = ev_rt_now - mn_now;
1720 #if EV_FEATURE_API
1721       invoke_cb         = ev_invoke_pending;
1722 #endif
1723
1724       io_blocktime      = 0.;
1725       timeout_blocktime = 0.;
1726       backend           = 0;
1727       backend_fd        = -1;
1728       sig_pending       = 0;
1729 #if EV_ASYNC_ENABLE
1730       async_pending     = 0;
1731 #endif
1732 #if EV_USE_INOTIFY
1733       fs_fd             = flags & EVFLAG_NOINOTIFY ? -1 : -2;
1734 #endif
1735 #if EV_USE_SIGNALFD
1736       sigfd             = flags & EVFLAG_SIGNALFD  ? -2 : -1;
1737 #endif
1738
1739       if (!(flags & EVBACKEND_MASK))
1740         flags |= ev_recommended_backends ();
1741
1742 #if EV_USE_IOCP
1743       if (!backend && (flags & EVBACKEND_IOCP  )) backend = iocp_init   (EV_A_ flags);
1744 #endif
1745 #if EV_USE_PORT
1746       if (!backend && (flags & EVBACKEND_PORT  )) backend = port_init   (EV_A_ flags);
1747 #endif
1748 #if EV_USE_KQUEUE
1749       if (!backend && (flags & EVBACKEND_KQUEUE)) backend = kqueue_init (EV_A_ flags);
1750 #endif
1751 #if EV_USE_EPOLL
1752       if (!backend && (flags & EVBACKEND_EPOLL )) backend = epoll_init  (EV_A_ flags);
1753 #endif
1754 #if EV_USE_POLL
1755       if (!backend && (flags & EVBACKEND_POLL  )) backend = poll_init   (EV_A_ flags);
1756 #endif
1757 #if EV_USE_SELECT
1758       if (!backend && (flags & EVBACKEND_SELECT)) backend = select_init (EV_A_ flags);
1759 #endif
1760
1761       ev_prepare_init (&pending_w, pendingcb);
1762
1763 #if EV_SIGNAL_ENABLE || EV_ASYNC_ENABLE
1764       ev_init (&pipe_w, pipecb);
1765       ev_set_priority (&pipe_w, EV_MAXPRI);
1766 #endif
1767     }
1768 }
1769
1770 /* free up a loop structure */
1771 void
1772 ev_loop_destroy (EV_P)
1773 {
1774   int i;
1775
1776 #if EV_MULTIPLICITY
1777   /* mimic free (0) */
1778   if (!EV_A)
1779     return;
1780 #endif
1781
1782 #if EV_CLEANUP_ENABLE
1783   /* queue cleanup watchers (and execute them) */
1784   if (expect_false (cleanupcnt))
1785     {
1786       queue_events (EV_A_ (W *)cleanups, cleanupcnt, EV_CLEANUP);
1787       EV_INVOKE_PENDING;
1788     }
1789 #endif
1790
1791 #if EV_CHILD_ENABLE
1792   if (ev_is_active (&childev))
1793     {
1794       ev_ref (EV_A); /* child watcher */
1795       ev_signal_stop (EV_A_ &childev);
1796     }
1797 #endif
1798
1799   if (ev_is_active (&pipe_w))
1800     {
1801       /*ev_ref (EV_A);*/
1802       /*ev_io_stop (EV_A_ &pipe_w);*/
1803
1804 #if EV_USE_EVENTFD
1805       if (evfd >= 0)
1806         close (evfd);
1807 #endif
1808
1809       if (evpipe [0] >= 0)
1810         {
1811           EV_WIN32_CLOSE_FD (evpipe [0]);
1812           EV_WIN32_CLOSE_FD (evpipe [1]);
1813         }
1814     }
1815
1816 #if EV_USE_SIGNALFD
1817   if (ev_is_active (&sigfd_w))
1818     close (sigfd);
1819 #endif
1820
1821 #if EV_USE_INOTIFY
1822   if (fs_fd >= 0)
1823     close (fs_fd);
1824 #endif
1825
1826   if (backend_fd >= 0)
1827     close (backend_fd);
1828
1829 #if EV_USE_IOCP
1830   if (backend == EVBACKEND_IOCP  ) iocp_destroy   (EV_A);
1831 #endif
1832 #if EV_USE_PORT
1833   if (backend == EVBACKEND_PORT  ) port_destroy   (EV_A);
1834 #endif
1835 #if EV_USE_KQUEUE
1836   if (backend == EVBACKEND_KQUEUE) kqueue_destroy (EV_A);
1837 #endif
1838 #if EV_USE_EPOLL
1839   if (backend == EVBACKEND_EPOLL ) epoll_destroy  (EV_A);
1840 #endif
1841 #if EV_USE_POLL
1842   if (backend == EVBACKEND_POLL  ) poll_destroy   (EV_A);
1843 #endif
1844 #if EV_USE_SELECT
1845   if (backend == EVBACKEND_SELECT) select_destroy (EV_A);
1846 #endif
1847
1848   for (i = NUMPRI; i--; )
1849     {
1850       array_free (pending, [i]);
1851 #if EV_IDLE_ENABLE
1852       array_free (idle, [i]);
1853 #endif
1854     }
1855
1856   ev_free (anfds); anfds = 0; anfdmax = 0;
1857
1858   /* have to use the microsoft-never-gets-it-right macro */
1859   array_free (rfeed, EMPTY);
1860   array_free (fdchange, EMPTY);
1861   array_free (timer, EMPTY);
1862 #if EV_PERIODIC_ENABLE
1863   array_free (periodic, EMPTY);
1864 #endif
1865 #if EV_FORK_ENABLE
1866   array_free (fork, EMPTY);
1867 #endif
1868 #if EV_CLEANUP_ENABLE
1869   array_free (cleanup, EMPTY);
1870 #endif
1871   array_free (prepare, EMPTY);
1872   array_free (check, EMPTY);
1873 #if EV_ASYNC_ENABLE
1874   array_free (async, EMPTY);
1875 #endif
1876
1877   backend = 0;
1878
1879 #if EV_MULTIPLICITY
1880   if (ev_is_default_loop (EV_A))
1881 #endif
1882     ev_default_loop_ptr = 0;
1883 #if EV_MULTIPLICITY
1884   else
1885     ev_free (EV_A);
1886 #endif
1887 }
1888
1889 #if EV_USE_INOTIFY
1890 inline_size void infy_fork (EV_P);
1891 #endif
1892
1893 inline_size void
1894 loop_fork (EV_P)
1895 {
1896 #if EV_USE_PORT
1897   if (backend == EVBACKEND_PORT  ) port_fork   (EV_A);
1898 #endif
1899 #if EV_USE_KQUEUE
1900   if (backend == EVBACKEND_KQUEUE) kqueue_fork (EV_A);
1901 #endif
1902 #if EV_USE_EPOLL
1903   if (backend == EVBACKEND_EPOLL ) epoll_fork  (EV_A);
1904 #endif
1905 #if EV_USE_INOTIFY
1906   infy_fork (EV_A);
1907 #endif
1908
1909   if (ev_is_active (&pipe_w))
1910     {
1911       /* this "locks" the handlers against writing to the pipe */
1912       /* while we modify the fd vars */
1913       sig_pending   = 1;
1914 #if EV_ASYNC_ENABLE
1915       async_pending = 1;
1916 #endif
1917
1918       ev_ref (EV_A);
1919       ev_io_stop (EV_A_ &pipe_w);
1920
1921 #if EV_USE_EVENTFD
1922       if (evfd >= 0)
1923         close (evfd);
1924 #endif
1925
1926       if (evpipe [0] >= 0)
1927         {
1928           EV_WIN32_CLOSE_FD (evpipe [0]);
1929           EV_WIN32_CLOSE_FD (evpipe [1]);
1930         }
1931
1932 #if EV_SIGNAL_ENABLE || EV_ASYNC_ENABLE
1933       evpipe_init (EV_A);
1934       /* now iterate over everything, in case we missed something */
1935       pipecb (EV_A_ &pipe_w, EV_READ);
1936 #endif
1937     }
1938
1939   postfork = 0;
1940 }
1941
1942 #if EV_MULTIPLICITY
1943
1944 struct ev_loop *
1945 ev_loop_new (unsigned int flags)
1946 {
1947   EV_P = (struct ev_loop *)ev_malloc (sizeof (struct ev_loop));
1948
1949   memset (EV_A, 0, sizeof (struct ev_loop));
1950   loop_init (EV_A_ flags);
1951
1952   if (ev_backend (EV_A))
1953     return EV_A;
1954
1955   ev_free (EV_A);
1956   return 0;
1957 }
1958
1959 #endif /* multiplicity */
1960
1961 int
1962 ev_loop_refcount (EV_P)
1963 {
1964   return activecnt;
1965 }
1966
1967 #if EV_VERIFY
1968 static void noinline
1969 verify_watcher (EV_P_ W w)
1970 {
1971   assert (("libev: watcher has invalid priority", ABSPRI (w) >= 0 && ABSPRI (w) < NUMPRI));
1972
1973   if (w->pending)
1974     assert (("libev: pending watcher not on pending queue", pendings [ABSPRI (w)][w->pending - 1].w == w));
1975 }
1976
1977 static void noinline
1978 verify_heap (EV_P_ ANHE *heap, int N)
1979 {
1980   int i;
1981
1982   for (i = HEAP0; i < N + HEAP0; ++i)
1983     {
1984       assert (("libev: active index mismatch in heap", ev_active (ANHE_w (heap [i])) == i));
1985       assert (("libev: heap condition violated", i == HEAP0 || ANHE_at (heap [HPARENT (i)]) <= ANHE_at (heap [i])));
1986       assert (("libev: heap at cache mismatch", ANHE_at (heap [i]) == ev_at (ANHE_w (heap [i]))));
1987
1988       verify_watcher (EV_A_ (W)ANHE_w (heap [i]));
1989     }
1990 }
1991
1992 static void noinline
1993 array_verify (EV_P_ W *ws, int cnt)
1994 {
1995   while (cnt--)
1996     {
1997       assert (("libev: active index mismatch", ev_active (ws [cnt]) == cnt + 1));
1998       verify_watcher (EV_A_ ws [cnt]);
1999     }
2000 }
2001 #endif
2002
2003 #if EV_FEATURE_API
2004 void
2005 ev_verify (EV_P)
2006 {
2007 #if EV_VERIFY
2008   int i;
2009   WL w;
2010
2011   assert (activecnt >= -1);
2012
2013   assert (fdchangemax >= fdchangecnt);
2014   for (i = 0; i < fdchangecnt; ++i)
2015     assert (("libev: negative fd in fdchanges", fdchanges [i] >= 0));
2016
2017   assert (anfdmax >= 0);
2018   for (i = 0; i < anfdmax; ++i)
2019     for (w = anfds [i].head; w; w = w->next)
2020       {
2021         verify_watcher (EV_A_ (W)w);
2022         assert (("libev: inactive fd watcher on anfd list", ev_active (w) == 1));
2023         assert (("libev: fd mismatch between watcher and anfd", ((ev_io *)w)->fd == i));
2024       }
2025
2026   assert (timermax >= timercnt);
2027   verify_heap (EV_A_ timers, timercnt);
2028
2029 #if EV_PERIODIC_ENABLE
2030   assert (periodicmax >= periodiccnt);
2031   verify_heap (EV_A_ periodics, periodiccnt);
2032 #endif
2033
2034   for (i = NUMPRI; i--; )
2035     {
2036       assert (pendingmax [i] >= pendingcnt [i]);
2037 #if EV_IDLE_ENABLE
2038       assert (idleall >= 0);
2039       assert (idlemax [i] >= idlecnt [i]);
2040       array_verify (EV_A_ (W *)idles [i], idlecnt [i]);
2041 #endif
2042     }
2043
2044 #if EV_FORK_ENABLE
2045   assert (forkmax >= forkcnt);
2046   array_verify (EV_A_ (W *)forks, forkcnt);
2047 #endif
2048
2049 #if EV_CLEANUP_ENABLE
2050   assert (cleanupmax >= cleanupcnt);
2051   array_verify (EV_A_ (W *)cleanups, cleanupcnt);
2052 #endif
2053
2054 #if EV_ASYNC_ENABLE
2055   assert (asyncmax >= asynccnt);
2056   array_verify (EV_A_ (W *)asyncs, asynccnt);
2057 #endif
2058
2059 #if EV_PREPARE_ENABLE
2060   assert (preparemax >= preparecnt);
2061   array_verify (EV_A_ (W *)prepares, preparecnt);
2062 #endif
2063
2064 #if EV_CHECK_ENABLE
2065   assert (checkmax >= checkcnt);
2066   array_verify (EV_A_ (W *)checks, checkcnt);
2067 #endif
2068
2069 # if 0
2070 #if EV_CHILD_ENABLE
2071   for (w = (ev_child *)childs [chain & ((EV_PID_HASHSIZE) - 1)]; w; w = (ev_child *)((WL)w)->next)
2072   for (signum = EV_NSIG; signum--; ) if (signals [signum].pending)
2073 #endif
2074 # endif
2075 #endif
2076 }
2077 #endif
2078
2079 #if EV_MULTIPLICITY
2080 struct ev_loop *
2081 #else
2082 int
2083 #endif
2084 ev_default_loop (unsigned int flags)
2085 {
2086   if (!ev_default_loop_ptr)
2087     {
2088 #if EV_MULTIPLICITY
2089       EV_P = ev_default_loop_ptr = &default_loop_struct;
2090 #else
2091       ev_default_loop_ptr = 1;
2092 #endif
2093
2094       loop_init (EV_A_ flags);
2095
2096       if (ev_backend (EV_A))
2097         {
2098 #if EV_CHILD_ENABLE
2099           ev_signal_init (&childev, childcb, SIGCHLD);
2100           ev_set_priority (&childev, EV_MAXPRI);
2101           ev_signal_start (EV_A_ &childev);
2102           ev_unref (EV_A); /* child watcher should not keep loop alive */
2103 #endif
2104         }
2105       else
2106         ev_default_loop_ptr = 0;
2107     }
2108
2109   return ev_default_loop_ptr;
2110 }
2111
2112 void
2113 ev_loop_fork (EV_P)
2114 {
2115   postfork = 1; /* must be in line with ev_default_fork */
2116 }
2117
2118 /*****************************************************************************/
2119
2120 void
2121 ev_invoke (EV_P_ void *w, int revents)
2122 {
2123   EV_CB_INVOKE ((W)w, revents);
2124 }
2125
2126 unsigned int
2127 ev_pending_count (EV_P)
2128 {
2129   int pri;
2130   unsigned int count = 0;
2131
2132   for (pri = NUMPRI; pri--; )
2133     count += pendingcnt [pri];
2134
2135   return count;
2136 }
2137
2138 void noinline
2139 ev_invoke_pending (EV_P)
2140 {
2141   int pri;
2142
2143   for (pri = NUMPRI; pri--; )
2144     while (pendingcnt [pri])
2145       {
2146         ANPENDING *p = pendings [pri] + --pendingcnt [pri];
2147
2148         p->w->pending = 0;
2149         EV_CB_INVOKE (p->w, p->events);
2150         EV_FREQUENT_CHECK;
2151       }
2152 }
2153
2154 #if EV_IDLE_ENABLE
2155 /* make idle watchers pending. this handles the "call-idle */
2156 /* only when higher priorities are idle" logic */
2157 inline_size void
2158 idle_reify (EV_P)
2159 {
2160   if (expect_false (idleall))
2161     {
2162       int pri;
2163
2164       for (pri = NUMPRI; pri--; )
2165         {
2166           if (pendingcnt [pri])
2167             break;
2168
2169           if (idlecnt [pri])
2170             {
2171               queue_events (EV_A_ (W *)idles [pri], idlecnt [pri], EV_IDLE);
2172               break;
2173             }
2174         }
2175     }
2176 }
2177 #endif
2178
2179 /* make timers pending */
2180 inline_size void
2181 timers_reify (EV_P)
2182 {
2183   EV_FREQUENT_CHECK;
2184
2185   if (timercnt && ANHE_at (timers [HEAP0]) < mn_now)
2186     {
2187       do
2188         {
2189           ev_timer *w = (ev_timer *)ANHE_w (timers [HEAP0]);
2190
2191           /*assert (("libev: inactive timer on timer heap detected", ev_is_active (w)));*/
2192
2193           /* first reschedule or stop timer */
2194           if (w->repeat)
2195             {
2196               ev_at (w) += w->repeat;
2197               if (ev_at (w) < mn_now)
2198                 ev_at (w) = mn_now;
2199
2200               assert (("libev: negative ev_timer repeat value found while processing timers", w->repeat > 0.));
2201
2202               ANHE_at_cache (timers [HEAP0]);
2203               downheap (timers, timercnt, HEAP0);
2204             }
2205           else
2206             ev_timer_stop (EV_A_ w); /* nonrepeating: stop timer */
2207
2208           EV_FREQUENT_CHECK;
2209           feed_reverse (EV_A_ (W)w);
2210         }
2211       while (timercnt && ANHE_at (timers [HEAP0]) < mn_now);
2212
2213       feed_reverse_done (EV_A_ EV_TIMER);
2214     }
2215 }
2216
2217 #if EV_PERIODIC_ENABLE
2218
2219 inline_speed void
2220 periodic_recalc (EV_P_ ev_periodic *w)
2221 {
2222   /* TODO: use slow but potentially more correct incremental algo, */
2223   /* also do not rely on ceil */
2224   ev_at (w) = w->offset + ceil ((ev_rt_now - w->offset) / w->interval) * w->interval;
2225 }
2226
2227 /* make periodics pending */
2228 inline_size void
2229 periodics_reify (EV_P)
2230 {
2231   EV_FREQUENT_CHECK;
2232
2233   while (periodiccnt && ANHE_at (periodics [HEAP0]) < ev_rt_now)
2234     {
2235       int feed_count = 0;
2236
2237       do
2238         {
2239           ev_periodic *w = (ev_periodic *)ANHE_w (periodics [HEAP0]);
2240
2241           /*assert (("libev: inactive timer on periodic heap detected", ev_is_active (w)));*/
2242
2243           /* first reschedule or stop timer */
2244           if (w->reschedule_cb)
2245             {
2246               ev_at (w) = w->reschedule_cb (w, ev_rt_now);
2247
2248               assert (("libev: ev_periodic reschedule callback returned time in the past", ev_at (w) >= ev_rt_now));
2249
2250               ANHE_at_cache (periodics [HEAP0]);
2251               downheap (periodics, periodiccnt, HEAP0);
2252             }
2253           else if (w->interval)
2254             {
2255               periodic_recalc (EV_A_ w);
2256
2257               /* if next trigger time is not sufficiently in the future, put it there */
2258               /* this might happen because of floating point inexactness */
2259               if (ev_at (w) - ev_rt_now < TIME_EPSILON)
2260                 {
2261                   ev_at (w) += w->interval;
2262
2263                   /* if interval is unreasonably low we might still have a time in the past */
2264                   /* so correct this. this will make the periodic very inexact, but the user */
2265                   /* has effectively asked to get triggered more often than possible */
2266                   if (ev_at (w) < ev_rt_now)
2267                     ev_at (w) = ev_rt_now;
2268                 }
2269
2270               ANHE_at_cache (periodics [HEAP0]);
2271               downheap (periodics, periodiccnt, HEAP0);
2272             }
2273           else
2274             ev_periodic_stop (EV_A_ w); /* nonrepeating: stop timer */
2275
2276           EV_FREQUENT_CHECK;
2277           feed_reverse (EV_A_ (W)w);
2278         }
2279       while (periodiccnt && ANHE_at (periodics [HEAP0]) < ev_rt_now);
2280
2281       feed_reverse_done (EV_A_ EV_PERIODIC);
2282     }
2283 }
2284
2285 /* simply recalculate all periodics */
2286 /* TODO: maybe ensure that at least one event happens when jumping forward? */
2287 static void noinline
2288 periodics_reschedule (EV_P)
2289 {
2290   int i;
2291
2292   /* adjust periodics after time jump */
2293   for (i = HEAP0; i < periodiccnt + HEAP0; ++i)
2294     {
2295       ev_periodic *w = (ev_periodic *)ANHE_w (periodics [i]);
2296
2297       if (w->reschedule_cb)
2298         ev_at (w) = w->reschedule_cb (w, ev_rt_now);
2299       else if (w->interval)
2300         periodic_recalc (EV_A_ w);
2301
2302       ANHE_at_cache (periodics [i]);
2303     }
2304
2305   reheap (periodics, periodiccnt);
2306 }
2307 #endif
2308
2309 /* adjust all timers by a given offset */
2310 static void noinline
2311 timers_reschedule (EV_P_ ev_tstamp adjust)
2312 {
2313   int i;
2314
2315   for (i = 0; i < timercnt; ++i)
2316     {
2317       ANHE *he = timers + i + HEAP0;
2318       ANHE_w (*he)->at += adjust;
2319       ANHE_at_cache (*he);
2320     }
2321 }
2322
2323 /* fetch new monotonic and realtime times from the kernel */
2324 /* also detect if there was a timejump, and act accordingly */
2325 inline_speed void
2326 time_update (EV_P_ ev_tstamp max_block)
2327 {
2328 #if EV_USE_MONOTONIC
2329   if (expect_true (have_monotonic))
2330     {
2331       int i;
2332       ev_tstamp odiff = rtmn_diff;
2333
2334       mn_now = get_clock ();
2335
2336       /* only fetch the realtime clock every 0.5*MIN_TIMEJUMP seconds */
2337       /* interpolate in the meantime */
2338       if (expect_true (mn_now - now_floor < MIN_TIMEJUMP * .5))
2339         {
2340           ev_rt_now = rtmn_diff + mn_now;
2341           return;
2342         }
2343
2344       now_floor = mn_now;
2345       ev_rt_now = ev_time ();
2346
2347       /* loop a few times, before making important decisions.
2348        * on the choice of "4": one iteration isn't enough,
2349        * in case we get preempted during the calls to
2350        * ev_time and get_clock. a second call is almost guaranteed
2351        * to succeed in that case, though. and looping a few more times
2352        * doesn't hurt either as we only do this on time-jumps or
2353        * in the unlikely event of having been preempted here.
2354        */
2355       for (i = 4; --i; )
2356         {
2357           rtmn_diff = ev_rt_now - mn_now;
2358
2359           if (expect_true (fabs (odiff - rtmn_diff) < MIN_TIMEJUMP))
2360             return; /* all is well */
2361
2362           ev_rt_now = ev_time ();
2363           mn_now    = get_clock ();
2364           now_floor = mn_now;
2365         }
2366
2367       /* no timer adjustment, as the monotonic clock doesn't jump */
2368       /* timers_reschedule (EV_A_ rtmn_diff - odiff) */
2369 # if EV_PERIODIC_ENABLE
2370       periodics_reschedule (EV_A);
2371 # endif
2372     }
2373   else
2374 #endif
2375     {
2376       ev_rt_now = ev_time ();
2377
2378       if (expect_false (mn_now > ev_rt_now || ev_rt_now > mn_now + max_block + MIN_TIMEJUMP))
2379         {
2380           /* adjust timers. this is easy, as the offset is the same for all of them */
2381           timers_reschedule (EV_A_ ev_rt_now - mn_now);
2382 #if EV_PERIODIC_ENABLE
2383           periodics_reschedule (EV_A);
2384 #endif
2385         }
2386
2387       mn_now = ev_rt_now;
2388     }
2389 }
2390
2391 void
2392 ev_run (EV_P_ int flags)
2393 {
2394 #if EV_FEATURE_API
2395   ++loop_depth;
2396 #endif
2397
2398   assert (("libev: ev_loop recursion during release detected", loop_done != EVBREAK_RECURSE));
2399
2400   loop_done = EVBREAK_CANCEL;
2401
2402   EV_INVOKE_PENDING; /* in case we recurse, ensure ordering stays nice and clean */
2403
2404   do
2405     {
2406 #if EV_VERIFY >= 2
2407       ev_verify (EV_A);
2408 #endif
2409
2410 #ifndef _WIN32
2411       if (expect_false (curpid)) /* penalise the forking check even more */
2412         if (expect_false (getpid () != curpid))
2413           {
2414             curpid = getpid ();
2415             postfork = 1;
2416           }
2417 #endif
2418
2419 #if EV_FORK_ENABLE
2420       /* we might have forked, so queue fork handlers */
2421       if (expect_false (postfork))
2422         if (forkcnt)
2423           {
2424             queue_events (EV_A_ (W *)forks, forkcnt, EV_FORK);
2425             EV_INVOKE_PENDING;
2426           }
2427 #endif
2428
2429 #if EV_PREPARE_ENABLE
2430       /* queue prepare watchers (and execute them) */
2431       if (expect_false (preparecnt))
2432         {
2433           queue_events (EV_A_ (W *)prepares, preparecnt, EV_PREPARE);
2434           EV_INVOKE_PENDING;
2435         }
2436 #endif
2437
2438       if (expect_false (loop_done))
2439         break;
2440
2441       /* we might have forked, so reify kernel state if necessary */
2442       if (expect_false (postfork))
2443         loop_fork (EV_A);
2444
2445       /* update fd-related kernel structures */
2446       fd_reify (EV_A);
2447
2448       /* calculate blocking time */
2449       {
2450         ev_tstamp waittime  = 0.;
2451         ev_tstamp sleeptime = 0.;
2452
2453         /* remember old timestamp for io_blocktime calculation */
2454         ev_tstamp prev_mn_now = mn_now;
2455
2456         /* update time to cancel out callback processing overhead */
2457         time_update (EV_A_ 1e100);
2458
2459         if (expect_true (!(flags & EVRUN_NOWAIT || idleall || !activecnt)))
2460           {
2461             waittime = MAX_BLOCKTIME;
2462
2463             if (timercnt)
2464               {
2465                 ev_tstamp to = ANHE_at (timers [HEAP0]) - mn_now + backend_fudge;
2466                 if (waittime > to) waittime = to;
2467               }
2468
2469 #if EV_PERIODIC_ENABLE
2470             if (periodiccnt)
2471               {
2472                 ev_tstamp to = ANHE_at (periodics [HEAP0]) - ev_rt_now + backend_fudge;
2473                 if (waittime > to) waittime = to;
2474               }
2475 #endif
2476
2477             /* don't let timeouts decrease the waittime below timeout_blocktime */
2478             if (expect_false (waittime < timeout_blocktime))
2479               waittime = timeout_blocktime;
2480
2481             /* extra check because io_blocktime is commonly 0 */
2482             if (expect_false (io_blocktime))
2483               {
2484                 sleeptime = io_blocktime - (mn_now - prev_mn_now);
2485
2486                 if (sleeptime > waittime - backend_fudge)
2487                   sleeptime = waittime - backend_fudge;
2488
2489                 if (expect_true (sleeptime > 0.))
2490                   {
2491                     ev_sleep (sleeptime);
2492                     waittime -= sleeptime;
2493                   }
2494               }
2495           }
2496
2497 #if EV_FEATURE_API
2498         ++loop_count;
2499 #endif
2500         assert ((loop_done = EVBREAK_RECURSE, 1)); /* assert for side effect */
2501         backend_poll (EV_A_ waittime);
2502         assert ((loop_done = EVBREAK_CANCEL, 1)); /* assert for side effect */
2503
2504         /* update ev_rt_now, do magic */
2505         time_update (EV_A_ waittime + sleeptime);
2506       }
2507
2508       /* queue pending timers and reschedule them */
2509       timers_reify (EV_A); /* relative timers called last */
2510 #if EV_PERIODIC_ENABLE
2511       periodics_reify (EV_A); /* absolute timers called first */
2512 #endif
2513
2514 #if EV_IDLE_ENABLE
2515       /* queue idle watchers unless other events are pending */
2516       idle_reify (EV_A);
2517 #endif
2518
2519 #if EV_CHECK_ENABLE
2520       /* queue check watchers, to be executed first */
2521       if (expect_false (checkcnt))
2522         queue_events (EV_A_ (W *)checks, checkcnt, EV_CHECK);
2523 #endif
2524
2525       EV_INVOKE_PENDING;
2526     }
2527   while (expect_true (
2528     activecnt
2529     && !loop_done
2530     && !(flags & (EVRUN_ONCE | EVRUN_NOWAIT))
2531   ));
2532
2533   if (loop_done == EVBREAK_ONE)
2534     loop_done = EVBREAK_CANCEL;
2535
2536 #if EV_FEATURE_API
2537   --loop_depth;
2538 #endif
2539 }
2540
2541 void
2542 ev_break (EV_P_ int how)
2543 {
2544   loop_done = how;
2545 }
2546
2547 void
2548 ev_ref (EV_P)
2549 {
2550   ++activecnt;
2551 }
2552
2553 void
2554 ev_unref (EV_P)
2555 {
2556   --activecnt;
2557 }
2558
2559 void
2560 ev_now_update (EV_P)
2561 {
2562   time_update (EV_A_ 1e100);
2563 }
2564
2565 void
2566 ev_suspend (EV_P)
2567 {
2568   ev_now_update (EV_A);
2569 }
2570
2571 void
2572 ev_resume (EV_P)
2573 {
2574   ev_tstamp mn_prev = mn_now;
2575
2576   ev_now_update (EV_A);
2577   timers_reschedule (EV_A_ mn_now - mn_prev);
2578 #if EV_PERIODIC_ENABLE
2579   /* TODO: really do this? */
2580   periodics_reschedule (EV_A);
2581 #endif
2582 }
2583
2584 /*****************************************************************************/
2585 /* singly-linked list management, used when the expected list length is short */
2586
2587 inline_size void
2588 wlist_add (WL *head, WL elem)
2589 {
2590   elem->next = *head;
2591   *head = elem;
2592 }
2593
2594 inline_size void
2595 wlist_del (WL *head, WL elem)
2596 {
2597   while (*head)
2598     {
2599       if (expect_true (*head == elem))
2600         {
2601           *head = elem->next;
2602           break;
2603         }
2604
2605       head = &(*head)->next;
2606     }
2607 }
2608
2609 /* internal, faster, version of ev_clear_pending */
2610 inline_speed void
2611 clear_pending (EV_P_ W w)
2612 {
2613   if (w->pending)
2614     {
2615       pendings [ABSPRI (w)][w->pending - 1].w = (W)&pending_w;
2616       w->pending = 0;
2617     }
2618 }
2619
2620 int
2621 ev_clear_pending (EV_P_ void *w)
2622 {
2623   W w_ = (W)w;
2624   int pending = w_->pending;
2625
2626   if (expect_true (pending))
2627     {
2628       ANPENDING *p = pendings [ABSPRI (w_)] + pending - 1;
2629       p->w = (W)&pending_w;
2630       w_->pending = 0;
2631       return p->events;
2632     }
2633   else
2634     return 0;
2635 }
2636
2637 inline_size void
2638 pri_adjust (EV_P_ W w)
2639 {
2640   int pri = ev_priority (w);
2641   pri = pri < EV_MINPRI ? EV_MINPRI : pri;
2642   pri = pri > EV_MAXPRI ? EV_MAXPRI : pri;
2643   ev_set_priority (w, pri);
2644 }
2645
2646 inline_speed void
2647 ev_start (EV_P_ W w, int active)
2648 {
2649   pri_adjust (EV_A_ w);
2650   w->active = active;
2651   ev_ref (EV_A);
2652 }
2653
2654 inline_size void
2655 ev_stop (EV_P_ W w)
2656 {
2657   ev_unref (EV_A);
2658   w->active = 0;
2659 }
2660
2661 /*****************************************************************************/
2662
2663 void noinline
2664 ev_io_start (EV_P_ ev_io *w)
2665 {
2666   int fd = w->fd;
2667
2668   if (expect_false (ev_is_active (w)))
2669     return;
2670
2671   assert (("libev: ev_io_start called with negative fd", fd >= 0));
2672   assert (("libev: ev_io_start called with illegal event mask",
2673       !(w->events & ~(EV__IOFDSET | EV_READ | EV_WRITE | EV_LIBUV_KQUEUE_HACK))));
2674
2675   EV_FREQUENT_CHECK;
2676
2677   ev_start (EV_A_ (W)w, 1);
2678   array_needsize (ANFD, anfds, anfdmax, fd + 1, array_init_zero);
2679   wlist_add (&anfds[fd].head, (WL)w);
2680
2681   fd_change (EV_A_ fd, w->events & EV__IOFDSET | EV_ANFD_REIFY);
2682   w->events &= ~EV__IOFDSET;
2683
2684   EV_FREQUENT_CHECK;
2685 }
2686
2687 void noinline
2688 ev_io_stop (EV_P_ ev_io *w)
2689 {
2690   clear_pending (EV_A_ (W)w);
2691   if (expect_false (!ev_is_active (w)))
2692     return;
2693
2694   assert (("libev: ev_io_stop called with illegal fd (must stay constant after start!)", w->fd >= 0 && w->fd < anfdmax));
2695
2696   EV_FREQUENT_CHECK;
2697
2698   wlist_del (&anfds[w->fd].head, (WL)w);
2699   ev_stop (EV_A_ (W)w);
2700
2701   fd_change (EV_A_ w->fd, EV_ANFD_REIFY);
2702
2703   EV_FREQUENT_CHECK;
2704 }
2705
2706 void noinline
2707 ev_timer_start (EV_P_ ev_timer *w)
2708 {
2709   if (expect_false (ev_is_active (w)))
2710     return;
2711
2712   ev_at (w) += mn_now;
2713
2714   assert (("libev: ev_timer_start called with negative timer repeat value", w->repeat >= 0.));
2715
2716   EV_FREQUENT_CHECK;
2717
2718   ++timercnt;
2719   ev_start (EV_A_ (W)w, timercnt + HEAP0 - 1);
2720   array_needsize (ANHE, timers, timermax, ev_active (w) + 1, EMPTY2);
2721   ANHE_w (timers [ev_active (w)]) = (WT)w;
2722   ANHE_at_cache (timers [ev_active (w)]);
2723   upheap (timers, ev_active (w));
2724
2725   EV_FREQUENT_CHECK;
2726
2727   /*assert (("libev: internal timer heap corruption", timers [ev_active (w)] == (WT)w));*/
2728 }
2729
2730 void noinline
2731 ev_timer_stop (EV_P_ ev_timer *w)
2732 {
2733   clear_pending (EV_A_ (W)w);
2734   if (expect_false (!ev_is_active (w)))
2735     return;
2736
2737   EV_FREQUENT_CHECK;
2738
2739   {
2740     int active = ev_active (w);
2741
2742     assert (("libev: internal timer heap corruption", ANHE_w (timers [active]) == (WT)w));
2743
2744     --timercnt;
2745
2746     if (expect_true (active < timercnt + HEAP0))
2747       {
2748         timers [active] = timers [timercnt + HEAP0];
2749         adjustheap (timers, timercnt, active);
2750       }
2751   }
2752
2753   ev_at (w) -= mn_now;
2754
2755   ev_stop (EV_A_ (W)w);
2756
2757   EV_FREQUENT_CHECK;
2758 }
2759
2760 void noinline
2761 ev_timer_again (EV_P_ ev_timer *w)
2762 {
2763   EV_FREQUENT_CHECK;
2764
2765   if (ev_is_active (w))
2766     {
2767       if (w->repeat)
2768         {
2769           ev_at (w) = mn_now + w->repeat;
2770           ANHE_at_cache (timers [ev_active (w)]);
2771           adjustheap (timers, timercnt, ev_active (w));
2772         }
2773       else
2774         ev_timer_stop (EV_A_ w);
2775     }
2776   else if (w->repeat)
2777     {
2778       ev_at (w) = w->repeat;
2779       ev_timer_start (EV_A_ w);
2780     }
2781
2782   EV_FREQUENT_CHECK;
2783 }
2784
2785 ev_tstamp
2786 ev_timer_remaining (EV_P_ ev_timer *w)
2787 {
2788   return ev_at (w) - (ev_is_active (w) ? mn_now : 0.);
2789 }
2790
2791 #if EV_PERIODIC_ENABLE
2792 void noinline
2793 ev_periodic_start (EV_P_ ev_periodic *w)
2794 {
2795   if (expect_false (ev_is_active (w)))
2796     return;
2797
2798   if (w->reschedule_cb)
2799     ev_at (w) = w->reschedule_cb (w, ev_rt_now);
2800   else if (w->interval)
2801     {
2802       assert (("libev: ev_periodic_start called with negative interval value", w->interval >= 0.));
2803       periodic_recalc (EV_A_ w);
2804     }
2805   else
2806     ev_at (w) = w->offset;
2807
2808   EV_FREQUENT_CHECK;
2809
2810   ++periodiccnt;
2811   ev_start (EV_A_ (W)w, periodiccnt + HEAP0 - 1);
2812   array_needsize (ANHE, periodics, periodicmax, ev_active (w) + 1, EMPTY2);
2813   ANHE_w (periodics [ev_active (w)]) = (WT)w;
2814   ANHE_at_cache (periodics [ev_active (w)]);
2815   upheap (periodics, ev_active (w));
2816
2817   EV_FREQUENT_CHECK;
2818
2819   /*assert (("libev: internal periodic heap corruption", ANHE_w (periodics [ev_active (w)]) == (WT)w));*/
2820 }
2821
2822 void noinline
2823 ev_periodic_stop (EV_P_ ev_periodic *w)
2824 {
2825   clear_pending (EV_A_ (W)w);
2826   if (expect_false (!ev_is_active (w)))
2827     return;
2828
2829   EV_FREQUENT_CHECK;
2830
2831   {
2832     int active = ev_active (w);
2833
2834     assert (("libev: internal periodic heap corruption", ANHE_w (periodics [active]) == (WT)w));
2835
2836     --periodiccnt;
2837
2838     if (expect_true (active < periodiccnt + HEAP0))
2839       {
2840         periodics [active] = periodics [periodiccnt + HEAP0];
2841         adjustheap (periodics, periodiccnt, active);
2842       }
2843   }
2844
2845   ev_stop (EV_A_ (W)w);
2846
2847   EV_FREQUENT_CHECK;
2848 }
2849
2850 void noinline
2851 ev_periodic_again (EV_P_ ev_periodic *w)
2852 {
2853   /* TODO: use adjustheap and recalculation */
2854   ev_periodic_stop (EV_A_ w);
2855   ev_periodic_start (EV_A_ w);
2856 }
2857 #endif
2858
2859 #ifndef SA_RESTART
2860 # define SA_RESTART 0
2861 #endif
2862
2863 #if EV_SIGNAL_ENABLE
2864
2865 void noinline
2866 ev_signal_start (EV_P_ ev_signal *w)
2867 {
2868   if (expect_false (ev_is_active (w)))
2869     return;
2870
2871   assert (("libev: ev_signal_start called with illegal signal number", w->signum > 0 && w->signum < EV_NSIG));
2872
2873 #if EV_MULTIPLICITY
2874   assert (("libev: a signal must not be attached to two different loops",
2875            !signals [w->signum - 1].loop || signals [w->signum - 1].loop == loop));
2876
2877   signals [w->signum - 1].loop = EV_A;
2878 #endif
2879
2880   EV_FREQUENT_CHECK;
2881
2882 #if EV_USE_SIGNALFD
2883   if (sigfd == -2)
2884     {
2885       sigfd = signalfd (-1, &sigfd_set, SFD_NONBLOCK | SFD_CLOEXEC);
2886       if (sigfd < 0 && errno == EINVAL)
2887         sigfd = signalfd (-1, &sigfd_set, 0); /* retry without flags */
2888
2889       if (sigfd >= 0)
2890         {
2891           fd_intern (sigfd); /* doing it twice will not hurt */
2892
2893           sigemptyset (&sigfd_set);
2894
2895           ev_io_init (&sigfd_w, sigfdcb, sigfd, EV_READ);
2896           ev_set_priority (&sigfd_w, EV_MAXPRI);
2897           ev_io_start (EV_A_ &sigfd_w);
2898           ev_unref (EV_A); /* signalfd watcher should not keep loop alive */
2899         }
2900     }
2901
2902   if (sigfd >= 0)
2903     {
2904       /* TODO: check .head */
2905       sigaddset (&sigfd_set, w->signum);
2906       sigprocmask (SIG_BLOCK, &sigfd_set, 0);
2907
2908       signalfd (sigfd, &sigfd_set, 0);
2909     }
2910 #endif
2911
2912   ev_start (EV_A_ (W)w, 1);
2913   wlist_add (&signals [w->signum - 1].head, (WL)w);
2914
2915   if (!((WL)w)->next)
2916 # if EV_USE_SIGNALFD
2917     if (sigfd < 0) /*TODO*/
2918 # endif
2919       {
2920 # ifdef _WIN32
2921         evpipe_init (EV_A);
2922
2923         signal (w->signum, ev_sighandler);
2924 # else
2925         struct sigaction sa;
2926
2927         evpipe_init (EV_A);
2928
2929         sa.sa_handler = ev_sighandler;
2930         sigfillset (&sa.sa_mask);
2931         sa.sa_flags = SA_RESTART; /* if restarting works we save one iteration */
2932         sigaction (w->signum, &sa, 0);
2933
2934         if (origflags & EVFLAG_NOSIGMASK)
2935           {
2936             sigemptyset (&sa.sa_mask);
2937             sigaddset (&sa.sa_mask, w->signum);
2938             sigprocmask (SIG_UNBLOCK, &sa.sa_mask, 0);
2939           }
2940 #endif
2941       }
2942
2943   EV_FREQUENT_CHECK;
2944 }
2945
2946 void noinline
2947 ev_signal_stop (EV_P_ ev_signal *w)
2948 {
2949   clear_pending (EV_A_ (W)w);
2950   if (expect_false (!ev_is_active (w)))
2951     return;
2952
2953   EV_FREQUENT_CHECK;
2954
2955   wlist_del (&signals [w->signum - 1].head, (WL)w);
2956   ev_stop (EV_A_ (W)w);
2957
2958   if (!signals [w->signum - 1].head)
2959     {
2960 #if EV_MULTIPLICITY
2961       signals [w->signum - 1].loop = 0; /* unattach from signal */
2962 #endif
2963 #if EV_USE_SIGNALFD
2964       if (sigfd >= 0)
2965         {
2966           sigset_t ss;
2967
2968           sigemptyset (&ss);
2969           sigaddset (&ss, w->signum);
2970           sigdelset (&sigfd_set, w->signum);
2971
2972           signalfd (sigfd, &sigfd_set, 0);
2973           sigprocmask (SIG_UNBLOCK, &ss, 0);
2974         }
2975       else
2976 #endif
2977         signal (w->signum, SIG_DFL);
2978     }
2979
2980   EV_FREQUENT_CHECK;
2981 }
2982
2983 #endif
2984
2985 #if EV_CHILD_ENABLE
2986
2987 void
2988 ev_child_start (EV_P_ ev_child *w)
2989 {
2990 #if EV_MULTIPLICITY
2991   assert (("libev: child watchers are only supported in the default loop", loop == ev_default_loop_ptr));
2992 #endif
2993   if (expect_false (ev_is_active (w)))
2994     return;
2995
2996   EV_FREQUENT_CHECK;
2997
2998   ev_start (EV_A_ (W)w, 1);
2999   wlist_add (&childs [w->pid & ((EV_PID_HASHSIZE) - 1)], (WL)w);
3000
3001   EV_FREQUENT_CHECK;
3002 }
3003
3004 void
3005 ev_child_stop (EV_P_ ev_child *w)
3006 {
3007   clear_pending (EV_A_ (W)w);
3008   if (expect_false (!ev_is_active (w)))
3009     return;
3010
3011   EV_FREQUENT_CHECK;
3012
3013   wlist_del (&childs [w->pid & ((EV_PID_HASHSIZE) - 1)], (WL)w);
3014   ev_stop (EV_A_ (W)w);
3015
3016   EV_FREQUENT_CHECK;
3017 }
3018
3019 #endif
3020
3021 #if EV_STAT_ENABLE
3022
3023 # ifdef _WIN32
3024 #  undef lstat
3025 #  define lstat(a,b) _stati64 (a,b)
3026 # endif
3027
3028 #define DEF_STAT_INTERVAL  5.0074891
3029 #define NFS_STAT_INTERVAL 30.1074891 /* for filesystems potentially failing inotify */
3030 #define MIN_STAT_INTERVAL  0.1074891
3031
3032 static void noinline stat_timer_cb (EV_P_ ev_timer *w_, int revents);
3033
3034 #if EV_USE_INOTIFY
3035
3036 /* the * 2 is to allow for alignment padding, which for some reason is >> 8 */
3037 # define EV_INOTIFY_BUFSIZE (sizeof (struct inotify_event) * 2 + NAME_MAX)
3038
3039 static void noinline
3040 infy_add (EV_P_ ev_stat *w)
3041 {
3042   w->wd = inotify_add_watch (fs_fd, w->path, IN_ATTRIB | IN_DELETE_SELF | IN_MOVE_SELF | IN_MODIFY | IN_DONT_FOLLOW | IN_MASK_ADD);
3043
3044   if (w->wd >= 0)
3045     {
3046       struct statfs sfs;
3047
3048       /* now local changes will be tracked by inotify, but remote changes won't */
3049       /* unless the filesystem is known to be local, we therefore still poll */
3050       /* also do poll on <2.6.25, but with normal frequency */
3051
3052       if (!fs_2625)
3053         w->timer.repeat = w->interval ? w->interval : DEF_STAT_INTERVAL;
3054       else if (!statfs (w->path, &sfs)
3055                && (sfs.f_type == 0x1373 /* devfs */
3056                    || sfs.f_type == 0xEF53 /* ext2/3 */
3057                    || sfs.f_type == 0x3153464a /* jfs */
3058                    || sfs.f_type == 0x52654973 /* reiser3 */
3059                    || sfs.f_type == 0x01021994 /* tempfs */
3060                    || sfs.f_type == 0x58465342 /* xfs */))
3061         w->timer.repeat = 0.; /* filesystem is local, kernel new enough */
3062       else
3063         w->timer.repeat = w->interval ? w->interval : NFS_STAT_INTERVAL; /* remote, use reduced frequency */
3064     }
3065   else
3066     {
3067       /* can't use inotify, continue to stat */
3068       w->timer.repeat = w->interval ? w->interval : DEF_STAT_INTERVAL;
3069
3070       /* if path is not there, monitor some parent directory for speedup hints */
3071       /* note that exceeding the hardcoded path limit is not a correctness issue, */
3072       /* but an efficiency issue only */
3073       if ((errno == ENOENT || errno == EACCES) && strlen (w->path) < 4096)
3074         {
3075           char path [4096];
3076           strcpy (path, w->path);
3077
3078           do
3079             {
3080               int mask = IN_MASK_ADD | IN_DELETE_SELF | IN_MOVE_SELF
3081                        | (errno == EACCES ? IN_ATTRIB : IN_CREATE | IN_MOVED_TO);
3082
3083               char *pend = strrchr (path, '/');
3084
3085               if (!pend || pend == path)
3086                 break;
3087
3088               *pend = 0;
3089               w->wd = inotify_add_watch (fs_fd, path, mask);
3090             }
3091           while (w->wd < 0 && (errno == ENOENT || errno == EACCES));
3092         }
3093     }
3094
3095   if (w->wd >= 0)
3096     wlist_add (&fs_hash [w->wd & ((EV_INOTIFY_HASHSIZE) - 1)].head, (WL)w);
3097
3098   /* now re-arm timer, if required */
3099   if (ev_is_active (&w->timer)) ev_ref (EV_A);
3100   ev_timer_again (EV_A_ &w->timer);
3101   if (ev_is_active (&w->timer)) ev_unref (EV_A);
3102 }
3103
3104 static void noinline
3105 infy_del (EV_P_ ev_stat *w)
3106 {
3107   int slot;
3108   int wd = w->wd;
3109
3110   if (wd < 0)
3111     return;
3112
3113   w->wd = -2;
3114   slot = wd & ((EV_INOTIFY_HASHSIZE) - 1);
3115   wlist_del (&fs_hash [slot].head, (WL)w);
3116
3117   /* remove this watcher, if others are watching it, they will rearm */
3118   inotify_rm_watch (fs_fd, wd);
3119 }
3120
3121 static void noinline
3122 infy_wd (EV_P_ int slot, int wd, struct inotify_event *ev)
3123 {
3124   if (slot < 0)
3125     /* overflow, need to check for all hash slots */
3126     for (slot = 0; slot < (EV_INOTIFY_HASHSIZE); ++slot)
3127       infy_wd (EV_A_ slot, wd, ev);
3128   else
3129     {
3130       WL w_;
3131
3132       for (w_ = fs_hash [slot & ((EV_INOTIFY_HASHSIZE) - 1)].head; w_; )
3133         {
3134           ev_stat *w = (ev_stat *)w_;
3135           w_ = w_->next; /* lets us remove this watcher and all before it */
3136
3137           if (w->wd == wd || wd == -1)
3138             {
3139               if (ev->mask & (IN_IGNORED | IN_UNMOUNT | IN_DELETE_SELF))
3140                 {
3141                   wlist_del (&fs_hash [slot & ((EV_INOTIFY_HASHSIZE) - 1)].head, (WL)w);
3142                   w->wd = -1;
3143                   infy_add (EV_A_ w); /* re-add, no matter what */
3144                 }
3145
3146               stat_timer_cb (EV_A_ &w->timer, 0);
3147             }
3148         }
3149     }
3150 }
3151
3152 static void
3153 infy_cb (EV_P_ ev_io *w, int revents)
3154 {
3155   char buf [EV_INOTIFY_BUFSIZE];
3156   int ofs;
3157   int len = read (fs_fd, buf, sizeof (buf));
3158
3159   for (ofs = 0; ofs < len; )
3160     {
3161       struct inotify_event *ev = (struct inotify_event *)(buf + ofs);
3162       infy_wd (EV_A_ ev->wd, ev->wd, ev);
3163       ofs += sizeof (struct inotify_event) + ev->len;
3164     }
3165 }
3166
3167 inline_size void
3168 ev_check_2625 (EV_P)
3169 {
3170   /* kernels < 2.6.25 are borked
3171    * http://www.ussg.indiana.edu/hypermail/linux/kernel/0711.3/1208.html
3172    */
3173   if (ev_linux_version () < 0x020619)
3174     return;
3175
3176   fs_2625 = 1;
3177 }
3178
3179 inline_size int
3180 infy_newfd (void)
3181 {
3182 #if defined (IN_CLOEXEC) && defined (IN_NONBLOCK)
3183   int fd = inotify_init1 (IN_CLOEXEC | IN_NONBLOCK);
3184   if (fd >= 0)
3185     return fd;
3186 #endif
3187   return inotify_init ();
3188 }
3189
3190 inline_size void
3191 infy_init (EV_P)
3192 {
3193   if (fs_fd != -2)
3194     return;
3195
3196   fs_fd = -1;
3197
3198   ev_check_2625 (EV_A);
3199
3200   fs_fd = infy_newfd ();
3201
3202   if (fs_fd >= 0)
3203     {
3204       fd_intern (fs_fd);
3205       ev_io_init (&fs_w, infy_cb, fs_fd, EV_READ);
3206       ev_set_priority (&fs_w, EV_MAXPRI);
3207       ev_io_start (EV_A_ &fs_w);
3208       ev_unref (EV_A);
3209     }
3210 }
3211
3212 inline_size void
3213 infy_fork (EV_P)
3214 {
3215   int slot;
3216
3217   if (fs_fd < 0)
3218     return;
3219
3220   ev_ref (EV_A);
3221   ev_io_stop (EV_A_ &fs_w);
3222   close (fs_fd);
3223   fs_fd = infy_newfd ();
3224
3225   if (fs_fd >= 0)
3226     {
3227       fd_intern (fs_fd);
3228       ev_io_set (&fs_w, fs_fd, EV_READ);
3229       ev_io_start (EV_A_ &fs_w);
3230       ev_unref (EV_A);
3231     }
3232
3233   for (slot = 0; slot < (EV_INOTIFY_HASHSIZE); ++slot)
3234     {
3235       WL w_ = fs_hash [slot].head;
3236       fs_hash [slot].head = 0;
3237
3238       while (w_)
3239         {
3240           ev_stat *w = (ev_stat *)w_;
3241           w_ = w_->next; /* lets us add this watcher */
3242
3243           w->wd = -1;
3244
3245           if (fs_fd >= 0)
3246             infy_add (EV_A_ w); /* re-add, no matter what */
3247           else
3248             {
3249               w->timer.repeat = w->interval ? w->interval : DEF_STAT_INTERVAL;
3250               if (ev_is_active (&w->timer)) ev_ref (EV_A);
3251               ev_timer_again (EV_A_ &w->timer);
3252               if (ev_is_active (&w->timer)) ev_unref (EV_A);
3253             }
3254         }
3255     }
3256 }
3257
3258 #endif
3259
3260 #ifdef _WIN32
3261 # define EV_LSTAT(p,b) _stati64 (p, b)
3262 #else
3263 # define EV_LSTAT(p,b) lstat (p, b)
3264 #endif
3265
3266 void
3267 ev_stat_stat (EV_P_ ev_stat *w)
3268 {
3269   if (lstat (w->path, &w->attr) < 0)
3270     w->attr.st_nlink = 0;
3271   else if (!w->attr.st_nlink)
3272     w->attr.st_nlink = 1;
3273 }
3274
3275 static void noinline
3276 stat_timer_cb (EV_P_ ev_timer *w_, int revents)
3277 {
3278   ev_stat *w = (ev_stat *)(((char *)w_) - offsetof (ev_stat, timer));
3279
3280   ev_statdata prev = w->attr;
3281   ev_stat_stat (EV_A_ w);
3282
3283   /* memcmp doesn't work on netbsd, they.... do stuff to their struct stat */
3284   if (
3285     prev.st_dev      != w->attr.st_dev
3286     || prev.st_ino   != w->attr.st_ino
3287     || prev.st_mode  != w->attr.st_mode
3288     || prev.st_nlink != w->attr.st_nlink
3289     || prev.st_uid   != w->attr.st_uid
3290     || prev.st_gid   != w->attr.st_gid
3291     || prev.st_rdev  != w->attr.st_rdev
3292     || prev.st_size  != w->attr.st_size
3293     || prev.st_atime != w->attr.st_atime
3294     || prev.st_mtime != w->attr.st_mtime
3295     || prev.st_ctime != w->attr.st_ctime
3296   ) {
3297       /* we only update w->prev on actual differences */
3298       /* in case we test more often than invoke the callback, */
3299       /* to ensure that prev is always different to attr */
3300       w->prev = prev;
3301
3302       #if EV_USE_INOTIFY
3303         if (fs_fd >= 0)
3304           {
3305             infy_del (EV_A_ w);
3306             infy_add (EV_A_ w);
3307             ev_stat_stat (EV_A_ w); /* avoid race... */
3308           }
3309       #endif
3310
3311       ev_feed_event (EV_A_ w, EV_STAT);
3312     }
3313 }
3314
3315 void
3316 ev_stat_start (EV_P_ ev_stat *w)
3317 {
3318   if (expect_false (ev_is_active (w)))
3319     return;
3320
3321   ev_stat_stat (EV_A_ w);
3322
3323   if (w->interval < MIN_STAT_INTERVAL && w->interval)
3324     w->interval = MIN_STAT_INTERVAL;
3325
3326   ev_timer_init (&w->timer, stat_timer_cb, 0., w->interval ? w->interval : DEF_STAT_INTERVAL);
3327   ev_set_priority (&w->timer, ev_priority (w));
3328
3329 #if EV_USE_INOTIFY
3330   infy_init (EV_A);
3331
3332   if (fs_fd >= 0)
3333     infy_add (EV_A_ w);
3334   else
3335 #endif
3336     {
3337       ev_timer_again (EV_A_ &w->timer);
3338       ev_unref (EV_A);
3339     }
3340
3341   ev_start (EV_A_ (W)w, 1);
3342
3343   EV_FREQUENT_CHECK;
3344 }
3345
3346 void
3347 ev_stat_stop (EV_P_ ev_stat *w)
3348 {
3349   clear_pending (EV_A_ (W)w);
3350   if (expect_false (!ev_is_active (w)))
3351     return;
3352
3353   EV_FREQUENT_CHECK;
3354
3355 #if EV_USE_INOTIFY
3356   infy_del (EV_A_ w);
3357 #endif
3358
3359   if (ev_is_active (&w->timer))
3360     {
3361       ev_ref (EV_A);
3362       ev_timer_stop (EV_A_ &w->timer);
3363     }
3364
3365   ev_stop (EV_A_ (W)w);
3366
3367   EV_FREQUENT_CHECK;
3368 }
3369 #endif
3370
3371 #if EV_IDLE_ENABLE
3372 void
3373 ev_idle_start (EV_P_ ev_idle *w)
3374 {
3375   if (expect_false (ev_is_active (w)))
3376     return;
3377
3378   pri_adjust (EV_A_ (W)w);
3379
3380   EV_FREQUENT_CHECK;
3381
3382   {
3383     int active = ++idlecnt [ABSPRI (w)];
3384
3385     ++idleall;
3386     ev_start (EV_A_ (W)w, active);
3387
3388     array_needsize (ev_idle *, idles [ABSPRI (w)], idlemax [ABSPRI (w)], active, EMPTY2);
3389     idles [ABSPRI (w)][active - 1] = w;
3390   }
3391
3392   EV_FREQUENT_CHECK;
3393 }
3394
3395 void
3396 ev_idle_stop (EV_P_ ev_idle *w)
3397 {
3398   clear_pending (EV_A_ (W)w);
3399   if (expect_false (!ev_is_active (w)))
3400     return;
3401
3402   EV_FREQUENT_CHECK;
3403
3404   {
3405     int active = ev_active (w);
3406
3407     idles [ABSPRI (w)][active - 1] = idles [ABSPRI (w)][--idlecnt [ABSPRI (w)]];
3408     ev_active (idles [ABSPRI (w)][active - 1]) = active;
3409
3410     ev_stop (EV_A_ (W)w);
3411     --idleall;
3412   }
3413
3414   EV_FREQUENT_CHECK;
3415 }
3416 #endif
3417
3418 #if EV_PREPARE_ENABLE
3419 void
3420 ev_prepare_start (EV_P_ ev_prepare *w)
3421 {
3422   if (expect_false (ev_is_active (w)))
3423     return;
3424
3425   EV_FREQUENT_CHECK;
3426
3427   ev_start (EV_A_ (W)w, ++preparecnt);
3428   array_needsize (ev_prepare *, prepares, preparemax, preparecnt, EMPTY2);
3429   prepares [preparecnt - 1] = w;
3430
3431   EV_FREQUENT_CHECK;
3432 }
3433
3434 void
3435 ev_prepare_stop (EV_P_ ev_prepare *w)
3436 {
3437   clear_pending (EV_A_ (W)w);
3438   if (expect_false (!ev_is_active (w)))
3439     return;
3440
3441   EV_FREQUENT_CHECK;
3442
3443   {
3444     int active = ev_active (w);
3445
3446     prepares [active - 1] = prepares [--preparecnt];
3447     ev_active (prepares [active - 1]) = active;
3448   }
3449
3450   ev_stop (EV_A_ (W)w);
3451
3452   EV_FREQUENT_CHECK;
3453 }
3454 #endif
3455
3456 #if EV_CHECK_ENABLE
3457 void
3458 ev_check_start (EV_P_ ev_check *w)
3459 {
3460   if (expect_false (ev_is_active (w)))
3461     return;
3462
3463   EV_FREQUENT_CHECK;
3464
3465   ev_start (EV_A_ (W)w, ++checkcnt);
3466   array_needsize (ev_check *, checks, checkmax, checkcnt, EMPTY2);
3467   checks [checkcnt - 1] = w;
3468
3469   EV_FREQUENT_CHECK;
3470 }
3471
3472 void
3473 ev_check_stop (EV_P_ ev_check *w)
3474 {
3475   clear_pending (EV_A_ (W)w);
3476   if (expect_false (!ev_is_active (w)))
3477     return;
3478
3479   EV_FREQUENT_CHECK;
3480
3481   {
3482     int active = ev_active (w);
3483
3484     checks [active - 1] = checks [--checkcnt];
3485     ev_active (checks [active - 1]) = active;
3486   }
3487
3488   ev_stop (EV_A_ (W)w);
3489
3490   EV_FREQUENT_CHECK;
3491 }
3492 #endif
3493
3494 #if EV_EMBED_ENABLE
3495 void noinline
3496 ev_embed_sweep (EV_P_ ev_embed *w)
3497 {
3498   ev_run (w->other, EVRUN_NOWAIT);
3499 }
3500
3501 static void
3502 embed_io_cb (EV_P_ ev_io *io, int revents)
3503 {
3504   ev_embed *w = (ev_embed *)(((char *)io) - offsetof (ev_embed, io));
3505
3506   if (ev_cb (w))
3507     ev_feed_event (EV_A_ (W)w, EV_EMBED);
3508   else
3509     ev_run (w->other, EVRUN_NOWAIT);
3510 }
3511
3512 static void
3513 embed_prepare_cb (EV_P_ ev_prepare *prepare, int revents)
3514 {
3515   ev_embed *w = (ev_embed *)(((char *)prepare) - offsetof (ev_embed, prepare));
3516
3517   {
3518     EV_P = w->other;
3519
3520     while (fdchangecnt)
3521       {
3522         fd_reify (EV_A);
3523         ev_run (EV_A_ EVRUN_NOWAIT);
3524       }
3525   }
3526 }
3527
3528 static void
3529 embed_fork_cb (EV_P_ ev_fork *fork_w, int revents)
3530 {
3531   ev_embed *w = (ev_embed *)(((char *)fork_w) - offsetof (ev_embed, fork));
3532
3533   ev_embed_stop (EV_A_ w);
3534
3535   {
3536     EV_P = w->other;
3537
3538     ev_loop_fork (EV_A);
3539     ev_run (EV_A_ EVRUN_NOWAIT);
3540   }
3541
3542   ev_embed_start (EV_A_ w);
3543 }
3544
3545 #if 0
3546 static void
3547 embed_idle_cb (EV_P_ ev_idle *idle, int revents)
3548 {
3549   ev_idle_stop (EV_A_ idle);
3550 }
3551 #endif
3552
3553 void
3554 ev_embed_start (EV_P_ ev_embed *w)
3555 {
3556   if (expect_false (ev_is_active (w)))
3557     return;
3558
3559   {
3560     EV_P = w->other;
3561     assert (("libev: loop to be embedded is not embeddable", backend & ev_embeddable_backends ()));
3562     ev_io_init (&w->io, embed_io_cb, backend_fd, EV_READ);
3563   }
3564
3565   EV_FREQUENT_CHECK;
3566
3567   ev_set_priority (&w->io, ev_priority (w));
3568   ev_io_start (EV_A_ &w->io);
3569
3570   ev_prepare_init (&w->prepare, embed_prepare_cb);
3571   ev_set_priority (&w->prepare, EV_MINPRI);
3572   ev_prepare_start (EV_A_ &w->prepare);
3573
3574   ev_fork_init (&w->fork, embed_fork_cb);
3575   ev_fork_start (EV_A_ &w->fork);
3576
3577   /*ev_idle_init (&w->idle, e,bed_idle_cb);*/
3578
3579   ev_start (EV_A_ (W)w, 1);
3580
3581   EV_FREQUENT_CHECK;
3582 }
3583
3584 void
3585 ev_embed_stop (EV_P_ ev_embed *w)
3586 {
3587   clear_pending (EV_A_ (W)w);
3588   if (expect_false (!ev_is_active (w)))
3589     return;
3590
3591   EV_FREQUENT_CHECK;
3592
3593   ev_io_stop      (EV_A_ &w->io);
3594   ev_prepare_stop (EV_A_ &w->prepare);
3595   ev_fork_stop    (EV_A_ &w->fork);
3596
3597   ev_stop (EV_A_ (W)w);
3598
3599   EV_FREQUENT_CHECK;
3600 }
3601 #endif
3602
3603 #if EV_FORK_ENABLE
3604 void
3605 ev_fork_start (EV_P_ ev_fork *w)
3606 {
3607   if (expect_false (ev_is_active (w)))
3608     return;
3609
3610   EV_FREQUENT_CHECK;
3611
3612   ev_start (EV_A_ (W)w, ++forkcnt);
3613   array_needsize (ev_fork *, forks, forkmax, forkcnt, EMPTY2);
3614   forks [forkcnt - 1] = w;
3615
3616   EV_FREQUENT_CHECK;
3617 }
3618
3619 void
3620 ev_fork_stop (EV_P_ ev_fork *w)
3621 {
3622   clear_pending (EV_A_ (W)w);
3623   if (expect_false (!ev_is_active (w)))
3624     return;
3625
3626   EV_FREQUENT_CHECK;
3627
3628   {
3629     int active = ev_active (w);
3630
3631     forks [active - 1] = forks [--forkcnt];
3632     ev_active (forks [active - 1]) = active;
3633   }
3634
3635   ev_stop (EV_A_ (W)w);
3636
3637   EV_FREQUENT_CHECK;
3638 }
3639 #endif
3640
3641 #if EV_CLEANUP_ENABLE
3642 void
3643 ev_cleanup_start (EV_P_ ev_cleanup *w)
3644 {
3645   if (expect_false (ev_is_active (w)))
3646     return;
3647
3648   EV_FREQUENT_CHECK;
3649
3650   ev_start (EV_A_ (W)w, ++cleanupcnt);
3651   array_needsize (ev_cleanup *, cleanups, cleanupmax, cleanupcnt, EMPTY2);
3652   cleanups [cleanupcnt - 1] = w;
3653
3654   /* cleanup watchers should never keep a refcount on the loop */
3655   ev_unref (EV_A);
3656   EV_FREQUENT_CHECK;
3657 }
3658
3659 void
3660 ev_cleanup_stop (EV_P_ ev_cleanup *w)
3661 {
3662   clear_pending (EV_A_ (W)w);
3663   if (expect_false (!ev_is_active (w)))
3664     return;
3665
3666   EV_FREQUENT_CHECK;
3667   ev_ref (EV_A);
3668
3669   {
3670     int active = ev_active (w);
3671
3672     cleanups [active - 1] = cleanups [--cleanupcnt];
3673     ev_active (cleanups [active - 1]) = active;
3674   }
3675
3676   ev_stop (EV_A_ (W)w);
3677
3678   EV_FREQUENT_CHECK;
3679 }
3680 #endif
3681
3682 #if EV_ASYNC_ENABLE
3683 void
3684 ev_async_start (EV_P_ ev_async *w)
3685 {
3686   if (expect_false (ev_is_active (w)))
3687     return;
3688
3689   w->sent = 0;
3690
3691   evpipe_init (EV_A);
3692
3693   EV_FREQUENT_CHECK;
3694
3695   ev_start (EV_A_ (W)w, ++asynccnt);
3696   array_needsize (ev_async *, asyncs, asyncmax, asynccnt, EMPTY2);
3697   asyncs [asynccnt - 1] = w;
3698
3699   EV_FREQUENT_CHECK;
3700 }
3701
3702 void
3703 ev_async_stop (EV_P_ ev_async *w)
3704 {
3705   clear_pending (EV_A_ (W)w);
3706   if (expect_false (!ev_is_active (w)))
3707     return;
3708
3709   EV_FREQUENT_CHECK;
3710
3711   {
3712     int active = ev_active (w);
3713
3714     asyncs [active - 1] = asyncs [--asynccnt];
3715     ev_active (asyncs [active - 1]) = active;
3716   }
3717
3718   ev_stop (EV_A_ (W)w);
3719
3720   EV_FREQUENT_CHECK;
3721 }
3722
3723 void
3724 ev_async_send (EV_P_ ev_async *w)
3725 {
3726   w->sent = 1;
3727   evpipe_write (EV_A_ &async_pending);
3728 }
3729 #endif
3730
3731 /*****************************************************************************/
3732
3733 struct ev_once
3734 {
3735   ev_io io;
3736   ev_timer to;
3737   void (*cb)(int revents, void *arg);
3738   void *arg;
3739 };
3740
3741 static void
3742 once_cb (EV_P_ struct ev_once *once, int revents)
3743 {
3744   void (*cb)(int revents, void *arg) = once->cb;
3745   void *arg = once->arg;
3746
3747   ev_io_stop    (EV_A_ &once->io);
3748   ev_timer_stop (EV_A_ &once->to);
3749   ev_free (once);
3750
3751   cb (revents, arg);
3752 }
3753
3754 static void
3755 once_cb_io (EV_P_ ev_io *w, int revents)
3756 {
3757   struct ev_once *once = (struct ev_once *)(((char *)w) - offsetof (struct ev_once, io));
3758
3759   once_cb (EV_A_ once, revents | ev_clear_pending (EV_A_ &once->to));
3760 }
3761
3762 static void
3763 once_cb_to (EV_P_ ev_timer *w, int revents)
3764 {
3765   struct ev_once *once = (struct ev_once *)(((char *)w) - offsetof (struct ev_once, to));
3766
3767   once_cb (EV_A_ once, revents | ev_clear_pending (EV_A_ &once->io));
3768 }
3769
3770 void
3771 ev_once (EV_P_ int fd, int events, ev_tstamp timeout, void (*cb)(int revents, void *arg), void *arg)
3772 {
3773   struct ev_once *once = (struct ev_once *)ev_malloc (sizeof (struct ev_once));
3774
3775   if (expect_false (!once))
3776     {
3777       cb (EV_ERROR | EV_READ | EV_WRITE | EV_TIMER, arg);
3778       return;
3779     }
3780
3781   once->cb  = cb;
3782   once->arg = arg;
3783
3784   ev_init (&once->io, once_cb_io);
3785   if (fd >= 0)
3786     {
3787       ev_io_set (&once->io, fd, events);
3788       ev_io_start (EV_A_ &once->io);
3789     }
3790
3791   ev_init (&once->to, once_cb_to);
3792   if (timeout >= 0.)
3793     {
3794       ev_timer_set (&once->to, timeout, 0.);
3795       ev_timer_start (EV_A_ &once->to);
3796     }
3797 }
3798
3799 /*****************************************************************************/
3800
3801 #if EV_WALK_ENABLE
3802 void
3803 ev_walk (EV_P_ int types, void (*cb)(EV_P_ int type, void *w))
3804 {
3805   int i, j;
3806   ev_watcher_list *wl, *wn;
3807
3808   if (types & (EV_IO | EV_EMBED))
3809     for (i = 0; i < anfdmax; ++i)
3810       for (wl = anfds [i].head; wl; )
3811         {
3812           wn = wl->next;
3813
3814 #if EV_EMBED_ENABLE
3815           if (ev_cb ((ev_io *)wl) == embed_io_cb)
3816             {
3817               if (types & EV_EMBED)
3818                 cb (EV_A_ EV_EMBED, ((char *)wl) - offsetof (struct ev_embed, io));
3819             }
3820           else
3821 #endif
3822 #if EV_USE_INOTIFY
3823           if (ev_cb ((ev_io *)wl) == infy_cb)
3824             ;
3825           else
3826 #endif
3827           if ((ev_io *)wl != &pipe_w)
3828             if (types & EV_IO)
3829               cb (EV_A_ EV_IO, wl);
3830
3831           wl = wn;
3832         }
3833
3834   if (types & (EV_TIMER | EV_STAT))
3835     for (i = timercnt + HEAP0; i-- > HEAP0; )
3836 #if EV_STAT_ENABLE
3837       /*TODO: timer is not always active*/
3838       if (ev_cb ((ev_timer *)ANHE_w (timers [i])) == stat_timer_cb)
3839         {
3840           if (types & EV_STAT)
3841             cb (EV_A_ EV_STAT, ((char *)ANHE_w (timers [i])) - offsetof (struct ev_stat, timer));
3842         }
3843       else
3844 #endif
3845       if (types & EV_TIMER)
3846         cb (EV_A_ EV_TIMER, ANHE_w (timers [i]));
3847
3848 #if EV_PERIODIC_ENABLE
3849   if (types & EV_PERIODIC)
3850     for (i = periodiccnt + HEAP0; i-- > HEAP0; )
3851       cb (EV_A_ EV_PERIODIC, ANHE_w (periodics [i]));
3852 #endif
3853
3854 #if EV_IDLE_ENABLE
3855   if (types & EV_IDLE)
3856     for (j = NUMPRI; j--; )
3857       for (i = idlecnt [j]; i--; )
3858         cb (EV_A_ EV_IDLE, idles [j][i]);
3859 #endif
3860
3861 #if EV_FORK_ENABLE
3862   if (types & EV_FORK)
3863     for (i = forkcnt; i--; )
3864       if (ev_cb (forks [i]) != embed_fork_cb)
3865         cb (EV_A_ EV_FORK, forks [i]);
3866 #endif
3867
3868 #if EV_ASYNC_ENABLE
3869   if (types & EV_ASYNC)
3870     for (i = asynccnt; i--; )
3871       cb (EV_A_ EV_ASYNC, asyncs [i]);
3872 #endif
3873
3874 #if EV_PREPARE_ENABLE
3875   if (types & EV_PREPARE)
3876     for (i = preparecnt; i--; )
3877 # if EV_EMBED_ENABLE
3878       if (ev_cb (prepares [i]) != embed_prepare_cb)
3879 # endif
3880         cb (EV_A_ EV_PREPARE, prepares [i]);
3881 #endif
3882
3883 #if EV_CHECK_ENABLE
3884   if (types & EV_CHECK)
3885     for (i = checkcnt; i--; )
3886       cb (EV_A_ EV_CHECK, checks [i]);
3887 #endif
3888
3889 #if EV_SIGNAL_ENABLE
3890   if (types & EV_SIGNAL)
3891     for (i = 0; i < EV_NSIG - 1; ++i)
3892       for (wl = signals [i].head; wl; )
3893         {
3894           wn = wl->next;
3895           cb (EV_A_ EV_SIGNAL, wl);
3896           wl = wn;
3897         }
3898 #endif
3899
3900 #if EV_CHILD_ENABLE
3901   if (types & EV_CHILD)
3902     for (i = (EV_PID_HASHSIZE); i--; )
3903       for (wl = childs [i]; wl; )
3904         {
3905           wn = wl->next;
3906           cb (EV_A_ EV_CHILD, wl);
3907           wl = wn;
3908         }
3909 #endif
3910 /* EV_STAT     0x00001000 /* stat data changed */
3911 /* EV_EMBED    0x00010000 /* embedded event loop needs sweep */
3912 }
3913 #endif
3914
3915 #if EV_MULTIPLICITY
3916   #include "ev_wrap.h"
3917 #endif
3918
3919 EV_CPP(})
3920