networking/ntpd.c

   1 /*
   2  * NTP client/server, based on OpenNTPD 3.9p1
   3  *
   4  * Author: Adam Tkac <vonsch@gmail.com>
   5  *
   6  * Licensed under GPLv2, see file LICENSE in this source tree.
   7  *
   8  * Parts of OpenNTPD clock syncronization code is replaced by
   9  * code which is based on ntp-4.2.6, whuch carries the following
  10  * copyright notice:
  11  *
  12  ***********************************************************************
  13  *                                                                     *
  14  * Copyright (c) University of Delaware 1992-2009                      *
  15  *                                                                     *
  16  * Permission to use, copy, modify, and distribute this software and   *
  17  * its documentation for any purpose with or without fee is hereby     *
  18  * granted, provided that the above copyright notice appears in all    *
  19  * copies and that both the copyright notice and this permission       *
  20  * notice appear in supporting documentation, and that the name        *
  21  * University of Delaware not be used in advertising or publicity      *
  22  * pertaining to distribution of the software without specific,        *
  23  * written prior permission. The University of Delaware makes no       *
  24  * representations about the suitability this software for any         *
  25  * purpose. It is provided "as is" without express or implied          *
  26  * warranty.                                                           *
  27  *                                                                     *
  28  ***********************************************************************
  29  */
  30
  31 //usage:#define ntpd_trivial_usage
  32 //usage:        "[-dnqNw"IF_FEATURE_NTPD_SERVER("l")"] [-S PROG] [-p PEER]..."
  33 //usage:#define ntpd_full_usage "\n\n"
  34 //usage:       "NTP client/server\n"
  35 //usage:     "\n        -d      Verbose"
  36 //usage:     "\n        -n      Do not daemonize"
  37 //usage:     "\n        -q      Quit after clock is set"
  38 //usage:     "\n        -N      Run at high priority"
  39 //usage:     "\n        -w      Do not set time (only query peers), implies -n"
  40 //usage:        IF_FEATURE_NTPD_SERVER(
  41 //usage:     "\n        -l      Run as server on port 123"
  42 //usage:        )
  43 //usage:     "\n        -S PROG Run PROG after stepping time, stratum change, and every 11 mins"
  44 //usage:     "\n        -p PEER Obtain time from PEER (may be repeated)"
  45
  46 #include "libbb.h"
  47 #include <math.h>
  48 #include <netinet/ip.h> /* For IPTOS_LOWDELAY definition */
  49 #include <sys/resource.h> /* setpriority */
  50 #include <sys/timex.h>
  51 #ifndef IPTOS_LOWDELAY
  52 # define IPTOS_LOWDELAY 0x10
  53 #endif
  54 #ifndef IP_PKTINFO
  55 # error "Sorry, your kernel has to support IP_PKTINFO"
  56 #endif
  57
  58
  59 /* Verbosity control (max level of -dddd options accepted).
  60  * max 6 is very talkative (and bloated). 3 is non-bloated,
  61  * production level setting.
  62  */
  63 #define MAX_VERBOSE     3
  64
  65
  66 /* High-level description of the algorithm:
  67  *
  68  * We start running with very small poll_exp, BURSTPOLL,
  69  * in order to quickly accumulate INITIAL_SAMPLES datapoints
  70  * for each peer. Then, time is stepped if the offset is larger
  71  * than STEP_THRESHOLD, otherwise it isn't; anyway, we enlarge
  72  * poll_exp to MINPOLL and enter frequency measurement step:
  73  * we collect new datapoints but ignore them for WATCH_THRESHOLD
  74  * seconds. After WATCH_THRESHOLD seconds we look at accumulated
  75  * offset and estimate frequency drift.
  76  *
  77  * (frequency measurement step seems to not be strictly needed,
  78  * it is conditionally disabled with USING_INITIAL_FREQ_ESTIMATION
  79  * define set to 0)
  80  *
  81  * After this, we enter "steady state": we collect a datapoint,
  82  * we select the best peer, if this datapoint is not a new one
  83  * (IOW: if this datapoint isn't for selected peer), sleep
  84  * and collect another one; otherwise, use its offset to update
  85  * frequency drift, if offset is somewhat large, reduce poll_exp,
  86  * otherwise increase poll_exp.
  87  *
  88  * If offset is larger than STEP_THRESHOLD, which shouldn't normally
  89  * happen, we assume that something "bad" happened (computer
  90  * was hibernated, someone set totally wrong date, etc),
  91  * then the time is stepped, all datapoints are discarded,
  92  * and we go back to steady state.
  93  *
  94  * Made some changes to speed up re-syncing after our clock goes bad
  95  * (tested with suspending my laptop):
  96  * - if largish offset (>= STEP_THRESHOLD * 8 == 1 sec) is seen
  97  *   from a peer, schedule next query for this peer soon
  98  *   without drastically lowering poll interval for everybody.
  99  *   This makes us collect enough data for step much faster:
 100  *   e.g. at poll = 10 (1024 secs), step was done within 5 minutes
 101  *   after first reply which indicated that our clock is 14 seconds off.
 102  * - on step, do not discard d_dispersion data of the existing datapoints,
 103  *   do not clear reachable_bits. This prevents discarding first ~8
 104  *   datapoints after the step.
 105  */
 106
 107 #define RETRY_INTERVAL     5    /* on error, retry in N secs */
 108 #define RESPONSE_INTERVAL 15    /* wait for reply up to N secs */
 109 #define INITIAL_SAMPLES    4    /* how many samples do we want for init */
 110 #define BAD_DELAY_GROWTH   4    /* drop packet if its delay grew by more than this */
 111
 112 /* Clock discipline parameters and constants */
 113
 114 /* Step threshold (sec). std ntpd uses 0.128.
 115  * Using exact power of 2 (1/8) results in smaller code */
 116 #define STEP_THRESHOLD  0.125
 117 #define WATCH_THRESHOLD 128     /* stepout threshold (sec). std ntpd uses 900 (11 mins (!)) */
 118 /* NB: set WATCH_THRESHOLD to ~60 when debugging to save time) */
 119 //UNUSED: #define PANIC_THRESHOLD 1000    /* panic threshold (sec) */
 120
 121 #define FREQ_TOLERANCE  0.000015 /* frequency tolerance (15 PPM) */
 122 #define BURSTPOLL       0       /* initial poll */
 123 #define MINPOLL         5       /* minimum poll interval. std ntpd uses 6 (6: 64 sec) */
 124 /* If we got largish offset from a peer, cap next query interval
 125  * for this peer by this many seconds:
 126  */
 127 #define BIGOFF_INTERVAL (1 << 6)
 128 /* If offset > discipline_jitter * POLLADJ_GATE, and poll interval is >= 2^BIGPOLL,
 129  * then it is decreased _at once_. (If < 2^BIGPOLL, it will be decreased _eventually_).
 130  */
 131 #define BIGPOLL         10      /* 2^10 sec ~= 17 min */
 132 #define MAXPOLL         12      /* maximum poll interval (12: 1.1h, 17: 36.4h). std ntpd uses 17 */
 133 /* Actively lower poll when we see such big offsets.
 134  * With STEP_THRESHOLD = 0.125, it means we try to sync more aggressively
 135  * if offset increases over ~0.04 sec */
 136 #define POLLDOWN_OFFSET (STEP_THRESHOLD / 3)
 137 #define MINDISP         0.01    /* minimum dispersion (sec) */
 138 #define MAXDISP         16      /* maximum dispersion (sec) */
 139 #define MAXSTRAT        16      /* maximum stratum (infinity metric) */
 140 #define MAXDIST         1       /* distance threshold (sec) */
 141 #define MIN_SELECTED    1       /* minimum intersection survivors */
 142 #define MIN_CLUSTERED   3       /* minimum cluster survivors */
 143
 144 #define MAXDRIFT        0.000500 /* frequency drift we can correct (500 PPM) */
 145
 146 /* Poll-adjust threshold.
 147  * When we see that offset is small enough compared to discipline jitter,
 148  * we grow a counter: += MINPOLL. When counter goes over POLLADJ_LIMIT,
 149  * we poll_exp++. If offset isn't small, counter -= poll_exp*2,
 150  * and when it goes below -POLLADJ_LIMIT, we poll_exp--.
 151  * (Bumped from 30 to 40 since otherwise I often see poll_exp going *2* steps down)
 152  */
 153 #define POLLADJ_LIMIT   40
 154 /* If offset < discipline_jitter * POLLADJ_GATE, then we decide to increase
 155  * poll interval (we think we can't improve timekeeping
 156  * by staying at smaller poll).
 157  */
 158 #define POLLADJ_GATE    4
 159 #define TIMECONST_HACK_GATE 2
 160 /* Compromise Allan intercept (sec). doc uses 1500, std ntpd uses 512 */
 161 #define ALLAN           512
 162 /* PLL loop gain */
 163 #define PLL             65536
 164 /* FLL loop gain [why it depends on MAXPOLL??] */
 165 #define FLL             (MAXPOLL + 1)
 166 /* Parameter averaging constant */
 167 #define AVG             4
 168
 169
 170 enum {
 171         NTP_VERSION     = 4,
 172         NTP_MAXSTRATUM  = 15,
 173
 174         NTP_DIGESTSIZE     = 16,
 175         NTP_MSGSIZE_NOAUTH = 48,
 176         NTP_MSGSIZE        = (NTP_MSGSIZE_NOAUTH + 4 + NTP_DIGESTSIZE),
 177
 178         /* Status Masks */
 179         MODE_MASK       = (7 << 0),
 180         VERSION_MASK    = (7 << 3),
 181         VERSION_SHIFT   = 3,
 182         LI_MASK         = (3 << 6),
 183
 184         /* Leap Second Codes (high order two bits of m_status) */
 185         LI_NOWARNING    = (0 << 6),    /* no warning */
 186         LI_PLUSSEC      = (1 << 6),    /* add a second (61 seconds) */
 187         LI_MINUSSEC     = (2 << 6),    /* minus a second (59 seconds) */
 188         LI_ALARM        = (3 << 6),    /* alarm condition */
 189
 190         /* Mode values */
 191         MODE_RES0       = 0,    /* reserved */
 192         MODE_SYM_ACT    = 1,    /* symmetric active */
 193         MODE_SYM_PAS    = 2,    /* symmetric passive */
 194         MODE_CLIENT     = 3,    /* client */
 195         MODE_SERVER     = 4,    /* server */
 196         MODE_BROADCAST  = 5,    /* broadcast */
 197         MODE_RES1       = 6,    /* reserved for NTP control message */
 198         MODE_RES2       = 7,    /* reserved for private use */
 199 };
 200
 201 //TODO: better base selection
 202 #define OFFSET_1900_1970 2208988800UL  /* 1970 - 1900 in seconds */
 203
 204 #define NUM_DATAPOINTS  8
 205
 206 typedef struct {
 207         uint32_t int_partl;
 208         uint32_t fractionl;
 209 } l_fixedpt_t;
 210
 211 typedef struct {
 212         uint16_t int_parts;
 213         uint16_t fractions;
 214 } s_fixedpt_t;
 215
 216 typedef struct {
 217         uint8_t     m_status;     /* status of local clock and leap info */
 218         uint8_t     m_stratum;
 219         uint8_t     m_ppoll;      /* poll value */
 220         int8_t      m_precision_exp;
 221         s_fixedpt_t m_rootdelay;
 222         s_fixedpt_t m_rootdisp;
 223         uint32_t    m_refid;
 224         l_fixedpt_t m_reftime;
 225         l_fixedpt_t m_orgtime;
 226         l_fixedpt_t m_rectime;
 227         l_fixedpt_t m_xmttime;
 228         uint32_t    m_keyid;
 229         uint8_t     m_digest[NTP_DIGESTSIZE];
 230 } msg_t;
 231
 232 typedef struct {
 233         double d_offset;
 234         double d_recv_time;
 235         double d_dispersion;
 236 } datapoint_t;
 237
 238 typedef struct {
 239         len_and_sockaddr *p_lsa;
 240         char             *p_dotted;
 241         int              p_fd;
 242         int              datapoint_idx;
 243         uint32_t         lastpkt_refid;
 244         uint8_t          lastpkt_status;
 245         uint8_t          lastpkt_stratum;
 246         uint8_t          reachable_bits;
 247         /* when to send new query (if p_fd == -1)
 248          * or when receive times out (if p_fd >= 0): */
 249         double           next_action_time;
 250         double           p_xmttime;
 251         double           lastpkt_recv_time;
 252         double           lastpkt_delay;
 253         double           lastpkt_rootdelay;
 254         double           lastpkt_rootdisp;
 255         /* produced by filter algorithm: */
 256         double           filter_offset;
 257         double           filter_dispersion;
 258         double           filter_jitter;
 259         datapoint_t      filter_datapoint[NUM_DATAPOINTS];
 260         /* last sent packet: */
 261         msg_t            p_xmt_msg;
 262 } peer_t;
 263
 264
 265 #define USING_KERNEL_PLL_LOOP          1
 266 #define USING_INITIAL_FREQ_ESTIMATION  0
 267
 268 enum {
 269         OPT_n = (1 << 0),
 270         OPT_q = (1 << 1),
 271         OPT_N = (1 << 2),
 272         OPT_x = (1 << 3),
 273         /* Insert new options above this line. */
 274         /* Non-compat options: */
 275         OPT_w = (1 << 4),
 276         OPT_p = (1 << 5),
 277         OPT_S = (1 << 6),
 278         OPT_l = (1 << 7) * ENABLE_FEATURE_NTPD_SERVER,
 279         /* We hijack some bits for other purposes */
 280         OPT_qq = (1 << 31),
 281 };
 282
 283 struct globals {
 284         double   cur_time;
 285         /* total round trip delay to currently selected reference clock */
 286         double   rootdelay;
 287         /* reference timestamp: time when the system clock was last set or corrected */
 288         double   reftime;
 289         /* total dispersion to currently selected reference clock */
 290         double   rootdisp;
 291
 292         double   last_script_run;
 293         char     *script_name;
 294         llist_t  *ntp_peers;
 295 #if ENABLE_FEATURE_NTPD_SERVER
 296         int      listen_fd;
 297 # define G_listen_fd (G.listen_fd)
 298 #else
 299 # define G_listen_fd (-1)
 300 #endif
 301         unsigned verbose;
 302         unsigned peer_cnt;
 303         /* refid: 32-bit code identifying the particular server or reference clock
 304          * in stratum 0 packets this is a four-character ASCII string,
 305          * called the kiss code, used for debugging and monitoring
 306          * in stratum 1 packets this is a four-character ASCII string
 307          * assigned to the reference clock by IANA. Example: "GPS "
 308          * in stratum 2+ packets, it's IPv4 address or 4 first bytes
 309          * of MD5 hash of IPv6
 310          */
 311         uint32_t refid;
 312         uint8_t  ntp_status;
 313         /* precision is defined as the larger of the resolution and time to
 314          * read the clock, in log2 units.  For instance, the precision of a
 315          * mains-frequency clock incrementing at 60 Hz is 16 ms, even when the
 316          * system clock hardware representation is to the nanosecond.
 317          *
 318          * Delays, jitters of various kinds are clamped down to precision.
 319          *
 320          * If precision_sec is too large, discipline_jitter gets clamped to it
 321          * and if offset is smaller than discipline_jitter * POLLADJ_GATE, poll
 322          * interval grows even though we really can benefit from staying at
 323          * smaller one, collecting non-lagged datapoits and correcting offset.
 324          * (Lagged datapoits exist when poll_exp is large but we still have
 325          * systematic offset error - the time distance between datapoints
 326          * is significant and older datapoints have smaller offsets.
 327          * This makes our offset estimation a bit smaller than reality)
 328          * Due to this effect, setting G_precision_sec close to
 329          * STEP_THRESHOLD isn't such a good idea - offsets may grow
 330          * too big and we will step. I observed it with -6.
 331          *
 332          * OTOH, setting precision_sec far too small would result in futile
 333          * attempts to syncronize to an unachievable precision.
 334          *
 335          * -6 is 1/64 sec, -7 is 1/128 sec and so on.
 336          * -8 is 1/256 ~= 0.003906 (worked well for me --vda)
 337          * -9 is 1/512 ~= 0.001953 (let's try this for some time)
 338          */
 339 #define G_precision_exp  -9
 340         /*
 341          * G_precision_exp is used only for construction outgoing packets.
 342          * It's ok to set G_precision_sec to a slightly different value
 343          * (One which is "nicer looking" in logs).
 344          * Exact value would be (1.0 / (1 << (- G_precision_exp))):
 345          */
 346 #define G_precision_sec  0.002
 347         uint8_t  stratum;
 348         /* Bool. After set to 1, never goes back to 0: */
 349         smallint initial_poll_complete;
 350
 351 #define STATE_NSET      0       /* initial state, "nothing is set" */
 352 //#define STATE_FSET    1       /* frequency set from file */
 353 //#define STATE_SPIK    2       /* spike detected */
 354 //#define STATE_FREQ    3       /* initial frequency */
 355 #define STATE_SYNC      4       /* clock synchronized (normal operation) */
 356         uint8_t  discipline_state;      // doc calls it c.state
 357         uint8_t  poll_exp;              // s.poll
 358         int      polladj_count;         // c.count
 359         long     kernel_freq_drift;
 360         peer_t   *last_update_peer;
 361         double   last_update_offset;    // c.last
 362         double   last_update_recv_time; // s.t
 363         double   discipline_jitter;     // c.jitter
 364         /* Since we only compare it with ints, can simplify code
 365          * by not making this variable floating point:
 366          */
 367         unsigned offset_to_jitter_ratio;
 368         //double   cluster_offset;        // s.offset
 369         //double   cluster_jitter;        // s.jitter
 370 #if !USING_KERNEL_PLL_LOOP
 371         double   discipline_freq_drift; // c.freq
 372         /* Maybe conditionally calculate wander? it's used only for logging */
 373         double   discipline_wander;     // c.wander
 374 #endif
 375 };
 376 #define G (*ptr_to_globals)
 377
 378 static const int const_IPTOS_LOWDELAY = IPTOS_LOWDELAY;
 379
 380
 381 #define VERB1 if (MAX_VERBOSE && G.verbose)
 382 #define VERB2 if (MAX_VERBOSE >= 2 && G.verbose >= 2)
 383 #define VERB3 if (MAX_VERBOSE >= 3 && G.verbose >= 3)
 384 #define VERB4 if (MAX_VERBOSE >= 4 && G.verbose >= 4)
 385 #define VERB5 if (MAX_VERBOSE >= 5 && G.verbose >= 5)
 386 #define VERB6 if (MAX_VERBOSE >= 6 && G.verbose >= 6)
 387
 388
 389 static double LOG2D(int a)
 390 {
 391         if (a < 0)
 392                 return 1.0 / (1UL << -a);
 393         return 1UL << a;
 394 }
 395 static ALWAYS_INLINE double SQUARE(double x)
 396 {
 397         return x * x;
 398 }
 399 static ALWAYS_INLINE double MAXD(double a, double b)
 400 {
 401         if (a > b)
 402                 return a;
 403         return b;
 404 }
 405 static ALWAYS_INLINE double MIND(double a, double b)
 406 {
 407         if (a < b)
 408                 return a;
 409         return b;
 410 }
 411 static NOINLINE double my_SQRT(double X)
 412 {
 413         union {
 414                 float   f;
 415                 int32_t i;
 416         } v;
 417         double invsqrt;
 418         double Xhalf = X * 0.5;
 419
 420         /* Fast and good approximation to 1/sqrt(X), black magic */
 421         v.f = X;
 422         /*v.i = 0x5f3759df - (v.i >> 1);*/
 423         v.i = 0x5f375a86 - (v.i >> 1); /* - this constant is slightly better */
 424         invsqrt = v.f; /* better than 0.2% accuracy */
 425
 426         /* Refining it using Newton's method: x1 = x0 - f(x0)/f'(x0)
 427          * f(x) = 1/(x*x) - X  (f==0 when x = 1/sqrt(X))
 428          * f'(x) = -2/(x*x*x)
 429          * f(x)/f'(x) = (X - 1/(x*x)) / (2/(x*x*x)) = X*x*x*x/2 - x/2
 430          * x1 = x0 - (X*x0*x0*x0/2 - x0/2) = 1.5*x0 - X*x0*x0*x0/2 = x0*(1.5 - (X/2)*x0*x0)
 431          */
 432         invsqrt = invsqrt * (1.5 - Xhalf * invsqrt * invsqrt); /* ~0.05% accuracy */
 433         /* invsqrt = invsqrt * (1.5 - Xhalf * invsqrt * invsqrt); 2nd iter: ~0.0001% accuracy */
 434         /* With 4 iterations, more than half results will be exact,
 435          * at 6th iterations result stabilizes with about 72% results exact.
 436          * We are well satisfied with 0.05% accuracy.
 437          */
 438
 439         return X * invsqrt; /* X * 1/sqrt(X) ~= sqrt(X) */
 440 }
 441 static ALWAYS_INLINE double SQRT(double X)
 442 {
 443         /* If this arch doesn't use IEEE 754 floats, fall back to using libm */
 444         if (sizeof(float) != 4)
 445                 return sqrt(X);
 446
 447         /* This avoids needing libm, saves about 0.5k on x86-32 */
 448         return my_SQRT(X);
 449 }
 450
 451 static double
 452 gettime1900d(void)
 453 {
 454         struct timeval tv;
 455         gettimeofday(&tv, NULL); /* never fails */
 456         G.cur_time = tv.tv_sec + (1.0e-6 * tv.tv_usec) + OFFSET_1900_1970;
 457         return G.cur_time;
 458 }
 459
 460 static void
 461 d_to_tv(double d, struct timeval *tv)
 462 {
 463         tv->tv_sec = (long)d;
 464         tv->tv_usec = (d - tv->tv_sec) * 1000000;
 465 }
 466
 467 static double
 468 lfp_to_d(l_fixedpt_t lfp)
 469 {
 470         double ret;
 471         lfp.int_partl = ntohl(lfp.int_partl);
 472         lfp.fractionl = ntohl(lfp.fractionl);
 473         ret = (double)lfp.int_partl + ((double)lfp.fractionl / UINT_MAX);
 474         return ret;
 475 }
 476 static double
 477 sfp_to_d(s_fixedpt_t sfp)
 478 {
 479         double ret;
 480         sfp.int_parts = ntohs(sfp.int_parts);
 481         sfp.fractions = ntohs(sfp.fractions);
 482         ret = (double)sfp.int_parts + ((double)sfp.fractions / USHRT_MAX);
 483         return ret;
 484 }
 485 #if ENABLE_FEATURE_NTPD_SERVER
 486 static l_fixedpt_t
 487 d_to_lfp(double d)
 488 {
 489         l_fixedpt_t lfp;
 490         lfp.int_partl = (uint32_t)d;
 491         lfp.fractionl = (uint32_t)((d - lfp.int_partl) * UINT_MAX);
 492         lfp.int_partl = htonl(lfp.int_partl);
 493         lfp.fractionl = htonl(lfp.fractionl);
 494         return lfp;
 495 }
 496 static s_fixedpt_t
 497 d_to_sfp(double d)
 498 {
 499         s_fixedpt_t sfp;
 500         sfp.int_parts = (uint16_t)d;
 501         sfp.fractions = (uint16_t)((d - sfp.int_parts) * USHRT_MAX);
 502         sfp.int_parts = htons(sfp.int_parts);
 503         sfp.fractions = htons(sfp.fractions);
 504         return sfp;
 505 }
 506 #endif
 507
 508 static double
 509 dispersion(const datapoint_t *dp)
 510 {
 511         return dp->d_dispersion + FREQ_TOLERANCE * (G.cur_time - dp->d_recv_time);
 512 }
 513
 514 static double
 515 root_distance(peer_t *p)
 516 {
 517         /* The root synchronization distance is the maximum error due to
 518          * all causes of the local clock relative to the primary server.
 519          * It is defined as half the total delay plus total dispersion
 520          * plus peer jitter.
 521          */
 522         return MAXD(MINDISP, p->lastpkt_rootdelay + p->lastpkt_delay) / 2
 523                 + p->lastpkt_rootdisp
 524                 + p->filter_dispersion
 525                 + FREQ_TOLERANCE * (G.cur_time - p->lastpkt_recv_time)
 526                 + p->filter_jitter;
 527 }
 528
 529 static void
 530 set_next(peer_t *p, unsigned t)
 531 {
 532         p->next_action_time = G.cur_time + t;
 533 }
 534
 535 /*
 536  * Peer clock filter and its helpers
 537  */
 538 static void
 539 filter_datapoints(peer_t *p)
 540 {
 541         int i, idx;
 542         double sum, wavg;
 543         datapoint_t *fdp;
 544
 545 #if 0
 546 /* Simulations have shown that use of *averaged* offset for p->filter_offset
 547  * is in fact worse than simply using last received one: with large poll intervals
 548  * (>= 2048) averaging code uses offset values which are outdated by hours,
 549  * and time/frequency correction goes totally wrong when fed essentially bogus offsets.
 550  */
 551         int got_newest;
 552         double minoff, maxoff, w;
 553         double x = x; /* for compiler */
 554         double oldest_off = oldest_off;
 555         double oldest_age = oldest_age;
 556         double newest_off = newest_off;
 557         double newest_age = newest_age;
 558
 559         fdp = p->filter_datapoint;
 560
 561         minoff = maxoff = fdp[0].d_offset;
 562         for (i = 1; i < NUM_DATAPOINTS; i++) {
 563                 if (minoff > fdp[i].d_offset)
 564                         minoff = fdp[i].d_offset;
 565                 if (maxoff < fdp[i].d_offset)
 566                         maxoff = fdp[i].d_offset;
 567         }
 568
 569         idx = p->datapoint_idx; /* most recent datapoint's index */
 570         /* Average offset:
 571          * Drop two outliers and take weighted average of the rest:
 572          * most_recent/2 + older1/4 + older2/8 ... + older5/32 + older6/32
 573          * we use older6/32, not older6/64 since sum of weights should be 1:
 574          * 1/2 + 1/4 + 1/8 + 1/16 + 1/32 + 1/32 = 1
 575          */
 576         wavg = 0;
 577         w = 0.5;
 578         /*                     n-1
 579          *                     ---    dispersion(i)
 580          * filter_dispersion =  \     -------------
 581          *                      /       (i+1)
 582          *                     ---     2
 583          *                     i=0
 584          */
 585         got_newest = 0;
 586         sum = 0;
 587         for (i = 0; i < NUM_DATAPOINTS; i++) {
 588                 VERB5 {
 589                         bb_error_msg("datapoint[%d]: off:%f disp:%f(%f) age:%f%s",
 590                                 i,
 591                                 fdp[idx].d_offset,
 592                                 fdp[idx].d_dispersion, dispersion(&fdp[idx]),
 593                                 G.cur_time - fdp[idx].d_recv_time,
 594                                 (minoff == fdp[idx].d_offset || maxoff == fdp[idx].d_offset)
 595                                         ? " (outlier by offset)" : ""
 596                         );
 597                 }
 598
 599                 sum += dispersion(&fdp[idx]) / (2 << i);
 600
 601                 if (minoff == fdp[idx].d_offset) {
 602                         minoff -= 1; /* so that we don't match it ever again */
 603                 } else
 604                 if (maxoff == fdp[idx].d_offset) {
 605                         maxoff += 1;
 606                 } else {
 607                         oldest_off = fdp[idx].d_offset;
 608                         oldest_age = G.cur_time - fdp[idx].d_recv_time;
 609                         if (!got_newest) {
 610                                 got_newest = 1;
 611                                 newest_off = oldest_off;
 612                                 newest_age = oldest_age;
 613                         }
 614                         x = oldest_off * w;
 615                         wavg += x;
 616                         w /= 2;
 617                 }
 618
 619                 idx = (idx - 1) & (NUM_DATAPOINTS - 1);
 620         }
 621         p->filter_dispersion = sum;
 622         wavg += x; /* add another older6/64 to form older6/32 */
 623         /* Fix systematic underestimation with large poll intervals.
 624          * Imagine that we still have a bit of uncorrected drift,
 625          * and poll interval is big (say, 100 sec). Offsets form a progression:
 626          * 0.0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 - 0.7 is most recent.
 627          * The algorithm above drops 0.0 and 0.7 as outliers,
 628          * and then we have this estimation, ~25% off from 0.7:
 629          * 0.1/32 + 0.2/32 + 0.3/16 + 0.4/8 + 0.5/4 + 0.6/2 = 0.503125
 630          */
 631         x = oldest_age - newest_age;
 632         if (x != 0) {
 633                 x = newest_age / x; /* in above example, 100 / (600 - 100) */
 634                 if (x < 1) { /* paranoia check */
 635                         x = (newest_off - oldest_off) * x; /* 0.5 * 100/500 = 0.1 */
 636                         wavg += x;
 637                 }
 638         }
 639         p->filter_offset = wavg;
 640
 641 #else
 642
 643         fdp = p->filter_datapoint;
 644         idx = p->datapoint_idx; /* most recent datapoint's index */
 645
 646         /* filter_offset: simply use the most recent value */
 647         p->filter_offset = fdp[idx].d_offset;
 648
 649         /*                     n-1
 650          *                     ---    dispersion(i)
 651          * filter_dispersion =  \     -------------
 652          *                      /       (i+1)
 653          *                     ---     2
 654          *                     i=0
 655          */
 656         wavg = 0;
 657         sum = 0;
 658         for (i = 0; i < NUM_DATAPOINTS; i++) {
 659                 sum += dispersion(&fdp[idx]) / (2 << i);
 660                 wavg += fdp[idx].d_offset;
 661                 idx = (idx - 1) & (NUM_DATAPOINTS - 1);
 662         }
 663         wavg /= NUM_DATAPOINTS;
 664         p->filter_dispersion = sum;
 665 #endif
 666
 667         /*                  +-----                 -----+ ^ 1/2
 668          *                  |       n-1                 |
 669          *                  |       ---                 |
 670          *                  |  1    \                2  |
 671          * filter_jitter =  | --- * /  (avg-offset_j)   |
 672          *                  |  n    ---                 |
 673          *                  |       j=0                 |
 674          *                  +-----                 -----+
 675          * where n is the number of valid datapoints in the filter (n > 1);
 676          * if filter_jitter < precision then filter_jitter = precision
 677          */
 678         sum = 0;
 679         for (i = 0; i < NUM_DATAPOINTS; i++) {
 680                 sum += SQUARE(wavg - fdp[i].d_offset);
 681         }
 682         sum = SQRT(sum / NUM_DATAPOINTS);
 683         p->filter_jitter = sum > G_precision_sec ? sum : G_precision_sec;
 684
 685         VERB4 bb_error_msg("filter offset:%+f disp:%f jitter:%f",
 686                         p->filter_offset,
 687                         p->filter_dispersion,
 688                         p->filter_jitter);
 689 }
 690
 691 static void
 692 reset_peer_stats(peer_t *p, double offset)
 693 {
 694         int i;
 695         bool small_ofs = fabs(offset) < 16 * STEP_THRESHOLD;
 696
 697         /* Used to set p->filter_datapoint[i].d_dispersion = MAXDISP
 698          * and clear reachable bits, but this proved to be too agressive:
 699          * after step (tested with suspinding laptop for ~30 secs),
 700          * this caused all previous data to be considered invalid,
 701          * making us needing to collect full ~8 datapoins per peer
 702          * after step in order to start trusting them.
 703          * In turn, this was making poll interval decrease even after
 704          * step was done. (Poll interval decreases already before step
 705          * in this scenario, because we see large offsets and end up with
 706          * no good peer to select).
 707          */
 708
 709         for (i = 0; i < NUM_DATAPOINTS; i++) {
 710                 if (small_ofs) {
 711                         p->filter_datapoint[i].d_recv_time += offset;
 712                         if (p->filter_datapoint[i].d_offset != 0) {
 713                                 p->filter_datapoint[i].d_offset -= offset;
 714                                 //bb_error_msg("p->filter_datapoint[%d].d_offset %f -> %f",
 715                                 //      i,
 716                                 //      p->filter_datapoint[i].d_offset + offset,
 717                                 //      p->filter_datapoint[i].d_offset);
 718                         }
 719                 } else {
 720                         p->filter_datapoint[i].d_recv_time  = G.cur_time;
 721                         p->filter_datapoint[i].d_offset     = 0;
 722                         /*p->filter_datapoint[i].d_dispersion = MAXDISP;*/
 723                 }
 724         }
 725         if (small_ofs) {
 726                 p->lastpkt_recv_time += offset;
 727         } else {
 728                 /*p->reachable_bits = 0;*/
 729                 p->lastpkt_recv_time = G.cur_time;
 730         }
 731         filter_datapoints(p); /* recalc p->filter_xxx */
 732         VERB6 bb_error_msg("%s->lastpkt_recv_time=%f", p->p_dotted, p->lastpkt_recv_time);
 733 }
 734
 735 static void
 736 add_peers(char *s)
 737 {
 738         peer_t *p;
 739
 740         p = xzalloc(sizeof(*p));
 741         p->p_lsa = xhost2sockaddr(s, 123);
 742         p->p_dotted = xmalloc_sockaddr2dotted_noport(&p->p_lsa->u.sa);
 743         p->p_fd = -1;
 744         p->p_xmt_msg.m_status = MODE_CLIENT | (NTP_VERSION << 3);
 745         p->next_action_time = G.cur_time; /* = set_next(p, 0); */
 746         reset_peer_stats(p, 16 * STEP_THRESHOLD);
 747
 748         llist_add_to(&G.ntp_peers, p);
 749         G.peer_cnt++;
 750 }
 751
 752 static int
 753 do_sendto(int fd,
 754                 const struct sockaddr *from, const struct sockaddr *to, socklen_t addrlen,
 755                 msg_t *msg, ssize_t len)
 756 {
 757         ssize_t ret;
 758
 759         errno = 0;
 760         if (!from) {
 761                 ret = sendto(fd, msg, len, MSG_DONTWAIT, to, addrlen);
 762         } else {
 763                 ret = send_to_from(fd, msg, len, MSG_DONTWAIT, to, from, addrlen);
 764         }
 765         if (ret != len) {
 766                 bb_perror_msg("send failed");
 767                 return -1;
 768         }
 769         return 0;
 770 }
 771
 772 static void
 773 send_query_to_peer(peer_t *p)
 774 {
 775         /* Why do we need to bind()?
 776          * See what happens when we don't bind:
 777          *
 778          * socket(PF_INET, SOCK_DGRAM, IPPROTO_IP) = 3
 779          * setsockopt(3, SOL_IP, IP_TOS, [16], 4) = 0
 780          * gettimeofday({1259071266, 327885}, NULL) = 0
 781          * sendto(3, "xxx", 48, MSG_DONTWAIT, {sa_family=AF_INET, sin_port=htons(123), sin_addr=inet_addr("10.34.32.125")}, 16) = 48
 782          * ^^^ we sent it from some source port picked by kernel.
 783          * time(NULL)              = 1259071266
 784          * write(2, "ntpd: entering poll 15 secs\n", 28) = 28
 785          * poll([{fd=3, events=POLLIN}], 1, 15000) = 1 ([{fd=3, revents=POLLIN}])
 786          * recv(3, "yyy", 68, MSG_DONTWAIT) = 48
 787          * ^^^ this recv will receive packets to any local port!
 788          *
 789          * Uncomment this and use strace to see it in action:
 790          */
 791 #define PROBE_LOCAL_ADDR /* { len_and_sockaddr lsa; lsa.len = LSA_SIZEOF_SA; getsockname(p->query.fd, &lsa.u.sa, &lsa.len); } */
 792
 793         if (p->p_fd == -1) {
 794                 int fd, family;
 795                 len_and_sockaddr *local_lsa;
 796
 797                 family = p->p_lsa->u.sa.sa_family;
 798                 p->p_fd = fd = xsocket_type(&local_lsa, family, SOCK_DGRAM);
 799                 /* local_lsa has "null" address and port 0 now.
 800                  * bind() ensures we have a *particular port* selected by kernel
 801                  * and remembered in p->p_fd, thus later recv(p->p_fd)
 802                  * receives only packets sent to this port.
 803                  */
 804                 PROBE_LOCAL_ADDR
 805                 xbind(fd, &local_lsa->u.sa, local_lsa->len);
 806                 PROBE_LOCAL_ADDR
 807 #if ENABLE_FEATURE_IPV6
 808                 if (family == AF_INET)
 809 #endif
 810                         setsockopt(fd, IPPROTO_IP, IP_TOS, &const_IPTOS_LOWDELAY, sizeof(const_IPTOS_LOWDELAY));
 811                 free(local_lsa);
 812         }
 813
 814         /* Emit message _before_ attempted send. Think of a very short
 815          * roundtrip networks: we need to go back to recv loop ASAP,
 816          * to reduce delay. Printing messages after send works against that.
 817          */
 818         VERB1 bb_error_msg("sending query to %s", p->p_dotted);
 819
 820         /*
 821          * Send out a random 64-bit number as our transmit time.  The NTP
 822          * server will copy said number into the originate field on the
 823          * response that it sends us.  This is totally legal per the SNTP spec.
 824          *
 825          * The impact of this is two fold: we no longer send out the current
 826          * system time for the world to see (which may aid an attacker), and
 827          * it gives us a (not very secure) way of knowing that we're not
 828          * getting spoofed by an attacker that can't capture our traffic
 829          * but can spoof packets from the NTP server we're communicating with.
 830          *
 831          * Save the real transmit timestamp locally.
 832          */
 833         p->p_xmt_msg.m_xmttime.int_partl = random();
 834         p->p_xmt_msg.m_xmttime.fractionl = random();
 835         p->p_xmttime = gettime1900d();
 836
 837         /* Were doing it only if sendto worked, but
 838          * loss of sync detection needs reachable_bits updated
 839          * even if sending fails *locally*:
 840          * "network is unreachable" because cable was pulled?
 841          * We still need to declare "unsync" if this condition persists.
 842          */
 843         p->reachable_bits <<= 1;
 844
 845         if (do_sendto(p->p_fd, /*from:*/ NULL, /*to:*/ &p->p_lsa->u.sa, /*addrlen:*/ p->p_lsa->len,
 846                         &p->p_xmt_msg, NTP_MSGSIZE_NOAUTH) == -1
 847         ) {
 848                 close(p->p_fd);
 849                 p->p_fd = -1;
 850                 /*
 851                  * We know that we sent nothing.
 852                  * We can retry *soon* without fearing
 853                  * that we are flooding the peer.
 854                  */
 855                 set_next(p, RETRY_INTERVAL);
 856                 return;
 857         }
 858
 859         set_next(p, RESPONSE_INTERVAL);
 860 }
 861
 862
 863 /* Note that there is no provision to prevent several run_scripts
 864  * to be started in quick succession. In fact, it happens rather often
 865  * if initial syncronization results in a step.
 866  * You will see "step" and then "stratum" script runs, sometimes
 867  * as close as only 0.002 seconds apart.
 868  * Script should be ready to deal with this.
 869  */
 870 static void run_script(const char *action, double offset)
 871 {
 872         char *argv[3];
 873         char *env1, *env2, *env3, *env4;
 874
 875         G.last_script_run = G.cur_time;
 876
 877         if (!G.script_name)
 878                 return;
 879
 880         argv[0] = (char*) G.script_name;
 881         argv[1] = (char*) action;
 882         argv[2] = NULL;
 883
 884         VERB1 bb_error_msg("executing '%s %s'", G.script_name, action);
 885
 886         env1 = xasprintf("%s=%u", "stratum", G.stratum);
 887         putenv(env1);
 888         env2 = xasprintf("%s=%ld", "freq_drift_ppm", G.kernel_freq_drift);
 889         putenv(env2);
 890         env3 = xasprintf("%s=%u", "poll_interval", 1 << G.poll_exp);
 891         putenv(env3);
 892         env4 = xasprintf("%s=%f", "offset", offset);
 893         putenv(env4);
 894         /* Other items of potential interest: selected peer,
 895          * rootdelay, reftime, rootdisp, refid, ntp_status,
 896          * last_update_offset, last_update_recv_time, discipline_jitter,
 897          * how many peers have reachable_bits = 0?
 898          */
 899
 900         /* Don't want to wait: it may run hwclock --systohc, and that
 901          * may take some time (seconds): */
 902         /*spawn_and_wait(argv);*/
 903         spawn(argv);
 904
 905         unsetenv("stratum");
 906         unsetenv("freq_drift_ppm");
 907         unsetenv("poll_interval");
 908         unsetenv("offset");
 909         free(env1);
 910         free(env2);
 911         free(env3);
 912         free(env4);
 913 }
 914
 915 static NOINLINE void
 916 step_time(double offset)
 917 {
 918         llist_t *item;
 919         double dtime;
 920         struct timeval tvc, tvn;
 921         char buf[sizeof("yyyy-mm-dd hh:mm:ss") + /*paranoia:*/ 4];
 922         time_t tval;
 923
 924         gettimeofday(&tvc, NULL); /* never fails */
 925         dtime = tvc.tv_sec + (1.0e-6 * tvc.tv_usec) + offset;
 926         d_to_tv(dtime, &tvn);
 927         if (settimeofday(&tvn, NULL) == -1)
 928                 bb_perror_msg_and_die("settimeofday");
 929
 930         VERB2 {
 931                 tval = tvc.tv_sec;
 932                 strftime_YYYYMMDDHHMMSS(buf, sizeof(buf), &tval);
 933                 bb_error_msg("current time is %s.%06u", buf, (unsigned)tvc.tv_usec);
 934         }
 935         tval = tvn.tv_sec;
 936         strftime_YYYYMMDDHHMMSS(buf, sizeof(buf), &tval);
 937         bb_error_msg("setting time to %s.%06u (offset %+fs)", buf, (unsigned)tvn.tv_usec, offset);
 938
 939         /* Correct various fields which contain time-relative values: */
 940
 941         /* Globals: */
 942         G.cur_time += offset;
 943         G.last_update_recv_time += offset;
 944         G.last_script_run += offset;
 945
 946         /* p->lastpkt_recv_time, p->next_action_time and such: */
 947         for (item = G.ntp_peers; item != NULL; item = item->link) {
 948                 peer_t *pp = (peer_t *) item->data;
 949                 reset_peer_stats(pp, offset);
 950                 //bb_error_msg("offset:%+f pp->next_action_time:%f -> %f",
 951                 //      offset, pp->next_action_time, pp->next_action_time + offset);
 952                 pp->next_action_time += offset;
 953                 if (pp->p_fd >= 0) {
 954                         /* We wait for reply from this peer too.
 955                          * But due to step we are doing, reply's data is no longer
 956                          * useful (in fact, it'll be bogus). Stop waiting for it.
 957                          */
 958                         close(pp->p_fd);
 959                         pp->p_fd = -1;
 960                         set_next(pp, RETRY_INTERVAL);
 961                 }
 962         }
 963 }
 964
 965
 966 /*
 967  * Selection and clustering, and their helpers
 968  */
 969 typedef struct {
 970         peer_t *p;
 971         int    type;
 972         double edge;
 973         double opt_rd; /* optimization */
 974 } point_t;
 975 static int
 976 compare_point_edge(const void *aa, const void *bb)
 977 {
 978         const point_t *a = aa;
 979         const point_t *b = bb;
 980         if (a->edge < b->edge) {
 981                 return -1;
 982         }
 983         return (a->edge > b->edge);
 984 }
 985 typedef struct {
 986         peer_t *p;
 987         double metric;
 988 } survivor_t;
 989 static int
 990 compare_survivor_metric(const void *aa, const void *bb)
 991 {
 992         const survivor_t *a = aa;
 993         const survivor_t *b = bb;
 994         if (a->metric < b->metric) {
 995                 return -1;
 996         }
 997         return (a->metric > b->metric);
 998 }
 999 static int
1000 fit(peer_t *p, double rd)
1001 {
1002         if ((p->reachable_bits & (p->reachable_bits-1)) == 0) {
1003                 /* One or zero bits in reachable_bits */
1004                 VERB4 bb_error_msg("peer %s unfit for selection: unreachable", p->p_dotted);
1005                 return 0;
1006         }
1007 #if 0 /* we filter out such packets earlier */
1008         if ((p->lastpkt_status & LI_ALARM) == LI_ALARM
1009          || p->lastpkt_stratum >= MAXSTRAT
1010         ) {
1011                 VERB4 bb_error_msg("peer %s unfit for selection: bad status/stratum", p->p_dotted);
1012                 return 0;
1013         }
1014 #endif
1015         /* rd is root_distance(p) */
1016         if (rd > MAXDIST + FREQ_TOLERANCE * (1 << G.poll_exp)) {
1017                 VERB4 bb_error_msg("peer %s unfit for selection: root distance too high", p->p_dotted);
1018                 return 0;
1019         }
1020 //TODO
1021 //      /* Do we have a loop? */
1022 //      if (p->refid == p->dstaddr || p->refid == s.refid)
1023 //              return 0;
1024         return 1;
1025 }
1026 static peer_t*
1027 select_and_cluster(void)
1028 {
1029         peer_t     *p;
1030         llist_t    *item;
1031         int        i, j;
1032         int        size = 3 * G.peer_cnt;
1033         /* for selection algorithm */
1034         point_t    point[size];
1035         unsigned   num_points, num_candidates;
1036         double     low, high;
1037         unsigned   num_falsetickers;
1038         /* for cluster algorithm */
1039         survivor_t survivor[size];
1040         unsigned   num_survivors;
1041
1042         /* Selection */
1043
1044         num_points = 0;
1045         item = G.ntp_peers;
1046         if (G.initial_poll_complete) while (item != NULL) {
1047                 double rd, offset;
1048
1049                 p = (peer_t *) item->data;
1050                 rd = root_distance(p);
1051                 offset = p->filter_offset;
1052                 if (!fit(p, rd)) {
1053                         item = item->link;
1054                         continue;
1055                 }
1056
1057                 VERB5 bb_error_msg("interval: [%f %f %f] %s",
1058                                 offset - rd,
1059                                 offset,
1060                                 offset + rd,
1061                                 p->p_dotted
1062                 );
1063                 point[num_points].p = p;
1064                 point[num_points].type = -1;
1065                 point[num_points].edge = offset - rd;
1066                 point[num_points].opt_rd = rd;
1067                 num_points++;
1068                 point[num_points].p = p;
1069                 point[num_points].type = 0;
1070                 point[num_points].edge = offset;
1071                 point[num_points].opt_rd = rd;
1072                 num_points++;
1073                 point[num_points].p = p;
1074                 point[num_points].type = 1;
1075                 point[num_points].edge = offset + rd;
1076                 point[num_points].opt_rd = rd;
1077                 num_points++;
1078                 item = item->link;
1079         }
1080         num_candidates = num_points / 3;
1081         if (num_candidates == 0) {
1082                 VERB3 bb_error_msg("no valid datapoints%s", ", no peer selected");
1083                 return NULL;
1084         }
1085 //TODO: sorting does not seem to be done in reference code
1086         qsort(point, num_points, sizeof(point[0]), compare_point_edge);
1087
1088         /* Start with the assumption that there are no falsetickers.
1089          * Attempt to find a nonempty intersection interval containing
1090          * the midpoints of all truechimers.
1091          * If a nonempty interval cannot be found, increase the number
1092          * of assumed falsetickers by one and try again.
1093          * If a nonempty interval is found and the number of falsetickers
1094          * is less than the number of truechimers, a majority has been found
1095          * and the midpoint of each truechimer represents
1096          * the candidates available to the cluster algorithm.
1097          */
1098         num_falsetickers = 0;
1099         while (1) {
1100                 int c;
1101                 unsigned num_midpoints = 0;
1102
1103                 low = 1 << 9;
1104                 high = - (1 << 9);
1105                 c = 0;
1106                 for (i = 0; i < num_points; i++) {
1107                         /* We want to do:
1108                          * if (point[i].type == -1) c++;
1109                          * if (point[i].type == 1) c--;
1110                          * and it's simpler to do it this way:
1111                          */
1112                         c -= point[i].type;
1113                         if (c >= num_candidates - num_falsetickers) {
1114                                 /* If it was c++ and it got big enough... */
1115                                 low = point[i].edge;
1116                                 break;
1117                         }
1118                         if (point[i].type == 0)
1119                                 num_midpoints++;
1120                 }
1121                 c = 0;
1122                 for (i = num_points-1; i >= 0; i--) {
1123                         c += point[i].type;
1124                         if (c >= num_candidates - num_falsetickers) {
1125                                 high = point[i].edge;
1126                                 break;
1127                         }
1128                         if (point[i].type == 0)
1129                                 num_midpoints++;
1130                 }
1131                 /* If the number of midpoints is greater than the number
1132                  * of allowed falsetickers, the intersection contains at
1133                  * least one truechimer with no midpoint - bad.
1134                  * Also, interval should be nonempty.
1135                  */
1136                 if (num_midpoints <= num_falsetickers && low < high)
1137                         break;
1138                 num_falsetickers++;
1139                 if (num_falsetickers * 2 >= num_candidates) {
1140                         VERB3 bb_error_msg("falsetickers:%d, candidates:%d%s",
1141                                         num_falsetickers, num_candidates,
1142                                         ", no peer selected");
1143                         return NULL;
1144                 }
1145         }
1146         VERB4 bb_error_msg("selected interval: [%f, %f]; candidates:%d falsetickers:%d",
1147                         low, high, num_candidates, num_falsetickers);
1148
1149         /* Clustering */
1150
1151         /* Construct a list of survivors (p, metric)
1152          * from the chime list, where metric is dominated
1153          * first by stratum and then by root distance.
1154          * All other things being equal, this is the order of preference.
1155          */
1156         num_survivors = 0;
1157         for (i = 0; i < num_points; i++) {
1158                 if (point[i].edge < low || point[i].edge > high)
1159                         continue;
1160                 p = point[i].p;
1161                 survivor[num_survivors].p = p;
1162                 /* x.opt_rd == root_distance(p); */
1163                 survivor[num_survivors].metric = MAXDIST * p->lastpkt_stratum + point[i].opt_rd;
1164                 VERB5 bb_error_msg("survivor[%d] metric:%f peer:%s",
1165                         num_survivors, survivor[num_survivors].metric, p->p_dotted);
1166                 num_survivors++;
1167         }
1168         /* There must be at least MIN_SELECTED survivors to satisfy the
1169          * correctness assertions. Ordinarily, the Byzantine criteria
1170          * require four survivors, but for the demonstration here, one
1171          * is acceptable.
1172          */
1173         if (num_survivors < MIN_SELECTED) {
1174                 VERB3 bb_error_msg("survivors:%d%s",
1175                                 num_survivors,
1176                                 ", no peer selected");
1177                 return NULL;
1178         }
1179
1180 //looks like this is ONLY used by the fact that later we pick survivor[0].
1181 //we can avoid sorting then, just find the minimum once!
1182         qsort(survivor, num_survivors, sizeof(survivor[0]), compare_survivor_metric);
1183
1184         /* For each association p in turn, calculate the selection
1185          * jitter p->sjitter as the square root of the sum of squares
1186          * (p->offset - q->offset) over all q associations. The idea is
1187          * to repeatedly discard the survivor with maximum selection
1188          * jitter until a termination condition is met.
1189          */
1190         while (1) {
1191                 unsigned max_idx = max_idx;
1192                 double max_selection_jitter = max_selection_jitter;
1193                 double min_jitter = min_jitter;
1194
1195                 if (num_survivors <= MIN_CLUSTERED) {
1196                         VERB4 bb_error_msg("num_survivors %d <= %d, not discarding more",
1197                                         num_survivors, MIN_CLUSTERED);
1198                         break;
1199                 }
1200
1201                 /* To make sure a few survivors are left
1202                  * for the clustering algorithm to chew on,
1203                  * we stop if the number of survivors
1204                  * is less than or equal to MIN_CLUSTERED (3).
1205                  */
1206                 for (i = 0; i < num_survivors; i++) {
1207                         double selection_jitter_sq;
1208
1209                         p = survivor[i].p;
1210                         if (i == 0 || p->filter_jitter < min_jitter)
1211                                 min_jitter = p->filter_jitter;
1212
1213                         selection_jitter_sq = 0;
1214                         for (j = 0; j < num_survivors; j++) {
1215                                 peer_t *q = survivor[j].p;
1216                                 selection_jitter_sq += SQUARE(p->filter_offset - q->filter_offset);
1217                         }
1218                         if (i == 0 || selection_jitter_sq > max_selection_jitter) {
1219                                 max_selection_jitter = selection_jitter_sq;
1220                                 max_idx = i;
1221                         }
1222                         VERB6 bb_error_msg("survivor %d selection_jitter^2:%f",
1223                                         i, selection_jitter_sq);
1224                 }
1225                 max_selection_jitter = SQRT(max_selection_jitter / num_survivors);
1226                 VERB5 bb_error_msg("max_selection_jitter (at %d):%f min_jitter:%f",
1227                                 max_idx, max_selection_jitter, min_jitter);
1228
1229                 /* If the maximum selection jitter is less than the
1230                  * minimum peer jitter, then tossing out more survivors
1231                  * will not lower the minimum peer jitter, so we might
1232                  * as well stop.
1233                  */
1234                 if (max_selection_jitter < min_jitter) {
1235                         VERB4 bb_error_msg("max_selection_jitter:%f < min_jitter:%f, num_survivors:%d, not discarding more",
1236                                         max_selection_jitter, min_jitter, num_survivors);
1237                         break;
1238                 }
1239
1240                 /* Delete survivor[max_idx] from the list
1241                  * and go around again.
1242                  */
1243                 VERB6 bb_error_msg("dropping survivor %d", max_idx);
1244                 num_survivors--;
1245                 while (max_idx < num_survivors) {
1246                         survivor[max_idx] = survivor[max_idx + 1];
1247                         max_idx++;
1248                 }
1249         }
1250
1251         if (0) {
1252                 /* Combine the offsets of the clustering algorithm survivors
1253                  * using a weighted average with weight determined by the root
1254                  * distance. Compute the selection jitter as the weighted RMS
1255                  * difference between the first survivor and the remaining
1256                  * survivors. In some cases the inherent clock jitter can be
1257                  * reduced by not using this algorithm, especially when frequent
1258                  * clockhopping is involved. bbox: thus we don't do it.
1259                  */
1260                 double x, y, z, w;
1261                 y = z = w = 0;
1262                 for (i = 0; i < num_survivors; i++) {
1263                         p = survivor[i].p;
1264                         x = root_distance(p);
1265                         y += 1 / x;
1266                         z += p->filter_offset / x;
1267                         w += SQUARE(p->filter_offset - survivor[0].p->filter_offset) / x;
1268                 }
1269                 //G.cluster_offset = z / y;
1270                 //G.cluster_jitter = SQRT(w / y);
1271         }
1272
1273         /* Pick the best clock. If the old system peer is on the list
1274          * and at the same stratum as the first survivor on the list,
1275          * then don't do a clock hop. Otherwise, select the first
1276          * survivor on the list as the new system peer.
1277          */
1278         p = survivor[0].p;
1279         if (G.last_update_peer
1280          && G.last_update_peer->lastpkt_stratum <= p->lastpkt_stratum
1281         ) {
1282                 /* Starting from 1 is ok here */
1283                 for (i = 1; i < num_survivors; i++) {
1284                         if (G.last_update_peer == survivor[i].p) {
1285                                 VERB5 bb_error_msg("keeping old synced peer");
1286                                 p = G.last_update_peer;
1287                                 goto keep_old;
1288                         }
1289                 }
1290         }
1291         G.last_update_peer = p;
1292  keep_old:
1293         VERB4 bb_error_msg("selected peer %s filter_offset:%+f age:%f",
1294                         p->p_dotted,
1295                         p->filter_offset,
1296                         G.cur_time - p->lastpkt_recv_time
1297         );
1298         return p;
1299 }
1300
1301
1302 /*
1303  * Local clock discipline and its helpers
1304  */
1305 static void
1306 set_new_values(int disc_state, double offset, double recv_time)
1307 {
1308         /* Enter new state and set state variables. Note we use the time
1309          * of the last clock filter sample, which must be earlier than
1310          * the current time.
1311          */
1312         VERB4 bb_error_msg("disc_state=%d last update offset=%f recv_time=%f",
1313                         disc_state, offset, recv_time);
1314         G.discipline_state = disc_state;
1315         G.last_update_offset = offset;
1316         G.last_update_recv_time = recv_time;
1317 }
1318 /* Return: -1: decrease poll interval, 0: leave as is, 1: increase */
1319 static NOINLINE int
1320 update_local_clock(peer_t *p)
1321 {
1322         int rc;
1323         struct timex tmx;
1324         /* Note: can use G.cluster_offset instead: */
1325         double offset = p->filter_offset;
1326         double recv_time = p->lastpkt_recv_time;
1327         double abs_offset;
1328 #if !USING_KERNEL_PLL_LOOP
1329         double freq_drift;
1330 #endif
1331         double since_last_update;
1332         double etemp, dtemp;
1333
1334         abs_offset = fabs(offset);
1335
1336 #if 0
1337         /* If needed, -S script can do it by looking at $offset
1338          * env var and killing parent */
1339         /* If the offset is too large, give up and go home */
1340         if (abs_offset > PANIC_THRESHOLD) {
1341                 bb_error_msg_and_die("offset %f far too big, exiting", offset);
1342         }
1343 #endif
1344
1345         /* If this is an old update, for instance as the result
1346          * of a system peer change, avoid it. We never use
1347          * an old sample or the same sample twice.
1348          */
1349         if (recv_time <= G.last_update_recv_time) {
1350                 VERB3 bb_error_msg("update from %s: same or older datapoint, not using it",
1351                         p->p_dotted);
1352                 return 0; /* "leave poll interval as is" */
1353         }
1354
1355         /* Clock state machine transition function. This is where the
1356          * action is and defines how the system reacts to large time
1357          * and frequency errors.
1358          */
1359         since_last_update = recv_time - G.reftime;
1360 #if !USING_KERNEL_PLL_LOOP
1361         freq_drift = 0;
1362 #endif
1363 #if USING_INITIAL_FREQ_ESTIMATION
1364         if (G.discipline_state == STATE_FREQ) {
1365                 /* Ignore updates until the stepout threshold */
1366                 if (since_last_update < WATCH_THRESHOLD) {
1367                         VERB4 bb_error_msg("measuring drift, datapoint ignored, %f sec remains",
1368                                         WATCH_THRESHOLD - since_last_update);
1369                         return 0; /* "leave poll interval as is" */
1370                 }
1371 # if !USING_KERNEL_PLL_LOOP
1372                 freq_drift = (offset - G.last_update_offset) / since_last_update;
1373 # endif
1374         }
1375 #endif
1376
1377         /* There are two main regimes: when the
1378          * offset exceeds the step threshold and when it does not.
1379          */
1380         if (abs_offset > STEP_THRESHOLD) {
1381 #if 0
1382                 double remains;
1383
1384 // This "spike state" seems to be useless, peer selection already drops
1385 // occassional "bad" datapoints. If we are here, there were _many_
1386 // large offsets. When a few first large offsets are seen,
1387 // we end up in "no valid datapoints, no peer selected" state.
1388 // Only when enough of them are seen (which means it's not a fluke),
1389 // we end up here. Looks like _our_ clock is off.
1390                 switch (G.discipline_state) {
1391                 case STATE_SYNC:
1392                         /* The first outlyer: ignore it, switch to SPIK state */
1393                         VERB3 bb_error_msg("update from %s: offset:%+f, spike%s",
1394                                 p->p_dotted, offset,
1395                                 "");
1396                         G.discipline_state = STATE_SPIK;
1397                         return -1; /* "decrease poll interval" */
1398
1399                 case STATE_SPIK:
1400                         /* Ignore succeeding outlyers until either an inlyer
1401                          * is found or the stepout threshold is exceeded.
1402                          */
1403                         remains = WATCH_THRESHOLD - since_last_update;
1404                         if (remains > 0) {
1405                                 VERB3 bb_error_msg("update from %s: offset:%+f, spike%s",
1406                                         p->p_dotted, offset,
1407                                         ", datapoint ignored");
1408                                 return -1; /* "decrease poll interval" */
1409                         }
1410                         /* fall through: we need to step */
1411                 } /* switch */
1412 #endif
1413
1414                 /* Step the time and clamp down the poll interval.
1415                  *
1416                  * In NSET state an initial frequency correction is
1417                  * not available, usually because the frequency file has
1418                  * not yet been written. Since the time is outside the
1419                  * capture range, the clock is stepped. The frequency
1420                  * will be set directly following the stepout interval.
1421                  *
1422                  * In FSET state the initial frequency has been set
1423                  * from the frequency file. Since the time is outside
1424                  * the capture range, the clock is stepped immediately,
1425                  * rather than after the stepout interval. Guys get
1426                  * nervous if it takes 17 minutes to set the clock for
1427                  * the first time.
1428                  *
1429                  * In SPIK state the stepout threshold has expired and
1430                  * the phase is still above the step threshold. Note
1431                  * that a single spike greater than the step threshold
1432                  * is always suppressed, even at the longer poll
1433                  * intervals.
1434                  */
1435                 VERB4 bb_error_msg("stepping time by %+f; poll_exp=MINPOLL", offset);
1436                 step_time(offset);
1437                 if (option_mask32 & OPT_q) {
1438                         /* We were only asked to set time once. Done. */
1439                         exit(0);
1440                 }
1441
1442                 G.polladj_count = 0;
1443                 G.poll_exp = MINPOLL;
1444                 G.stratum = MAXSTRAT;
1445
1446                 run_script("step", offset);
1447
1448 #if USING_INITIAL_FREQ_ESTIMATION
1449                 if (G.discipline_state == STATE_NSET) {
1450                         set_new_values(STATE_FREQ, /*offset:*/ 0, recv_time);
1451                         return 1; /* "ok to increase poll interval" */
1452                 }
1453 #endif
1454                 abs_offset = offset = 0;
1455                 set_new_values(STATE_SYNC, offset, recv_time);
1456
1457         } else { /* abs_offset <= STEP_THRESHOLD */
1458
1459                 if (G.poll_exp < MINPOLL && G.initial_poll_complete) {
1460                         VERB4 bb_error_msg("small offset:%+f, disabling burst mode", offset);
1461                         G.polladj_count = 0;
1462                         G.poll_exp = MINPOLL;
1463                 }
1464
1465                 /* Compute the clock jitter as the RMS of exponentially
1466                  * weighted offset differences. Used by the poll adjust code.
1467                  */
1468                 etemp = SQUARE(G.discipline_jitter);
1469                 dtemp = SQUARE(offset - G.last_update_offset);
1470                 G.discipline_jitter = SQRT(etemp + (dtemp - etemp) / AVG);
1471
1472                 switch (G.discipline_state) {
1473                 case STATE_NSET:
1474                         if (option_mask32 & OPT_q) {
1475                                 /* We were only asked to set time once.
1476                                  * The clock is precise enough, no need to step.
1477                                  */
1478                                 exit(0);
1479                         }
1480 #if USING_INITIAL_FREQ_ESTIMATION
1481                         /* This is the first update received and the frequency
1482                          * has not been initialized. The first thing to do
1483                          * is directly measure the oscillator frequency.
1484                          */
1485                         set_new_values(STATE_FREQ, offset, recv_time);
1486 #else
1487                         set_new_values(STATE_SYNC, offset, recv_time);
1488 #endif
1489                         VERB4 bb_error_msg("transitioning to FREQ, datapoint ignored");
1490                         return 0; /* "leave poll interval as is" */
1491
1492 #if 0 /* this is dead code for now */
1493                 case STATE_FSET:
1494                         /* This is the first update and the frequency
1495                          * has been initialized. Adjust the phase, but
1496                          * don't adjust the frequency until the next update.
1497                          */
1498                         set_new_values(STATE_SYNC, offset, recv_time);
1499                         /* freq_drift remains 0 */
1500                         break;
1501 #endif
1502
1503 #if USING_INITIAL_FREQ_ESTIMATION
1504                 case STATE_FREQ:
1505                         /* since_last_update >= WATCH_THRESHOLD, we waited enough.
1506                          * Correct the phase and frequency and switch to SYNC state.
1507                          * freq_drift was already estimated (see code above)
1508                          */
1509                         set_new_values(STATE_SYNC, offset, recv_time);
1510                         break;
1511 #endif
1512
1513                 default:
1514 #if !USING_KERNEL_PLL_LOOP
1515                         /* Compute freq_drift due to PLL and FLL contributions.
1516                          *
1517                          * The FLL and PLL frequency gain constants
1518                          * depend on the poll interval and Allan
1519                          * intercept. The FLL is not used below one-half
1520                          * the Allan intercept. Above that the loop gain
1521                          * increases in steps to 1 / AVG.
1522                          */
1523                         if ((1 << G.poll_exp) > ALLAN / 2) {
1524                                 etemp = FLL - G.poll_exp;
1525                                 if (etemp < AVG)
1526                                         etemp = AVG;
1527                                 freq_drift += (offset - G.last_update_offset) / (MAXD(since_last_update, ALLAN) * etemp);
1528                         }
1529                         /* For the PLL the integration interval
1530                          * (numerator) is the minimum of the update
1531                          * interval and poll interval. This allows
1532                          * oversampling, but not undersampling.
1533                          */
1534                         etemp = MIND(since_last_update, (1 << G.poll_exp));
1535                         dtemp = (4 * PLL) << G.poll_exp;
1536                         freq_drift += offset * etemp / SQUARE(dtemp);
1537 #endif
1538                         set_new_values(STATE_SYNC, offset, recv_time);
1539                         break;
1540                 }
1541                 if (G.stratum != p->lastpkt_stratum + 1) {
1542                         G.stratum = p->lastpkt_stratum + 1;
1543                         run_script("stratum", offset);
1544                 }
1545         }
1546
1547         if (G.discipline_jitter < G_precision_sec)
1548                 G.discipline_jitter = G_precision_sec;
1549         G.offset_to_jitter_ratio = abs_offset / G.discipline_jitter;
1550
1551         G.reftime = G.cur_time;
1552         G.ntp_status = p->lastpkt_status;
1553         G.refid = p->lastpkt_refid;
1554         G.rootdelay = p->lastpkt_rootdelay + p->lastpkt_delay;
1555         dtemp = p->filter_jitter; // SQRT(SQUARE(p->filter_jitter) + SQUARE(G.cluster_jitter));
1556         dtemp += MAXD(p->filter_dispersion + FREQ_TOLERANCE * (G.cur_time - p->lastpkt_recv_time) + abs_offset, MINDISP);
1557         G.rootdisp = p->lastpkt_rootdisp + dtemp;
1558         VERB4 bb_error_msg("updating leap/refid/reftime/rootdisp from peer %s", p->p_dotted);
1559
1560         /* We are in STATE_SYNC now, but did not do adjtimex yet.
1561          * (Any other state does not reach this, they all return earlier)
1562          * By this time, freq_drift and offset are set
1563          * to values suitable for adjtimex.
1564          */
1565 #if !USING_KERNEL_PLL_LOOP
1566         /* Calculate the new frequency drift and frequency stability (wander).
1567          * Compute the clock wander as the RMS of exponentially weighted
1568          * frequency differences. This is not used directly, but can,
1569          * along with the jitter, be a highly useful monitoring and
1570          * debugging tool.
1571          */
1572         dtemp = G.discipline_freq_drift + freq_drift;
1573         G.discipline_freq_drift = MAXD(MIND(MAXDRIFT, dtemp), -MAXDRIFT);
1574         etemp = SQUARE(G.discipline_wander);
1575         dtemp = SQUARE(dtemp);
1576         G.discipline_wander = SQRT(etemp + (dtemp - etemp) / AVG);
1577
1578         VERB4 bb_error_msg("discipline freq_drift=%.9f(int:%ld corr:%e) wander=%f",
1579                         G.discipline_freq_drift,
1580                         (long)(G.discipline_freq_drift * 65536e6),
1581                         freq_drift,
1582                         G.discipline_wander);
1583 #endif
1584         VERB4 {
1585                 memset(&tmx, 0, sizeof(tmx));
1586                 if (adjtimex(&tmx) < 0)
1587                         bb_perror_msg_and_die("adjtimex");
1588                 bb_error_msg("p adjtimex freq:%ld offset:%+ld status:0x%x tc:%ld",
1589                                 tmx.freq, tmx.offset, tmx.status, tmx.constant);
1590         }
1591
1592         memset(&tmx, 0, sizeof(tmx));
1593 #if 0
1594 //doesn't work, offset remains 0 (!) in kernel:
1595 //ntpd:  set adjtimex freq:1786097 tmx.offset:77487
1596 //ntpd: prev adjtimex freq:1786097 tmx.offset:0
1597 //ntpd:  cur adjtimex freq:1786097 tmx.offset:0
1598         tmx.modes = ADJ_FREQUENCY | ADJ_OFFSET;
1599         /* 65536 is one ppm */
1600         tmx.freq = G.discipline_freq_drift * 65536e6;
1601 #endif
1602         tmx.modes = ADJ_OFFSET | ADJ_STATUS | ADJ_TIMECONST;// | ADJ_MAXERROR | ADJ_ESTERROR;
1603         tmx.offset = (offset * 1000000); /* usec */
1604         tmx.status = STA_PLL;
1605         if (G.ntp_status & LI_PLUSSEC)
1606                 tmx.status |= STA_INS;
1607         if (G.ntp_status & LI_MINUSSEC)
1608                 tmx.status |= STA_DEL;
1609
1610         tmx.constant = G.poll_exp - 4;
1611         /* EXPERIMENTAL.
1612          * The below if statement should be unnecessary, but...
1613          * It looks like Linux kernel's PLL is far too gentle in changing
1614          * tmx.freq in response to clock offset. Offset keeps growing
1615          * and eventually we fall back to smaller poll intervals.
1616          * We can make correction more agressive (about x2) by supplying
1617          * PLL time constant which is one less than the real one.
1618          * To be on a safe side, let's do it only if offset is significantly
1619          * larger than jitter.
1620          */
1621         if (tmx.constant > 0 && G.offset_to_jitter_ratio >= TIMECONST_HACK_GATE)
1622                 tmx.constant--;
1623
1624         //tmx.esterror = (uint32_t)(clock_jitter * 1e6);
1625         //tmx.maxerror = (uint32_t)((sys_rootdelay / 2 + sys_rootdisp) * 1e6);
1626         rc = adjtimex(&tmx);
1627         if (rc < 0)
1628                 bb_perror_msg_and_die("adjtimex");
1629         /* NB: here kernel returns constant == G.poll_exp, not == G.poll_exp - 4.
1630          * Not sure why. Perhaps it is normal.
1631          */
1632         VERB4 bb_error_msg("adjtimex:%d freq:%ld offset:%+ld status:0x%x",
1633                                 rc, tmx.freq, tmx.offset, tmx.status);
1634         G.kernel_freq_drift = tmx.freq / 65536;
1635         VERB2 bb_error_msg("update from:%s offset:%+f jitter:%f clock drift:%+.3fppm tc:%d",
1636                         p->p_dotted, offset, G.discipline_jitter, (double)tmx.freq / 65536, (int)tmx.constant);
1637
1638         return 1; /* "ok to increase poll interval" */
1639 }
1640
1641
1642 /*
1643  * We've got a new reply packet from a peer, process it
1644  * (helpers first)
1645  */
1646 static unsigned
1647 retry_interval(void)
1648 {
1649         /* Local problem, want to retry soon */
1650         unsigned interval, r;
1651         interval = RETRY_INTERVAL;
1652         r = random();
1653         interval += r % (unsigned)(RETRY_INTERVAL / 4);
1654         VERB4 bb_error_msg("chose retry interval:%u", interval);
1655         return interval;
1656 }
1657 static unsigned
1658 poll_interval(int exponent)
1659 {
1660         unsigned interval, r;
1661         exponent = G.poll_exp + exponent;
1662         if (exponent < 0)
1663                 exponent = 0;
1664         interval = 1 << exponent;
1665         r = random();
1666         interval += ((r & (interval-1)) >> 4) + ((r >> 8) & 1); /* + 1/16 of interval, max */
1667         VERB4 bb_error_msg("chose poll interval:%u (poll_exp:%d exp:%d)", interval, G.poll_exp, exponent);
1668         return interval;
1669 }
1670 static NOINLINE void
1671 recv_and_process_peer_pkt(peer_t *p)
1672 {
1673         int         rc;
1674         ssize_t     size;
1675         msg_t       msg;
1676         double      T1, T2, T3, T4;
1677         double      dv, offset;
1678         unsigned    interval;
1679         datapoint_t *datapoint;
1680         peer_t      *q;
1681
1682         offset = 0;
1683
1684         /* We can recvfrom here and check from.IP, but some multihomed
1685          * ntp servers reply from their *other IP*.
1686          * TODO: maybe we should check at least what we can: from.port == 123?
1687          */
1688         size = recv(p->p_fd, &msg, sizeof(msg), MSG_DONTWAIT);
1689         if (size == -1) {
1690                 bb_perror_msg("recv(%s) error", p->p_dotted);
1691                 if (errno == EHOSTUNREACH || errno == EHOSTDOWN
1692                  || errno == ENETUNREACH || errno == ENETDOWN
1693                  || errno == ECONNREFUSED || errno == EADDRNOTAVAIL
1694                  || errno == EAGAIN
1695                 ) {
1696 //TODO: always do this?
1697                         interval = retry_interval();
1698                         goto set_next_and_ret;
1699                 }
1700                 xfunc_die();
1701         }
1702
1703         if (size != NTP_MSGSIZE_NOAUTH && size != NTP_MSGSIZE) {
1704                 bb_error_msg("malformed packet received from %s", p->p_dotted);
1705                 return;
1706         }
1707
1708         if (msg.m_orgtime.int_partl != p->p_xmt_msg.m_xmttime.int_partl
1709          || msg.m_orgtime.fractionl != p->p_xmt_msg.m_xmttime.fractionl
1710         ) {
1711                 /* Somebody else's packet */
1712                 return;
1713         }
1714
1715         /* We do not expect any more packets from this peer for now.
1716          * Closing the socket informs kernel about it.
1717          * We open a new socket when we send a new query.
1718          */
1719         close(p->p_fd);
1720         p->p_fd = -1;
1721
1722         if ((msg.m_status & LI_ALARM) == LI_ALARM
1723          || msg.m_stratum == 0
1724          || msg.m_stratum > NTP_MAXSTRATUM
1725         ) {
1726 // TODO: stratum 0 responses may have commands in 32-bit m_refid field:
1727 // "DENY", "RSTR" - peer does not like us at all
1728 // "RATE" - peer is overloaded, reduce polling freq
1729                 bb_error_msg("reply from %s: peer is unsynced", p->p_dotted);
1730                 goto pick_normal_interval;
1731         }
1732
1733 //      /* Verify valid root distance */
1734 //      if (msg.m_rootdelay / 2 + msg.m_rootdisp >= MAXDISP || p->lastpkt_reftime > msg.m_xmt)
1735 //              return;                 /* invalid header values */
1736
1737         p->lastpkt_status = msg.m_status;
1738         p->lastpkt_stratum = msg.m_stratum;
1739         p->lastpkt_rootdelay = sfp_to_d(msg.m_rootdelay);
1740         p->lastpkt_rootdisp = sfp_to_d(msg.m_rootdisp);
1741         p->lastpkt_refid = msg.m_refid;
1742
1743         /*
1744          * From RFC 2030 (with a correction to the delay math):
1745          *
1746          * Timestamp Name          ID   When Generated
1747          * ------------------------------------------------------------
1748          * Originate Timestamp     T1   time request sent by client
1749          * Receive Timestamp       T2   time request received by server
1750          * Transmit Timestamp      T3   time reply sent by server
1751          * Destination Timestamp   T4   time reply received by client
1752          *
1753          * The roundtrip delay and local clock offset are defined as
1754          *
1755          * delay = (T4 - T1) - (T3 - T2); offset = ((T2 - T1) + (T3 - T4)) / 2
1756          */
1757         T1 = p->p_xmttime;
1758         T2 = lfp_to_d(msg.m_rectime);
1759         T3 = lfp_to_d(msg.m_xmttime);
1760         T4 = G.cur_time;
1761
1762         p->lastpkt_recv_time = T4;
1763         VERB6 bb_error_msg("%s->lastpkt_recv_time=%f", p->p_dotted, p->lastpkt_recv_time);
1764
1765         /* The delay calculation is a special case. In cases where the
1766          * server and client clocks are running at different rates and
1767          * with very fast networks, the delay can appear negative. In
1768          * order to avoid violating the Principle of Least Astonishment,
1769          * the delay is clamped not less than the system precision.
1770          */
1771         dv = p->lastpkt_delay;
1772         p->lastpkt_delay = (T4 - T1) - (T3 - T2);
1773         if (p->lastpkt_delay < G_precision_sec)
1774                 p->lastpkt_delay = G_precision_sec;
1775         /*
1776          * If this packet's delay is much bigger than the last one,
1777          * it's better to just ignore it than use its much less precise value.
1778          */
1779         if (p->reachable_bits && p->lastpkt_delay > dv * BAD_DELAY_GROWTH) {
1780                 bb_error_msg("reply from %s: delay %f is too high, ignoring", p->p_dotted, p->lastpkt_delay);
1781                 goto pick_normal_interval;
1782         }
1783
1784         p->datapoint_idx = p->reachable_bits ? (p->datapoint_idx + 1) % NUM_DATAPOINTS : 0;
1785         datapoint = &p->filter_datapoint[p->datapoint_idx];
1786         datapoint->d_recv_time = T4;
1787         datapoint->d_offset    = offset = ((T2 - T1) + (T3 - T4)) / 2;
1788         datapoint->d_dispersion = LOG2D(msg.m_precision_exp) + G_precision_sec;
1789         if (!p->reachable_bits) {
1790                 /* 1st datapoint ever - replicate offset in every element */
1791                 int i;
1792                 for (i = 0; i < NUM_DATAPOINTS; i++) {
1793                         p->filter_datapoint[i].d_offset = offset;
1794                 }
1795         }
1796
1797         p->reachable_bits |= 1;
1798         if ((MAX_VERBOSE && G.verbose) || (option_mask32 & OPT_w)) {
1799                 bb_error_msg("reply from %s: offset:%+f delay:%f status:0x%02x strat:%d refid:0x%08x rootdelay:%f reach:0x%02x",
1800                         p->p_dotted,
1801                         offset,
1802                         p->lastpkt_delay,
1803                         p->lastpkt_status,
1804                         p->lastpkt_stratum,
1805                         p->lastpkt_refid,
1806                         p->lastpkt_rootdelay,
1807                         p->reachable_bits
1808                         /* not shown: m_ppoll, m_precision_exp, m_rootdisp,
1809                          * m_reftime, m_orgtime, m_rectime, m_xmttime
1810                          */
1811                 );
1812         }
1813
1814         /* Muck with statictics and update the clock */
1815         filter_datapoints(p);
1816         q = select_and_cluster();
1817         rc = -1;
1818         if (q) {
1819                 rc = 0;
1820                 if (!(option_mask32 & OPT_w)) {
1821                         rc = update_local_clock(q);
1822                         /* If drift is dangerously large, immediately
1823                          * drop poll interval one step down.
1824                          */
1825                         if (fabs(q->filter_offset) >= POLLDOWN_OFFSET) {
1826                                 VERB4 bb_error_msg("offset:%+f > POLLDOWN_OFFSET", q->filter_offset);
1827                                 goto poll_down;
1828                         }
1829                 }
1830         }
1831         /* else: no peer selected, rc = -1: we want to poll more often */
1832
1833         if (rc != 0) {
1834                 /* Adjust the poll interval by comparing the current offset
1835                  * with the clock jitter. If the offset is less than
1836                  * the clock jitter times a constant, then the averaging interval
1837                  * is increased, otherwise it is decreased. A bit of hysteresis
1838                  * helps calm the dance. Works best using burst mode.
1839                  */
1840                 if (rc > 0 && G.offset_to_jitter_ratio <= POLLADJ_GATE) {
1841                         /* was += G.poll_exp but it is a bit
1842                          * too optimistic for my taste at high poll_exp's */
1843                         G.polladj_count += MINPOLL;
1844                         if (G.polladj_count > POLLADJ_LIMIT) {
1845                                 G.polladj_count = 0;
1846                                 if (G.poll_exp < MAXPOLL) {
1847                                         G.poll_exp++;
1848                                         VERB4 bb_error_msg("polladj: discipline_jitter:%f ++poll_exp=%d",
1849                                                         G.discipline_jitter, G.poll_exp);
1850                                 }
1851                         } else {
1852                                 VERB4 bb_error_msg("polladj: incr:%d", G.polladj_count);
1853                         }
1854                 } else {
1855                         G.polladj_count -= G.poll_exp * 2;
1856                         if (G.polladj_count < -POLLADJ_LIMIT || G.poll_exp >= BIGPOLL) {
1857  poll_down:
1858                                 G.polladj_count = 0;
1859                                 if (G.poll_exp > MINPOLL) {
1860                                         llist_t *item;
1861
1862                                         G.poll_exp--;
1863                                         /* Correct p->next_action_time in each peer
1864                                          * which waits for sending, so that they send earlier.
1865                                          * Old pp->next_action_time are on the order
1866                                          * of t + (1 << old_poll_exp) + small_random,
1867                                          * we simply need to subtract ~half of that.
1868                                          */
1869                                         for (item = G.ntp_peers; item != NULL; item = item->link) {
1870                                                 peer_t *pp = (peer_t *) item->data;
1871                                                 if (pp->p_fd < 0)
1872                                                         pp->next_action_time -= (1 << G.poll_exp);
1873                                         }
1874                                         VERB4 bb_error_msg("polladj: discipline_jitter:%f --poll_exp=%d",
1875                                                         G.discipline_jitter, G.poll_exp);
1876                                 }
1877                         } else {
1878                                 VERB4 bb_error_msg("polladj: decr:%d", G.polladj_count);
1879                         }
1880                 }
1881         }
1882
1883         /* Decide when to send new query for this peer */
1884  pick_normal_interval:
1885         interval = poll_interval(0);
1886         if (fabs(offset) >= STEP_THRESHOLD * 8 && interval > BIGOFF_INTERVAL) {
1887                 /* If we are synced, offsets are less than STEP_THRESHOLD,
1888                  * or at the very least not much larger than it.
1889                  * Now we see a largish one.
1890                  * Either this peer is feeling bad, or packet got corrupted,
1891                  * or _our_ clock is wrong now and _all_ peers will show similar
1892                  * largish offsets too.
1893                  * I observed this with laptop suspend stopping clock.
1894                  * In any case, it makes sense to make next request soonish:
1895                  * cases 1 and 2: get a better datapoint,
1896                  * case 3: allows to resync faster.
1897                  */
1898                 interval = BIGOFF_INTERVAL;
1899         }
1900
1901  set_next_and_ret:
1902         set_next(p, interval);
1903 }
1904
1905 #if ENABLE_FEATURE_NTPD_SERVER
1906 static NOINLINE void
1907 recv_and_process_client_pkt(void /*int fd*/)
1908 {
1909         ssize_t          size;
1910         //uint8_t          version;
1911         len_and_sockaddr *to;
1912         struct sockaddr  *from;
1913         msg_t            msg;
1914         uint8_t          query_status;
1915         l_fixedpt_t      query_xmttime;
1916
1917         to = get_sock_lsa(G_listen_fd);
1918         from = xzalloc(to->len);
1919
1920         size = recv_from_to(G_listen_fd, &msg, sizeof(msg), MSG_DONTWAIT, from, &to->u.sa, to->len);
1921         if (size != NTP_MSGSIZE_NOAUTH && size != NTP_MSGSIZE) {
1922                 char *addr;
1923                 if (size < 0) {
1924                         if (errno == EAGAIN)
1925                                 goto bail;
1926                         bb_perror_msg_and_die("recv");
1927                 }
1928                 addr = xmalloc_sockaddr2dotted_noport(from);
1929                 bb_error_msg("malformed packet received from %s: size %u", addr, (int)size);
1930                 free(addr);
1931                 goto bail;
1932         }
1933
1934         query_status = msg.m_status;
1935         query_xmttime = msg.m_xmttime;
1936
1937         /* Build a reply packet */
1938         memset(&msg, 0, sizeof(msg));
1939         msg.m_status = G.stratum < MAXSTRAT ? (G.ntp_status & LI_MASK) : LI_ALARM;
1940         msg.m_status |= (query_status & VERSION_MASK);
1941         msg.m_status |= ((query_status & MODE_MASK) == MODE_CLIENT) ?
1942                         MODE_SERVER : MODE_SYM_PAS;
1943         msg.m_stratum = G.stratum;
1944         msg.m_ppoll = G.poll_exp;
1945         msg.m_precision_exp = G_precision_exp;
1946         /* this time was obtained between poll() and recv() */
1947         msg.m_rectime = d_to_lfp(G.cur_time);
1948         msg.m_xmttime = d_to_lfp(gettime1900d()); /* this instant */
1949         if (G.peer_cnt == 0) {
1950                 /* we have no peers: "stratum 1 server" mode. reftime = our own time */
1951                 G.reftime = G.cur_time;
1952         }
1953         msg.m_reftime = d_to_lfp(G.reftime);
1954         msg.m_orgtime = query_xmttime;
1955         msg.m_rootdelay = d_to_sfp(G.rootdelay);
1956 //simple code does not do this, fix simple code!
1957         msg.m_rootdisp = d_to_sfp(G.rootdisp);
1958         //version = (query_status & VERSION_MASK); /* ... >> VERSION_SHIFT - done below instead */
1959         msg.m_refid = G.refid; // (version > (3 << VERSION_SHIFT)) ? G.refid : G.refid3;
1960
1961         /* We reply from the local address packet was sent to,
1962          * this makes to/from look swapped here: */
1963         do_sendto(G_listen_fd,
1964                 /*from:*/ &to->u.sa, /*to:*/ from, /*addrlen:*/ to->len,
1965                 &msg, size);
1966
1967  bail:
1968         free(to);
1969         free(from);
1970 }
1971 #endif
1972
1973 /* Upstream ntpd's options:
1974  *
1975  * -4   Force DNS resolution of host names to the IPv4 namespace.
1976  * -6   Force DNS resolution of host names to the IPv6 namespace.
1977  * -a   Require cryptographic authentication for broadcast client,
1978  *      multicast client and symmetric passive associations.
1979  *      This is the default.
1980  * -A   Do not require cryptographic authentication for broadcast client,
1981  *      multicast client and symmetric passive associations.
1982  *      This is almost never a good idea.
1983  * -b   Enable the client to synchronize to broadcast servers.
1984  * -c conffile
1985  *      Specify the name and path of the configuration file,
1986  *      default /etc/ntp.conf
1987  * -d   Specify debugging mode. This option may occur more than once,
1988  *      with each occurrence indicating greater detail of display.
1989  * -D level
1990  *      Specify debugging level directly.
1991  * -f driftfile
1992  *      Specify the name and path of the frequency file.
1993  *      This is the same operation as the "driftfile FILE"
1994  *      configuration command.
1995  * -g   Normally, ntpd exits with a message to the system log
1996  *      if the offset exceeds the panic threshold, which is 1000 s
1997  *      by default. This option allows the time to be set to any value
1998  *      without restriction; however, this can happen only once.
1999  *      If the threshold is exceeded after that, ntpd will exit
2000  *      with a message to the system log. This option can be used
2001  *      with the -q and -x options. See the tinker command for other options.
2002  * -i jaildir
2003  *      Chroot the server to the directory jaildir. This option also implies
2004  *      that the server attempts to drop root privileges at startup
2005  *      (otherwise, chroot gives very little additional security).
2006  *      You may need to also specify a -u option.
2007  * -k keyfile
2008  *      Specify the name and path of the symmetric key file,
2009  *      default /etc/ntp/keys. This is the same operation
2010  *      as the "keys FILE" configuration command.
2011  * -l logfile
2012  *      Specify the name and path of the log file. The default
2013  *      is the system log file. This is the same operation as
2014  *      the "logfile FILE" configuration command.
2015  * -L   Do not listen to virtual IPs. The default is to listen.
2016  * -n   Don't fork.
2017  * -N   To the extent permitted by the operating system,
2018  *      run the ntpd at the highest priority.
2019  * -p pidfile
2020  *      Specify the name and path of the file used to record the ntpd
2021  *      process ID. This is the same operation as the "pidfile FILE"
2022  *      configuration command.
2023  * -P priority
2024  *      To the extent permitted by the operating system,
2025  *      run the ntpd at the specified priority.
2026  * -q   Exit the ntpd just after the first time the clock is set.
2027  *      This behavior mimics that of the ntpdate program, which is
2028  *      to be retired. The -g and -x options can be used with this option.
2029  *      Note: The kernel time discipline is disabled with this option.
2030  * -r broadcastdelay
2031  *      Specify the default propagation delay from the broadcast/multicast
2032  *      server to this client. This is necessary only if the delay
2033  *      cannot be computed automatically by the protocol.
2034  * -s statsdir
2035  *      Specify the directory path for files created by the statistics
2036  *      facility. This is the same operation as the "statsdir DIR"
2037  *      configuration command.
2038  * -t key
2039  *      Add a key number to the trusted key list. This option can occur
2040  *      more than once.
2041  * -u user[:group]
2042  *      Specify a user, and optionally a group, to switch to.
2043  * -v variable
2044  * -V variable
2045  *      Add a system variable listed by default.
2046  * -x   Normally, the time is slewed if the offset is less than the step
2047  *      threshold, which is 128 ms by default, and stepped if above
2048  *      the threshold. This option sets the threshold to 600 s, which is
2049  *      well within the accuracy window to set the clock manually.
2050  *      Note: since the slew rate of typical Unix kernels is limited
2051  *      to 0.5 ms/s, each second of adjustment requires an amortization
2052  *      interval of 2000 s. Thus, an adjustment as much as 600 s
2053  *      will take almost 14 days to complete. This option can be used
2054  *      with the -g and -q options. See the tinker command for other options.
2055  *      Note: The kernel time discipline is disabled with this option.
2056  */
2057
2058 /* By doing init in a separate function we decrease stack usage
2059  * in main loop.
2060  */
2061 static NOINLINE void ntp_init(char **argv)
2062 {
2063         unsigned opts;
2064         llist_t *peers;
2065
2066         srandom(getpid());
2067
2068         if (getuid())
2069                 bb_error_msg_and_die(bb_msg_you_must_be_root);
2070
2071         /* Set some globals */
2072         G.stratum = MAXSTRAT;
2073         if (BURSTPOLL != 0)
2074                 G.poll_exp = BURSTPOLL; /* speeds up initial sync */
2075         G.last_script_run = G.reftime = G.last_update_recv_time = gettime1900d(); /* sets G.cur_time too */
2076
2077         /* Parse options */
2078         peers = NULL;
2079         opt_complementary = "dd:p::wn"; /* d: counter; p: list; -w implies -n */
2080         opts = getopt32(argv,
2081                         "nqNx" /* compat */
2082                         "wp:S:"IF_FEATURE_NTPD_SERVER("l") /* NOT compat */
2083                         "d" /* compat */
2084                         "46aAbgL", /* compat, ignored */
2085                         &peers, &G.script_name, &G.verbose);
2086         if (!(opts & (OPT_p|OPT_l)))
2087                 bb_show_usage();
2088 //      if (opts & OPT_x) /* disable stepping, only slew is allowed */
2089 //              G.time_was_stepped = 1;
2090         if (peers) {
2091                 while (peers)
2092                         add_peers(llist_pop(&peers));
2093         } else {
2094                 /* -l but no peers: "stratum 1 server" mode */
2095                 G.stratum = 1;
2096         }
2097         if (!(opts & OPT_n)) {
2098                 bb_daemonize_or_rexec(DAEMON_DEVNULL_STDIO, argv);
2099                 logmode = LOGMODE_NONE;
2100         }
2101 #if ENABLE_FEATURE_NTPD_SERVER
2102         G_listen_fd = -1;
2103         if (opts & OPT_l) {
2104                 G_listen_fd = create_and_bind_dgram_or_die(NULL, 123);
2105                 socket_want_pktinfo(G_listen_fd);
2106                 setsockopt(G_listen_fd, IPPROTO_IP, IP_TOS, &const_IPTOS_LOWDELAY, sizeof(const_IPTOS_LOWDELAY));
2107         }
2108 #endif
2109         /* I hesitate to set -20 prio. -15 should be high enough for timekeeping */
2110         if (opts & OPT_N)
2111                 setpriority(PRIO_PROCESS, 0, -15);
2112
2113         /* If network is up, syncronization occurs in ~10 seconds.
2114          * We give "ntpd -q" 10 seconds to get first reply,
2115          * then another 50 seconds to finish syncing.
2116          *
2117          * I tested ntpd 4.2.6p1 and apparently it never exits
2118          * (will try forever), but it does not feel right.
2119          * The goal of -q is to act like ntpdate: set time
2120          * after a reasonably small period of polling, or fail.
2121          */
2122         if (opts & OPT_q) {
2123                 option_mask32 |= OPT_qq;
2124                 alarm(10);
2125         }
2126
2127         bb_signals(0
2128                 | (1 << SIGTERM)
2129                 | (1 << SIGINT)
2130                 | (1 << SIGALRM)
2131                 , record_signo
2132         );
2133         bb_signals(0
2134                 | (1 << SIGPIPE)
2135                 | (1 << SIGCHLD)
2136                 , SIG_IGN
2137         );
2138 }
2139
2140 int ntpd_main(int argc UNUSED_PARAM, char **argv) MAIN_EXTERNALLY_VISIBLE;
2141 int ntpd_main(int argc UNUSED_PARAM, char **argv)
2142 {
2143 #undef G
2144         struct globals G;
2145         struct pollfd *pfd;
2146         peer_t **idx2peer;
2147         unsigned cnt;
2148
2149         memset(&G, 0, sizeof(G));
2150         SET_PTR_TO_GLOBALS(&G);
2151
2152         ntp_init(argv);
2153
2154         /* If ENABLE_FEATURE_NTPD_SERVER, + 1 for listen_fd: */
2155         cnt = G.peer_cnt + ENABLE_FEATURE_NTPD_SERVER;
2156         idx2peer = xzalloc(sizeof(idx2peer[0]) * cnt);
2157         pfd = xzalloc(sizeof(pfd[0]) * cnt);
2158
2159         /* Countdown: we never sync before we sent INITIAL_SAMPLES+1
2160          * packets to each peer.
2161          * NB: if some peer is not responding, we may end up sending
2162          * fewer packets to it and more to other peers.
2163          * NB2: sync usually happens using INITIAL_SAMPLES packets,
2164          * since last reply does not come back instantaneously.
2165          */
2166         cnt = G.peer_cnt * (INITIAL_SAMPLES + 1);
2167
2168         write_pidfile(CONFIG_PID_FILE_PATH "/ntpd.pid");
2169
2170         while (!bb_got_signal) {
2171                 llist_t *item;
2172                 unsigned i, j;
2173                 int nfds, timeout;
2174                 double nextaction;
2175
2176                 /* Nothing between here and poll() blocks for any significant time */
2177
2178                 nextaction = G.cur_time + 3600;
2179
2180                 i = 0;
2181 #if ENABLE_FEATURE_NTPD_SERVER
2182                 if (G_listen_fd != -1) {
2183                         pfd[0].fd = G_listen_fd;
2184                         pfd[0].events = POLLIN;
2185                         i++;
2186                 }
2187 #endif
2188                 /* Pass over peer list, send requests, time out on receives */
2189                 for (item = G.ntp_peers; item != NULL; item = item->link) {
2190                         peer_t *p = (peer_t *) item->data;
2191
2192                         if (p->next_action_time <= G.cur_time) {
2193                                 if (p->p_fd == -1) {
2194                                         /* Time to send new req */
2195                                         if (--cnt == 0) {
2196                                                 G.initial_poll_complete = 1;
2197                                         }
2198                                         send_query_to_peer(p);
2199                                 } else {
2200                                         /* Timed out waiting for reply */
2201                                         close(p->p_fd);
2202                                         p->p_fd = -1;
2203                                         timeout = poll_interval(-2); /* -2: try a bit sooner */
2204                                         bb_error_msg("timed out waiting for %s, reach 0x%02x, next query in %us",
2205                                                         p->p_dotted, p->reachable_bits, timeout);
2206                                         set_next(p, timeout);
2207                                 }
2208                         }
2209
2210                         if (p->next_action_time < nextaction)
2211                                 nextaction = p->next_action_time;
2212
2213                         if (p->p_fd >= 0) {
2214                                 /* Wait for reply from this peer */
2215                                 pfd[i].fd = p->p_fd;
2216                                 pfd[i].events = POLLIN;
2217                                 idx2peer[i] = p;
2218                                 i++;
2219                         }
2220                 }
2221
2222                 timeout = nextaction - G.cur_time;
2223                 if (timeout < 0)
2224                         timeout = 0;
2225                 timeout++; /* (nextaction - G.cur_time) rounds down, compensating */
2226
2227                 /* Here we may block */
2228                 VERB2 {
2229                         if (i > (ENABLE_FEATURE_NTPD_SERVER && G_listen_fd != -1)) {
2230                                 /* We wait for at least one reply.
2231                                  * Poll for it, without wasting time for message.
2232                                  * Since replies often come under 1 second, this also
2233                                  * reduces clutter in logs.
2234                                  */
2235                                 nfds = poll(pfd, i, 1000);
2236                                 if (nfds != 0)
2237                                         goto did_poll;
2238                                 if (--timeout <= 0)
2239                                         goto did_poll;
2240                         }
2241                         bb_error_msg("poll:%us sockets:%u interval:%us", timeout, i, 1 << G.poll_exp);
2242                 }
2243                 nfds = poll(pfd, i, timeout * 1000);
2244  did_poll:
2245                 gettime1900d(); /* sets G.cur_time */
2246                 if (nfds <= 0) {
2247                         if (!bb_got_signal /* poll wasn't interrupted by a signal */
2248                          && G.cur_time - G.last_script_run > 11*60
2249                         ) {
2250                                 /* Useful for updating battery-backed RTC and such */
2251                                 run_script("periodic", G.last_update_offset);
2252                                 gettime1900d(); /* sets G.cur_time */
2253                         }
2254                         goto check_unsync;
2255                 }
2256
2257                 /* Process any received packets */
2258                 j = 0;
2259 #if ENABLE_FEATURE_NTPD_SERVER
2260                 if (G.listen_fd != -1) {
2261                         if (pfd[0].revents /* & (POLLIN|POLLERR)*/) {
2262                                 nfds--;
2263                                 recv_and_process_client_pkt(/*G.listen_fd*/);
2264                                 gettime1900d(); /* sets G.cur_time */
2265                         }
2266                         j = 1;
2267                 }
2268 #endif
2269                 for (; nfds != 0 && j < i; j++) {
2270                         if (pfd[j].revents /* & (POLLIN|POLLERR)*/) {
2271                                 /*
2272                                  * At init, alarm was set to 10 sec.
2273                                  * Now we did get a reply.
2274                                  * Increase timeout to 50 seconds to finish syncing.
2275                                  */
2276                                 if (option_mask32 & OPT_qq) {
2277                                         option_mask32 &= ~OPT_qq;
2278                                         alarm(50);
2279                                 }
2280                                 nfds--;
2281                                 recv_and_process_peer_pkt(idx2peer[j]);
2282                                 gettime1900d(); /* sets G.cur_time */
2283                         }
2284                 }
2285
2286  check_unsync:
2287                 if (G.ntp_peers && G.stratum != MAXSTRAT) {
2288                         for (item = G.ntp_peers; item != NULL; item = item->link) {
2289                                 peer_t *p = (peer_t *) item->data;
2290                                 if (p->reachable_bits)
2291                                         goto have_reachable_peer;
2292                         }
2293                         /* No peer responded for last 8 packets, panic */
2294                         G.polladj_count = 0;
2295                         G.poll_exp = MINPOLL;
2296                         G.stratum = MAXSTRAT;
2297                         run_script("unsync", 0.0);
2298  have_reachable_peer: ;
2299                 }
2300         } /* while (!bb_got_signal) */
2301
2302         remove_pidfile(CONFIG_PID_FILE_PATH "/ntpd.pid");
2303         kill_myself_with_sig(bb_got_signal);
2304 }
2305
2306
2307
2308
2309
2310
2311 /*** openntpd-4.6 uses only adjtime, not adjtimex ***/
2312
2313 /*** ntp-4.2.6/ntpd/ntp_loopfilter.c - adjtimex usage ***/
2314
2315 #if 0
2316 static double
2317 direct_freq(double fp_offset)
2318 {
2319 #ifdef KERNEL_PLL
2320         /*
2321          * If the kernel is enabled, we need the residual offset to
2322          * calculate the frequency correction.
2323          */
2324         if (pll_control && kern_enable) {
2325                 memset(&ntv, 0, sizeof(ntv));
2326                 ntp_adjtime(&ntv);
2327 #ifdef STA_NANO
2328                 clock_offset = ntv.offset / 1e9;
2329 #else /* STA_NANO */
2330                 clock_offset = ntv.offset / 1e6;
2331 #endif /* STA_NANO */
2332                 drift_comp = FREQTOD(ntv.freq);
2333         }
2334 #endif /* KERNEL_PLL */
2335         set_freq((fp_offset - clock_offset) / (current_time - clock_epoch) + drift_comp);
2336         wander_resid = 0;
2337         return drift_comp;
2338 }
2339
2340 static void
2341 set_freq(double freq) /* frequency update */
2342 {
2343         char tbuf[80];
2344
2345         drift_comp = freq;
2346
2347 #ifdef KERNEL_PLL
2348         /*
2349          * If the kernel is enabled, update the kernel frequency.
2350          */
2351         if (pll_control && kern_enable) {
2352                 memset(&ntv, 0, sizeof(ntv));
2353                 ntv.modes = MOD_FREQUENCY;
2354                 ntv.freq = DTOFREQ(drift_comp);
2355                 ntp_adjtime(&ntv);
2356                 snprintf(tbuf, sizeof(tbuf), "kernel %.3f PPM", drift_comp * 1e6);
2357                 report_event(EVNT_FSET, NULL, tbuf);
2358         } else {
2359                 snprintf(tbuf, sizeof(tbuf), "ntpd %.3f PPM", drift_comp * 1e6);
2360                 report_event(EVNT_FSET, NULL, tbuf);
2361         }
2362 #else /* KERNEL_PLL */
2363         snprintf(tbuf, sizeof(tbuf), "ntpd %.3f PPM", drift_comp * 1e6);
2364         report_event(EVNT_FSET, NULL, tbuf);
2365 #endif /* KERNEL_PLL */
2366 }
2367
2368 ...
2369 ...
2370 ...
2371
2372 #ifdef KERNEL_PLL
2373         /*
2374          * This code segment works when clock adjustments are made using
2375          * precision time kernel support and the ntp_adjtime() system
2376          * call. This support is available in Solaris 2.6 and later,
2377          * Digital Unix 4.0 and later, FreeBSD, Linux and specially
2378          * modified kernels for HP-UX 9 and Ultrix 4. In the case of the
2379          * DECstation 5000/240 and Alpha AXP, additional kernel
2380          * modifications provide a true microsecond clock and nanosecond
2381          * clock, respectively.
2382          *
2383          * Important note: The kernel discipline is used only if the
2384          * step threshold is less than 0.5 s, as anything higher can
2385          * lead to overflow problems. This might occur if some misguided
2386          * lad set the step threshold to something ridiculous.
2387          */
2388         if (pll_control && kern_enable) {
2389
2390 #define MOD_BITS (MOD_OFFSET | MOD_MAXERROR | MOD_ESTERROR | MOD_STATUS | MOD_TIMECONST)
2391
2392                 /*
2393                  * We initialize the structure for the ntp_adjtime()
2394                  * system call. We have to convert everything to
2395                  * microseconds or nanoseconds first. Do not update the
2396                  * system variables if the ext_enable flag is set. In
2397                  * this case, the external clock driver will update the
2398                  * variables, which will be read later by the local
2399                  * clock driver. Afterwards, remember the time and
2400                  * frequency offsets for jitter and stability values and
2401                  * to update the frequency file.
2402                  */
2403                 memset(&ntv,  0, sizeof(ntv));
2404                 if (ext_enable) {
2405                         ntv.modes = MOD_STATUS;
2406                 } else {
2407 #ifdef STA_NANO
2408                         ntv.modes = MOD_BITS | MOD_NANO;
2409 #else /* STA_NANO */
2410                         ntv.modes = MOD_BITS;
2411 #endif /* STA_NANO */
2412                         if (clock_offset < 0)
2413                                 dtemp = -.5;
2414                         else
2415                                 dtemp = .5;
2416 #ifdef STA_NANO
2417                         ntv.offset = (int32)(clock_offset * 1e9 + dtemp);
2418                         ntv.constant = sys_poll;
2419 #else /* STA_NANO */
2420                         ntv.offset = (int32)(clock_offset * 1e6 + dtemp);
2421                         ntv.constant = sys_poll - 4;
2422 #endif /* STA_NANO */
2423                         ntv.esterror = (u_int32)(clock_jitter * 1e6);
2424                         ntv.maxerror = (u_int32)((sys_rootdelay / 2 + sys_rootdisp) * 1e6);
2425                         ntv.status = STA_PLL;
2426
2427                         /*
2428                          * Enable/disable the PPS if requested.
2429                          */
2430                         if (pps_enable) {
2431                                 if (!(pll_status & STA_PPSTIME))
2432                                         report_event(EVNT_KERN,
2433                                                 NULL, "PPS enabled");
2434                                 ntv.status |= STA_PPSTIME | STA_PPSFREQ;
2435                         } else {
2436                                 if (pll_status & STA_PPSTIME)
2437                                         report_event(EVNT_KERN,
2438                                                 NULL, "PPS disabled");
2439                                 ntv.status &= ~(STA_PPSTIME | STA_PPSFREQ);
2440                         }
2441                         if (sys_leap == LEAP_ADDSECOND)
2442                                 ntv.status |= STA_INS;
2443                         else if (sys_leap == LEAP_DELSECOND)
2444                                 ntv.status |= STA_DEL;
2445                 }
2446
2447                 /*
2448                  * Pass the stuff to the kernel. If it squeals, turn off
2449                  * the pps. In any case, fetch the kernel offset,
2450                  * frequency and jitter.
2451                  */
2452                 if (ntp_adjtime(&ntv) == TIME_ERROR) {
2453                         if (!(ntv.status & STA_PPSSIGNAL))
2454                                 report_event(EVNT_KERN, NULL,
2455                                                 "PPS no signal");
2456                 }
2457                 pll_status = ntv.status;
2458 #ifdef STA_NANO
2459                 clock_offset = ntv.offset / 1e9;
2460 #else /* STA_NANO */
2461                 clock_offset = ntv.offset / 1e6;
2462 #endif /* STA_NANO */
2463                 clock_frequency = FREQTOD(ntv.freq);
2464
2465                 /*
2466                  * If the kernel PPS is lit, monitor its performance.
2467                  */
2468                 if (ntv.status & STA_PPSTIME) {
2469 #ifdef STA_NANO
2470                         clock_jitter = ntv.jitter / 1e9;
2471 #else /* STA_NANO */
2472                         clock_jitter = ntv.jitter / 1e6;
2473 #endif /* STA_NANO */
2474                 }
2475
2476 #if defined(STA_NANO) && NTP_API == 4
2477                 /*
2478                  * If the TAI changes, update the kernel TAI.
2479                  */
2480                 if (loop_tai != sys_tai) {
2481                         loop_tai = sys_tai;
2482                         ntv.modes = MOD_TAI;
2483                         ntv.constant = sys_tai;
2484                         ntp_adjtime(&ntv);
2485                 }
2486 #endif /* STA_NANO */
2487         }
2488 #endif /* KERNEL_PLL */
2489 #endif