git-compat-util.h

   1 #ifndef GIT_COMPAT_UTIL_H
   2 #define GIT_COMPAT_UTIL_H
   3
   4 #define _FILE_OFFSET_BITS 64
   5
   6
   7 /* Derived from Linux "Features Test Macro" header
   8  * Convenience macros to test the versions of gcc (or
   9  * a compatible compiler).
  10  * Use them like this:
  11  *  #if GIT_GNUC_PREREQ (2,8)
  12  *   ... code requiring gcc 2.8 or later ...
  13  *  #endif
  14 */
  15 #if defined(__GNUC__) && defined(__GNUC_MINOR__)
  16 # define GIT_GNUC_PREREQ(maj, min) \
  17         ((__GNUC__ << 16) + __GNUC_MINOR__ >= ((maj) << 16) + (min))
  18 #else
  19  #define GIT_GNUC_PREREQ(maj, min) 0
  20 #endif
  21
  22
  23 #ifndef FLEX_ARRAY
  24 /*
  25  * See if our compiler is known to support flexible array members.
  26  */
  27 #if defined(__STDC_VERSION__) && (__STDC_VERSION__ >= 199901L) && (!defined(__SUNPRO_C) || (__SUNPRO_C > 0x580))
  28 # define FLEX_ARRAY /* empty */
  29 #elif defined(__GNUC__)
  30 # if (__GNUC__ >= 3)
  31 #  define FLEX_ARRAY /* empty */
  32 # else
  33 #  define FLEX_ARRAY 0 /* older GNU extension */
  34 # endif
  35 #endif
  36
  37 /*
  38  * Otherwise, default to safer but a bit wasteful traditional style
  39  */
  40 #ifndef FLEX_ARRAY
  41 # define FLEX_ARRAY 1
  42 #endif
  43 #endif
  44
  45
  46 /*
  47  * BUILD_ASSERT_OR_ZERO - assert a build-time dependency, as an expression.
  48  * @cond: the compile-time condition which must be true.
  49  *
  50  * Your compile will fail if the condition isn't true, or can't be evaluated
  51  * by the compiler.  This can be used in an expression: its value is "0".
  52  *
  53  * Example:
  54  *      #define foo_to_char(foo)                                        \
  55  *               ((char *)(foo)                                         \
  56  *                + BUILD_ASSERT_OR_ZERO(offsetof(struct foo, string) == 0))
  57  */
  58 #define BUILD_ASSERT_OR_ZERO(cond) \
  59         (sizeof(char [1 - 2*!(cond)]) - 1)
  60
  61 #if GIT_GNUC_PREREQ(3, 1)
  62  /* &arr[0] degrades to a pointer: a different type from an array */
  63 # define BARF_UNLESS_AN_ARRAY(arr)                                              \
  64         BUILD_ASSERT_OR_ZERO(!__builtin_types_compatible_p(__typeof__(arr), \
  65                                                            __typeof__(&(arr)[0])))
  66 #else
  67 # define BARF_UNLESS_AN_ARRAY(arr) 0
  68 #endif
  69 /*
  70  * ARRAY_SIZE - get the number of elements in a visible array
  71  *  <at> x: the array whose size you want.
  72  *
  73  * This does not work on pointers, or arrays declared as [], or
  74  * function parameters.  With correct compiler support, such usage
  75  * will cause a build error (see the build_assert_or_zero macro).
  76  */
  77 #define ARRAY_SIZE(x) (sizeof(x) / sizeof((x)[0]) + BARF_UNLESS_AN_ARRAY(x))
  78
  79 #define bitsizeof(x)  (CHAR_BIT * sizeof(x))
  80
  81 #define maximum_signed_value_of_type(a) \
  82     (INTMAX_MAX >> (bitsizeof(intmax_t) - bitsizeof(a)))
  83
  84 #define maximum_unsigned_value_of_type(a) \
  85     (UINTMAX_MAX >> (bitsizeof(uintmax_t) - bitsizeof(a)))
  86
  87 /*
  88  * Signed integer overflow is undefined in C, so here's a helper macro
  89  * to detect if the sum of two integers will overflow.
  90  *
  91  * Requires: a >= 0, typeof(a) equals typeof(b)
  92  */
  93 #define signed_add_overflows(a, b) \
  94     ((b) > maximum_signed_value_of_type(a) - (a))
  95
  96 #define unsigned_add_overflows(a, b) \
  97     ((b) > maximum_unsigned_value_of_type(a) - (a))
  98
  99 /*
 100  * Returns true if the multiplication of "a" and "b" will
 101  * overflow. The types of "a" and "b" must match and must be unsigned.
 102  * Note that this macro evaluates "a" twice!
 103  */
 104 #define unsigned_mult_overflows(a, b) \
 105     ((a) && (b) > maximum_unsigned_value_of_type(a) / (a))
 106
 107 #ifdef __GNUC__
 108 #define TYPEOF(x) (__typeof__(x))
 109 #else
 110 #define TYPEOF(x)
 111 #endif
 112
 113 #define MSB(x, bits) ((x) & TYPEOF(x)(~0ULL << (bitsizeof(x) - (bits))))
 114 #define HAS_MULTI_BITS(i)  ((i) & ((i) - 1))  /* checks if an integer has more than 1 bit set */
 115
 116 #define DIV_ROUND_UP(n,d) (((n) + (d) - 1) / (d))
 117
 118 /* Approximation of the length of the decimal representation of this type. */
 119 #define decimal_length(x)       ((int)(sizeof(x) * 2.56 + 0.5) + 1)
 120
 121 #if defined(__sun__)
 122  /*
 123   * On Solaris, when _XOPEN_EXTENDED is set, its header file
 124   * forces the programs to be XPG4v2, defeating any _XOPEN_SOURCE
 125   * setting to say we are XPG5 or XPG6.  Also on Solaris,
 126   * XPG6 programs must be compiled with a c99 compiler, while
 127   * non XPG6 programs must be compiled with a pre-c99 compiler.
 128   */
 129 # if __STDC_VERSION__ - 0 >= 199901L
 130 # define _XOPEN_SOURCE 600
 131 # else
 132 # define _XOPEN_SOURCE 500
 133 # endif
 134 #elif !defined(__APPLE__) && !defined(__FreeBSD__) && !defined(__USLC__) && \
 135       !defined(_M_UNIX) && !defined(__sgi) && !defined(__DragonFly__) && \
 136       !defined(__TANDEM) && !defined(__QNX__) && !defined(__MirBSD__) && \
 137       !defined(__CYGWIN__)
 138 #define _XOPEN_SOURCE 600 /* glibc2 and AIX 5.3L need 500, OpenBSD needs 600 for S_ISLNK() */
 139 #define _XOPEN_SOURCE_EXTENDED 1 /* AIX 5.3L needs this */
 140 #endif
 141 #define _ALL_SOURCE 1
 142 #define _GNU_SOURCE 1
 143 #define _BSD_SOURCE 1
 144 #define _DEFAULT_SOURCE 1
 145 #define _NETBSD_SOURCE 1
 146 #define _SGI_SOURCE 1
 147
 148 #if defined(WIN32) && !defined(__CYGWIN__) /* Both MinGW and MSVC */
 149 # if defined (_MSC_VER) && !defined(_WIN32_WINNT)
 150 #  define _WIN32_WINNT 0x0502
 151 # endif
 152 #define WIN32_LEAN_AND_MEAN  /* stops windows.h including winsock.h */
 153 #include <winsock2.h>
 154 #include <windows.h>
 155 #define GIT_WINDOWS_NATIVE
 156 #endif
 157
 158 #include <unistd.h>
 159 #include <stdio.h>
 160 #include <sys/stat.h>
 161 #include <fcntl.h>
 162 #include <stddef.h>
 163 #include <stdlib.h>
 164 #include <stdarg.h>
 165 #include <string.h>
 166 #ifdef HAVE_STRINGS_H
 167 #include <strings.h> /* for strcasecmp() */
 168 #endif
 169 #include <errno.h>
 170 #include <limits.h>
 171 #ifdef NEEDS_SYS_PARAM_H
 172 #include <sys/param.h>
 173 #endif
 174 #include <sys/types.h>
 175 #include <dirent.h>
 176 #include <sys/time.h>
 177 #include <time.h>
 178 #include <signal.h>
 179 #include <assert.h>
 180 #include <regex.h>
 181 #include <utime.h>
 182 #include <syslog.h>
 183 #ifndef NO_SYS_POLL_H
 184 #include <sys/poll.h>
 185 #else
 186 #include <poll.h>
 187 #endif
 188 #ifdef HAVE_BSD_SYSCTL
 189 #include <sys/sysctl.h>
 190 #endif
 191
 192 #if defined(__CYGWIN__)
 193 #include "compat/cygwin.h"
 194 #endif
 195 #if defined(__MINGW32__)
 196 /* pull in Windows compatibility stuff */
 197 #include "compat/mingw.h"
 198 #elif defined(_MSC_VER)
 199 #include "compat/msvc.h"
 200 #else
 201 #include <sys/utsname.h>
 202 #include <sys/wait.h>
 203 #include <sys/resource.h>
 204 #include <sys/socket.h>
 205 #include <sys/ioctl.h>
 206 #include <termios.h>
 207 #ifndef NO_SYS_SELECT_H
 208 #include <sys/select.h>
 209 #endif
 210 #include <netinet/in.h>
 211 #include <netinet/tcp.h>
 212 #include <arpa/inet.h>
 213 #include <netdb.h>
 214 #include <pwd.h>
 215 #include <sys/un.h>
 216 #ifndef NO_INTTYPES_H
 217 #include <inttypes.h>
 218 #else
 219 #include <stdint.h>
 220 #endif
 221 #ifdef NO_INTPTR_T
 222 /*
 223  * On I16LP32, ILP32 and LP64 "long" is the save bet, however
 224  * on LLP86, IL33LLP64 and P64 it needs to be "long long",
 225  * while on IP16 and IP16L32 it is "int" (resp. "short")
 226  * Size needs to match (or exceed) 'sizeof(void *)'.
 227  * We can't take "long long" here as not everybody has it.
 228  */
 229 typedef long intptr_t;
 230 typedef unsigned long uintptr_t;
 231 #endif
 232 #undef _ALL_SOURCE /* AIX 5.3L defines a struct list with _ALL_SOURCE. */
 233 #include <grp.h>
 234 #define _ALL_SOURCE 1
 235 #endif
 236
 237 /* used on Mac OS X */
 238 #ifdef PRECOMPOSE_UNICODE
 239 #include "compat/precompose_utf8.h"
 240 #else
 241 #define precompose_str(in,i_nfd2nfc)
 242 #define precompose_argv(c,v)
 243 #define probe_utf8_pathname_composition()
 244 #endif
 245
 246 #ifdef MKDIR_WO_TRAILING_SLASH
 247 #define mkdir(a,b) compat_mkdir_wo_trailing_slash((a),(b))
 248 extern int compat_mkdir_wo_trailing_slash(const char*, mode_t);
 249 #endif
 250
 251 #ifdef NO_STRUCT_ITIMERVAL
 252 struct itimerval {
 253         struct timeval it_interval;
 254         struct timeval it_value;
 255 };
 256 #endif
 257
 258 #ifdef NO_SETITIMER
 259 #define setitimer(which,value,ovalue)
 260 #endif
 261
 262 #ifndef NO_LIBGEN_H
 263 #include <libgen.h>
 264 #else
 265 #define basename gitbasename
 266 extern char *gitbasename(char *);
 267 #define dirname gitdirname
 268 extern char *gitdirname(char *);
 269 #endif
 270
 271 #ifndef NO_ICONV
 272 #include <iconv.h>
 273 #endif
 274
 275 #ifndef NO_OPENSSL
 276 #ifdef __APPLE__
 277 #define __AVAILABILITY_MACROS_USES_AVAILABILITY 0
 278 #include <AvailabilityMacros.h>
 279 #undef DEPRECATED_ATTRIBUTE
 280 #define DEPRECATED_ATTRIBUTE
 281 #undef __AVAILABILITY_MACROS_USES_AVAILABILITY
 282 #endif
 283 #include <openssl/ssl.h>
 284 #include <openssl/err.h>
 285 #endif
 286
 287 /* On most systems <netdb.h> would have given us this, but
 288  * not on some systems (e.g. z/OS).
 289  */
 290 #ifndef NI_MAXHOST
 291 #define NI_MAXHOST 1025
 292 #endif
 293
 294 #ifndef NI_MAXSERV
 295 #define NI_MAXSERV 32
 296 #endif
 297
 298 /* On most systems <limits.h> would have given us this, but
 299  * not on some systems (e.g. GNU/Hurd).
 300  */
 301 #ifndef PATH_MAX
 302 #define PATH_MAX 4096
 303 #endif
 304
 305 #ifndef PRIuMAX
 306 #define PRIuMAX "llu"
 307 #endif
 308
 309 #ifndef SCNuMAX
 310 #define SCNuMAX PRIuMAX
 311 #endif
 312
 313 #ifndef PRIu32
 314 #define PRIu32 "u"
 315 #endif
 316
 317 #ifndef PRIx32
 318 #define PRIx32 "x"
 319 #endif
 320
 321 #ifndef PRIo32
 322 #define PRIo32 "o"
 323 #endif
 324
 325 typedef uintmax_t timestamp_t;
 326 #define PRItime PRIuMAX
 327 #define parse_timestamp strtoumax
 328 #define TIME_MAX UINTMAX_MAX
 329
 330 #ifndef PATH_SEP
 331 #define PATH_SEP ':'
 332 #endif
 333
 334 #ifdef HAVE_PATHS_H
 335 #include <paths.h>
 336 #endif
 337 #ifndef _PATH_DEFPATH
 338 #define _PATH_DEFPATH "/usr/local/bin:/usr/bin:/bin"
 339 #endif
 340
 341 #ifndef has_dos_drive_prefix
 342 static inline int git_has_dos_drive_prefix(const char *path)
 343 {
 344         return 0;
 345 }
 346 #define has_dos_drive_prefix git_has_dos_drive_prefix
 347 #endif
 348
 349 #ifndef skip_dos_drive_prefix
 350 static inline int git_skip_dos_drive_prefix(char **path)
 351 {
 352         return 0;
 353 }
 354 #define skip_dos_drive_prefix git_skip_dos_drive_prefix
 355 #endif
 356
 357 #ifndef is_dir_sep
 358 static inline int git_is_dir_sep(int c)
 359 {
 360         return c == '/';
 361 }
 362 #define is_dir_sep git_is_dir_sep
 363 #endif
 364
 365 #ifndef offset_1st_component
 366 static inline int git_offset_1st_component(const char *path)
 367 {
 368         return is_dir_sep(path[0]);
 369 }
 370 #define offset_1st_component git_offset_1st_component
 371 #endif
 372
 373 #ifndef is_valid_path
 374 #define is_valid_path(path) 1
 375 #endif
 376
 377 #ifndef find_last_dir_sep
 378 static inline char *git_find_last_dir_sep(const char *path)
 379 {
 380         return strrchr(path, '/');
 381 }
 382 #define find_last_dir_sep git_find_last_dir_sep
 383 #endif
 384
 385 #if defined(__HP_cc) && (__HP_cc >= 61000)
 386 #define NORETURN __attribute__((noreturn))
 387 #define NORETURN_PTR
 388 #elif defined(__GNUC__) && !defined(NO_NORETURN)
 389 #define NORETURN __attribute__((__noreturn__))
 390 #define NORETURN_PTR __attribute__((__noreturn__))
 391 #elif defined(_MSC_VER)
 392 #define NORETURN __declspec(noreturn)
 393 #define NORETURN_PTR
 394 #else
 395 #define NORETURN
 396 #define NORETURN_PTR
 397 #ifndef __GNUC__
 398 #ifndef __attribute__
 399 #define __attribute__(x)
 400 #endif
 401 #endif
 402 #endif
 403
 404 /* The sentinel attribute is valid from gcc version 4.0 */
 405 #if defined(__GNUC__) && (__GNUC__ >= 4)
 406 #define LAST_ARG_MUST_BE_NULL __attribute__((sentinel))
 407 #else
 408 #define LAST_ARG_MUST_BE_NULL
 409 #endif
 410
 411 #include "compat/bswap.h"
 412
 413 #include "wildmatch.h"
 414
 415 struct strbuf;
 416
 417 /* General helper functions */
 418 extern void vreportf(const char *prefix, const char *err, va_list params);
 419 extern NORETURN void usage(const char *err);
 420 extern NORETURN void usagef(const char *err, ...) __attribute__((format (printf, 1, 2)));
 421 extern NORETURN void die(const char *err, ...) __attribute__((format (printf, 1, 2)));
 422 extern NORETURN void die_errno(const char *err, ...) __attribute__((format (printf, 1, 2)));
 423 extern int error(const char *err, ...) __attribute__((format (printf, 1, 2)));
 424 extern int error_errno(const char *err, ...) __attribute__((format (printf, 1, 2)));
 425 extern void warning(const char *err, ...) __attribute__((format (printf, 1, 2)));
 426 extern void warning_errno(const char *err, ...) __attribute__((format (printf, 1, 2)));
 427
 428 #ifndef NO_OPENSSL
 429 #ifdef APPLE_COMMON_CRYPTO
 430 #include "compat/apple-common-crypto.h"
 431 #else
 432 #include <openssl/evp.h>
 433 #include <openssl/hmac.h>
 434 #endif /* APPLE_COMMON_CRYPTO */
 435 #include <openssl/x509v3.h>
 436 #endif /* NO_OPENSSL */
 437
 438 /*
 439  * Let callers be aware of the constant return value; this can help
 440  * gcc with -Wuninitialized analysis. We restrict this trick to gcc, though,
 441  * because some compilers may not support variadic macros. Since we're only
 442  * trying to help gcc, anyway, it's OK; other compilers will fall back to
 443  * using the function as usual.
 444  */
 445 #if defined(__GNUC__)
 446 static inline int const_error(void)
 447 {
 448         return -1;
 449 }
 450 #define error(...) (error(__VA_ARGS__), const_error())
 451 #define error_errno(...) (error_errno(__VA_ARGS__), const_error())
 452 #endif
 453
 454 extern void set_die_routine(NORETURN_PTR void (*routine)(const char *err, va_list params));
 455 extern void set_error_routine(void (*routine)(const char *err, va_list params));
 456 extern void (*get_error_routine(void))(const char *err, va_list params);
 457 extern void set_warn_routine(void (*routine)(const char *warn, va_list params));
 458 extern void (*get_warn_routine(void))(const char *warn, va_list params);
 459 extern void set_die_is_recursing_routine(int (*routine)(void));
 460
 461 extern int starts_with(const char *str, const char *prefix);
 462
 463 /*
 464  * If the string "str" begins with the string found in "prefix", return 1.
 465  * The "out" parameter is set to "str + strlen(prefix)" (i.e., to the point in
 466  * the string right after the prefix).
 467  *
 468  * Otherwise, return 0 and leave "out" untouched.
 469  *
 470  * Examples:
 471  *
 472  *   [extract branch name, fail if not a branch]
 473  *   if (!skip_prefix(ref, "refs/heads/", &branch)
 474  *      return -1;
 475  *
 476  *   [skip prefix if present, otherwise use whole string]
 477  *   skip_prefix(name, "refs/heads/", &name);
 478  */
 479 static inline int skip_prefix(const char *str, const char *prefix,
 480                               const char **out)
 481 {
 482         do {
 483                 if (!*prefix) {
 484                         *out = str;
 485                         return 1;
 486                 }
 487         } while (*str++ == *prefix++);
 488         return 0;
 489 }
 490
 491 /*
 492  * Like skip_prefix, but promises never to read past "len" bytes of the input
 493  * buffer, and returns the remaining number of bytes in "out" via "outlen".
 494  */
 495 static inline int skip_prefix_mem(const char *buf, size_t len,
 496                                   const char *prefix,
 497                                   const char **out, size_t *outlen)
 498 {
 499         size_t prefix_len = strlen(prefix);
 500         if (prefix_len <= len && !memcmp(buf, prefix, prefix_len)) {
 501                 *out = buf + prefix_len;
 502                 *outlen = len - prefix_len;
 503                 return 1;
 504         }
 505         return 0;
 506 }
 507
 508 /*
 509  * If buf ends with suffix, return 1 and subtract the length of the suffix
 510  * from *len. Otherwise, return 0 and leave *len untouched.
 511  */
 512 static inline int strip_suffix_mem(const char *buf, size_t *len,
 513                                    const char *suffix)
 514 {
 515         size_t suflen = strlen(suffix);
 516         if (*len < suflen || memcmp(buf + (*len - suflen), suffix, suflen))
 517                 return 0;
 518         *len -= suflen;
 519         return 1;
 520 }
 521
 522 /*
 523  * If str ends with suffix, return 1 and set *len to the size of the string
 524  * without the suffix. Otherwise, return 0 and set *len to the size of the
 525  * string.
 526  *
 527  * Note that we do _not_ NUL-terminate str to the new length.
 528  */
 529 static inline int strip_suffix(const char *str, const char *suffix, size_t *len)
 530 {
 531         *len = strlen(str);
 532         return strip_suffix_mem(str, len, suffix);
 533 }
 534
 535 static inline int ends_with(const char *str, const char *suffix)
 536 {
 537         size_t len;
 538         return strip_suffix(str, suffix, &len);
 539 }
 540
 541 #define SWAP(a, b) do {                                         \
 542         void *_swap_a_ptr = &(a);                               \
 543         void *_swap_b_ptr = &(b);                               \
 544         unsigned char _swap_buffer[sizeof(a)];                  \
 545         memcpy(_swap_buffer, _swap_a_ptr, sizeof(a));           \
 546         memcpy(_swap_a_ptr, _swap_b_ptr, sizeof(a) +            \
 547                BUILD_ASSERT_OR_ZERO(sizeof(a) == sizeof(b)));   \
 548         memcpy(_swap_b_ptr, _swap_buffer, sizeof(a));           \
 549 } while (0)
 550
 551 #if defined(NO_MMAP) || defined(USE_WIN32_MMAP)
 552
 553 #ifndef PROT_READ
 554 #define PROT_READ 1
 555 #define PROT_WRITE 2
 556 #define MAP_PRIVATE 1
 557 #endif
 558
 559 #define mmap git_mmap
 560 #define munmap git_munmap
 561 extern void *git_mmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
 562 extern int git_munmap(void *start, size_t length);
 563
 564 #else /* NO_MMAP || USE_WIN32_MMAP */
 565
 566 #include <sys/mman.h>
 567
 568 #endif /* NO_MMAP || USE_WIN32_MMAP */
 569
 570 #ifdef NO_MMAP
 571
 572 /* This value must be multiple of (pagesize * 2) */
 573 #define DEFAULT_PACKED_GIT_WINDOW_SIZE (1 * 1024 * 1024)
 574
 575 #else /* NO_MMAP */
 576
 577 /* This value must be multiple of (pagesize * 2) */
 578 #define DEFAULT_PACKED_GIT_WINDOW_SIZE \
 579         (sizeof(void*) >= 8 \
 580                 ?  1 * 1024 * 1024 * 1024 \
 581                 : 32 * 1024 * 1024)
 582
 583 #endif /* NO_MMAP */
 584
 585 #ifndef MAP_FAILED
 586 #define MAP_FAILED ((void *)-1)
 587 #endif
 588
 589 #ifdef NO_ST_BLOCKS_IN_STRUCT_STAT
 590 #define on_disk_bytes(st) ((st).st_size)
 591 #else
 592 #define on_disk_bytes(st) ((st).st_blocks * 512)
 593 #endif
 594
 595 #ifdef NEEDS_MODE_TRANSLATION
 596 #undef S_IFMT
 597 #undef S_IFREG
 598 #undef S_IFDIR
 599 #undef S_IFLNK
 600 #undef S_IFBLK
 601 #undef S_IFCHR
 602 #undef S_IFIFO
 603 #undef S_IFSOCK
 604 #define S_IFMT   0170000
 605 #define S_IFREG  0100000
 606 #define S_IFDIR  0040000
 607 #define S_IFLNK  0120000
 608 #define S_IFBLK  0060000
 609 #define S_IFCHR  0020000
 610 #define S_IFIFO  0010000
 611 #define S_IFSOCK 0140000
 612 #ifdef stat
 613 #undef stat
 614 #endif
 615 #define stat(path, buf) git_stat(path, buf)
 616 extern int git_stat(const char *, struct stat *);
 617 #ifdef fstat
 618 #undef fstat
 619 #endif
 620 #define fstat(fd, buf) git_fstat(fd, buf)
 621 extern int git_fstat(int, struct stat *);
 622 #ifdef lstat
 623 #undef lstat
 624 #endif
 625 #define lstat(path, buf) git_lstat(path, buf)
 626 extern int git_lstat(const char *, struct stat *);
 627 #endif
 628
 629 #define DEFAULT_PACKED_GIT_LIMIT \
 630         ((1024L * 1024L) * (size_t)(sizeof(void*) >= 8 ? (32 * 1024L * 1024L) : 256))
 631
 632 #ifdef NO_PREAD
 633 #define pread git_pread
 634 extern ssize_t git_pread(int fd, void *buf, size_t count, off_t offset);
 635 #endif
 636 /*
 637  * Forward decl that will remind us if its twin in cache.h changes.
 638  * This function is used in compat/pread.c.  But we can't include
 639  * cache.h there.
 640  */
 641 extern ssize_t read_in_full(int fd, void *buf, size_t count);
 642
 643 #ifdef NO_SETENV
 644 #define setenv gitsetenv
 645 extern int gitsetenv(const char *, const char *, int);
 646 #endif
 647
 648 #ifdef NO_MKDTEMP
 649 #define mkdtemp gitmkdtemp
 650 extern char *gitmkdtemp(char *);
 651 #endif
 652
 653 #ifdef NO_UNSETENV
 654 #define unsetenv gitunsetenv
 655 extern void gitunsetenv(const char *);
 656 #endif
 657
 658 #ifdef NO_STRCASESTR
 659 #define strcasestr gitstrcasestr
 660 extern char *gitstrcasestr(const char *haystack, const char *needle);
 661 #endif
 662
 663 #ifdef NO_STRLCPY
 664 #define strlcpy gitstrlcpy
 665 extern size_t gitstrlcpy(char *, const char *, size_t);
 666 #endif
 667
 668 #ifdef NO_STRTOUMAX
 669 #define strtoumax gitstrtoumax
 670 extern uintmax_t gitstrtoumax(const char *, char **, int);
 671 #define strtoimax gitstrtoimax
 672 extern intmax_t gitstrtoimax(const char *, char **, int);
 673 #endif
 674
 675 #ifdef NO_HSTRERROR
 676 #define hstrerror githstrerror
 677 extern const char *githstrerror(int herror);
 678 #endif
 679
 680 #ifdef NO_MEMMEM
 681 #define memmem gitmemmem
 682 void *gitmemmem(const void *haystack, size_t haystacklen,
 683                 const void *needle, size_t needlelen);
 684 #endif
 685
 686 #ifdef OVERRIDE_STRDUP
 687 #ifdef strdup
 688 #undef strdup
 689 #endif
 690 #define strdup gitstrdup
 691 char *gitstrdup(const char *s);
 692 #endif
 693
 694 #ifdef NO_GETPAGESIZE
 695 #define getpagesize() sysconf(_SC_PAGESIZE)
 696 #endif
 697
 698 #ifndef O_CLOEXEC
 699 #define O_CLOEXEC 0
 700 #endif
 701
 702 #ifdef FREAD_READS_DIRECTORIES
 703 # if !defined(SUPPRESS_FOPEN_REDEFINITION)
 704 #  ifdef fopen
 705 #   undef fopen
 706 #  endif
 707 #  define fopen(a,b) git_fopen(a,b)
 708 # endif
 709 extern FILE *git_fopen(const char*, const char*);
 710 #endif
 711
 712 #ifdef SNPRINTF_RETURNS_BOGUS
 713 #ifdef snprintf
 714 #undef snprintf
 715 #endif
 716 #define snprintf git_snprintf
 717 extern int git_snprintf(char *str, size_t maxsize,
 718                         const char *format, ...);
 719 #ifdef vsnprintf
 720 #undef vsnprintf
 721 #endif
 722 #define vsnprintf git_vsnprintf
 723 extern int git_vsnprintf(char *str, size_t maxsize,
 724                          const char *format, va_list ap);
 725 #endif
 726
 727 #ifdef __GLIBC_PREREQ
 728 #if __GLIBC_PREREQ(2, 1)
 729 #define HAVE_STRCHRNUL
 730 #endif
 731 #endif
 732
 733 #ifndef HAVE_STRCHRNUL
 734 #define strchrnul gitstrchrnul
 735 static inline char *gitstrchrnul(const char *s, int c)
 736 {
 737         while (*s && *s != c)
 738                 s++;
 739         return (char *)s;
 740 }
 741 #endif
 742
 743 #ifdef NO_INET_PTON
 744 int inet_pton(int af, const char *src, void *dst);
 745 #endif
 746
 747 #ifdef NO_INET_NTOP
 748 const char *inet_ntop(int af, const void *src, char *dst, size_t size);
 749 #endif
 750
 751 #ifdef NO_PTHREADS
 752 #define atexit git_atexit
 753 extern int git_atexit(void (*handler)(void));
 754 #endif
 755
 756 typedef void (*try_to_free_t)(size_t);
 757 extern try_to_free_t set_try_to_free_routine(try_to_free_t);
 758
 759 static inline size_t st_add(size_t a, size_t b)
 760 {
 761         if (unsigned_add_overflows(a, b))
 762                 die("size_t overflow: %"PRIuMAX" + %"PRIuMAX,
 763                     (uintmax_t)a, (uintmax_t)b);
 764         return a + b;
 765 }
 766 #define st_add3(a,b,c)   st_add(st_add((a),(b)),(c))
 767 #define st_add4(a,b,c,d) st_add(st_add3((a),(b),(c)),(d))
 768
 769 static inline size_t st_mult(size_t a, size_t b)
 770 {
 771         if (unsigned_mult_overflows(a, b))
 772                 die("size_t overflow: %"PRIuMAX" * %"PRIuMAX,
 773                     (uintmax_t)a, (uintmax_t)b);
 774         return a * b;
 775 }
 776
 777 static inline size_t st_sub(size_t a, size_t b)
 778 {
 779         if (a < b)
 780                 die("size_t underflow: %"PRIuMAX" - %"PRIuMAX,
 781                     (uintmax_t)a, (uintmax_t)b);
 782         return a - b;
 783 }
 784
 785 #ifdef HAVE_ALLOCA_H
 786 # include <alloca.h>
 787 # define xalloca(size)      (alloca(size))
 788 # define xalloca_free(p)    do {} while (0)
 789 #else
 790 # define xalloca(size)      (xmalloc(size))
 791 # define xalloca_free(p)    (free(p))
 792 #endif
 793 extern char *xstrdup(const char *str);
 794 extern void *xmalloc(size_t size);
 795 extern void *xmallocz(size_t size);
 796 extern void *xmallocz_gently(size_t size);
 797 extern void *xmemdupz(const void *data, size_t len);
 798 extern char *xstrndup(const char *str, size_t len);
 799 extern void *xrealloc(void *ptr, size_t size);
 800 extern void *xcalloc(size_t nmemb, size_t size);
 801 extern void *xmmap(void *start, size_t length, int prot, int flags, int fd, off_t offset);
 802 extern void *xmmap_gently(void *start, size_t length, int prot, int flags, int fd, off_t offset);
 803 extern int xopen(const char *path, int flags, ...);
 804 extern ssize_t xread(int fd, void *buf, size_t len);
 805 extern ssize_t xwrite(int fd, const void *buf, size_t len);
 806 extern ssize_t xpread(int fd, void *buf, size_t len, off_t offset);
 807 extern int xdup(int fd);
 808 extern FILE *xfopen(const char *path, const char *mode);
 809 extern FILE *xfdopen(int fd, const char *mode);
 810 extern int xmkstemp(char *template);
 811 extern int xmkstemp_mode(char *template, int mode);
 812 extern char *xgetcwd(void);
 813 extern FILE *fopen_for_writing(const char *path);
 814 extern FILE *fopen_or_warn(const char *path, const char *mode);
 815
 816 /*
 817  * FREE_AND_NULL(ptr) is like free(ptr) followed by ptr = NULL. Note
 818  * that ptr is used twice, so don't pass e.g. ptr++.
 819  */
 820 #define FREE_AND_NULL(p) do { free(p); (p) = NULL; } while (0)
 821
 822 #define ALLOC_ARRAY(x, alloc) (x) = xmalloc(st_mult(sizeof(*(x)), (alloc)))
 823 #define REALLOC_ARRAY(x, alloc) (x) = xrealloc((x), st_mult(sizeof(*(x)), (alloc)))
 824
 825 #define COPY_ARRAY(dst, src, n) copy_array((dst), (src), (n), sizeof(*(dst)) + \
 826         BUILD_ASSERT_OR_ZERO(sizeof(*(dst)) == sizeof(*(src))))
 827 static inline void copy_array(void *dst, const void *src, size_t n, size_t size)
 828 {
 829         if (n)
 830                 memcpy(dst, src, st_mult(size, n));
 831 }
 832
 833 #define MOVE_ARRAY(dst, src, n) move_array((dst), (src), (n), sizeof(*(dst)) + \
 834         BUILD_ASSERT_OR_ZERO(sizeof(*(dst)) == sizeof(*(src))))
 835 static inline void move_array(void *dst, const void *src, size_t n, size_t size)
 836 {
 837         if (n)
 838                 memmove(dst, src, st_mult(size, n));
 839 }
 840
 841 /*
 842  * These functions help you allocate structs with flex arrays, and copy
 843  * the data directly into the array. For example, if you had:
 844  *
 845  *   struct foo {
 846  *     int bar;
 847  *     char name[FLEX_ARRAY];
 848  *   };
 849  *
 850  * you can do:
 851  *
 852  *   struct foo *f;
 853  *   FLEX_ALLOC_MEM(f, name, src, len);
 854  *
 855  * to allocate a "foo" with the contents of "src" in the "name" field.
 856  * The resulting struct is automatically zero'd, and the flex-array field
 857  * is NUL-terminated (whether the incoming src buffer was or not).
 858  *
 859  * The FLEXPTR_* variants operate on structs that don't use flex-arrays,
 860  * but do want to store a pointer to some extra data in the same allocated
 861  * block. For example, if you have:
 862  *
 863  *   struct foo {
 864  *     char *name;
 865  *     int bar;
 866  *   };
 867  *
 868  * you can do:
 869  *
 870  *   struct foo *f;
 871  *   FLEXPTR_ALLOC_STR(f, name, src);
 872  *
 873  * and "name" will point to a block of memory after the struct, which will be
 874  * freed along with the struct (but the pointer can be repointed anywhere).
 875  *
 876  * The *_STR variants accept a string parameter rather than a ptr/len
 877  * combination.
 878  *
 879  * Note that these macros will evaluate the first parameter multiple
 880  * times, and it must be assignable as an lvalue.
 881  */
 882 #define FLEX_ALLOC_MEM(x, flexname, buf, len) do { \
 883         size_t flex_array_len_ = (len); \
 884         (x) = xcalloc(1, st_add3(sizeof(*(x)), flex_array_len_, 1)); \
 885         memcpy((void *)(x)->flexname, (buf), flex_array_len_); \
 886 } while (0)
 887 #define FLEXPTR_ALLOC_MEM(x, ptrname, buf, len) do { \
 888         size_t flex_array_len_ = (len); \
 889         (x) = xcalloc(1, st_add3(sizeof(*(x)), flex_array_len_, 1)); \
 890         memcpy((x) + 1, (buf), flex_array_len_); \
 891         (x)->ptrname = (void *)((x)+1); \
 892 } while(0)
 893 #define FLEX_ALLOC_STR(x, flexname, str) \
 894         FLEX_ALLOC_MEM((x), flexname, (str), strlen(str))
 895 #define FLEXPTR_ALLOC_STR(x, ptrname, str) \
 896         FLEXPTR_ALLOC_MEM((x), ptrname, (str), strlen(str))
 897
 898 static inline char *xstrdup_or_null(const char *str)
 899 {
 900         return str ? xstrdup(str) : NULL;
 901 }
 902
 903 static inline size_t xsize_t(off_t len)
 904 {
 905         size_t size = (size_t) len;
 906
 907         if (len != (off_t) size)
 908                 die("Cannot handle files this big");
 909         return size;
 910 }
 911
 912 __attribute__((format (printf, 3, 4)))
 913 extern int xsnprintf(char *dst, size_t max, const char *fmt, ...);
 914
 915 #ifndef HOST_NAME_MAX
 916 #define HOST_NAME_MAX 256
 917 #endif
 918
 919 extern int xgethostname(char *buf, size_t len);
 920
 921 /* in ctype.c, for kwset users */
 922 extern const unsigned char tolower_trans_tbl[256];
 923
 924 /* Sane ctype - no locale, and works with signed chars */
 925 #undef isascii
 926 #undef isspace
 927 #undef isdigit
 928 #undef isalpha
 929 #undef isalnum
 930 #undef isprint
 931 #undef islower
 932 #undef isupper
 933 #undef tolower
 934 #undef toupper
 935 #undef iscntrl
 936 #undef ispunct
 937 #undef isxdigit
 938
 939 extern const unsigned char sane_ctype[256];
 940 #define GIT_SPACE 0x01
 941 #define GIT_DIGIT 0x02
 942 #define GIT_ALPHA 0x04
 943 #define GIT_GLOB_SPECIAL 0x08
 944 #define GIT_REGEX_SPECIAL 0x10
 945 #define GIT_PATHSPEC_MAGIC 0x20
 946 #define GIT_CNTRL 0x40
 947 #define GIT_PUNCT 0x80
 948 #define sane_istest(x,mask) ((sane_ctype[(unsigned char)(x)] & (mask)) != 0)
 949 #define isascii(x) (((x) & ~0x7f) == 0)
 950 #define isspace(x) sane_istest(x,GIT_SPACE)
 951 #define isdigit(x) sane_istest(x,GIT_DIGIT)
 952 #define isalpha(x) sane_istest(x,GIT_ALPHA)
 953 #define isalnum(x) sane_istest(x,GIT_ALPHA | GIT_DIGIT)
 954 #define isprint(x) ((x) >= 0x20 && (x) <= 0x7e)
 955 #define islower(x) sane_iscase(x, 1)
 956 #define isupper(x) sane_iscase(x, 0)
 957 #define is_glob_special(x) sane_istest(x,GIT_GLOB_SPECIAL)
 958 #define is_regex_special(x) sane_istest(x,GIT_GLOB_SPECIAL | GIT_REGEX_SPECIAL)
 959 #define iscntrl(x) (sane_istest(x,GIT_CNTRL))
 960 #define ispunct(x) sane_istest(x, GIT_PUNCT | GIT_REGEX_SPECIAL | \
 961                 GIT_GLOB_SPECIAL | GIT_PATHSPEC_MAGIC)
 962 #define isxdigit(x) (hexval_table[(unsigned char)(x)] != -1)
 963 #define tolower(x) sane_case((unsigned char)(x), 0x20)
 964 #define toupper(x) sane_case((unsigned char)(x), 0)
 965 #define is_pathspec_magic(x) sane_istest(x,GIT_PATHSPEC_MAGIC)
 966
 967 static inline int sane_case(int x, int high)
 968 {
 969         if (sane_istest(x, GIT_ALPHA))
 970                 x = (x & ~0x20) | high;
 971         return x;
 972 }
 973
 974 static inline int sane_iscase(int x, int is_lower)
 975 {
 976         if (!sane_istest(x, GIT_ALPHA))
 977                 return 0;
 978
 979         if (is_lower)
 980                 return (x & 0x20) != 0;
 981         else
 982                 return (x & 0x20) == 0;
 983 }
 984
 985 /*
 986  * Like skip_prefix, but compare case-insensitively. Note that the comparison
 987  * is done via tolower(), so it is strictly ASCII (no multi-byte characters or
 988  * locale-specific conversions).
 989  */
 990 static inline int skip_iprefix(const char *str, const char *prefix,
 991                                const char **out)
 992 {
 993         do {
 994                 if (!*prefix) {
 995                         *out = str;
 996                         return 1;
 997                 }
 998         } while (tolower(*str++) == tolower(*prefix++));
 999         return 0;
1000 }
1001
1002 static inline int strtoul_ui(char const *s, int base, unsigned int *result)
1003 {
1004         unsigned long ul;
1005         char *p;
1006
1007         errno = 0;
1008         /* negative values would be accepted by strtoul */
1009         if (strchr(s, '-'))
1010                 return -1;
1011         ul = strtoul(s, &p, base);
1012         if (errno || *p || p == s || (unsigned int) ul != ul)
1013                 return -1;
1014         *result = ul;
1015         return 0;
1016 }
1017
1018 static inline int strtol_i(char const *s, int base, int *result)
1019 {
1020         long ul;
1021         char *p;
1022
1023         errno = 0;
1024         ul = strtol(s, &p, base);
1025         if (errno || *p || p == s || (int) ul != ul)
1026                 return -1;
1027         *result = ul;
1028         return 0;
1029 }
1030
1031 #ifdef INTERNAL_QSORT
1032 void git_qsort(void *base, size_t nmemb, size_t size,
1033                int(*compar)(const void *, const void *));
1034 #define qsort git_qsort
1035 #endif
1036
1037 #define QSORT(base, n, compar) sane_qsort((base), (n), sizeof(*(base)), compar)
1038 static inline void sane_qsort(void *base, size_t nmemb, size_t size,
1039                               int(*compar)(const void *, const void *))
1040 {
1041         if (nmemb > 1)
1042                 qsort(base, nmemb, size, compar);
1043 }
1044
1045 #ifndef HAVE_ISO_QSORT_S
1046 int git_qsort_s(void *base, size_t nmemb, size_t size,
1047                 int (*compar)(const void *, const void *, void *), void *ctx);
1048 #define qsort_s git_qsort_s
1049 #endif
1050
1051 #define QSORT_S(base, n, compar, ctx) do {                      \
1052         if (qsort_s((base), (n), sizeof(*(base)), compar, ctx)) \
1053                 die("BUG: qsort_s() failed");                   \
1054 } while (0)
1055
1056 #ifndef REG_STARTEND
1057 #error "Git requires REG_STARTEND support. Compile with NO_REGEX=NeedsStartEnd"
1058 #endif
1059
1060 static inline int regexec_buf(const regex_t *preg, const char *buf, size_t size,
1061                               size_t nmatch, regmatch_t pmatch[], int eflags)
1062 {
1063         assert(nmatch > 0 && pmatch);
1064         pmatch[0].rm_so = 0;
1065         pmatch[0].rm_eo = size;
1066         return regexec(preg, buf, nmatch, pmatch, eflags | REG_STARTEND);
1067 }
1068
1069 #ifndef DIR_HAS_BSD_GROUP_SEMANTICS
1070 # define FORCE_DIR_SET_GID S_ISGID
1071 #else
1072 # define FORCE_DIR_SET_GID 0
1073 #endif
1074
1075 #ifdef NO_NSEC
1076 #undef USE_NSEC
1077 #define ST_CTIME_NSEC(st) 0
1078 #define ST_MTIME_NSEC(st) 0
1079 #else
1080 #ifdef USE_ST_TIMESPEC
1081 #define ST_CTIME_NSEC(st) ((unsigned int)((st).st_ctimespec.tv_nsec))
1082 #define ST_MTIME_NSEC(st) ((unsigned int)((st).st_mtimespec.tv_nsec))
1083 #else
1084 #define ST_CTIME_NSEC(st) ((unsigned int)((st).st_ctim.tv_nsec))
1085 #define ST_MTIME_NSEC(st) ((unsigned int)((st).st_mtim.tv_nsec))
1086 #endif
1087 #endif
1088
1089 #ifdef UNRELIABLE_FSTAT
1090 #define fstat_is_reliable() 0
1091 #else
1092 #define fstat_is_reliable() 1
1093 #endif
1094
1095 #ifndef va_copy
1096 /*
1097  * Since an obvious implementation of va_list would be to make it a
1098  * pointer into the stack frame, a simple assignment will work on
1099  * many systems.  But let's try to be more portable.
1100  */
1101 #ifdef __va_copy
1102 #define va_copy(dst, src) __va_copy(dst, src)
1103 #else
1104 #define va_copy(dst, src) ((dst) = (src))
1105 #endif
1106 #endif
1107
1108 #if defined(__GNUC__) || (_MSC_VER >= 1400) || defined(__C99_MACRO_WITH_VA_ARGS)
1109 #define HAVE_VARIADIC_MACROS 1
1110 #endif
1111
1112 #ifdef HAVE_VARIADIC_MACROS
1113 __attribute__((format (printf, 3, 4))) NORETURN
1114 void BUG_fl(const char *file, int line, const char *fmt, ...);
1115 #define BUG(...) BUG_fl(__FILE__, __LINE__, __VA_ARGS__)
1116 #else
1117 __attribute__((format (printf, 1, 2))) NORETURN
1118 void BUG(const char *fmt, ...);
1119 #endif
1120
1121 /*
1122  * Preserves errno, prints a message, but gives no warning for ENOENT.
1123  * Returns 0 on success, which includes trying to unlink an object that does
1124  * not exist.
1125  */
1126 int unlink_or_warn(const char *path);
1127  /*
1128   * Tries to unlink file.  Returns 0 if unlink succeeded
1129   * or the file already didn't exist.  Returns -1 and
1130   * appends a message to err suitable for
1131   * 'error("%s", err->buf)' on error.
1132   */
1133 int unlink_or_msg(const char *file, struct strbuf *err);
1134 /*
1135  * Preserves errno, prints a message, but gives no warning for ENOENT.
1136  * Returns 0 on success, which includes trying to remove a directory that does
1137  * not exist.
1138  */
1139 int rmdir_or_warn(const char *path);
1140 /*
1141  * Calls the correct function out of {unlink,rmdir}_or_warn based on
1142  * the supplied file mode.
1143  */
1144 int remove_or_warn(unsigned int mode, const char *path);
1145
1146 /*
1147  * Call access(2), but warn for any error except "missing file"
1148  * (ENOENT or ENOTDIR).
1149  */
1150 #define ACCESS_EACCES_OK (1U << 0)
1151 int access_or_warn(const char *path, int mode, unsigned flag);
1152 int access_or_die(const char *path, int mode, unsigned flag);
1153
1154 /* Warn on an inaccessible file if errno indicates this is an error */
1155 int warn_on_fopen_errors(const char *path);
1156
1157 #ifdef GMTIME_UNRELIABLE_ERRORS
1158 struct tm *git_gmtime(const time_t *);
1159 struct tm *git_gmtime_r(const time_t *, struct tm *);
1160 #define gmtime git_gmtime
1161 #define gmtime_r git_gmtime_r
1162 #endif
1163
1164 #if !defined(USE_PARENS_AROUND_GETTEXT_N) && defined(__GNUC__)
1165 #define USE_PARENS_AROUND_GETTEXT_N 1
1166 #endif
1167
1168 #ifndef SHELL_PATH
1169 # define SHELL_PATH "/bin/sh"
1170 #endif
1171
1172 #ifndef _POSIX_THREAD_SAFE_FUNCTIONS
1173 #define flockfile(fh)
1174 #define funlockfile(fh)
1175 #define getc_unlocked(fh) getc(fh)
1176 #endif
1177
1178 /*
1179  * Our code often opens a path to an optional file, to work on its
1180  * contents when we can successfully open it.  We can ignore a failure
1181  * to open if such an optional file does not exist, but we do want to
1182  * report a failure in opening for other reasons (e.g. we got an I/O
1183  * error, or the file is there, but we lack the permission to open).
1184  *
1185  * Call this function after seeing an error from open() or fopen() to
1186  * see if the errno indicates a missing file that we can safely ignore.
1187  */
1188 static inline int is_missing_file_error(int errno_)
1189 {
1190         return (errno_ == ENOENT || errno_ == ENOTDIR);
1191 }
1192
1193 extern int cmd_main(int, const char **);
1194
1195 /*
1196  * You can mark a stack variable with UNLEAK(var) to avoid it being
1197  * reported as a leak by tools like LSAN or valgrind. The argument
1198  * should generally be the variable itself (not its address and not what
1199  * it points to). It's safe to use this on pointers which may already
1200  * have been freed, or on pointers which may still be in use.
1201  *
1202  * Use this _only_ for a variable that leaks by going out of scope at
1203  * program exit (so only from cmd_* functions or their direct helpers).
1204  * Normal functions, especially those which may be called multiple
1205  * times, should actually free their memory. This is only meant as
1206  * an annotation, and does nothing in non-leak-checking builds.
1207  */
1208 #ifdef SUPPRESS_ANNOTATED_LEAKS
1209 extern void unleak_memory(const void *ptr, size_t len);
1210 #define UNLEAK(var) unleak_memory(&(var), sizeof(var))
1211 #else
1212 #define UNLEAK(var) do {} while (0)
1213 #endif
1214
1215 #endif