bfd/cache.c

   1 /* BFD library -- caching of file descriptors.
   2
   3    Copyright (C) 1990-2015 Free Software Foundation, Inc.
   4
   5    Hacked by Steve Chamberlain of Cygnus Support (steve@cygnus.com).
   6
   7    This file is part of BFD, the Binary File Descriptor library.
   8
   9    This program is free software; you can redistribute it and/or modify
  10    it under the terms of the GNU General Public License as published by
  11    the Free Software Foundation; either version 3 of the License, or
  12    (at your option) any later version.
  13
  14    This program is distributed in the hope that it will be useful,
  15    but WITHOUT ANY WARRANTY; without even the implied warranty of
  16    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  17    GNU General Public License for more details.
  18
  19    You should have received a copy of the GNU General Public License
  20    along with this program; if not, write to the Free Software
  21    Foundation, Inc., 51 Franklin Street - Fifth Floor, Boston,
  22    MA 02110-1301, USA.  */
  23
  24 /*
  25 SECTION
  26         File caching
  27
  28         The file caching mechanism is embedded within BFD and allows
  29         the application to open as many BFDs as it wants without
  30         regard to the underlying operating system's file descriptor
  31         limit (often as low as 20 open files).  The module in
  32         <<cache.c>> maintains a least recently used list of
  33         <<bfd_cache_max_open>> files, and exports the name
  34         <<bfd_cache_lookup>>, which runs around and makes sure that
  35         the required BFD is open. If not, then it chooses a file to
  36         close, closes it and opens the one wanted, returning its file
  37         handle.
  38
  39 SUBSECTION
  40         Caching functions
  41 */
  42
  43 #include "sysdep.h"
  44 #include "bfd.h"
  45 #include "libbfd.h"
  46 #include "libiberty.h"
  47 #include "bfd_stdint.h"
  48
  49 #ifdef HAVE_MMAP
  50 #include <sys/mman.h>
  51 #endif
  52
  53 /* In some cases we can optimize cache operation when reopening files.
  54    For instance, a flush is entirely unnecessary if the file is already
  55    closed, so a flush would use CACHE_NO_OPEN.  Similarly, a seek using
  56    SEEK_SET or SEEK_END need not first seek to the current position.
  57    For stat we ignore seek errors, just in case the file has changed
  58    while we weren't looking.  If it has, then it's possible that the
  59    file is shorter and we don't want a seek error to prevent us doing
  60    the stat.  */
  61 enum cache_flag {
  62   CACHE_NORMAL = 0,
  63   CACHE_NO_OPEN = 1,
  64   CACHE_NO_SEEK = 2,
  65   CACHE_NO_SEEK_ERROR = 4
  66 };
  67
  68 /* The maximum number of files which the cache will keep open at
  69    one time.  When needed call bfd_cache_max_open to initialize.  */
  70
  71 static int max_open_files = 0;
  72
  73 /* Set max_open_files, if not already set, to 12.5% of the allowed open
  74    file descriptors, but at least 10, and return the value.  */
  75 static int
  76 bfd_cache_max_open (void)
  77 {
  78   if (max_open_files == 0)
  79     {
  80       int max;
  81 #ifdef HAVE_GETRLIMIT
  82       struct rlimit rlim;
  83       if (getrlimit (RLIMIT_NOFILE, &rlim) == 0
  84           && rlim.rlim_cur != (rlim_t) RLIM_INFINITY)
  85         max = rlim.rlim_cur / 8;
  86       else
  87 #endif /* HAVE_GETRLIMIT */
  88 #ifdef _SC_OPEN_MAX
  89         max = sysconf (_SC_OPEN_MAX) / 8;
  90 #else
  91         max = 10;
  92 #endif /* _SC_OPEN_MAX */
  93       max_open_files = max < 10 ? 10 : max;
  94     }
  95
  96   return max_open_files;
  97 }
  98
  99 /* The number of BFD files we have open.  */
 100
 101 static int open_files;
 102
 103 /* Zero, or a pointer to the topmost BFD on the chain.  This is
 104    used by the <<bfd_cache_lookup>> macro in @file{libbfd.h} to
 105    determine when it can avoid a function call.  */
 106
 107 static bfd *bfd_last_cache = NULL;
 108
 109 /* Insert a BFD into the cache.  */
 110
 111 static void
 112 insert (bfd *abfd)
 113 {
 114   if (bfd_last_cache == NULL)
 115     {
 116       abfd->lru_next = abfd;
 117       abfd->lru_prev = abfd;
 118     }
 119   else
 120     {
 121       abfd->lru_next = bfd_last_cache;
 122       abfd->lru_prev = bfd_last_cache->lru_prev;
 123       abfd->lru_prev->lru_next = abfd;
 124       abfd->lru_next->lru_prev = abfd;
 125     }
 126   bfd_last_cache = abfd;
 127 }
 128
 129 /* Remove a BFD from the cache.  */
 130
 131 static void
 132 snip (bfd *abfd)
 133 {
 134   abfd->lru_prev->lru_next = abfd->lru_next;
 135   abfd->lru_next->lru_prev = abfd->lru_prev;
 136   if (abfd == bfd_last_cache)
 137     {
 138       bfd_last_cache = abfd->lru_next;
 139       if (abfd == bfd_last_cache)
 140         bfd_last_cache = NULL;
 141     }
 142 }
 143
 144 /* Close a BFD and remove it from the cache.  */
 145
 146 static bfd_boolean
 147 bfd_cache_delete (bfd *abfd)
 148 {
 149   bfd_boolean ret;
 150
 151   if (fclose ((FILE *) abfd->iostream) == 0)
 152     ret = TRUE;
 153   else
 154     {
 155       ret = FALSE;
 156       bfd_set_error (bfd_error_system_call);
 157     }
 158
 159   snip (abfd);
 160
 161   abfd->iostream = NULL;
 162   --open_files;
 163
 164   return ret;
 165 }
 166
 167 /* We need to open a new file, and the cache is full.  Find the least
 168    recently used cacheable BFD and close it.  */
 169
 170 static bfd_boolean
 171 close_one (void)
 172 {
 173   register bfd *to_kill;
 174
 175   if (bfd_last_cache == NULL)
 176     to_kill = NULL;
 177   else
 178     {
 179       for (to_kill = bfd_last_cache->lru_prev;
 180            ! to_kill->cacheable;
 181            to_kill = to_kill->lru_prev)
 182         {
 183           if (to_kill == bfd_last_cache)
 184             {
 185               to_kill = NULL;
 186               break;
 187             }
 188         }
 189     }
 190
 191   if (to_kill == NULL)
 192     {
 193       /* There are no open cacheable BFD's.  */
 194       return TRUE;
 195     }
 196
 197   to_kill->where = real_ftell ((FILE *) to_kill->iostream);
 198
 199   return bfd_cache_delete (to_kill);
 200 }
 201
 202 /* Check to see if the required BFD is the same as the last one
 203    looked up. If so, then it can use the stream in the BFD with
 204    impunity, since it can't have changed since the last lookup;
 205    otherwise, it has to perform the complicated lookup function.  */
 206
 207 #define bfd_cache_lookup(x, flag) \
 208   ((x) == bfd_last_cache                        \
 209    ? (FILE *) (bfd_last_cache->iostream)        \
 210    : bfd_cache_lookup_worker (x, flag))
 211
 212 /* Called when the macro <<bfd_cache_lookup>> fails to find a
 213    quick answer.  Find a file descriptor for @var{abfd}.  If
 214    necessary, it open it.  If there are already more than
 215    <<bfd_cache_max_open>> files open, it tries to close one first, to
 216    avoid running out of file descriptors.  It will return NULL
 217    if it is unable to (re)open the @var{abfd}.  */
 218
 219 static FILE *
 220 bfd_cache_lookup_worker (bfd *abfd, enum cache_flag flag)
 221 {
 222   bfd *orig_bfd = abfd;
 223   if ((abfd->flags & BFD_IN_MEMORY) != 0)
 224     abort ();
 225
 226   while (abfd->my_archive)
 227     abfd = abfd->my_archive;
 228
 229   if (abfd->iostream != NULL)
 230     {
 231       /* Move the file to the start of the cache.  */
 232       if (abfd != bfd_last_cache)
 233         {
 234           snip (abfd);
 235           insert (abfd);
 236         }
 237       return (FILE *) abfd->iostream;
 238     }
 239
 240   if (flag & CACHE_NO_OPEN)
 241     return NULL;
 242
 243   if (bfd_open_file (abfd) == NULL)
 244     ;
 245   else if (!(flag & CACHE_NO_SEEK)
 246            && real_fseek ((FILE *) abfd->iostream, abfd->where, SEEK_SET) != 0
 247            && !(flag & CACHE_NO_SEEK_ERROR))
 248     bfd_set_error (bfd_error_system_call);
 249   else
 250     return (FILE *) abfd->iostream;
 251
 252   (*_bfd_error_handler) (_("reopening %B: %s\n"),
 253                          orig_bfd, bfd_errmsg (bfd_get_error ()));
 254   return NULL;
 255 }
 256
 257 static file_ptr
 258 cache_btell (struct bfd *abfd)
 259 {
 260   FILE *f = bfd_cache_lookup (abfd, CACHE_NO_OPEN);
 261   if (f == NULL)
 262     return abfd->where;
 263   return real_ftell (f);
 264 }
 265
 266 static int
 267 cache_bseek (struct bfd *abfd, file_ptr offset, int whence)
 268 {
 269   FILE *f = bfd_cache_lookup (abfd, whence != SEEK_CUR ? CACHE_NO_SEEK : CACHE_NORMAL);
 270   if (f == NULL)
 271     return -1;
 272   return real_fseek (f, offset, whence);
 273 }
 274
 275 /* Note that archive entries don't have streams; they share their parent's.
 276    This allows someone to play with the iostream behind BFD's back.
 277
 278    Also, note that the origin pointer points to the beginning of a file's
 279    contents (0 for non-archive elements).  For archive entries this is the
 280    first octet in the file, NOT the beginning of the archive header.  */
 281
 282 static file_ptr
 283 cache_bread_1 (struct bfd *abfd, void *buf, file_ptr nbytes)
 284 {
 285   FILE *f;
 286   file_ptr nread;
 287   /* FIXME - this looks like an optimization, but it's really to cover
 288      up for a feature of some OSs (not solaris - sigh) that
 289      ld/pe-dll.c takes advantage of (apparently) when it creates BFDs
 290      internally and tries to link against them.  BFD seems to be smart
 291      enough to realize there are no symbol records in the "file" that
 292      doesn't exist but attempts to read them anyway.  On Solaris,
 293      attempting to read zero bytes from a NULL file results in a core
 294      dump, but on other platforms it just returns zero bytes read.
 295      This makes it to something reasonable. - DJ */
 296   if (nbytes == 0)
 297     return 0;
 298
 299   f = bfd_cache_lookup (abfd, CACHE_NORMAL);
 300   if (f == NULL)
 301     return 0;
 302
 303 #if defined (__VAX) && defined (VMS)
 304   /* Apparently fread on Vax VMS does not keep the record length
 305      information.  */
 306   nread = read (fileno (f), buf, nbytes);
 307   /* Set bfd_error if we did not read as much data as we expected.  If
 308      the read failed due to an error set the bfd_error_system_call,
 309      else set bfd_error_file_truncated.  */
 310   if (nread == (file_ptr)-1)
 311     {
 312       bfd_set_error (bfd_error_system_call);
 313       return nread;
 314     }
 315 #else
 316   nread = fread (buf, 1, nbytes, f);
 317   /* Set bfd_error if we did not read as much data as we expected.  If
 318      the read failed due to an error set the bfd_error_system_call,
 319      else set bfd_error_file_truncated.  */
 320   if (nread < nbytes && ferror (f))
 321     {
 322       bfd_set_error (bfd_error_system_call);
 323       return nread;
 324     }
 325 #endif
 326   if (nread < nbytes)
 327     /* This may or may not be an error, but in case the calling code
 328        bails out because of it, set the right error code.  */
 329     bfd_set_error (bfd_error_file_truncated);
 330   return nread;
 331 }
 332
 333 static file_ptr
 334 cache_bread (struct bfd *abfd, void *buf, file_ptr nbytes)
 335 {
 336   file_ptr nread = 0;
 337
 338   /* Some filesystems are unable to handle reads that are too large
 339      (for instance, NetApp shares with oplocks turned off).  To avoid
 340      hitting this limitation, we read the buffer in chunks of 8MB max.  */
 341   while (nread < nbytes)
 342     {
 343       const file_ptr max_chunk_size = 0x800000;
 344       file_ptr chunk_size = nbytes - nread;
 345       file_ptr chunk_nread;
 346
 347       if (chunk_size > max_chunk_size)
 348         chunk_size = max_chunk_size;
 349
 350       chunk_nread = cache_bread_1 (abfd, (char *) buf + nread, chunk_size);
 351
 352       /* Update the nread count.
 353
 354          We just have to be careful of the case when cache_bread_1 returns
 355          a negative count:  If this is our first read, then set nread to
 356          that negative count in order to return that negative value to the
 357          caller.  Otherwise, don't add it to our total count, or we would
 358          end up returning a smaller number of bytes read than we actually
 359          did.  */
 360       if (nread == 0 || chunk_nread > 0)
 361         nread += chunk_nread;
 362
 363       if (chunk_nread < chunk_size)
 364         break;
 365     }
 366
 367   return nread;
 368 }
 369
 370 static file_ptr
 371 cache_bwrite (struct bfd *abfd, const void *where, file_ptr nbytes)
 372 {
 373   file_ptr nwrite;
 374   FILE *f = bfd_cache_lookup (abfd, CACHE_NORMAL);
 375
 376   if (f == NULL)
 377     return 0;
 378   nwrite = fwrite (where, 1, nbytes, f);
 379   if (nwrite < nbytes && ferror (f))
 380     {
 381       bfd_set_error (bfd_error_system_call);
 382       return -1;
 383     }
 384   return nwrite;
 385 }
 386
 387 static int
 388 cache_bclose (struct bfd *abfd)
 389 {
 390   return bfd_cache_close (abfd) - 1;
 391 }
 392
 393 static int
 394 cache_bflush (struct bfd *abfd)
 395 {
 396   int sts;
 397   FILE *f = bfd_cache_lookup (abfd, CACHE_NO_OPEN);
 398
 399   if (f == NULL)
 400     return 0;
 401   sts = fflush (f);
 402   if (sts < 0)
 403     bfd_set_error (bfd_error_system_call);
 404   return sts;
 405 }
 406
 407 static int
 408 cache_bstat (struct bfd *abfd, struct stat *sb)
 409 {
 410   int sts;
 411   FILE *f = bfd_cache_lookup (abfd, CACHE_NO_SEEK_ERROR);
 412
 413   if (f == NULL)
 414     return -1;
 415   sts = fstat (fileno (f), sb);
 416   if (sts < 0)
 417     bfd_set_error (bfd_error_system_call);
 418   return sts;
 419 }
 420
 421 static void *
 422 cache_bmmap (struct bfd *abfd ATTRIBUTE_UNUSED,
 423              void *addr ATTRIBUTE_UNUSED,
 424              bfd_size_type len ATTRIBUTE_UNUSED,
 425              int prot ATTRIBUTE_UNUSED,
 426              int flags ATTRIBUTE_UNUSED,
 427              file_ptr offset ATTRIBUTE_UNUSED,
 428              void **map_addr ATTRIBUTE_UNUSED,
 429              bfd_size_type *map_len ATTRIBUTE_UNUSED)
 430 {
 431   void *ret = (void *) -1;
 432
 433   if ((abfd->flags & BFD_IN_MEMORY) != 0)
 434     abort ();
 435 #ifdef HAVE_MMAP
 436   else
 437     {
 438       static uintptr_t pagesize_m1;
 439       FILE *f;
 440       file_ptr pg_offset;
 441       bfd_size_type pg_len;
 442
 443       f = bfd_cache_lookup (abfd, CACHE_NO_SEEK_ERROR);
 444       if (f == NULL)
 445         return ret;
 446
 447       if (pagesize_m1 == 0)
 448         pagesize_m1 = getpagesize () - 1;
 449
 450       /* Handle archive members.  */
 451       if (abfd->my_archive != NULL)
 452         offset += abfd->origin;
 453
 454       /* Align.  */
 455       pg_offset = offset & ~pagesize_m1;
 456       pg_len = (len + (offset - pg_offset) + pagesize_m1) & ~pagesize_m1;
 457
 458       ret = mmap (addr, pg_len, prot, flags, fileno (f), pg_offset);
 459       if (ret == (void *) -1)
 460         bfd_set_error (bfd_error_system_call);
 461       else
 462         {
 463           *map_addr = ret;
 464           *map_len = pg_len;
 465           ret = (char *) ret + (offset & pagesize_m1);
 466         }
 467     }
 468 #endif
 469
 470   return ret;
 471 }
 472
 473 static const struct bfd_iovec cache_iovec =
 474 {
 475   &cache_bread, &cache_bwrite, &cache_btell, &cache_bseek,
 476   &cache_bclose, &cache_bflush, &cache_bstat, &cache_bmmap
 477 };
 478
 479 /*
 480 INTERNAL_FUNCTION
 481         bfd_cache_init
 482
 483 SYNOPSIS
 484         bfd_boolean bfd_cache_init (bfd *abfd);
 485
 486 DESCRIPTION
 487         Add a newly opened BFD to the cache.
 488 */
 489
 490 bfd_boolean
 491 bfd_cache_init (bfd *abfd)
 492 {
 493   BFD_ASSERT (abfd->iostream != NULL);
 494   if (open_files >= bfd_cache_max_open ())
 495     {
 496       if (! close_one ())
 497         return FALSE;
 498     }
 499   abfd->iovec = &cache_iovec;
 500   insert (abfd);
 501   ++open_files;
 502   return TRUE;
 503 }
 504
 505 /*
 506 INTERNAL_FUNCTION
 507         bfd_cache_close
 508
 509 SYNOPSIS
 510         bfd_boolean bfd_cache_close (bfd *abfd);
 511
 512 DESCRIPTION
 513         Remove the BFD @var{abfd} from the cache. If the attached file is open,
 514         then close it too.
 515
 516 RETURNS
 517         <<FALSE>> is returned if closing the file fails, <<TRUE>> is
 518         returned if all is well.
 519 */
 520
 521 bfd_boolean
 522 bfd_cache_close (bfd *abfd)
 523 {
 524   if (abfd->iovec != &cache_iovec)
 525     return TRUE;
 526
 527   if (abfd->iostream == NULL)
 528     /* Previously closed.  */
 529     return TRUE;
 530
 531   return bfd_cache_delete (abfd);
 532 }
 533
 534 /*
 535 FUNCTION
 536         bfd_cache_close_all
 537
 538 SYNOPSIS
 539         bfd_boolean bfd_cache_close_all (void);
 540
 541 DESCRIPTION
 542         Remove all BFDs from the cache. If the attached file is open,
 543         then close it too.
 544
 545 RETURNS
 546         <<FALSE>> is returned if closing one of the file fails, <<TRUE>> is
 547         returned if all is well.
 548 */
 549
 550 bfd_boolean
 551 bfd_cache_close_all ()
 552 {
 553   bfd_boolean ret = TRUE;
 554
 555   while (bfd_last_cache != NULL)
 556     ret &= bfd_cache_close (bfd_last_cache);
 557
 558   return ret;
 559 }
 560
 561 /*
 562 INTERNAL_FUNCTION
 563         bfd_open_file
 564
 565 SYNOPSIS
 566         FILE* bfd_open_file (bfd *abfd);
 567
 568 DESCRIPTION
 569         Call the OS to open a file for @var{abfd}.  Return the <<FILE *>>
 570         (possibly <<NULL>>) that results from this operation.  Set up the
 571         BFD so that future accesses know the file is open. If the <<FILE *>>
 572         returned is <<NULL>>, then it won't have been put in the
 573         cache, so it won't have to be removed from it.
 574 */
 575
 576 FILE *
 577 bfd_open_file (bfd *abfd)
 578 {
 579   abfd->cacheable = TRUE;       /* Allow it to be closed later.  */
 580
 581   if (open_files >= bfd_cache_max_open ())
 582     {
 583       if (! close_one ())
 584         return NULL;
 585     }
 586
 587   switch (abfd->direction)
 588     {
 589     case read_direction:
 590     case no_direction:
 591       abfd->iostream = real_fopen (abfd->filename, FOPEN_RB);
 592       break;
 593     case both_direction:
 594     case write_direction:
 595       if (abfd->opened_once)
 596         {
 597           abfd->iostream = real_fopen (abfd->filename, FOPEN_RUB);
 598           if (abfd->iostream == NULL)
 599             abfd->iostream = real_fopen (abfd->filename, FOPEN_WUB);
 600         }
 601       else
 602         {
 603           /* Create the file.
 604
 605              Some operating systems won't let us overwrite a running
 606              binary.  For them, we want to unlink the file first.
 607
 608              However, gcc 2.95 will create temporary files using
 609              O_EXCL and tight permissions to prevent other users from
 610              substituting other .o files during the compilation.  gcc
 611              will then tell the assembler to use the newly created
 612              file as an output file.  If we unlink the file here, we
 613              open a brief window when another user could still
 614              substitute a file.
 615
 616              So we unlink the output file if and only if it has
 617              non-zero size.  */
 618 #ifndef __MSDOS__
 619           /* Don't do this for MSDOS: it doesn't care about overwriting
 620              a running binary, but if this file is already open by
 621              another BFD, we will be in deep trouble if we delete an
 622              open file.  In fact, objdump does just that if invoked with
 623              the --info option.  */
 624           struct stat s;
 625
 626           if (stat (abfd->filename, &s) == 0 && s.st_size != 0)
 627             unlink_if_ordinary (abfd->filename);
 628 #endif
 629           abfd->iostream = real_fopen (abfd->filename, FOPEN_WUB);
 630           abfd->opened_once = TRUE;
 631         }
 632       break;
 633     }
 634
 635   if (abfd->iostream == NULL)
 636     bfd_set_error (bfd_error_system_call);
 637   else
 638     {
 639       if (! bfd_cache_init (abfd))
 640         return NULL;
 641     }
 642
 643   return (FILE *) abfd->iostream;
 644 }