Fix a problem with the maximum number of open files held in the cache when running...
[external/binutils.git] / bfd / cache.c
1 /* BFD library -- caching of file descriptors.
2
3    Copyright (C) 1990-2015 Free Software Foundation, Inc.
4
5    Hacked by Steve Chamberlain of Cygnus Support (steve@cygnus.com).
6
7    This file is part of BFD, the Binary File Descriptor library.
8
9    This program is free software; you can redistribute it and/or modify
10    it under the terms of the GNU General Public License as published by
11    the Free Software Foundation; either version 3 of the License, or
12    (at your option) any later version.
13
14    This program is distributed in the hope that it will be useful,
15    but WITHOUT ANY WARRANTY; without even the implied warranty of
16    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
17    GNU General Public License for more details.
18
19    You should have received a copy of the GNU General Public License
20    along with this program; if not, write to the Free Software
21    Foundation, Inc., 51 Franklin Street - Fifth Floor, Boston,
22    MA 02110-1301, USA.  */
23
24 /*
25 SECTION
26         File caching
27
28         The file caching mechanism is embedded within BFD and allows
29         the application to open as many BFDs as it wants without
30         regard to the underlying operating system's file descriptor
31         limit (often as low as 20 open files).  The module in
32         <<cache.c>> maintains a least recently used list of
33         <<bfd_cache_max_open>> files, and exports the name
34         <<bfd_cache_lookup>>, which runs around and makes sure that
35         the required BFD is open. If not, then it chooses a file to
36         close, closes it and opens the one wanted, returning its file
37         handle.
38
39 SUBSECTION
40         Caching functions
41 */
42
43 #include "sysdep.h"
44 #include "bfd.h"
45 #include "libbfd.h"
46 #include "libiberty.h"
47 #include "bfd_stdint.h"
48
49 #ifdef HAVE_MMAP
50 #include <sys/mman.h>
51 #endif
52
53 /* In some cases we can optimize cache operation when reopening files.
54    For instance, a flush is entirely unnecessary if the file is already
55    closed, so a flush would use CACHE_NO_OPEN.  Similarly, a seek using
56    SEEK_SET or SEEK_END need not first seek to the current position.
57    For stat we ignore seek errors, just in case the file has changed
58    while we weren't looking.  If it has, then it's possible that the
59    file is shorter and we don't want a seek error to prevent us doing
60    the stat.  */
61 enum cache_flag {
62   CACHE_NORMAL = 0,
63   CACHE_NO_OPEN = 1,
64   CACHE_NO_SEEK = 2,
65   CACHE_NO_SEEK_ERROR = 4
66 };
67
68 /* The maximum number of files which the cache will keep open at
69    one time.  When needed call bfd_cache_max_open to initialize.  */
70
71 static int max_open_files = 0;
72
73 /* Set max_open_files, if not already set, to 12.5% of the allowed open
74    file descriptors, but at least 10, and return the value.  */
75 static int
76 bfd_cache_max_open (void)
77 {
78   if (max_open_files == 0)
79     {
80       int max;
81 #if defined(__sun) && !defined(__sparcv9) && !defined(__x86_64__)
82       /* PR ld/19260: 32-bit Solaris has very inelegant handling of the 255
83          file descriptor limit.  The problem is that setrlimit(2) can raise
84          RLIMIT_NOFILE to a value that is not supported by libc, resulting
85          in "Too many open files" errors.  This can happen here even though
86          max_open_files is set to rlim.rlim_cur / 8.  For example, if
87          a parent process has set rlim.rlim_cur to 65536, then max_open_files
88          will be computed as 8192.
89
90          This check essentially reverts to the behavior from binutils 2.23.1
91          for 32-bit Solaris only.  (It is hoped that the 32-bit libc
92          limitation will be removed soon).  64-bit Solaris libc does not have
93          this limitation.  */
94       max = 16;
95 #else
96 #ifdef HAVE_GETRLIMIT
97       struct rlimit rlim;
98
99       if (getrlimit (RLIMIT_NOFILE, &rlim) == 0
100           && rlim.rlim_cur != (rlim_t) RLIM_INFINITY)
101         max = rlim.rlim_cur / 8;
102       else
103 #endif
104 #ifdef _SC_OPEN_MAX
105         max = sysconf (_SC_OPEN_MAX) / 8;
106 #else
107         max = 10;
108 #endif
109 #endif /* not 32-bit Solaris */
110
111       max_open_files = max < 10 ? 10 : max;
112     }
113
114   return max_open_files;
115 }
116
117 /* The number of BFD files we have open.  */
118
119 static int open_files;
120
121 /* Zero, or a pointer to the topmost BFD on the chain.  This is
122    used by the <<bfd_cache_lookup>> macro in @file{libbfd.h} to
123    determine when it can avoid a function call.  */
124
125 static bfd *bfd_last_cache = NULL;
126
127 /* Insert a BFD into the cache.  */
128
129 static void
130 insert (bfd *abfd)
131 {
132   if (bfd_last_cache == NULL)
133     {
134       abfd->lru_next = abfd;
135       abfd->lru_prev = abfd;
136     }
137   else
138     {
139       abfd->lru_next = bfd_last_cache;
140       abfd->lru_prev = bfd_last_cache->lru_prev;
141       abfd->lru_prev->lru_next = abfd;
142       abfd->lru_next->lru_prev = abfd;
143     }
144   bfd_last_cache = abfd;
145 }
146
147 /* Remove a BFD from the cache.  */
148
149 static void
150 snip (bfd *abfd)
151 {
152   abfd->lru_prev->lru_next = abfd->lru_next;
153   abfd->lru_next->lru_prev = abfd->lru_prev;
154   if (abfd == bfd_last_cache)
155     {
156       bfd_last_cache = abfd->lru_next;
157       if (abfd == bfd_last_cache)
158         bfd_last_cache = NULL;
159     }
160 }
161
162 /* Close a BFD and remove it from the cache.  */
163
164 static bfd_boolean
165 bfd_cache_delete (bfd *abfd)
166 {
167   bfd_boolean ret;
168
169   if (fclose ((FILE *) abfd->iostream) == 0)
170     ret = TRUE;
171   else
172     {
173       ret = FALSE;
174       bfd_set_error (bfd_error_system_call);
175     }
176
177   snip (abfd);
178
179   abfd->iostream = NULL;
180   --open_files;
181
182   return ret;
183 }
184
185 /* We need to open a new file, and the cache is full.  Find the least
186    recently used cacheable BFD and close it.  */
187
188 static bfd_boolean
189 close_one (void)
190 {
191   register bfd *to_kill;
192
193   if (bfd_last_cache == NULL)
194     to_kill = NULL;
195   else
196     {
197       for (to_kill = bfd_last_cache->lru_prev;
198            ! to_kill->cacheable;
199            to_kill = to_kill->lru_prev)
200         {
201           if (to_kill == bfd_last_cache)
202             {
203               to_kill = NULL;
204               break;
205             }
206         }
207     }
208
209   if (to_kill == NULL)
210     {
211       /* There are no open cacheable BFD's.  */
212       return TRUE;
213     }
214
215   to_kill->where = real_ftell ((FILE *) to_kill->iostream);
216
217   return bfd_cache_delete (to_kill);
218 }
219
220 /* Check to see if the required BFD is the same as the last one
221    looked up. If so, then it can use the stream in the BFD with
222    impunity, since it can't have changed since the last lookup;
223    otherwise, it has to perform the complicated lookup function.  */
224
225 #define bfd_cache_lookup(x, flag) \
226   ((x) == bfd_last_cache                        \
227    ? (FILE *) (bfd_last_cache->iostream)        \
228    : bfd_cache_lookup_worker (x, flag))
229
230 /* Called when the macro <<bfd_cache_lookup>> fails to find a
231    quick answer.  Find a file descriptor for @var{abfd}.  If
232    necessary, it open it.  If there are already more than
233    <<bfd_cache_max_open>> files open, it tries to close one first, to
234    avoid running out of file descriptors.  It will return NULL
235    if it is unable to (re)open the @var{abfd}.  */
236
237 static FILE *
238 bfd_cache_lookup_worker (bfd *abfd, enum cache_flag flag)
239 {
240   bfd *orig_bfd = abfd;
241   if ((abfd->flags & BFD_IN_MEMORY) != 0)
242     abort ();
243
244   while (abfd->my_archive)
245     abfd = abfd->my_archive;
246
247   if (abfd->iostream != NULL)
248     {
249       /* Move the file to the start of the cache.  */
250       if (abfd != bfd_last_cache)
251         {
252           snip (abfd);
253           insert (abfd);
254         }
255       return (FILE *) abfd->iostream;
256     }
257
258   if (flag & CACHE_NO_OPEN)
259     return NULL;
260
261   if (bfd_open_file (abfd) == NULL)
262     ;
263   else if (!(flag & CACHE_NO_SEEK)
264            && real_fseek ((FILE *) abfd->iostream, abfd->where, SEEK_SET) != 0
265            && !(flag & CACHE_NO_SEEK_ERROR))
266     bfd_set_error (bfd_error_system_call);
267   else
268     return (FILE *) abfd->iostream;
269
270   (*_bfd_error_handler) (_("reopening %B: %s\n"),
271                          orig_bfd, bfd_errmsg (bfd_get_error ()));
272   return NULL;
273 }
274
275 static file_ptr
276 cache_btell (struct bfd *abfd)
277 {
278   FILE *f = bfd_cache_lookup (abfd, CACHE_NO_OPEN);
279   if (f == NULL)
280     return abfd->where;
281   return real_ftell (f);
282 }
283
284 static int
285 cache_bseek (struct bfd *abfd, file_ptr offset, int whence)
286 {
287   FILE *f = bfd_cache_lookup (abfd, whence != SEEK_CUR ? CACHE_NO_SEEK : CACHE_NORMAL);
288   if (f == NULL)
289     return -1;
290   return real_fseek (f, offset, whence);
291 }
292
293 /* Note that archive entries don't have streams; they share their parent's.
294    This allows someone to play with the iostream behind BFD's back.
295
296    Also, note that the origin pointer points to the beginning of a file's
297    contents (0 for non-archive elements).  For archive entries this is the
298    first octet in the file, NOT the beginning of the archive header.  */
299
300 static file_ptr
301 cache_bread_1 (struct bfd *abfd, void *buf, file_ptr nbytes)
302 {
303   FILE *f;
304   file_ptr nread;
305   /* FIXME - this looks like an optimization, but it's really to cover
306      up for a feature of some OSs (not solaris - sigh) that
307      ld/pe-dll.c takes advantage of (apparently) when it creates BFDs
308      internally and tries to link against them.  BFD seems to be smart
309      enough to realize there are no symbol records in the "file" that
310      doesn't exist but attempts to read them anyway.  On Solaris,
311      attempting to read zero bytes from a NULL file results in a core
312      dump, but on other platforms it just returns zero bytes read.
313      This makes it to something reasonable. - DJ */
314   if (nbytes == 0)
315     return 0;
316
317   f = bfd_cache_lookup (abfd, CACHE_NORMAL);
318   if (f == NULL)
319     return 0;
320
321 #if defined (__VAX) && defined (VMS)
322   /* Apparently fread on Vax VMS does not keep the record length
323      information.  */
324   nread = read (fileno (f), buf, nbytes);
325   /* Set bfd_error if we did not read as much data as we expected.  If
326      the read failed due to an error set the bfd_error_system_call,
327      else set bfd_error_file_truncated.  */
328   if (nread == (file_ptr)-1)
329     {
330       bfd_set_error (bfd_error_system_call);
331       return nread;
332     }
333 #else
334   nread = fread (buf, 1, nbytes, f);
335   /* Set bfd_error if we did not read as much data as we expected.  If
336      the read failed due to an error set the bfd_error_system_call,
337      else set bfd_error_file_truncated.  */
338   if (nread < nbytes && ferror (f))
339     {
340       bfd_set_error (bfd_error_system_call);
341       return nread;
342     }
343 #endif
344   if (nread < nbytes)
345     /* This may or may not be an error, but in case the calling code
346        bails out because of it, set the right error code.  */
347     bfd_set_error (bfd_error_file_truncated);
348   return nread;
349 }
350
351 static file_ptr
352 cache_bread (struct bfd *abfd, void *buf, file_ptr nbytes)
353 {
354   file_ptr nread = 0;
355
356   /* Some filesystems are unable to handle reads that are too large
357      (for instance, NetApp shares with oplocks turned off).  To avoid
358      hitting this limitation, we read the buffer in chunks of 8MB max.  */
359   while (nread < nbytes)
360     {
361       const file_ptr max_chunk_size = 0x800000;
362       file_ptr chunk_size = nbytes - nread;
363       file_ptr chunk_nread;
364
365       if (chunk_size > max_chunk_size)
366         chunk_size = max_chunk_size;
367
368       chunk_nread = cache_bread_1 (abfd, (char *) buf + nread, chunk_size);
369
370       /* Update the nread count.
371
372          We just have to be careful of the case when cache_bread_1 returns
373          a negative count:  If this is our first read, then set nread to
374          that negative count in order to return that negative value to the
375          caller.  Otherwise, don't add it to our total count, or we would
376          end up returning a smaller number of bytes read than we actually
377          did.  */
378       if (nread == 0 || chunk_nread > 0)
379         nread += chunk_nread;
380
381       if (chunk_nread < chunk_size)
382         break;
383     }
384
385   return nread;
386 }
387
388 static file_ptr
389 cache_bwrite (struct bfd *abfd, const void *where, file_ptr nbytes)
390 {
391   file_ptr nwrite;
392   FILE *f = bfd_cache_lookup (abfd, CACHE_NORMAL);
393
394   if (f == NULL)
395     return 0;
396   nwrite = fwrite (where, 1, nbytes, f);
397   if (nwrite < nbytes && ferror (f))
398     {
399       bfd_set_error (bfd_error_system_call);
400       return -1;
401     }
402   return nwrite;
403 }
404
405 static int
406 cache_bclose (struct bfd *abfd)
407 {
408   return bfd_cache_close (abfd) - 1;
409 }
410
411 static int
412 cache_bflush (struct bfd *abfd)
413 {
414   int sts;
415   FILE *f = bfd_cache_lookup (abfd, CACHE_NO_OPEN);
416
417   if (f == NULL)
418     return 0;
419   sts = fflush (f);
420   if (sts < 0)
421     bfd_set_error (bfd_error_system_call);
422   return sts;
423 }
424
425 static int
426 cache_bstat (struct bfd *abfd, struct stat *sb)
427 {
428   int sts;
429   FILE *f = bfd_cache_lookup (abfd, CACHE_NO_SEEK_ERROR);
430
431   if (f == NULL)
432     return -1;
433   sts = fstat (fileno (f), sb);
434   if (sts < 0)
435     bfd_set_error (bfd_error_system_call);
436   return sts;
437 }
438
439 static void *
440 cache_bmmap (struct bfd *abfd ATTRIBUTE_UNUSED,
441              void *addr ATTRIBUTE_UNUSED,
442              bfd_size_type len ATTRIBUTE_UNUSED,
443              int prot ATTRIBUTE_UNUSED,
444              int flags ATTRIBUTE_UNUSED,
445              file_ptr offset ATTRIBUTE_UNUSED,
446              void **map_addr ATTRIBUTE_UNUSED,
447              bfd_size_type *map_len ATTRIBUTE_UNUSED)
448 {
449   void *ret = (void *) -1;
450
451   if ((abfd->flags & BFD_IN_MEMORY) != 0)
452     abort ();
453 #ifdef HAVE_MMAP
454   else
455     {
456       static uintptr_t pagesize_m1;
457       FILE *f;
458       file_ptr pg_offset;
459       bfd_size_type pg_len;
460
461       f = bfd_cache_lookup (abfd, CACHE_NO_SEEK_ERROR);
462       if (f == NULL)
463         return ret;
464
465       if (pagesize_m1 == 0)
466         pagesize_m1 = getpagesize () - 1;
467
468       /* Handle archive members.  */
469       if (abfd->my_archive != NULL)
470         offset += abfd->origin;
471
472       /* Align.  */
473       pg_offset = offset & ~pagesize_m1;
474       pg_len = (len + (offset - pg_offset) + pagesize_m1) & ~pagesize_m1;
475
476       ret = mmap (addr, pg_len, prot, flags, fileno (f), pg_offset);
477       if (ret == (void *) -1)
478         bfd_set_error (bfd_error_system_call);
479       else
480         {
481           *map_addr = ret;
482           *map_len = pg_len;
483           ret = (char *) ret + (offset & pagesize_m1);
484         }
485     }
486 #endif
487
488   return ret;
489 }
490
491 static const struct bfd_iovec cache_iovec =
492 {
493   &cache_bread, &cache_bwrite, &cache_btell, &cache_bseek,
494   &cache_bclose, &cache_bflush, &cache_bstat, &cache_bmmap
495 };
496
497 /*
498 INTERNAL_FUNCTION
499         bfd_cache_init
500
501 SYNOPSIS
502         bfd_boolean bfd_cache_init (bfd *abfd);
503
504 DESCRIPTION
505         Add a newly opened BFD to the cache.
506 */
507
508 bfd_boolean
509 bfd_cache_init (bfd *abfd)
510 {
511   BFD_ASSERT (abfd->iostream != NULL);
512   if (open_files >= bfd_cache_max_open ())
513     {
514       if (! close_one ())
515         return FALSE;
516     }
517   abfd->iovec = &cache_iovec;
518   insert (abfd);
519   ++open_files;
520   return TRUE;
521 }
522
523 /*
524 INTERNAL_FUNCTION
525         bfd_cache_close
526
527 SYNOPSIS
528         bfd_boolean bfd_cache_close (bfd *abfd);
529
530 DESCRIPTION
531         Remove the BFD @var{abfd} from the cache. If the attached file is open,
532         then close it too.
533
534 RETURNS
535         <<FALSE>> is returned if closing the file fails, <<TRUE>> is
536         returned if all is well.
537 */
538
539 bfd_boolean
540 bfd_cache_close (bfd *abfd)
541 {
542   if (abfd->iovec != &cache_iovec)
543     return TRUE;
544
545   if (abfd->iostream == NULL)
546     /* Previously closed.  */
547     return TRUE;
548
549   return bfd_cache_delete (abfd);
550 }
551
552 /*
553 FUNCTION
554         bfd_cache_close_all
555
556 SYNOPSIS
557         bfd_boolean bfd_cache_close_all (void);
558
559 DESCRIPTION
560         Remove all BFDs from the cache. If the attached file is open,
561         then close it too.
562
563 RETURNS
564         <<FALSE>> is returned if closing one of the file fails, <<TRUE>> is
565         returned if all is well.
566 */
567
568 bfd_boolean
569 bfd_cache_close_all ()
570 {
571   bfd_boolean ret = TRUE;
572
573   while (bfd_last_cache != NULL)
574     ret &= bfd_cache_close (bfd_last_cache);
575
576   return ret;
577 }
578
579 /*
580 INTERNAL_FUNCTION
581         bfd_open_file
582
583 SYNOPSIS
584         FILE* bfd_open_file (bfd *abfd);
585
586 DESCRIPTION
587         Call the OS to open a file for @var{abfd}.  Return the <<FILE *>>
588         (possibly <<NULL>>) that results from this operation.  Set up the
589         BFD so that future accesses know the file is open. If the <<FILE *>>
590         returned is <<NULL>>, then it won't have been put in the
591         cache, so it won't have to be removed from it.
592 */
593
594 FILE *
595 bfd_open_file (bfd *abfd)
596 {
597   abfd->cacheable = TRUE;       /* Allow it to be closed later.  */
598
599   if (open_files >= bfd_cache_max_open ())
600     {
601       if (! close_one ())
602         return NULL;
603     }
604
605   switch (abfd->direction)
606     {
607     case read_direction:
608     case no_direction:
609       abfd->iostream = real_fopen (abfd->filename, FOPEN_RB);
610       break;
611     case both_direction:
612     case write_direction:
613       if (abfd->opened_once)
614         {
615           abfd->iostream = real_fopen (abfd->filename, FOPEN_RUB);
616           if (abfd->iostream == NULL)
617             abfd->iostream = real_fopen (abfd->filename, FOPEN_WUB);
618         }
619       else
620         {
621           /* Create the file.
622
623              Some operating systems won't let us overwrite a running
624              binary.  For them, we want to unlink the file first.
625
626              However, gcc 2.95 will create temporary files using
627              O_EXCL and tight permissions to prevent other users from
628              substituting other .o files during the compilation.  gcc
629              will then tell the assembler to use the newly created
630              file as an output file.  If we unlink the file here, we
631              open a brief window when another user could still
632              substitute a file.
633
634              So we unlink the output file if and only if it has
635              non-zero size.  */
636 #ifndef __MSDOS__
637           /* Don't do this for MSDOS: it doesn't care about overwriting
638              a running binary, but if this file is already open by
639              another BFD, we will be in deep trouble if we delete an
640              open file.  In fact, objdump does just that if invoked with
641              the --info option.  */
642           struct stat s;
643
644           if (stat (abfd->filename, &s) == 0 && s.st_size != 0)
645             unlink_if_ordinary (abfd->filename);
646 #endif
647           abfd->iostream = real_fopen (abfd->filename, FOPEN_WUB);
648           abfd->opened_once = TRUE;
649         }
650       break;
651     }
652
653   if (abfd->iostream == NULL)
654     bfd_set_error (bfd_error_system_call);
655   else
656     {
657       if (! bfd_cache_init (abfd))
658         return NULL;
659     }
660
661   return (FILE *) abfd->iostream;
662 }