gold/descriptors.cc

   1 // descriptors.cc -- manage file descriptors for gold
   2
   3 // Copyright 2008, 2009 Free Software Foundation, Inc.
   4 // Written by Ian Lance Taylor <iant@google.com>.
   5
   6 // This file is part of gold.
   7
   8 // This program is free software; you can redistribute it and/or modify
   9 // it under the terms of the GNU General Public License as published by
  10 // the Free Software Foundation; either version 3 of the License, or
  11 // (at your option) any later version.
  12
  13 // This program is distributed in the hope that it will be useful,
  14 // but WITHOUT ANY WARRANTY; without even the implied warranty of
  15 // MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  16 // GNU General Public License for more details.
  17
  18 // You should have received a copy of the GNU General Public License
  19 // along with this program; if not, write to the Free Software
  20 // Foundation, Inc., 51 Franklin Street - Fifth Floor, Boston,
  21 // MA 02110-1301, USA.
  22
  23 #include "gold.h"
  24
  25 #include <cerrno>
  26 #include <cstring>
  27 #include <fcntl.h>
  28 #include <unistd.h>
  29
  30 #include "parameters.h"
  31 #include "options.h"
  32 #include "gold-threads.h"
  33 #include "descriptors.h"
  34
  35 // Very old systems may not define FD_CLOEXEC.
  36 #ifndef FD_CLOEXEC
  37 #define FD_CLOEXEC 1
  38 #endif
  39
  40 // O_CLOEXEC is only available on newer systems.
  41 #ifndef O_CLOEXEC
  42 #define O_CLOEXEC 0
  43 #endif
  44
  45 namespace gold
  46 {
  47
  48 // Class Descriptors.
  49
  50 // The default for limit_ is meant to simply be large.  It gets
  51 // adjusted downward if we run out of file descriptors.
  52
  53 Descriptors::Descriptors()
  54   : lock_(NULL), open_descriptors_(), stack_top_(-1), current_(0),
  55     limit_(8192 - 16)
  56 {
  57   this->open_descriptors_.reserve(128);
  58 }
  59
  60 // Open a file.
  61
  62 int
  63 Descriptors::open(int descriptor, const char* name, int flags, int mode)
  64 {
  65   // We don't initialize this until we are called, because we can't
  66   // initialize a Lock until we have parsed the options to find out
  67   // whether we are running with threads.  We can be called before
  68   // options are valid when reading a linker script.
  69   if (this->lock_ == NULL)
  70     {
  71       if (parameters->options_valid())
  72         this->lock_ = new Lock();
  73       else
  74         gold_assert(descriptor < 0);
  75     }
  76
  77   if (descriptor >= 0)
  78     {
  79       Hold_lock hl(*this->lock_);
  80
  81       gold_assert(static_cast<size_t>(descriptor)
  82                   < this->open_descriptors_.size());
  83       Open_descriptor* pod = &this->open_descriptors_[descriptor];
  84       if (pod->name == name
  85           || (pod->name != NULL && strcmp(pod->name, name) == 0))
  86         {
  87           gold_assert(!pod->inuse);
  88           pod->inuse = true;
  89           if (descriptor == this->stack_top_)
  90             {
  91               this->stack_top_ = pod->stack_next;
  92               pod->stack_next = -1;
  93               pod->is_on_stack = false;
  94             }
  95           return descriptor;
  96         }
  97     }
  98
  99   while (true)
 100     {
 101       // We always want to set the close-on-exec flag; we don't
 102       // require callers to pass it.
 103       flags |= O_CLOEXEC;
 104
 105       int new_descriptor = ::open(name, flags, mode);
 106       if (new_descriptor < 0
 107           && errno != ENFILE
 108           && errno != EMFILE)
 109         {
 110           if (descriptor >= 0 && errno == ENOENT)
 111             {
 112               {
 113                 Hold_lock hl(*this->lock_);
 114
 115                 gold_error(_("file %s was removed during the link"),
 116                            this->open_descriptors_[descriptor].name);
 117               }
 118
 119               errno = ENOENT;
 120             }
 121
 122           return new_descriptor;
 123         }
 124
 125       if (new_descriptor >= 0)
 126         {
 127           // If we have any plugins, we really do need to set the
 128           // close-on-exec flag, even if O_CLOEXEC is not defined.
 129           // FIXME: In some cases O_CLOEXEC may be defined in the
 130           // header file but not supported by the kernel.
 131           // Unfortunately there doesn't seem to be any obvious way to
 132           // detect that, as unknown flags passed to open are ignored.
 133           if (O_CLOEXEC == 0
 134               && parameters->options_valid()
 135               && parameters->options().has_plugins())
 136             fcntl(new_descriptor, F_SETFD, FD_CLOEXEC);
 137
 138           {
 139             Hold_optional_lock hl(this->lock_);
 140
 141             if (static_cast<size_t>(new_descriptor)
 142                 >= this->open_descriptors_.size())
 143               this->open_descriptors_.resize(new_descriptor + 64);
 144
 145             Open_descriptor* pod = &this->open_descriptors_[new_descriptor];
 146             pod->name = name;
 147             pod->stack_next = -1;
 148             pod->inuse = true;
 149             pod->is_write = (flags & O_ACCMODE) != O_RDONLY;
 150             pod->is_on_stack = false;
 151
 152             ++this->current_;
 153             if (this->current_ >= this->limit_)
 154               this->close_some_descriptor();
 155
 156             return new_descriptor;
 157           }
 158         }
 159
 160       // We ran out of file descriptors.
 161       {
 162         Hold_optional_lock hl(this->lock_);
 163
 164         this->limit_ = this->current_ - 16;
 165         if (this->limit_ < 8)
 166           this->limit_ = 8;
 167         if (!this->close_some_descriptor())
 168           gold_fatal(_("out of file descriptors and couldn't close any"));
 169       }
 170     }
 171 }
 172
 173 // Release a descriptor.
 174
 175 void
 176 Descriptors::release(int descriptor, bool permanent)
 177 {
 178   Hold_optional_lock hl(this->lock_);
 179
 180   gold_assert(descriptor >= 0
 181               && (static_cast<size_t>(descriptor)
 182                   < this->open_descriptors_.size()));
 183   Open_descriptor* pod = &this->open_descriptors_[descriptor];
 184
 185   if (permanent
 186       || (this->current_ > this->limit_ && !pod->is_write))
 187     {
 188       if (::close(descriptor) < 0)
 189         gold_warning(_("while closing %s: %s"), pod->name, strerror(errno));
 190       pod->name = NULL;
 191       --this->current_;
 192     }
 193   else
 194     {
 195       pod->inuse = false;
 196       if (!pod->is_write && !pod->is_on_stack)
 197         {
 198           pod->stack_next = this->stack_top_;
 199           this->stack_top_ = descriptor;
 200           pod->is_on_stack = true;
 201         }
 202     }
 203 }
 204
 205 // Close some descriptor.  The lock is held when this is called.  We
 206 // close the descriptor on the top of the free stack.  Note that this
 207 // is the opposite of an LRU algorithm--we close the most recently
 208 // used descriptor.  That is because the linker tends to cycle through
 209 // all the files; after we release a file, we are unlikely to need it
 210 // again until we have looked at all the other files.  Return true if
 211 // we closed a descriptor.
 212
 213 bool
 214 Descriptors::close_some_descriptor()
 215 {
 216   int last = -1;
 217   int i = this->stack_top_;
 218   while (i >= 0)
 219     {
 220       gold_assert(static_cast<size_t>(i) < this->open_descriptors_.size());
 221       Open_descriptor* pod = &this->open_descriptors_[i];
 222       if (!pod->inuse && !pod->is_write)
 223         {
 224           if (::close(i) < 0)
 225             gold_warning(_("while closing %s: %s"), pod->name, strerror(errno));
 226           --this->current_;
 227           pod->name = NULL;
 228           if (last < 0)
 229             this->stack_top_ = pod->stack_next;
 230           else
 231             this->open_descriptors_[last].stack_next = pod->stack_next;
 232           pod->stack_next = -1;
 233           pod->is_on_stack = false;
 234           return true;
 235         }
 236       last = i;
 237       i = pod->stack_next;
 238     }
 239
 240   // We couldn't find any descriptors to close.  This is weird but not
 241   // necessarily an error.
 242   return false;
 243 }
 244
 245 // The single global variable which manages descriptors.
 246
 247 Descriptors descriptors;
 248
 249 } // End namespace gold.