Remove most uses of ALL_OBJFILES
[external/binutils.git] / gdb / dwarf-index-write.c
1 /* DWARF index writing support for GDB.
2
3    Copyright (C) 1994-2019 Free Software Foundation, Inc.
4
5    This file is part of GDB.
6
7    This program is free software; you can redistribute it and/or modify
8    it under the terms of the GNU General Public License as published by
9    the Free Software Foundation; either version 3 of the License, or
10    (at your option) any later version.
11
12    This program is distributed in the hope that it will be useful,
13    but WITHOUT ANY WARRANTY; without even the implied warranty of
14    MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
15    GNU General Public License for more details.
16
17    You should have received a copy of the GNU General Public License
18    along with this program.  If not, see <http://www.gnu.org/licenses/>.  */
19
20 #include "defs.h"
21
22 #include "addrmap.h"
23 #include "cli/cli-decode.h"
24 #include "common/byte-vector.h"
25 #include "common/filestuff.h"
26 #include "common/gdb_unlinker.h"
27 #include "common/pathstuff.h"
28 #include "common/scoped_fd.h"
29 #include "complaints.h"
30 #include "dwarf-index-common.h"
31 #include "dwarf2.h"
32 #include "dwarf2read.h"
33 #include "gdb/gdb-index.h"
34 #include "gdbcmd.h"
35 #include "objfiles.h"
36 #include "psympriv.h"
37
38 #include <algorithm>
39 #include <cmath>
40 #include <set>
41 #include <unordered_map>
42 #include <unordered_set>
43
44 /* Ensure only legit values are used.  */
45 #define DW2_GDB_INDEX_SYMBOL_STATIC_SET_VALUE(cu_index, value) \
46   do { \
47     gdb_assert ((unsigned int) (value) <= 1); \
48     GDB_INDEX_SYMBOL_STATIC_SET_VALUE((cu_index), (value)); \
49   } while (0)
50
51 /* Ensure only legit values are used.  */
52 #define DW2_GDB_INDEX_SYMBOL_KIND_SET_VALUE(cu_index, value) \
53   do { \
54     gdb_assert ((value) >= GDB_INDEX_SYMBOL_KIND_TYPE \
55                 && (value) <= GDB_INDEX_SYMBOL_KIND_OTHER); \
56     GDB_INDEX_SYMBOL_KIND_SET_VALUE((cu_index), (value)); \
57   } while (0)
58
59 /* Ensure we don't use more than the alloted nuber of bits for the CU.  */
60 #define DW2_GDB_INDEX_CU_SET_VALUE(cu_index, value) \
61   do { \
62     gdb_assert (((value) & ~GDB_INDEX_CU_MASK) == 0); \
63     GDB_INDEX_CU_SET_VALUE((cu_index), (value)); \
64   } while (0)
65
66 /* The "save gdb-index" command.  */
67
68 /* Write SIZE bytes from the buffer pointed to by DATA to FILE, with
69    error checking.  */
70
71 static void
72 file_write (FILE *file, const void *data, size_t size)
73 {
74   if (fwrite (data, 1, size, file) != size)
75     error (_("couldn't data write to file"));
76 }
77
78 /* Write the contents of VEC to FILE, with error checking.  */
79
80 template<typename Elem, typename Alloc>
81 static void
82 file_write (FILE *file, const std::vector<Elem, Alloc> &vec)
83 {
84   if (!vec.empty ())
85     file_write (file, vec.data (), vec.size () * sizeof (vec[0]));
86 }
87
88 /* In-memory buffer to prepare data to be written later to a file.  */
89 class data_buf
90 {
91 public:
92   /* Copy DATA to the end of the buffer.  */
93   template<typename T>
94   void append_data (const T &data)
95   {
96     std::copy (reinterpret_cast<const gdb_byte *> (&data),
97                reinterpret_cast<const gdb_byte *> (&data + 1),
98                grow (sizeof (data)));
99   }
100
101   /* Copy CSTR (a zero-terminated string) to the end of buffer.  The
102      terminating zero is appended too.  */
103   void append_cstr0 (const char *cstr)
104   {
105     const size_t size = strlen (cstr) + 1;
106     std::copy (cstr, cstr + size, grow (size));
107   }
108
109   /* Store INPUT as ULEB128 to the end of buffer.  */
110   void append_unsigned_leb128 (ULONGEST input)
111   {
112     for (;;)
113       {
114         gdb_byte output = input & 0x7f;
115         input >>= 7;
116         if (input)
117           output |= 0x80;
118         append_data (output);
119         if (input == 0)
120           break;
121       }
122   }
123
124   /* Accept a host-format integer in VAL and append it to the buffer
125      as a target-format integer which is LEN bytes long.  */
126   void append_uint (size_t len, bfd_endian byte_order, ULONGEST val)
127   {
128     ::store_unsigned_integer (grow (len), len, byte_order, val);
129   }
130
131   /* Return the size of the buffer.  */
132   size_t size () const
133   {
134     return m_vec.size ();
135   }
136
137   /* Return true iff the buffer is empty.  */
138   bool empty () const
139   {
140     return m_vec.empty ();
141   }
142
143   /* Write the buffer to FILE.  */
144   void file_write (FILE *file) const
145   {
146     ::file_write (file, m_vec);
147   }
148
149 private:
150   /* Grow SIZE bytes at the end of the buffer.  Returns a pointer to
151      the start of the new block.  */
152   gdb_byte *grow (size_t size)
153   {
154     m_vec.resize (m_vec.size () + size);
155     return &*(m_vec.end () - size);
156   }
157
158   gdb::byte_vector m_vec;
159 };
160
161 /* An entry in the symbol table.  */
162 struct symtab_index_entry
163 {
164   /* The name of the symbol.  */
165   const char *name;
166   /* The offset of the name in the constant pool.  */
167   offset_type index_offset;
168   /* A sorted vector of the indices of all the CUs that hold an object
169      of this name.  */
170   std::vector<offset_type> cu_indices;
171 };
172
173 /* The symbol table.  This is a power-of-2-sized hash table.  */
174 struct mapped_symtab
175 {
176   mapped_symtab ()
177   {
178     data.resize (1024);
179   }
180
181   offset_type n_elements = 0;
182   std::vector<symtab_index_entry> data;
183 };
184
185 /* Find a slot in SYMTAB for the symbol NAME.  Returns a reference to
186    the slot.
187
188    Function is used only during write_hash_table so no index format backward
189    compatibility is needed.  */
190
191 static symtab_index_entry &
192 find_slot (struct mapped_symtab *symtab, const char *name)
193 {
194   offset_type index, step, hash = mapped_index_string_hash (INT_MAX, name);
195
196   index = hash & (symtab->data.size () - 1);
197   step = ((hash * 17) & (symtab->data.size () - 1)) | 1;
198
199   for (;;)
200     {
201       if (symtab->data[index].name == NULL
202           || strcmp (name, symtab->data[index].name) == 0)
203         return symtab->data[index];
204       index = (index + step) & (symtab->data.size () - 1);
205     }
206 }
207
208 /* Expand SYMTAB's hash table.  */
209
210 static void
211 hash_expand (struct mapped_symtab *symtab)
212 {
213   auto old_entries = std::move (symtab->data);
214
215   symtab->data.clear ();
216   symtab->data.resize (old_entries.size () * 2);
217
218   for (auto &it : old_entries)
219     if (it.name != NULL)
220       {
221         auto &ref = find_slot (symtab, it.name);
222         ref = std::move (it);
223       }
224 }
225
226 /* Add an entry to SYMTAB.  NAME is the name of the symbol.
227    CU_INDEX is the index of the CU in which the symbol appears.
228    IS_STATIC is one if the symbol is static, otherwise zero (global).  */
229
230 static void
231 add_index_entry (struct mapped_symtab *symtab, const char *name,
232                  int is_static, gdb_index_symbol_kind kind,
233                  offset_type cu_index)
234 {
235   offset_type cu_index_and_attrs;
236
237   ++symtab->n_elements;
238   if (4 * symtab->n_elements / 3 >= symtab->data.size ())
239     hash_expand (symtab);
240
241   symtab_index_entry &slot = find_slot (symtab, name);
242   if (slot.name == NULL)
243     {
244       slot.name = name;
245       /* index_offset is set later.  */
246     }
247
248   cu_index_and_attrs = 0;
249   DW2_GDB_INDEX_CU_SET_VALUE (cu_index_and_attrs, cu_index);
250   DW2_GDB_INDEX_SYMBOL_STATIC_SET_VALUE (cu_index_and_attrs, is_static);
251   DW2_GDB_INDEX_SYMBOL_KIND_SET_VALUE (cu_index_and_attrs, kind);
252
253   /* We don't want to record an index value twice as we want to avoid the
254      duplication.
255      We process all global symbols and then all static symbols
256      (which would allow us to avoid the duplication by only having to check
257      the last entry pushed), but a symbol could have multiple kinds in one CU.
258      To keep things simple we don't worry about the duplication here and
259      sort and uniqufy the list after we've processed all symbols.  */
260   slot.cu_indices.push_back (cu_index_and_attrs);
261 }
262
263 /* Sort and remove duplicates of all symbols' cu_indices lists.  */
264
265 static void
266 uniquify_cu_indices (struct mapped_symtab *symtab)
267 {
268   for (auto &entry : symtab->data)
269     {
270       if (entry.name != NULL && !entry.cu_indices.empty ())
271         {
272           auto &cu_indices = entry.cu_indices;
273           std::sort (cu_indices.begin (), cu_indices.end ());
274           auto from = std::unique (cu_indices.begin (), cu_indices.end ());
275           cu_indices.erase (from, cu_indices.end ());
276         }
277     }
278 }
279
280 /* A form of 'const char *' suitable for container keys.  Only the
281    pointer is stored.  The strings themselves are compared, not the
282    pointers.  */
283 class c_str_view
284 {
285 public:
286   c_str_view (const char *cstr)
287     : m_cstr (cstr)
288   {}
289
290   bool operator== (const c_str_view &other) const
291   {
292     return strcmp (m_cstr, other.m_cstr) == 0;
293   }
294
295   /* Return the underlying C string.  Note, the returned string is
296      only a reference with lifetime of this object.  */
297   const char *c_str () const
298   {
299     return m_cstr;
300   }
301
302 private:
303   friend class c_str_view_hasher;
304   const char *const m_cstr;
305 };
306
307 /* A std::unordered_map::hasher for c_str_view that uses the right
308    hash function for strings in a mapped index.  */
309 class c_str_view_hasher
310 {
311 public:
312   size_t operator () (const c_str_view &x) const
313   {
314     return mapped_index_string_hash (INT_MAX, x.m_cstr);
315   }
316 };
317
318 /* A std::unordered_map::hasher for std::vector<>.  */
319 template<typename T>
320 class vector_hasher
321 {
322 public:
323   size_t operator () (const std::vector<T> &key) const
324   {
325     return iterative_hash (key.data (),
326                            sizeof (key.front ()) * key.size (), 0);
327   }
328 };
329
330 /* Write the mapped hash table SYMTAB to the data buffer OUTPUT, with
331    constant pool entries going into the data buffer CPOOL.  */
332
333 static void
334 write_hash_table (mapped_symtab *symtab, data_buf &output, data_buf &cpool)
335 {
336   {
337     /* Elements are sorted vectors of the indices of all the CUs that
338        hold an object of this name.  */
339     std::unordered_map<std::vector<offset_type>, offset_type,
340                        vector_hasher<offset_type>>
341       symbol_hash_table;
342
343     /* We add all the index vectors to the constant pool first, to
344        ensure alignment is ok.  */
345     for (symtab_index_entry &entry : symtab->data)
346       {
347         if (entry.name == NULL)
348           continue;
349         gdb_assert (entry.index_offset == 0);
350
351         /* Finding before inserting is faster than always trying to
352            insert, because inserting always allocates a node, does the
353            lookup, and then destroys the new node if another node
354            already had the same key.  C++17 try_emplace will avoid
355            this.  */
356         const auto found
357           = symbol_hash_table.find (entry.cu_indices);
358         if (found != symbol_hash_table.end ())
359           {
360             entry.index_offset = found->second;
361             continue;
362           }
363
364         symbol_hash_table.emplace (entry.cu_indices, cpool.size ());
365         entry.index_offset = cpool.size ();
366         cpool.append_data (MAYBE_SWAP (entry.cu_indices.size ()));
367         for (const auto index : entry.cu_indices)
368           cpool.append_data (MAYBE_SWAP (index));
369       }
370   }
371
372   /* Now write out the hash table.  */
373   std::unordered_map<c_str_view, offset_type, c_str_view_hasher> str_table;
374   for (const auto &entry : symtab->data)
375     {
376       offset_type str_off, vec_off;
377
378       if (entry.name != NULL)
379         {
380           const auto insertpair = str_table.emplace (entry.name, cpool.size ());
381           if (insertpair.second)
382             cpool.append_cstr0 (entry.name);
383           str_off = insertpair.first->second;
384           vec_off = entry.index_offset;
385         }
386       else
387         {
388           /* While 0 is a valid constant pool index, it is not valid
389              to have 0 for both offsets.  */
390           str_off = 0;
391           vec_off = 0;
392         }
393
394       output.append_data (MAYBE_SWAP (str_off));
395       output.append_data (MAYBE_SWAP (vec_off));
396     }
397 }
398
399 typedef std::unordered_map<partial_symtab *, unsigned int> psym_index_map;
400
401 /* Helper struct for building the address table.  */
402 struct addrmap_index_data
403 {
404   addrmap_index_data (data_buf &addr_vec_, psym_index_map &cu_index_htab_)
405     : addr_vec (addr_vec_), cu_index_htab (cu_index_htab_)
406   {}
407
408   struct objfile *objfile;
409   data_buf &addr_vec;
410   psym_index_map &cu_index_htab;
411
412   /* Non-zero if the previous_* fields are valid.
413      We can't write an entry until we see the next entry (since it is only then
414      that we know the end of the entry).  */
415   int previous_valid;
416   /* Index of the CU in the table of all CUs in the index file.  */
417   unsigned int previous_cu_index;
418   /* Start address of the CU.  */
419   CORE_ADDR previous_cu_start;
420 };
421
422 /* Write an address entry to ADDR_VEC.  */
423
424 static void
425 add_address_entry (struct objfile *objfile, data_buf &addr_vec,
426                    CORE_ADDR start, CORE_ADDR end, unsigned int cu_index)
427 {
428   addr_vec.append_uint (8, BFD_ENDIAN_LITTLE, start);
429   addr_vec.append_uint (8, BFD_ENDIAN_LITTLE, end);
430   addr_vec.append_data (MAYBE_SWAP (cu_index));
431 }
432
433 /* Worker function for traversing an addrmap to build the address table.  */
434
435 static int
436 add_address_entry_worker (void *datap, CORE_ADDR start_addr, void *obj)
437 {
438   struct addrmap_index_data *data = (struct addrmap_index_data *) datap;
439   struct partial_symtab *pst = (struct partial_symtab *) obj;
440
441   if (data->previous_valid)
442     add_address_entry (data->objfile, data->addr_vec,
443                        data->previous_cu_start, start_addr,
444                        data->previous_cu_index);
445
446   data->previous_cu_start = start_addr;
447   if (pst != NULL)
448     {
449       const auto it = data->cu_index_htab.find (pst);
450       gdb_assert (it != data->cu_index_htab.cend ());
451       data->previous_cu_index = it->second;
452       data->previous_valid = 1;
453     }
454   else
455     data->previous_valid = 0;
456
457   return 0;
458 }
459
460 /* Write OBJFILE's address map to ADDR_VEC.
461    CU_INDEX_HTAB is used to map addrmap entries to their CU indices
462    in the index file.  */
463
464 static void
465 write_address_map (struct objfile *objfile, data_buf &addr_vec,
466                    psym_index_map &cu_index_htab)
467 {
468   struct addrmap_index_data addrmap_index_data (addr_vec, cu_index_htab);
469
470   /* When writing the address table, we have to cope with the fact that
471      the addrmap iterator only provides the start of a region; we have to
472      wait until the next invocation to get the start of the next region.  */
473
474   addrmap_index_data.objfile = objfile;
475   addrmap_index_data.previous_valid = 0;
476
477   addrmap_foreach (objfile->psymtabs_addrmap, add_address_entry_worker,
478                    &addrmap_index_data);
479
480   /* It's highly unlikely the last entry (end address = 0xff...ff)
481      is valid, but we should still handle it.
482      The end address is recorded as the start of the next region, but that
483      doesn't work here.  To cope we pass 0xff...ff, this is a rare situation
484      anyway.  */
485   if (addrmap_index_data.previous_valid)
486     add_address_entry (objfile, addr_vec,
487                        addrmap_index_data.previous_cu_start, (CORE_ADDR) -1,
488                        addrmap_index_data.previous_cu_index);
489 }
490
491 /* Return the symbol kind of PSYM.  */
492
493 static gdb_index_symbol_kind
494 symbol_kind (struct partial_symbol *psym)
495 {
496   domain_enum domain = psym->domain;
497   enum address_class aclass = psym->aclass;
498
499   switch (domain)
500     {
501     case VAR_DOMAIN:
502       switch (aclass)
503         {
504         case LOC_BLOCK:
505           return GDB_INDEX_SYMBOL_KIND_FUNCTION;
506         case LOC_TYPEDEF:
507           return GDB_INDEX_SYMBOL_KIND_TYPE;
508         case LOC_COMPUTED:
509         case LOC_CONST_BYTES:
510         case LOC_OPTIMIZED_OUT:
511         case LOC_STATIC:
512           return GDB_INDEX_SYMBOL_KIND_VARIABLE;
513         case LOC_CONST:
514           /* Note: It's currently impossible to recognize psyms as enum values
515              short of reading the type info.  For now punt.  */
516           return GDB_INDEX_SYMBOL_KIND_VARIABLE;
517         default:
518           /* There are other LOC_FOO values that one might want to classify
519              as variables, but dwarf2read.c doesn't currently use them.  */
520           return GDB_INDEX_SYMBOL_KIND_OTHER;
521         }
522     case STRUCT_DOMAIN:
523       return GDB_INDEX_SYMBOL_KIND_TYPE;
524     default:
525       return GDB_INDEX_SYMBOL_KIND_OTHER;
526     }
527 }
528
529 /* Add a list of partial symbols to SYMTAB.  */
530
531 static void
532 write_psymbols (struct mapped_symtab *symtab,
533                 std::unordered_set<partial_symbol *> &psyms_seen,
534                 struct partial_symbol **psymp,
535                 int count,
536                 offset_type cu_index,
537                 int is_static)
538 {
539   for (; count-- > 0; ++psymp)
540     {
541       struct partial_symbol *psym = *psymp;
542
543       if (psym->language == language_ada)
544         error (_("Ada is not currently supported by the index"));
545
546       /* Only add a given psymbol once.  */
547       if (psyms_seen.insert (psym).second)
548         {
549           gdb_index_symbol_kind kind = symbol_kind (psym);
550
551           add_index_entry (symtab, symbol_search_name (psym),
552                            is_static, kind, cu_index);
553         }
554     }
555 }
556
557 /* A helper struct used when iterating over debug_types.  */
558 struct signatured_type_index_data
559 {
560   signatured_type_index_data (data_buf &types_list_,
561                               std::unordered_set<partial_symbol *> &psyms_seen_)
562     : types_list (types_list_), psyms_seen (psyms_seen_)
563   {}
564
565   struct objfile *objfile;
566   struct mapped_symtab *symtab;
567   data_buf &types_list;
568   std::unordered_set<partial_symbol *> &psyms_seen;
569   int cu_index;
570 };
571
572 /* A helper function that writes a single signatured_type to an
573    obstack.  */
574
575 static int
576 write_one_signatured_type (void **slot, void *d)
577 {
578   struct signatured_type_index_data *info
579     = (struct signatured_type_index_data *) d;
580   struct signatured_type *entry = (struct signatured_type *) *slot;
581   struct partial_symtab *psymtab = entry->per_cu.v.psymtab;
582
583   write_psymbols (info->symtab,
584                   info->psyms_seen,
585                   (info->objfile->global_psymbols.data ()
586                    + psymtab->globals_offset),
587                   psymtab->n_global_syms, info->cu_index,
588                   0);
589   write_psymbols (info->symtab,
590                   info->psyms_seen,
591                   (info->objfile->static_psymbols.data ()
592                    + psymtab->statics_offset),
593                   psymtab->n_static_syms, info->cu_index,
594                   1);
595
596   info->types_list.append_uint (8, BFD_ENDIAN_LITTLE,
597                                 to_underlying (entry->per_cu.sect_off));
598   info->types_list.append_uint (8, BFD_ENDIAN_LITTLE,
599                                 to_underlying (entry->type_offset_in_tu));
600   info->types_list.append_uint (8, BFD_ENDIAN_LITTLE, entry->signature);
601
602   ++info->cu_index;
603
604   return 1;
605 }
606
607 /* Recurse into all "included" dependencies and count their symbols as
608    if they appeared in this psymtab.  */
609
610 static void
611 recursively_count_psymbols (struct partial_symtab *psymtab,
612                             size_t &psyms_seen)
613 {
614   for (int i = 0; i < psymtab->number_of_dependencies; ++i)
615     if (psymtab->dependencies[i]->user != NULL)
616       recursively_count_psymbols (psymtab->dependencies[i],
617                                   psyms_seen);
618
619   psyms_seen += psymtab->n_global_syms;
620   psyms_seen += psymtab->n_static_syms;
621 }
622
623 /* Recurse into all "included" dependencies and write their symbols as
624    if they appeared in this psymtab.  */
625
626 static void
627 recursively_write_psymbols (struct objfile *objfile,
628                             struct partial_symtab *psymtab,
629                             struct mapped_symtab *symtab,
630                             std::unordered_set<partial_symbol *> &psyms_seen,
631                             offset_type cu_index)
632 {
633   int i;
634
635   for (i = 0; i < psymtab->number_of_dependencies; ++i)
636     if (psymtab->dependencies[i]->user != NULL)
637       recursively_write_psymbols (objfile, psymtab->dependencies[i],
638                                   symtab, psyms_seen, cu_index);
639
640   write_psymbols (symtab,
641                   psyms_seen,
642                   objfile->global_psymbols.data () + psymtab->globals_offset,
643                   psymtab->n_global_syms, cu_index,
644                   0);
645   write_psymbols (symtab,
646                   psyms_seen,
647                   objfile->static_psymbols.data () + psymtab->statics_offset,
648                   psymtab->n_static_syms, cu_index,
649                   1);
650 }
651
652 /* DWARF-5 .debug_names builder.  */
653 class debug_names
654 {
655 public:
656   debug_names (struct dwarf2_per_objfile *dwarf2_per_objfile, bool is_dwarf64,
657                bfd_endian dwarf5_byte_order)
658     : m_dwarf5_byte_order (dwarf5_byte_order),
659       m_dwarf32 (dwarf5_byte_order),
660       m_dwarf64 (dwarf5_byte_order),
661       m_dwarf (is_dwarf64
662                ? static_cast<dwarf &> (m_dwarf64)
663                : static_cast<dwarf &> (m_dwarf32)),
664       m_name_table_string_offs (m_dwarf.name_table_string_offs),
665       m_name_table_entry_offs (m_dwarf.name_table_entry_offs),
666       m_debugstrlookup (dwarf2_per_objfile)
667   {}
668
669   int dwarf5_offset_size () const
670   {
671     const bool dwarf5_is_dwarf64 = &m_dwarf == &m_dwarf64;
672     return dwarf5_is_dwarf64 ? 8 : 4;
673   }
674
675   /* Is this symbol from DW_TAG_compile_unit or DW_TAG_type_unit?  */
676   enum class unit_kind { cu, tu };
677
678   /* Insert one symbol.  */
679   void insert (const partial_symbol *psym, int cu_index, bool is_static,
680                unit_kind kind)
681   {
682     const int dwarf_tag = psymbol_tag (psym);
683     if (dwarf_tag == 0)
684       return;
685     const char *const name = symbol_search_name (psym);
686     const auto insertpair
687       = m_name_to_value_set.emplace (c_str_view (name),
688                                      std::set<symbol_value> ());
689     std::set<symbol_value> &value_set = insertpair.first->second;
690     value_set.emplace (symbol_value (dwarf_tag, cu_index, is_static, kind));
691   }
692
693   /* Build all the tables.  All symbols must be already inserted.
694      This function does not call file_write, caller has to do it
695      afterwards.  */
696   void build ()
697   {
698     /* Verify the build method has not be called twice.  */
699     gdb_assert (m_abbrev_table.empty ());
700     const size_t name_count = m_name_to_value_set.size ();
701     m_bucket_table.resize
702       (std::pow (2, std::ceil (std::log2 (name_count * 4 / 3))));
703     m_hash_table.reserve (name_count);
704     m_name_table_string_offs.reserve (name_count);
705     m_name_table_entry_offs.reserve (name_count);
706
707     /* Map each hash of symbol to its name and value.  */
708     struct hash_it_pair
709     {
710       uint32_t hash;
711       decltype (m_name_to_value_set)::const_iterator it;
712     };
713     std::vector<std::forward_list<hash_it_pair>> bucket_hash;
714     bucket_hash.resize (m_bucket_table.size ());
715     for (decltype (m_name_to_value_set)::const_iterator it
716            = m_name_to_value_set.cbegin ();
717          it != m_name_to_value_set.cend ();
718          ++it)
719       {
720         const char *const name = it->first.c_str ();
721         const uint32_t hash = dwarf5_djb_hash (name);
722         hash_it_pair hashitpair;
723         hashitpair.hash = hash;
724         hashitpair.it = it;
725         auto &slot = bucket_hash[hash % bucket_hash.size()];
726         slot.push_front (std::move (hashitpair));
727       }
728     for (size_t bucket_ix = 0; bucket_ix < bucket_hash.size (); ++bucket_ix)
729       {
730         const std::forward_list<hash_it_pair> &hashitlist
731           = bucket_hash[bucket_ix];
732         if (hashitlist.empty ())
733           continue;
734         uint32_t &bucket_slot = m_bucket_table[bucket_ix];
735         /* The hashes array is indexed starting at 1.  */
736         store_unsigned_integer (reinterpret_cast<gdb_byte *> (&bucket_slot),
737                                 sizeof (bucket_slot), m_dwarf5_byte_order,
738                                 m_hash_table.size () + 1);
739         for (const hash_it_pair &hashitpair : hashitlist)
740           {
741             m_hash_table.push_back (0);
742             store_unsigned_integer (reinterpret_cast<gdb_byte *>
743                                                         (&m_hash_table.back ()),
744                                     sizeof (m_hash_table.back ()),
745                                     m_dwarf5_byte_order, hashitpair.hash);
746             const c_str_view &name = hashitpair.it->first;
747             const std::set<symbol_value> &value_set = hashitpair.it->second;
748             m_name_table_string_offs.push_back_reorder
749               (m_debugstrlookup.lookup (name.c_str ()));
750             m_name_table_entry_offs.push_back_reorder (m_entry_pool.size ());
751             gdb_assert (!value_set.empty ());
752             for (const symbol_value &value : value_set)
753               {
754                 int &idx = m_indexkey_to_idx[index_key (value.dwarf_tag,
755                                                         value.is_static,
756                                                         value.kind)];
757                 if (idx == 0)
758                   {
759                     idx = m_idx_next++;
760                     m_abbrev_table.append_unsigned_leb128 (idx);
761                     m_abbrev_table.append_unsigned_leb128 (value.dwarf_tag);
762                     m_abbrev_table.append_unsigned_leb128
763                               (value.kind == unit_kind::cu ? DW_IDX_compile_unit
764                                                            : DW_IDX_type_unit);
765                     m_abbrev_table.append_unsigned_leb128 (DW_FORM_udata);
766                     m_abbrev_table.append_unsigned_leb128 (value.is_static
767                                                            ? DW_IDX_GNU_internal
768                                                            : DW_IDX_GNU_external);
769                     m_abbrev_table.append_unsigned_leb128 (DW_FORM_flag_present);
770
771                     /* Terminate attributes list.  */
772                     m_abbrev_table.append_unsigned_leb128 (0);
773                     m_abbrev_table.append_unsigned_leb128 (0);
774                   }
775
776                 m_entry_pool.append_unsigned_leb128 (idx);
777                 m_entry_pool.append_unsigned_leb128 (value.cu_index);
778               }
779
780             /* Terminate the list of CUs.  */
781             m_entry_pool.append_unsigned_leb128 (0);
782           }
783       }
784     gdb_assert (m_hash_table.size () == name_count);
785
786     /* Terminate tags list.  */
787     m_abbrev_table.append_unsigned_leb128 (0);
788   }
789
790   /* Return .debug_names bucket count.  This must be called only after
791      calling the build method.  */
792   uint32_t bucket_count () const
793   {
794     /* Verify the build method has been already called.  */
795     gdb_assert (!m_abbrev_table.empty ());
796     const uint32_t retval = m_bucket_table.size ();
797
798     /* Check for overflow.  */
799     gdb_assert (retval == m_bucket_table.size ());
800     return retval;
801   }
802
803   /* Return .debug_names names count.  This must be called only after
804      calling the build method.  */
805   uint32_t name_count () const
806   {
807     /* Verify the build method has been already called.  */
808     gdb_assert (!m_abbrev_table.empty ());
809     const uint32_t retval = m_hash_table.size ();
810
811     /* Check for overflow.  */
812     gdb_assert (retval == m_hash_table.size ());
813     return retval;
814   }
815
816   /* Return number of bytes of .debug_names abbreviation table.  This
817      must be called only after calling the build method.  */
818   uint32_t abbrev_table_bytes () const
819   {
820     gdb_assert (!m_abbrev_table.empty ());
821     return m_abbrev_table.size ();
822   }
823
824   /* Recurse into all "included" dependencies and store their symbols
825      as if they appeared in this psymtab.  */
826   void recursively_write_psymbols
827     (struct objfile *objfile,
828      struct partial_symtab *psymtab,
829      std::unordered_set<partial_symbol *> &psyms_seen,
830      int cu_index)
831   {
832     for (int i = 0; i < psymtab->number_of_dependencies; ++i)
833       if (psymtab->dependencies[i]->user != NULL)
834         recursively_write_psymbols (objfile, psymtab->dependencies[i],
835                                     psyms_seen, cu_index);
836
837     write_psymbols (psyms_seen,
838                     objfile->global_psymbols.data () + psymtab->globals_offset,
839                     psymtab->n_global_syms, cu_index, false, unit_kind::cu);
840     write_psymbols (psyms_seen,
841                     objfile->static_psymbols.data () + psymtab->statics_offset,
842                     psymtab->n_static_syms, cu_index, true, unit_kind::cu);
843   }
844
845   /* Return number of bytes the .debug_names section will have.  This
846      must be called only after calling the build method.  */
847   size_t bytes () const
848   {
849     /* Verify the build method has been already called.  */
850     gdb_assert (!m_abbrev_table.empty ());
851     size_t expected_bytes = 0;
852     expected_bytes += m_bucket_table.size () * sizeof (m_bucket_table[0]);
853     expected_bytes += m_hash_table.size () * sizeof (m_hash_table[0]);
854     expected_bytes += m_name_table_string_offs.bytes ();
855     expected_bytes += m_name_table_entry_offs.bytes ();
856     expected_bytes += m_abbrev_table.size ();
857     expected_bytes += m_entry_pool.size ();
858     return expected_bytes;
859   }
860
861   /* Write .debug_names to FILE_NAMES and .debug_str addition to
862      FILE_STR.  This must be called only after calling the build
863      method.  */
864   void file_write (FILE *file_names, FILE *file_str) const
865   {
866     /* Verify the build method has been already called.  */
867     gdb_assert (!m_abbrev_table.empty ());
868     ::file_write (file_names, m_bucket_table);
869     ::file_write (file_names, m_hash_table);
870     m_name_table_string_offs.file_write (file_names);
871     m_name_table_entry_offs.file_write (file_names);
872     m_abbrev_table.file_write (file_names);
873     m_entry_pool.file_write (file_names);
874     m_debugstrlookup.file_write (file_str);
875   }
876
877   /* A helper user data for write_one_signatured_type.  */
878   class write_one_signatured_type_data
879   {
880   public:
881     write_one_signatured_type_data (debug_names &nametable_,
882                                     signatured_type_index_data &&info_)
883     : nametable (nametable_), info (std::move (info_))
884     {}
885     debug_names &nametable;
886     struct signatured_type_index_data info;
887   };
888
889   /* A helper function to pass write_one_signatured_type to
890      htab_traverse_noresize.  */
891   static int
892   write_one_signatured_type (void **slot, void *d)
893   {
894     write_one_signatured_type_data *data = (write_one_signatured_type_data *) d;
895     struct signatured_type_index_data *info = &data->info;
896     struct signatured_type *entry = (struct signatured_type *) *slot;
897
898     data->nametable.write_one_signatured_type (entry, info);
899
900     return 1;
901   }
902
903 private:
904
905   /* Storage for symbol names mapping them to their .debug_str section
906      offsets.  */
907   class debug_str_lookup
908   {
909   public:
910
911     /* Object costructor to be called for current DWARF2_PER_OBJFILE.
912        All .debug_str section strings are automatically stored.  */
913     debug_str_lookup (struct dwarf2_per_objfile *dwarf2_per_objfile)
914       : m_abfd (dwarf2_per_objfile->objfile->obfd),
915         m_dwarf2_per_objfile (dwarf2_per_objfile)
916     {
917       dwarf2_read_section (dwarf2_per_objfile->objfile,
918                            &dwarf2_per_objfile->str);
919       if (dwarf2_per_objfile->str.buffer == NULL)
920         return;
921       for (const gdb_byte *data = dwarf2_per_objfile->str.buffer;
922            data < (dwarf2_per_objfile->str.buffer
923                    + dwarf2_per_objfile->str.size);)
924         {
925           const char *const s = reinterpret_cast<const char *> (data);
926           const auto insertpair
927             = m_str_table.emplace (c_str_view (s),
928                                    data - dwarf2_per_objfile->str.buffer);
929           if (!insertpair.second)
930             complaint (_("Duplicate string \"%s\" in "
931                          ".debug_str section [in module %s]"),
932                        s, bfd_get_filename (m_abfd));
933           data += strlen (s) + 1;
934         }
935     }
936
937     /* Return offset of symbol name S in the .debug_str section.  Add
938        such symbol to the section's end if it does not exist there
939        yet.  */
940     size_t lookup (const char *s)
941     {
942       const auto it = m_str_table.find (c_str_view (s));
943       if (it != m_str_table.end ())
944         return it->second;
945       const size_t offset = (m_dwarf2_per_objfile->str.size
946                              + m_str_add_buf.size ());
947       m_str_table.emplace (c_str_view (s), offset);
948       m_str_add_buf.append_cstr0 (s);
949       return offset;
950     }
951
952     /* Append the end of the .debug_str section to FILE.  */
953     void file_write (FILE *file) const
954     {
955       m_str_add_buf.file_write (file);
956     }
957
958   private:
959     std::unordered_map<c_str_view, size_t, c_str_view_hasher> m_str_table;
960     bfd *const m_abfd;
961     struct dwarf2_per_objfile *m_dwarf2_per_objfile;
962
963     /* Data to add at the end of .debug_str for new needed symbol names.  */
964     data_buf m_str_add_buf;
965   };
966
967   /* Container to map used DWARF tags to their .debug_names abbreviation
968      tags.  */
969   class index_key
970   {
971   public:
972     index_key (int dwarf_tag_, bool is_static_, unit_kind kind_)
973       : dwarf_tag (dwarf_tag_), is_static (is_static_), kind (kind_)
974     {
975     }
976
977     bool
978     operator== (const index_key &other) const
979     {
980       return (dwarf_tag == other.dwarf_tag && is_static == other.is_static
981               && kind == other.kind);
982     }
983
984     const int dwarf_tag;
985     const bool is_static;
986     const unit_kind kind;
987   };
988
989   /* Provide std::unordered_map::hasher for index_key.  */
990   class index_key_hasher
991   {
992   public:
993     size_t
994     operator () (const index_key &key) const
995     {
996       return (std::hash<int>() (key.dwarf_tag) << 1) | key.is_static;
997     }
998   };
999
1000   /* Parameters of one symbol entry.  */
1001   class symbol_value
1002   {
1003   public:
1004     const int dwarf_tag, cu_index;
1005     const bool is_static;
1006     const unit_kind kind;
1007
1008     symbol_value (int dwarf_tag_, int cu_index_, bool is_static_,
1009                   unit_kind kind_)
1010       : dwarf_tag (dwarf_tag_), cu_index (cu_index_), is_static (is_static_),
1011         kind (kind_)
1012     {}
1013
1014     bool
1015     operator< (const symbol_value &other) const
1016     {
1017 #define X(n) \
1018   do \
1019     { \
1020       if (n < other.n) \
1021         return true; \
1022       if (n > other.n) \
1023         return false; \
1024     } \
1025   while (0)
1026       X (dwarf_tag);
1027       X (is_static);
1028       X (kind);
1029       X (cu_index);
1030 #undef X
1031       return false;
1032     }
1033   };
1034
1035   /* Abstract base class to unify DWARF-32 and DWARF-64 name table
1036      output.  */
1037   class offset_vec
1038   {
1039   protected:
1040     const bfd_endian dwarf5_byte_order;
1041   public:
1042     explicit offset_vec (bfd_endian dwarf5_byte_order_)
1043       : dwarf5_byte_order (dwarf5_byte_order_)
1044     {}
1045
1046     /* Call std::vector::reserve for NELEM elements.  */
1047     virtual void reserve (size_t nelem) = 0;
1048
1049     /* Call std::vector::push_back with store_unsigned_integer byte
1050        reordering for ELEM.  */
1051     virtual void push_back_reorder (size_t elem) = 0;
1052
1053     /* Return expected output size in bytes.  */
1054     virtual size_t bytes () const = 0;
1055
1056     /* Write name table to FILE.  */
1057     virtual void file_write (FILE *file) const = 0;
1058   };
1059
1060   /* Template to unify DWARF-32 and DWARF-64 output.  */
1061   template<typename OffsetSize>
1062   class offset_vec_tmpl : public offset_vec
1063   {
1064   public:
1065     explicit offset_vec_tmpl (bfd_endian dwarf5_byte_order_)
1066       : offset_vec (dwarf5_byte_order_)
1067     {}
1068
1069     /* Implement offset_vec::reserve.  */
1070     void reserve (size_t nelem) override
1071     {
1072       m_vec.reserve (nelem);
1073     }
1074
1075     /* Implement offset_vec::push_back_reorder.  */
1076     void push_back_reorder (size_t elem) override
1077     {
1078       m_vec.push_back (elem);
1079       /* Check for overflow.  */
1080       gdb_assert (m_vec.back () == elem);
1081       store_unsigned_integer (reinterpret_cast<gdb_byte *> (&m_vec.back ()),
1082                               sizeof (m_vec.back ()), dwarf5_byte_order, elem);
1083     }
1084
1085     /* Implement offset_vec::bytes.  */
1086     size_t bytes () const override
1087     {
1088       return m_vec.size () * sizeof (m_vec[0]);
1089     }
1090
1091     /* Implement offset_vec::file_write.  */
1092     void file_write (FILE *file) const override
1093     {
1094       ::file_write (file, m_vec);
1095     }
1096
1097   private:
1098     std::vector<OffsetSize> m_vec;
1099   };
1100
1101   /* Base class to unify DWARF-32 and DWARF-64 .debug_names output
1102      respecting name table width.  */
1103   class dwarf
1104   {
1105   public:
1106     offset_vec &name_table_string_offs, &name_table_entry_offs;
1107
1108     dwarf (offset_vec &name_table_string_offs_,
1109            offset_vec &name_table_entry_offs_)
1110       : name_table_string_offs (name_table_string_offs_),
1111         name_table_entry_offs (name_table_entry_offs_)
1112     {
1113     }
1114   };
1115
1116   /* Template to unify DWARF-32 and DWARF-64 .debug_names output
1117      respecting name table width.  */
1118   template<typename OffsetSize>
1119   class dwarf_tmpl : public dwarf
1120   {
1121   public:
1122     explicit dwarf_tmpl (bfd_endian dwarf5_byte_order_)
1123       : dwarf (m_name_table_string_offs, m_name_table_entry_offs),
1124         m_name_table_string_offs (dwarf5_byte_order_),
1125         m_name_table_entry_offs (dwarf5_byte_order_)
1126     {}
1127
1128   private:
1129     offset_vec_tmpl<OffsetSize> m_name_table_string_offs;
1130     offset_vec_tmpl<OffsetSize> m_name_table_entry_offs;
1131   };
1132
1133   /* Try to reconstruct original DWARF tag for given partial_symbol.
1134      This function is not DWARF-5 compliant but it is sufficient for
1135      GDB as a DWARF-5 index consumer.  */
1136   static int psymbol_tag (const struct partial_symbol *psym)
1137   {
1138     domain_enum domain = psym->domain;
1139     enum address_class aclass = psym->aclass;
1140
1141     switch (domain)
1142       {
1143       case VAR_DOMAIN:
1144         switch (aclass)
1145           {
1146           case LOC_BLOCK:
1147             return DW_TAG_subprogram;
1148           case LOC_TYPEDEF:
1149             return DW_TAG_typedef;
1150           case LOC_COMPUTED:
1151           case LOC_CONST_BYTES:
1152           case LOC_OPTIMIZED_OUT:
1153           case LOC_STATIC:
1154             return DW_TAG_variable;
1155           case LOC_CONST:
1156             /* Note: It's currently impossible to recognize psyms as enum values
1157                short of reading the type info.  For now punt.  */
1158             return DW_TAG_variable;
1159           default:
1160             /* There are other LOC_FOO values that one might want to classify
1161                as variables, but dwarf2read.c doesn't currently use them.  */
1162             return DW_TAG_variable;
1163           }
1164       case STRUCT_DOMAIN:
1165         return DW_TAG_structure_type;
1166       default:
1167         return 0;
1168       }
1169   }
1170
1171   /* Call insert for all partial symbols and mark them in PSYMS_SEEN.  */
1172   void write_psymbols (std::unordered_set<partial_symbol *> &psyms_seen,
1173                        struct partial_symbol **psymp, int count, int cu_index,
1174                        bool is_static, unit_kind kind)
1175   {
1176     for (; count-- > 0; ++psymp)
1177       {
1178         struct partial_symbol *psym = *psymp;
1179
1180         if (psym->language == language_ada)
1181           error (_("Ada is not currently supported by the index"));
1182
1183         /* Only add a given psymbol once.  */
1184         if (psyms_seen.insert (psym).second)
1185           insert (psym, cu_index, is_static, kind);
1186       }
1187   }
1188
1189   /* A helper function that writes a single signatured_type
1190      to a debug_names.  */
1191   void
1192   write_one_signatured_type (struct signatured_type *entry,
1193                              struct signatured_type_index_data *info)
1194   {
1195     struct partial_symtab *psymtab = entry->per_cu.v.psymtab;
1196
1197     write_psymbols (info->psyms_seen,
1198                     (info->objfile->global_psymbols.data ()
1199                      + psymtab->globals_offset),
1200                     psymtab->n_global_syms, info->cu_index, false,
1201                     unit_kind::tu);
1202     write_psymbols (info->psyms_seen,
1203                     (info->objfile->static_psymbols.data ()
1204                      + psymtab->statics_offset),
1205                     psymtab->n_static_syms, info->cu_index, true,
1206                     unit_kind::tu);
1207
1208     info->types_list.append_uint (dwarf5_offset_size (), m_dwarf5_byte_order,
1209                                   to_underlying (entry->per_cu.sect_off));
1210
1211     ++info->cu_index;
1212   }
1213
1214   /* Store value of each symbol.  */
1215   std::unordered_map<c_str_view, std::set<symbol_value>, c_str_view_hasher>
1216     m_name_to_value_set;
1217
1218   /* Tables of DWARF-5 .debug_names.  They are in object file byte
1219      order.  */
1220   std::vector<uint32_t> m_bucket_table;
1221   std::vector<uint32_t> m_hash_table;
1222
1223   const bfd_endian m_dwarf5_byte_order;
1224   dwarf_tmpl<uint32_t> m_dwarf32;
1225   dwarf_tmpl<uint64_t> m_dwarf64;
1226   dwarf &m_dwarf;
1227   offset_vec &m_name_table_string_offs, &m_name_table_entry_offs;
1228   debug_str_lookup m_debugstrlookup;
1229
1230   /* Map each used .debug_names abbreviation tag parameter to its
1231      index value.  */
1232   std::unordered_map<index_key, int, index_key_hasher> m_indexkey_to_idx;
1233
1234   /* Next unused .debug_names abbreviation tag for
1235      m_indexkey_to_idx.  */
1236   int m_idx_next = 1;
1237
1238   /* .debug_names abbreviation table.  */
1239   data_buf m_abbrev_table;
1240
1241   /* .debug_names entry pool.  */
1242   data_buf m_entry_pool;
1243 };
1244
1245 /* Return iff any of the needed offsets does not fit into 32-bit
1246    .debug_names section.  */
1247
1248 static bool
1249 check_dwarf64_offsets (struct dwarf2_per_objfile *dwarf2_per_objfile)
1250 {
1251   for (dwarf2_per_cu_data *per_cu : dwarf2_per_objfile->all_comp_units)
1252     {
1253       if (to_underlying (per_cu->sect_off) >= (static_cast<uint64_t> (1) << 32))
1254         return true;
1255     }
1256   for (const signatured_type *sigtype : dwarf2_per_objfile->all_type_units)
1257     {
1258       const dwarf2_per_cu_data &per_cu = sigtype->per_cu;
1259
1260       if (to_underlying (per_cu.sect_off) >= (static_cast<uint64_t> (1) << 32))
1261         return true;
1262     }
1263   return false;
1264 }
1265
1266 /* The psyms_seen set is potentially going to be largish (~40k
1267    elements when indexing a -g3 build of GDB itself).  Estimate the
1268    number of elements in order to avoid too many rehashes, which
1269    require rebuilding buckets and thus many trips to
1270    malloc/free.  */
1271
1272 static size_t
1273 psyms_seen_size (struct dwarf2_per_objfile *dwarf2_per_objfile)
1274 {
1275   size_t psyms_count = 0;
1276   for (dwarf2_per_cu_data *per_cu : dwarf2_per_objfile->all_comp_units)
1277     {
1278       struct partial_symtab *psymtab = per_cu->v.psymtab;
1279
1280       if (psymtab != NULL && psymtab->user == NULL)
1281         recursively_count_psymbols (psymtab, psyms_count);
1282     }
1283   /* Generating an index for gdb itself shows a ratio of
1284      TOTAL_SEEN_SYMS/UNIQUE_SYMS or ~5.  4 seems like a good bet.  */
1285   return psyms_count / 4;
1286 }
1287
1288 /* Write new .gdb_index section for OBJFILE into OUT_FILE.
1289    Return how many bytes were expected to be written into OUT_FILE.  */
1290
1291 static size_t
1292 write_gdbindex (struct dwarf2_per_objfile *dwarf2_per_objfile, FILE *out_file)
1293 {
1294   struct objfile *objfile = dwarf2_per_objfile->objfile;
1295   mapped_symtab symtab;
1296   data_buf cu_list;
1297
1298   /* While we're scanning CU's create a table that maps a psymtab pointer
1299      (which is what addrmap records) to its index (which is what is recorded
1300      in the index file).  This will later be needed to write the address
1301      table.  */
1302   psym_index_map cu_index_htab;
1303   cu_index_htab.reserve (dwarf2_per_objfile->all_comp_units.size ());
1304
1305   /* The CU list is already sorted, so we don't need to do additional
1306      work here.  Also, the debug_types entries do not appear in
1307      all_comp_units, but only in their own hash table.  */
1308
1309   std::unordered_set<partial_symbol *> psyms_seen
1310     (psyms_seen_size (dwarf2_per_objfile));
1311   for (int i = 0; i < dwarf2_per_objfile->all_comp_units.size (); ++i)
1312     {
1313       struct dwarf2_per_cu_data *per_cu
1314         = dwarf2_per_objfile->all_comp_units[i];
1315       struct partial_symtab *psymtab = per_cu->v.psymtab;
1316
1317       /* CU of a shared file from 'dwz -m' may be unused by this main file.
1318          It may be referenced from a local scope but in such case it does not
1319          need to be present in .gdb_index.  */
1320       if (psymtab == NULL)
1321         continue;
1322
1323       if (psymtab->user == NULL)
1324         recursively_write_psymbols (objfile, psymtab, &symtab,
1325                                     psyms_seen, i);
1326
1327       const auto insertpair = cu_index_htab.emplace (psymtab, i);
1328       gdb_assert (insertpair.second);
1329
1330       cu_list.append_uint (8, BFD_ENDIAN_LITTLE,
1331                            to_underlying (per_cu->sect_off));
1332       cu_list.append_uint (8, BFD_ENDIAN_LITTLE, per_cu->length);
1333     }
1334
1335   /* Dump the address map.  */
1336   data_buf addr_vec;
1337   write_address_map (objfile, addr_vec, cu_index_htab);
1338
1339   /* Write out the .debug_type entries, if any.  */
1340   data_buf types_cu_list;
1341   if (dwarf2_per_objfile->signatured_types)
1342     {
1343       signatured_type_index_data sig_data (types_cu_list,
1344                                            psyms_seen);
1345
1346       sig_data.objfile = objfile;
1347       sig_data.symtab = &symtab;
1348       sig_data.cu_index = dwarf2_per_objfile->all_comp_units.size ();
1349       htab_traverse_noresize (dwarf2_per_objfile->signatured_types,
1350                               write_one_signatured_type, &sig_data);
1351     }
1352
1353   /* Now that we've processed all symbols we can shrink their cu_indices
1354      lists.  */
1355   uniquify_cu_indices (&symtab);
1356
1357   data_buf symtab_vec, constant_pool;
1358   write_hash_table (&symtab, symtab_vec, constant_pool);
1359
1360   data_buf contents;
1361   const offset_type size_of_contents = 6 * sizeof (offset_type);
1362   offset_type total_len = size_of_contents;
1363
1364   /* The version number.  */
1365   contents.append_data (MAYBE_SWAP (8));
1366
1367   /* The offset of the CU list from the start of the file.  */
1368   contents.append_data (MAYBE_SWAP (total_len));
1369   total_len += cu_list.size ();
1370
1371   /* The offset of the types CU list from the start of the file.  */
1372   contents.append_data (MAYBE_SWAP (total_len));
1373   total_len += types_cu_list.size ();
1374
1375   /* The offset of the address table from the start of the file.  */
1376   contents.append_data (MAYBE_SWAP (total_len));
1377   total_len += addr_vec.size ();
1378
1379   /* The offset of the symbol table from the start of the file.  */
1380   contents.append_data (MAYBE_SWAP (total_len));
1381   total_len += symtab_vec.size ();
1382
1383   /* The offset of the constant pool from the start of the file.  */
1384   contents.append_data (MAYBE_SWAP (total_len));
1385   total_len += constant_pool.size ();
1386
1387   gdb_assert (contents.size () == size_of_contents);
1388
1389   contents.file_write (out_file);
1390   cu_list.file_write (out_file);
1391   types_cu_list.file_write (out_file);
1392   addr_vec.file_write (out_file);
1393   symtab_vec.file_write (out_file);
1394   constant_pool.file_write (out_file);
1395
1396   return total_len;
1397 }
1398
1399 /* DWARF-5 augmentation string for GDB's DW_IDX_GNU_* extension.  */
1400 static const gdb_byte dwarf5_gdb_augmentation[] = { 'G', 'D', 'B', 0 };
1401
1402 /* Write a new .debug_names section for OBJFILE into OUT_FILE, write
1403    needed addition to .debug_str section to OUT_FILE_STR.  Return how
1404    many bytes were expected to be written into OUT_FILE.  */
1405
1406 static size_t
1407 write_debug_names (struct dwarf2_per_objfile *dwarf2_per_objfile,
1408                    FILE *out_file, FILE *out_file_str)
1409 {
1410   const bool dwarf5_is_dwarf64 = check_dwarf64_offsets (dwarf2_per_objfile);
1411   struct objfile *objfile = dwarf2_per_objfile->objfile;
1412   const enum bfd_endian dwarf5_byte_order
1413     = gdbarch_byte_order (get_objfile_arch (objfile));
1414
1415   /* The CU list is already sorted, so we don't need to do additional
1416      work here.  Also, the debug_types entries do not appear in
1417      all_comp_units, but only in their own hash table.  */
1418   data_buf cu_list;
1419   debug_names nametable (dwarf2_per_objfile, dwarf5_is_dwarf64,
1420                          dwarf5_byte_order);
1421   std::unordered_set<partial_symbol *>
1422     psyms_seen (psyms_seen_size (dwarf2_per_objfile));
1423   for (int i = 0; i < dwarf2_per_objfile->all_comp_units.size (); ++i)
1424     {
1425       const dwarf2_per_cu_data *per_cu = dwarf2_per_objfile->all_comp_units[i];
1426       partial_symtab *psymtab = per_cu->v.psymtab;
1427
1428       /* CU of a shared file from 'dwz -m' may be unused by this main
1429          file.  It may be referenced from a local scope but in such
1430          case it does not need to be present in .debug_names.  */
1431       if (psymtab == NULL)
1432         continue;
1433
1434       if (psymtab->user == NULL)
1435         nametable.recursively_write_psymbols (objfile, psymtab, psyms_seen, i);
1436
1437       cu_list.append_uint (nametable.dwarf5_offset_size (), dwarf5_byte_order,
1438                            to_underlying (per_cu->sect_off));
1439     }
1440
1441   /* Write out the .debug_type entries, if any.  */
1442   data_buf types_cu_list;
1443   if (dwarf2_per_objfile->signatured_types)
1444     {
1445       debug_names::write_one_signatured_type_data sig_data (nametable,
1446                         signatured_type_index_data (types_cu_list, psyms_seen));
1447
1448       sig_data.info.objfile = objfile;
1449       /* It is used only for gdb_index.  */
1450       sig_data.info.symtab = nullptr;
1451       sig_data.info.cu_index = 0;
1452       htab_traverse_noresize (dwarf2_per_objfile->signatured_types,
1453                               debug_names::write_one_signatured_type,
1454                               &sig_data);
1455     }
1456
1457   nametable.build ();
1458
1459   /* No addr_vec - DWARF-5 uses .debug_aranges generated by GCC.  */
1460
1461   const offset_type bytes_of_header
1462     = ((dwarf5_is_dwarf64 ? 12 : 4)
1463        + 2 + 2 + 7 * 4
1464        + sizeof (dwarf5_gdb_augmentation));
1465   size_t expected_bytes = 0;
1466   expected_bytes += bytes_of_header;
1467   expected_bytes += cu_list.size ();
1468   expected_bytes += types_cu_list.size ();
1469   expected_bytes += nametable.bytes ();
1470   data_buf header;
1471
1472   if (!dwarf5_is_dwarf64)
1473     {
1474       const uint64_t size64 = expected_bytes - 4;
1475       gdb_assert (size64 < 0xfffffff0);
1476       header.append_uint (4, dwarf5_byte_order, size64);
1477     }
1478   else
1479     {
1480       header.append_uint (4, dwarf5_byte_order, 0xffffffff);
1481       header.append_uint (8, dwarf5_byte_order, expected_bytes - 12);
1482     }
1483
1484   /* The version number.  */
1485   header.append_uint (2, dwarf5_byte_order, 5);
1486
1487   /* Padding.  */
1488   header.append_uint (2, dwarf5_byte_order, 0);
1489
1490   /* comp_unit_count - The number of CUs in the CU list.  */
1491   header.append_uint (4, dwarf5_byte_order,
1492                       dwarf2_per_objfile->all_comp_units.size ());
1493
1494   /* local_type_unit_count - The number of TUs in the local TU
1495      list.  */
1496   header.append_uint (4, dwarf5_byte_order,
1497                       dwarf2_per_objfile->all_type_units.size ());
1498
1499   /* foreign_type_unit_count - The number of TUs in the foreign TU
1500      list.  */
1501   header.append_uint (4, dwarf5_byte_order, 0);
1502
1503   /* bucket_count - The number of hash buckets in the hash lookup
1504      table.  */
1505   header.append_uint (4, dwarf5_byte_order, nametable.bucket_count ());
1506
1507   /* name_count - The number of unique names in the index.  */
1508   header.append_uint (4, dwarf5_byte_order, nametable.name_count ());
1509
1510   /* abbrev_table_size - The size in bytes of the abbreviations
1511      table.  */
1512   header.append_uint (4, dwarf5_byte_order, nametable.abbrev_table_bytes ());
1513
1514   /* augmentation_string_size - The size in bytes of the augmentation
1515      string.  This value is rounded up to a multiple of 4.  */
1516   static_assert (sizeof (dwarf5_gdb_augmentation) % 4 == 0, "");
1517   header.append_uint (4, dwarf5_byte_order, sizeof (dwarf5_gdb_augmentation));
1518   header.append_data (dwarf5_gdb_augmentation);
1519
1520   gdb_assert (header.size () == bytes_of_header);
1521
1522   header.file_write (out_file);
1523   cu_list.file_write (out_file);
1524   types_cu_list.file_write (out_file);
1525   nametable.file_write (out_file, out_file_str);
1526
1527   return expected_bytes;
1528 }
1529
1530 /* Assert that FILE's size is EXPECTED_SIZE.  Assumes file's seek
1531    position is at the end of the file.  */
1532
1533 static void
1534 assert_file_size (FILE *file, const char *filename, size_t expected_size)
1535 {
1536   const auto file_size = ftell (file);
1537   if (file_size == -1)
1538     error (_("Can't get `%s' size"), filename);
1539   gdb_assert (file_size == expected_size);
1540 }
1541
1542 /* See dwarf-index-write.h.  */
1543
1544 void
1545 write_psymtabs_to_index (struct dwarf2_per_objfile *dwarf2_per_objfile,
1546                          const char *dir, const char *basename,
1547                          dw_index_kind index_kind)
1548 {
1549   struct objfile *objfile = dwarf2_per_objfile->objfile;
1550
1551   if (dwarf2_per_objfile->using_index)
1552     error (_("Cannot use an index to create the index"));
1553
1554   if (VEC_length (dwarf2_section_info_def, dwarf2_per_objfile->types) > 1)
1555     error (_("Cannot make an index when the file has multiple .debug_types sections"));
1556
1557   if (!objfile->psymtabs || !objfile->psymtabs_addrmap)
1558     return;
1559
1560   struct stat st;
1561   if (stat (objfile_name (objfile), &st) < 0)
1562     perror_with_name (objfile_name (objfile));
1563
1564   std::string filename (std::string (dir) + SLASH_STRING + basename
1565                         + (index_kind == dw_index_kind::DEBUG_NAMES
1566                            ? INDEX5_SUFFIX : INDEX4_SUFFIX));
1567   gdb::char_vector filename_temp = make_temp_filename (filename);
1568
1569   /* Order matters here; we want FILE to be closed before
1570      FILENAME_TEMP is unlinked, because on MS-Windows one cannot
1571      delete a file that is still open.  So, we wrap the unlinker in an
1572      optional and emplace it once we know the file name.  */
1573   gdb::optional<gdb::unlinker> unlink_file;
1574   scoped_fd out_file_fd (gdb_mkostemp_cloexec (filename_temp.data (),
1575                                                O_BINARY));
1576   if (out_file_fd.get () == -1)
1577     perror_with_name (("mkstemp"));
1578
1579   gdb_file_up out_file = out_file_fd.to_file ("wb");
1580   if (out_file == nullptr)
1581     error (_("Can't open `%s' for writing"), filename_temp.data ());
1582
1583   unlink_file.emplace (filename_temp.data ());
1584
1585   if (index_kind == dw_index_kind::DEBUG_NAMES)
1586     {
1587       std::string filename_str (std::string (dir) + SLASH_STRING
1588                                 + basename + DEBUG_STR_SUFFIX);
1589       gdb::char_vector filename_str_temp = make_temp_filename (filename_str);
1590
1591       /* As above, arrange to unlink the file only after the file
1592          descriptor has been closed.  */
1593       gdb::optional<gdb::unlinker> unlink_file_str;
1594       scoped_fd out_file_str_fd
1595         (gdb_mkostemp_cloexec (filename_str_temp.data (), O_BINARY));
1596       if (out_file_str_fd.get () == -1)
1597         perror_with_name (("mkstemp"));
1598
1599       gdb_file_up out_file_str = out_file_str_fd.to_file ("wb");
1600       if (out_file_str == nullptr)
1601         error (_("Can't open `%s' for writing"), filename_str_temp.data ());
1602
1603       unlink_file_str.emplace (filename_str_temp.data ());
1604
1605       const size_t total_len
1606         = write_debug_names (dwarf2_per_objfile, out_file.get (),
1607                              out_file_str.get ());
1608       assert_file_size (out_file.get (), filename_temp.data (), total_len);
1609
1610       /* We want to keep the file .debug_str file too.  */
1611       unlink_file_str->keep ();
1612
1613       /* Close and move the str file in place.  */
1614       out_file_str.reset ();
1615       if (rename (filename_str_temp.data (), filename_str.c_str ()) != 0)
1616         perror_with_name (("rename"));
1617     }
1618   else
1619     {
1620       const size_t total_len
1621         = write_gdbindex (dwarf2_per_objfile, out_file.get ());
1622       assert_file_size (out_file.get (), filename_temp.data (), total_len);
1623     }
1624
1625   /* We want to keep the file.  */
1626   unlink_file->keep ();
1627
1628   /* Close and move the file in place.  */
1629   out_file.reset ();
1630   if (rename (filename_temp.data (), filename.c_str ()) != 0)
1631         perror_with_name (("rename"));
1632 }
1633
1634 /* Implementation of the `save gdb-index' command.
1635
1636    Note that the .gdb_index file format used by this command is
1637    documented in the GDB manual.  Any changes here must be documented
1638    there.  */
1639
1640 static void
1641 save_gdb_index_command (const char *arg, int from_tty)
1642 {
1643   const char dwarf5space[] = "-dwarf-5 ";
1644   dw_index_kind index_kind = dw_index_kind::GDB_INDEX;
1645
1646   if (!arg)
1647     arg = "";
1648
1649   arg = skip_spaces (arg);
1650   if (strncmp (arg, dwarf5space, strlen (dwarf5space)) == 0)
1651     {
1652       index_kind = dw_index_kind::DEBUG_NAMES;
1653       arg += strlen (dwarf5space);
1654       arg = skip_spaces (arg);
1655     }
1656
1657   if (!*arg)
1658     error (_("usage: save gdb-index [-dwarf-5] DIRECTORY"));
1659
1660   for (objfile *objfile : all_objfiles (current_program_space))
1661     {
1662       struct stat st;
1663
1664       /* If the objfile does not correspond to an actual file, skip it.  */
1665       if (stat (objfile_name (objfile), &st) < 0)
1666         continue;
1667
1668       struct dwarf2_per_objfile *dwarf2_per_objfile
1669         = get_dwarf2_per_objfile (objfile);
1670
1671       if (dwarf2_per_objfile != NULL)
1672         {
1673           TRY
1674             {
1675               const char *basename = lbasename (objfile_name (objfile));
1676               write_psymtabs_to_index (dwarf2_per_objfile, arg, basename,
1677                                        index_kind);
1678             }
1679           CATCH (except, RETURN_MASK_ERROR)
1680             {
1681               exception_fprintf (gdb_stderr, except,
1682                                  _("Error while writing index for `%s': "),
1683                                  objfile_name (objfile));
1684             }
1685           END_CATCH
1686             }
1687
1688     }
1689 }
1690
1691 void
1692 _initialize_dwarf_index_write ()
1693 {
1694   cmd_list_element *c = add_cmd ("gdb-index", class_files,
1695                                  save_gdb_index_command, _("\
1696 Save a gdb-index file.\n\
1697 Usage: save gdb-index [-dwarf-5] DIRECTORY\n\
1698 \n\
1699 No options create one file with .gdb-index extension for pre-DWARF-5\n\
1700 compatible .gdb_index section.  With -dwarf-5 creates two files with\n\
1701 extension .debug_names and .debug_str for DWARF-5 .debug_names section."),
1702                &save_cmdlist);
1703   set_cmd_completer (c, filename_completer);
1704 }