nptl: Decorate thread stack on pthread_create
[platform/upstream/glibc.git] / elf / dl-deps.c
index 34c6024..0549b4a 100644 (file)
@@ -1,6 +1,5 @@
 /* Load the dependencies of a mapped object.
-   Copyright (C) 1996-2003, 2004, 2005, 2006, 2007
-   Free Software Foundation, Inc.
+   Copyright (C) 1996-2023 Free Software Foundation, Inc.
    This file is part of the GNU C Library.
 
    The GNU C Library is free software; you can redistribute it and/or
@@ -14,9 +13,8 @@
    Lesser General Public License for more details.
 
    You should have received a copy of the GNU Lesser General Public
-   License along with the GNU C Library; if not, write to the Free
-   Software Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA
-   02111-1307 USA.  */
+   License along with the GNU C Library; if not, see
+   <https://www.gnu.org/licenses/>.  */
 
 #include <atomic.h>
 #include <assert.h>
@@ -29,6 +27,7 @@
 #include <unistd.h>
 #include <sys/param.h>
 #include <ldsodefs.h>
+#include <scratch_buffer.h>
 
 #include <dl-dst.h>
 
@@ -62,30 +61,13 @@ openaux (void *a)
 {
   struct openaux_args *args = (struct openaux_args *) a;
 
-  args->aux = _dl_map_object (args->map, args->name, 0,
+  args->aux = _dl_map_object (args->map, args->name,
                              (args->map->l_type == lt_executable
                               ? lt_library : args->map->l_type),
                              args->trace_mode, args->open_mode,
                              args->map->l_ns);
 }
 
-static ptrdiff_t
-internal_function
-_dl_build_local_scope (struct link_map **list, struct link_map *map)
-{
-  struct link_map **p = list;
-  struct link_map **q;
-
-  *p++ = map;
-  map->l_reserved = 1;
-  if (map->l_initfini)
-    for (q = map->l_initfini + 1; *q; ++q)
-      if (! (*q)->l_reserved)
-       p += _dl_build_local_scope (p, *q);
-  return p - list;
-}
-
-
 /* We use a very special kind of list to track the path
    through the list of loaded shared objects.  We have to
    produce a flat list with unique members of all involved objects.
@@ -103,21 +85,21 @@ struct list
   ({                                                                         \
     const char *__str = (str);                                               \
     const char *__result = __str;                                            \
-    size_t __dst_cnt = DL_DST_COUNT (__str, 0);                                      \
+    size_t __dst_cnt = _dl_dst_count (__str);                                \
                                                                              \
     if (__dst_cnt != 0)                                                              \
       {                                                                              \
        char *__newp;                                                         \
                                                                              \
        /* DST must not appear in SUID/SGID programs.  */                     \
-       if (INTUSE(__libc_enable_secure))                                     \
+       if (__libc_enable_secure)                                             \
          _dl_signal_error (0, __str, NULL, N_("\
 DST not allowed in SUID/SGID programs"));                                    \
                                                                              \
        __newp = (char *) alloca (DL_DST_REQUIRED (l, __str, strlen (__str),  \
                                                   __dst_cnt));               \
                                                                              \
-       __result = _dl_dst_substitute (l, __str, __newp, 0);                  \
+       __result = _dl_dst_substitute (l, __str, __newp);                     \
                                                                              \
        if (*__result == '\0')                                                \
          {                                                                   \
@@ -129,7 +111,7 @@ empty dynamic string token substitution"));                               \
            else                                                              \
              {                                                               \
                /* This is for DT_AUXILIARY.  */                              \
-               if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS, 0))\
+               if (__glibc_unlikely (GLRO(dl_debug_mask) & DL_DEBUG_LIBS))   \
                  _dl_debug_printf (N_("\
 cannot load auxiliary `%s' because of empty dynamic string token "           \
                                            "substitution\n"), __str);        \
@@ -140,9 +122,21 @@ cannot load auxiliary `%s' because of empty dynamic string token "       \
                                                                              \
     __result; })
 
+static void
+preload (struct list *known, unsigned int *nlist, struct link_map *map)
+{
+  known[*nlist].done = 0;
+  known[*nlist].map = map;
+  known[*nlist].next = &known[*nlist + 1];
+
+  ++*nlist;
+  /* We use `l_reserved' as a mark bit to detect objects we have
+     already put in the search list and avoid adding duplicate
+     elements later in the list.  */
+  map->l_reserved = 1;
+}
 
 void
-internal_function
 _dl_map_object_deps (struct link_map *map,
                     struct link_map **preloads, unsigned int npreloads,
                     int trace_mode, int open_mode)
@@ -154,33 +148,17 @@ _dl_map_object_deps (struct link_map *map,
   const char *name;
   int errno_saved;
   int errno_reason;
-  const char *errstring;
-  const char *objname;
-
-  auto inline void preload (struct link_map *map);
-
-  inline void preload (struct link_map *map)
-    {
-      known[nlist].done = 0;
-      known[nlist].map = map;
-      known[nlist].next = &known[nlist + 1];
-
-      ++nlist;
-      /* We use `l_reserved' as a mark bit to detect objects we have
-        already put in the search list and avoid adding duplicate
-        elements later in the list.  */
-      map->l_reserved = 1;
-    }
+  struct dl_exception exception;
 
   /* No loaded object so far.  */
   nlist = 0;
 
   /* First load MAP itself.  */
-  preload (map);
+  preload (known, &nlist, map);
 
   /* Add the preloaded items after MAP but before any of its dependencies.  */
   for (i = 0; i < npreloads; ++i)
-    preload (preloads[i]);
+    preload (known, &nlist, preloads[i]);
 
   /* Terminate the lists.  */
   known[nlist - 1].next = NULL;
@@ -188,6 +166,9 @@ _dl_map_object_deps (struct link_map *map,
   /* Pointer to last unique object.  */
   tail = &known[nlist - 1];
 
+  struct scratch_buffer needed_space;
+  scratch_buffer_init (&needed_space);
+
   /* Process each element of the search list, loading each of its
      auxiliary objects and immediate dependencies.  Auxiliary objects
      will be added in the list before the object itself and
@@ -200,7 +181,6 @@ _dl_map_object_deps (struct link_map *map,
      alloca means we cannot use recursive function calls.  */
   errno_saved = errno;
   errno_reason = 0;
-  errstring = NULL;
   errno = 0;
   name = NULL;
   for (runp = known; runp; )
@@ -216,8 +196,14 @@ _dl_map_object_deps (struct link_map *map,
         dependencies of this object.  */
       if (l->l_searchlist.r_list == NULL && l->l_initfini == NULL
          && l != map && l->l_ldnum > 0)
-       needed = (struct link_map **) alloca (l->l_ldnum
-                                             * sizeof (struct link_map *));
+       {
+         /* l->l_ldnum includes space for the terminating NULL.  */
+         if (!scratch_buffer_set_array_size
+             (&needed_space, l->l_ldnum, sizeof (struct link_map *)))
+           _dl_signal_error (ENOMEM, map->l_name, NULL,
+                             N_("cannot allocate dependency buffer"));
+         needed = needed_space.data;
+       }
 
       if (l->l_info[DT_NEEDED] || l->l_info[AUXTAG] || l->l_info[FILTERTAG])
        {
@@ -243,17 +229,9 @@ _dl_map_object_deps (struct link_map *map,
                /* Store the tag in the argument structure.  */
                args.name = name;
 
-               bool malloced;
-               int err = _dl_catch_error (&objname, &errstring, &malloced,
-                                          openaux, &args);
-               if (__builtin_expect (errstring != NULL, 0))
+               int err = _dl_catch_exception (&exception, openaux, &args);
+               if (__glibc_unlikely (exception.errstring != NULL))
                  {
-                   char *new_errstring = strdupa (errstring);
-                   objname = strdupa (objname);
-                   if (malloced)
-                     free ((char *) errstring);
-                   errstring = new_errstring;
-
                    if (err)
                      errno_reason = err;
                    else
@@ -295,56 +273,29 @@ _dl_map_object_deps (struct link_map *map,
                /* Store the tag in the argument structure.  */
                args.name = name;
 
-               if (d->d_tag == DT_AUXILIARY)
+               /* Say that we are about to load an auxiliary library.  */
+               if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS,
+                                     0))
+                 _dl_debug_printf ("load auxiliary object=%s"
+                                   " requested by file=%s\n",
+                                   name,
+                                   DSO_FILENAME (l->l_name));
+
+               /* We must be prepared that the addressed shared
+                  object is not available.  For filter objects the dependency
+                  must be available.  */
+               int err = _dl_catch_exception (&exception, openaux, &args);
+               if (__glibc_unlikely (exception.errstring != NULL))
                  {
-                   /* Say that we are about to load an auxiliary library.  */
-                   if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS,
-                                         0))
-                     _dl_debug_printf ("load auxiliary object=%s"
-                                       " requested by file=%s\n",
-                                       name,
-                                       l->l_name[0]
-                                       ? l->l_name : rtld_progname);
-
-                   /* We must be prepared that the addressed shared
-                      object is not available.  */
-                   bool malloced;
-                   (void) _dl_catch_error (&objname, &errstring, &malloced,
-                                           openaux, &args);
-                   if (__builtin_expect (errstring != NULL, 0))
+                   if (d->d_tag == DT_AUXILIARY)
                      {
                        /* We are not interested in the error message.  */
-                       assert (errstring != NULL);
-                       if (malloced)
-                         free ((char *) errstring);
-
+                       _dl_exception_free (&exception);
                        /* Simply ignore this error and continue the work.  */
                        continue;
                      }
-                 }
-               else
-                 {
-                   /* Say that we are about to load an auxiliary library.  */
-                   if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_LIBS,
-                                         0))
-                     _dl_debug_printf ("load filtered object=%s"
-                                       " requested by file=%s\n",
-                                       name,
-                                       l->l_name[0]
-                                       ? l->l_name : rtld_progname);
-
-                   /* For filter objects the dependency must be available.  */
-                   bool malloced;
-                   int err = _dl_catch_error (&objname, &errstring, &malloced,
-                                              openaux, &args);
-                   if (__builtin_expect (errstring != NULL, 0))
+                   else
                      {
-                       char *new_errstring = strdupa (errstring);
-                       objname = strdupa (objname);
-                       if (malloced)
-                         free ((char *) errstring);
-                       errstring = new_errstring;
-
                        if (err)
                          errno_reason = err;
                        else
@@ -470,14 +421,18 @@ _dl_map_object_deps (struct link_map *map,
          struct link_map **l_initfini = (struct link_map **)
            malloc ((2 * nneeded + 1) * sizeof needed[0]);
          if (l_initfini == NULL)
-           _dl_signal_error (ENOMEM, map->l_name, NULL,
-                             N_("cannot allocate dependency list"));
+           {
+             scratch_buffer_free (&needed_space);
+             _dl_signal_error (ENOMEM, map->l_name, NULL,
+                               N_("cannot allocate dependency list"));
+           }
          l_initfini[0] = l;
          memcpy (&l_initfini[1], needed, nneeded * sizeof needed[0]);
          memcpy (&l_initfini[nneeded + 1], l_initfini,
                  nneeded * sizeof needed[0]);
          atomic_write_barrier ();
          l->l_initfini = l_initfini;
+         l->l_free_initfini = 1;
        }
 
       /* If we have no auxiliary objects just go on to the next map.  */
@@ -488,6 +443,8 @@ _dl_map_object_deps (struct link_map *map,
     }
 
  out:
+  scratch_buffer_free (&needed_space);
+
   if (errno == 0 && errno_saved != 0)
     __set_errno (errno_saved);
 
@@ -512,81 +469,43 @@ _dl_map_object_deps (struct link_map *map,
 
   map->l_searchlist.r_list = &l_initfini[nlist + 1];
   map->l_searchlist.r_nlist = nlist;
+  unsigned int map_index = UINT_MAX;
 
   for (nlist = 0, runp = known; runp; runp = runp->next)
     {
+      /* _dl_sort_maps ignores l_faked object, so it is safe to not consider
+        them for nlist.  */
       if (__builtin_expect (trace_mode, 0) && runp->map->l_faked)
        /* This can happen when we trace the loading.  */
        --map->l_searchlist.r_nlist;
       else
-       map->l_searchlist.r_list[nlist++] = runp->map;
+       {
+         if (runp->map == map)
+           map_index = nlist;
+         map->l_searchlist.r_list[nlist++] = runp->map;
+       }
 
       /* Now clear all the mark bits we set in the objects on the search list
         to avoid duplicates, so the next call starts fresh.  */
       runp->map->l_reserved = 0;
     }
 
-  if (__builtin_expect (GLRO(dl_debug_mask) & DL_DEBUG_PRELINK, 0) != 0
-      && map == GL(dl_ns)[LM_ID_BASE]._ns_loaded)
-    {
-      /* If we are to compute conflicts, we have to build local scope
-        for each library, not just the ultimate loader.  */
-      for (i = 0; i < nlist; ++i)
-       {
-         struct link_map *l = map->l_searchlist.r_list[i];
-         unsigned int j, cnt;
-
-         /* The local scope has been already computed.  */
-         if (l == map
-             || (l->l_local_scope[0]
-                 && l->l_local_scope[0]->r_nlist) != 0)
-           continue;
-
-         if (l->l_info[AUXTAG] || l->l_info[FILTERTAG])
-           {
-             /* As current DT_AUXILIARY/DT_FILTER implementation needs to be
-                rewritten, no need to bother with prelinking the old
-                implementation.  */
-             _dl_signal_error (EINVAL, l->l_name, NULL, N_("\
-Filters not supported with LD_TRACE_PRELINKING"));
-           }
-
-         cnt = _dl_build_local_scope (l_initfini, l);
-         assert (cnt <= nlist);
-         for (j = 0; j < cnt; j++)
-           l_initfini[j]->l_reserved = 0;
-
-         l->l_local_scope[0] =
-           (struct r_scope_elem *) malloc (sizeof (struct r_scope_elem)
-                                           + (cnt
-                                              * sizeof (struct link_map *)));
-         if (l->l_local_scope[0] == NULL)
-           _dl_signal_error (ENOMEM, map->l_name, NULL,
-                             N_("cannot allocate symbol search list"));
-         l->l_local_scope[0]->r_nlist = cnt;
-         l->l_local_scope[0]->r_list =
-           (struct link_map **) (l->l_local_scope[0] + 1);
-         memcpy (l->l_local_scope[0]->r_list, l_initfini,
-                 cnt * sizeof (struct link_map *));
-       }
-    }
-
   /* Maybe we can remove some relocation dependencies now.  */
-  assert (map->l_searchlist.r_list[0] == map);
   struct link_map_reldeps *l_reldeps = NULL;
   if (map->l_reldeps != NULL)
     {
-      for (i = 1; i < nlist; ++i)
+      for (i = 0; i < nlist; ++i)
        map->l_searchlist.r_list[i]->l_reserved = 1;
 
+      /* Avoid removing relocation dependencies of the main binary.  */
+      map->l_reserved = 0;
       struct link_map **list = &map->l_reldeps->list[0];
       for (i = 0; i < map->l_reldeps->act; ++i)
        if (list[i]->l_reserved)
          {
            /* Need to allocate new array of relocation dependencies.  */
-           struct link_map_reldeps *l_reldeps;
            l_reldeps = malloc (sizeof (*l_reldeps)
-                               + map->l_reldepsmax
+                               + map->l_reldepsmax
                                  * sizeof (struct link_map *));
            if (l_reldeps == NULL)
              /* Bad luck, keep the reldeps duplicated between
@@ -604,59 +523,41 @@ Filters not supported with LD_TRACE_PRELINKING"));
              }
          }
 
-      for (i = 1; i < nlist; ++i)
+      for (i = 0; i < nlist; ++i)
        map->l_searchlist.r_list[i]->l_reserved = 0;
     }
 
-  /* Now determine the order in which the initialization has to happen.  */
-  memcpy (l_initfini, map->l_searchlist.r_list,
-         nlist * sizeof (struct link_map *));
-  /* We can skip looking for the binary itself which is at the front
-     of the search list.  Look through the list backward so that circular
-     dependencies are not changing the order.  */
-  for (i = 1; i < nlist; ++i)
+  /* Sort the initializer list to take dependencies into account.  Always
+     initialize the binary itself last.  */
+  assert (map_index < nlist);
+  if (map_index > 0)
     {
-      struct link_map *l = map->l_searchlist.r_list[i];
-      unsigned int j;
-      unsigned int k;
-
-      /* Find the place in the initfini list where the map is currently
-        located.  */
-      for (j = 1; l_initfini[j] != l; ++j)
-       ;
-
-      /* Find all object for which the current one is a dependency and
-        move the found object (if necessary) in front.  */
-      for (k = j + 1; k < nlist; ++k)
-       {
-         struct link_map **runp;
+      /* Copy the binary into position 0.  */
+      l_initfini[0] = map->l_searchlist.r_list[map_index];
 
-         runp = l_initfini[k]->l_initfini;
-         if (runp != NULL)
-           {
-             while (*runp != NULL)
-               if (__builtin_expect (*runp++ == l, 0))
-                 {
-                   struct link_map *here = l_initfini[k];
+      /* Copy the filtees.  */
+      for (i = 0; i < map_index; ++i)
+       l_initfini[i+1] = map->l_searchlist.r_list[i];
 
-                   /* Move it now.  */
-                   memmove (&l_initfini[j] + 1, &l_initfini[j],
-                            (k - j) * sizeof (struct link_map *));
-                   l_initfini[j] = here;
+      /* Copy the remainder.  */
+      for (i = map_index + 1; i < nlist; ++i)
+       l_initfini[i] = map->l_searchlist.r_list[i];
+    }
+  else
+    memcpy (l_initfini, map->l_searchlist.r_list,
+           nlist * sizeof (struct link_map *));
 
-                   /* Don't insert further matches before the last
-                      entry moved to the front.  */
-                   ++j;
+  /* If libc.so.6 is the main map, it participates in the sort, so
+     that the relocation order is correct regarding libc.so.6.  */
+  _dl_sort_maps (l_initfini, nlist,
+                (l_initfini[0] != GL (dl_ns)[l_initfini[0]->l_ns].libc_map),
+                false);
 
-                   break;
-                 }
-           }
-       }
-    }
   /* Terminate the list of dependencies.  */
   l_initfini[nlist] = NULL;
   atomic_write_barrier ();
   map->l_initfini = l_initfini;
+  map->l_free_initfini = 1;
   if (l_reldeps != NULL)
     {
       atomic_write_barrier ();
@@ -668,6 +569,6 @@ Filters not supported with LD_TRACE_PRELINKING"));
     _dl_scope_free (old_l_initfini);
 
   if (errno_reason)
-    _dl_signal_error (errno_reason == -1 ? 0 : errno_reason, objname,
-                     NULL, errstring);
+    _dl_signal_exception (errno_reason == -1 ? 0 : errno_reason,
+                         &exception, NULL);
 }