platform/upstream/glibc.git
4 years agoRefactor PI mutexes internal definitions
Adhemerval Zanella [Wed, 30 Oct 2019 16:29:40 +0000 (13:29 -0300)]
Refactor PI mutexes internal definitions

This patch adds the generic futex_lock_pi and futex_unlock_pi to wrap
around the syscall machinery required to issue the syscall calls. It
simplifies a bit the futex code required to implement PI mutexes.

No function changes, checked on x86_64-linux-gnu.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoRemove pause and nanosleep not cancel wrappers
Adhemerval Zanella [Wed, 30 Oct 2019 17:04:08 +0000 (14:04 -0300)]
Remove pause and nanosleep not cancel wrappers

Since they are not used any longer.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agonptl: Replace non cancellable pause/nanosleep with futex
Adhemerval Zanella [Wed, 30 Oct 2019 18:56:39 +0000 (15:56 -0300)]
nptl: Replace non cancellable pause/nanosleep with futex

To help y2038 work avoid duplicate all the logic of nanosleep on
non cancellable version, the patch replace it with a new futex
operation, lll_timedwait.  The changes are:

  - Add a expected value for __lll_clocklock_wait, so it can be used
    to wait for generic values.

  - Remove its internal atomic operation and move the logic to
    __lll_clocklock.  It makes __lll_clocklock_wait even more generic
    and __lll_clocklock slight faster on fast-path (since it won't
    require a function call anymore).

  - Add lll_timedwait, which uses __lll_clocklock_wait, to replace both
    __pause_nocancel and __nanosleep_nocancel.

It also allows remove the sparc32 __lll_clocklock_wait implementation
(since it is similar to the generic one).

Checked on x86_64-linux-gnu, sparcv9-linux-gnu, and i686-linux-gnu.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoConsolidate lowlevellock-futex.h
Adhemerval Zanella [Tue, 29 Oct 2019 22:15:15 +0000 (19:15 -0300)]
Consolidate lowlevellock-futex.h

NPTL is already Linux specific, there is no need to parametrize low
level lock futex operations and add a sysdep Linux specific
implementation.  This patch moves the relevant Linux code to nptl one.

Checked on x86_64-linux-gnu and i686-linux-gnu.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoConsolidate futex-internal.h
Adhemerval Zanella [Tue, 29 Oct 2019 21:52:19 +0000 (18:52 -0300)]
Consolidate futex-internal.h

NPTL is already Linux specific, there is no need to parametrize futex
operations and add a sysdep Linux specific implementation.  This patch
moves the relevant Linux code to nptl one.

Checked on x86_64-linux-gnu and i686-linux-gnu.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoBase max_fast on alignment, not width, of bins (Bug 24903)
DJ Delorie [Wed, 30 Oct 2019 22:03:14 +0000 (18:03 -0400)]
Base max_fast on alignment, not width, of bins (Bug 24903)

set_max_fast sets the "impossibly small" value based on,
eventually, MALLOC_ALIGNMENT.  The comparisons for the smallest
chunk used is, eventually, MIN_CHUNK_SIZE.  Note that i386
is the only platform where these are the same, so a smallest
chunk *would* be put in a no-fastbins fastbin.

This change calculates the "impossibly small" value
based on MIN_CHUNK_SIZE instead, so that we can know it will
always be impossibly small.

4 years agoRevise the documentation of simple calendar time.
Zack Weinberg [Mon, 19 Aug 2019 14:31:07 +0000 (10:31 -0400)]
Revise the documentation of simple calendar time.

This is a thorough revision of all the material relating to the
functions time, stime, gettimeofday, settimeofday, clock_gettime,
clock_getres, clock_settime, and difftime, spilling over into the
discussion of time-related data types (which now get their own
section) and touching the adjtime family as well (which deserves its
own thorough revision, but I'd have to do a bunch of research first).

Substantive changes are:

 * Document clock_gettime, clock_getres, and clock_settime.  (Only
   CLOCK_REALTIME and CLOCK_MONOTONIC are documented; the others are
   either a bit too Linux-specific, or have more to do with measuring
   CPU/processor time.  That section _also_ deserves its own thorough
   revision but again I'd have to do a bunch of research first.)

 * Present gettimeofday, settimeofday, and struct timeval as obsolete
   relative to clock_*.

 * Remove the documentation of struct timezone.  Matching POSIX,
   say that the type of the second argument to gettimeofday and
   settimeofday is [const] void *.

 * Clarify ISO C and POSIX's requirements on time_t.  Clarify the
   circumstances under which difftime is equivalent to simple
   subtraction.

 * Consolidate documentation of most of the time-related data types
   into a new section "Time Types," right after "Time Basics."  (The
   exceptions are struct tm, which stays in "Broken-down Time," and
   struct times, which stays in "Processor And CPU Time."

 * The "Elapsed Time" section is now called "Calculating Elapsed Time"
   and includes only difftime and the discussion of how to compute
   timeval differences by hand.

 * Fold the "Simple Calendar Time," "High Resolution Calendar," and
   "High Accuracy Clock" sections together into two new sections titled
   "Getting the Time" and "Setting and Adjusting the Time."

4 years agoMake second argument of gettimeofday as 'void *'
Zack Weinberg [Mon, 19 Aug 2019 17:51:25 +0000 (13:51 -0400)]
Make second argument of gettimeofday as 'void *'

Also make the public prototype of gettimeofday declare its second
argument with type "void *" unconditionally, consistent with POSIX.

It is also consistent with POSIX.

Checked on x86_64-linux-gnu, i686-linux-gnu, powerpc64le-linux-gnu,
powerpc64-linux-gnu, powerpc-linux-gnu, and aarch64-linux-gnu.

Co-authored-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
Reviewed-by: Lukasz Majewski <lukma@denx.de>
4 years agoUse clock_gettime to implement gettimeofday.
Adhemerval Zanella [Thu, 24 Oct 2019 19:19:33 +0000 (19:19 +0000)]
Use clock_gettime to implement gettimeofday.

Consolidate generic gettimeofday implementation to use clock_gettime.
Linux ports that still provide gettimeofday through vDSO are not
changed.

Remove sysdeps/unix/clock_gettime.c, which implemented clock_gettime
using gettimeofday; new OS ports must provide a real implementation of
clock_gettime.

Rename sysdeps/mach/gettimeofday.c to sysdeps/mach/clock_gettime.c and
convert into an implementation of clock_gettime.  It only supports
CLOCK_REALTIME; Mach does not appear to have any support for monotonic
clocks.  It uses __host_get_time, which provides at best microsecond
resolution.  Hurd is currently using sysdeps/posix/clock_getres.c for
clock_getres; its output for CLOCK_REALTIME is based on
sysconf (_SC_CLK_TCK), and I do not know whether that gives the
correct result.

Unlike settimeofday, there are no known uses of gettimeofday's
vestigial "get time zone" feature that are not bugs.  (The per-process
timezone support in localtime and friends is unrelated, and the
programs that set the kernel's offset between the hardware clock and
UTC do not need to read it back.)  Therefore, this feature is dummied
out.  Henceforth, if gettimeofday's "struct timezone" argument is not
NULL, it will write zeroes to both fields.  Any program that is
actually looking at this data will thus think it is running in UTC,
which is probably more correct than whatever it was doing before.

[__]gettimeofday no longer has any internal callers, so we can now
remove its internal prototype and PLT bypass aliases.  The
__gettimeofday@GLIBC_2.0 export remains, in case it is used by any
third-party code.

It also allows to simplify the arch-specific implementation on x86 and
powerpc to remove the hack to disable the internal route to non iFUNC
variant for internal symbol.

This patch also fixes a missing optimization on aarch64, powerpc, and
x86 where the code used on static build do not use the vDSO.

Checked on x86_64-linux-gnu, i686-linux-gnu, powerpc64le-linux-gnu,
powerpc64-linux-gnu, powerpc-linux-gnu, and aarch64-linux-gnu.

Co-authored-by: Zack Weinberg <zackw@panix.com>
Reviewed-by: Lukasz Majewski <lukma@denx.de>
4 years agoUse clock_gettime to implement timespec_get.
Zack Weinberg [Thu, 22 Aug 2019 21:10:35 +0000 (17:10 -0400)]
Use clock_gettime to implement timespec_get.

timespec_get is the same function as clock_gettime, with an obnoxious
coating of NIH painted on it by the ISO C committee.  In addition to
the rename, it takes its arguments in a different order, it returns 0
on *failure* or a positive number on *success*, and it requires that
all of its TIME_* constants be positive.  This last means we cannot
directly reuse the existing CLOCK_* constants for it, because
those have been allocated starting with CLOCK_REALTIME = 0 on all
existing platforms.

This patch simply promotes the sysdeps/posix implementation to
universal, and removes the Linux-specific implementation, whose
apparent reason for existing was to cut out one function call's worth
of overhead.

Checked on x86_64-linux-gnu, i686-linux-gnu, powerpc64le-linux-gnu,
powerpc64-linux-gnu, powerpc-linux-gnu, and aarch64-linux-gnu.

Reviewed-by: Lukasz Majewski <lukma@denx.de>
4 years agoConsolidate and deprecate ftime
Zack Weinberg [Wed, 4 Sep 2019 16:51:23 +0000 (16:51 +0000)]
Consolidate and deprecate ftime

ftime is an obsolete variation on gettimeofday, offering only
millisecond time resolution; it was probably a system call in ooold
versions of BSD Unix.  For historic reasons, we had three
implementations of it.  These are all consolidated into time/ftime.c,
and then the function is deprecated.

For some reason, the implementation of ftime in terms of gettimeofday
was rounding rather than truncating microseconds to milliseconds.  In
all the other places where we use a higher-resolution time function to
implement a lower-resolution one, we truncate.  ftime is changed to
match, just for tidiness' sake.

Like gettimeofday, ftime tries to report the time zone, and using that
information is always a bug.  This patch dummies out the reported
timezone information; the timezone and dstflag fields of the
returned "struct timeb" will always be zero.

Checked on x86_64-linux-gnu, i686-linux-gnu, powerpc64le-linux-gnu,
powerpc64-linux-gnu, and powerpc-linux-gnu.

Co-authored-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
Reviewed-by: Lukasz Majewski <lukma@denx.de>
4 years agoChange most internal uses of time to __clock_gettime.
Adhemerval Zanella [Thu, 24 Oct 2019 21:01:40 +0000 (21:01 +0000)]
Change most internal uses of time to __clock_gettime.

As for gettimeofday, time will be implemented based on clock_gettime
on all platforms and internal code should use clock_gettime
directly.  In addition to removing a layer of indirection, this will
allow us to remove the PLT-bypass gunk for gettimeofday.

The changed code always assumes __clock_gettime (CLOCK_REALTIME)
or __clock_gettime (CLOCK_REALTIME_COARSE) (for Linux case) cannot
fail, using the same rationale for gettimeofday change.  And internal
helper was added (time_now).

Checked on x86_64-linux-gnu, i686-linux-gnu, powerpc64le-linux-gnu,
powerpc64-linux-gnu, and powerpc-linux-gnu.

Reviewed-by: Lukasz Majewski <lukma@denx.de>
4 years agoUse clock_gettime to implement time.
Adhemerval Zanella [Thu, 24 Oct 2019 17:52:30 +0000 (17:52 +0000)]
Use clock_gettime to implement time.

Change the default implementation of time to call clock_gettime,
to align with new Linux ports that are expected to only implement
__NR_clock_gettime.  Arch-specific implementation that either call
the time vDSO or route to gettimeofday vDSO are not removed.

Also for Linux, CLOCK_REALTIME_COARSE is used instead of generic
CLOCK_REALTIME clockid.  This takes less CPU time and its behavior
better matches what the current glibc does.

Checked on x86_64-linux-gnu, i686-linux-gnu, powerpc64le-linux-gnu,
powerpc64-linux-gnu, powerpc-linux-gnu, and aarch64-linux-gnu.

Co-authored-by: Zack Weinberg <zackw@panix.com>
Reviewed-by: Lukasz Majewski <lukma@denx.de>
4 years agoUse clock_settime to implement settimeofday.
Zack Weinberg [Wed, 28 Aug 2019 12:25:49 +0000 (08:25 -0400)]
Use clock_settime to implement settimeofday.

Unconditionally, on all ports, use clock_settime to implement
settimeofday.  Remove sysdeps/unix/clock_settime.c, which implemented
clock_settime by calling settimeofday; new OS ports must henceforth
provide a real implementation of clock_settime.

Hurd had a real implementation of settimeofday but not of
clock_settime; this patch converts it into an implementation of
clock_settime.  It only supports CLOCK_REALTIME and microsecond
resolution; Hurd/Mach does not appear to have any support for
finer-resolution clocks.

The vestigial "set time zone" feature of settimeofday complicates the
generic settimeofday implementation a little.  The only remaining uses
of this feature that aren't just bugs, are using it to inform the
Linux kernel of the offset between the hardware clock and UTC, on
systems where the hardware clock doesn't run in UTC (usually because
of dual-booting with Windows).  There currently isn't any other way to
do this.  However, the callers that do this call settimeofday with
_only_ the timezone argument non-NULL.  Therefore, glibc's new
behavior is: callers of settimeofday must supply one and only one of
the two arguments.  If both arguments are non-NULL, or both arguments
are NULL, the call fails and sets errno to EINVAL.

When only the timeval argument is supplied, settimeofday calls
__clock_settime(CLOCK_REALTIME), same as stime.

When only the timezone argument is supplied, settimeofday calls a new
internal function called __settimezone.  On Linux, only, this function
will pass the timezone structure to the settimeofday system call.  On
all other operating systems, and on Linux architectures that don't
define __NR_settimeofday, __settimezone is a stub that always sets
errno to ENOSYS and returns -1.

The settimeoday syscall is enabled on Linux by the flag
COMPAT_32BIT_TIME, which is an option to either 32-bits ABIs or COMPAT
builds (defined usually by 64-bit kernels that want to support 32-bit
 ABIs, such as x86).  The idea to future 64-bit time_t only ABIs
is to not provide settimeofday syscall.

The same semantics are implemented for Linux/Alpha's GLIBC_2.0 compat
symbol for settimeofday.

There are no longer any internal callers of __settimeofday, so the
internal prototype is removed.

Checked on x86_64-linux-gnu, i686-linux-gnu, powerpc64le-linux-gnu,
powerpc64-linux-gnu, powerpc-linux-gnu, and aarch64-linux-gnu.

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
Reviewed-by: Lukasz Majewski <lukma@denx.de>
4 years agoUse clock_settime to implement stime; withdraw stime.
Zack Weinberg [Fri, 16 Aug 2019 19:03:16 +0000 (15:03 -0400)]
Use clock_settime to implement stime; withdraw stime.

Unconditionally, on all ports, use clock_settime to implement stime,
not settimeofday or a direct syscall.  Then convert stime into a
compatibility symbol and remove its prototype from time.h.

Checked on x86_64-linux-gnu, i686-linux-gnu, powerpc64le-linux-gnu,
powerpc64-linux-gnu, powerpc-linux-gnu, and aarch64-linux-gnu.

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
Reviewed-by: Lukasz Majewski <lukma@denx.de>
4 years agoChange most internal uses of __gettimeofday to __clock_gettime.
Zack Weinberg [Sat, 17 Aug 2019 00:38:22 +0000 (20:38 -0400)]
Change most internal uses of __gettimeofday to __clock_gettime.

Since gettimeofday will shortly be implemented in terms of
clock_gettime on all platforms, internal code should use clock_gettime
directly; in addition to removing a layer of indirection, this will
allow us to remove the PLT-bypass gunk for gettimeofday.  (We can't
quite do that yet, but it'll be coming later in this patch series.)
In many cases, the changed code does fewer conversions.

The changed code always assumes __clock_gettime (CLOCK_REALTIME)
cannot fail.  Most of the call sites were assuming gettimeofday could
not fail, but a few places were checking for errors.  POSIX says
clock_gettime can only fail if the clock constant is invalid or
unsupported, and CLOCK_REALTIME is the one and only clock constant
that's required to be supported.  For consistency I grepped the entire
source tree for any other places that checked for errors from
__clock_gettime (CLOCK_REALTIME), found one, and changed it too.

(For the record, POSIX also says gettimeofday can never fail.)

(It would be nice if we could declare that GNU systems will always
support CLOCK_MONOTONIC as well as CLOCK_REALTIME; there are several
places where we are using CLOCK_REALTIME where _MONOTONIC would be
more appropriate, and/or trying to use _MONOTONIC and then falling
back to _REALTIME.  But the Hurd doesn't support CLOCK_MONOTONIC yet,
and it looks like adding it would involve substantial changes to
gnumach's internals and API.  Oh well.)

A few Hurd-specific files were changed to use __host_get_time instead
of __clock_gettime, as this seemed tidier.  We also assume this cannot
fail.  Skimming the code in gnumach leads me to believe the only way
it could fail is if __mach_host_self also failed, and our
Hurd-specific code consistently assumes that can't happen, so I'm
going with that.

With the exception of support/support_test_main.c, test cases are not
modified, mainly because I didn't want to have to figure out which
test cases were testing gettimeofday specifically.

The definition of GETTIME in sysdeps/generic/memusage.h had a typo and
was not reading tv_sec at all.  I fixed this.  It appears nobody has been
generating malloc traces on a machine that doesn't have a superseding
definition.

There are a whole bunch of places where the code could be simplified
by factoring out timespec subtraction and/or comparison logic, but I
want to keep this patch as mechanical as possible.

Checked on x86_64-linux-gnu, i686-linux-gnu, powerpc64le-linux-gnu,
powerpc64-linux-gnu, powerpc-linux-gnu, and aarch64-linux-gnu.

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
Reviewed-by: Lukasz Majewski <lukma@denx.de>
4 years agoLinux/Alpha: don't use timeval32 system calls.
Zack Weinberg [Mon, 19 Aug 2019 18:18:08 +0000 (14:18 -0400)]
Linux/Alpha: don't use timeval32 system calls.

Linux/Alpha has two versions of several system call wrappers that take
or return data of type "struct timeval" (possibly nested inside a
larger structure).  The GLIBC_2.0 version is a compat symbol that
calls __NR_osf_foo or __NR_old_foo and uses a struct timeval with a
32-bit tv_sec field.  The GLIBC_2.1 version is used for current code,
calls __NR_foo, and uses a struct timeval with a 64-bit tv_sec field.

This patch changes all of the compat symbols of this type to be
wrappers around their GLIBC_2.1 counterparts; the compatibility system
calls will no longer be used.  It serves as a proposal for part of how
we do the transition to 64-bit time_t on systems that currently use
32-bit time_t:

 * The patched glibc will NOT use system calls that involve 32-bit
   time_t to implement its compatibility symbols.  This will make both
   our lives and the kernel maintainers' lives easier.  The primary
   argument I've seen against it is that the kernel could warn about
   uses of the old system calls, helping people find old binaries that
   need to be recompiled.  I think there are several other ways we
   could accomplish this, e.g. scripts to scan the filesystem for
   binaries with references to the old symbol versions, or issuing
   diagnostics ourselves.

 * The compat symbols do NOT report failure after the Y2038 deadline.
   An earlier revision of this patch had them return -1 and set errno
   to EOVERFLOW, but Adhemerval pointed out that many of them have
   already performed side effects at the point where we discover the
   overflow, so that would break more than it fixes.  Also, we don't
   want people to be _checking_ for EOVERFLOW from these functions; we
   want them to recompile with 64-bit time_t.  So it's not actually
   useful for them to report failure to the calling code.

 * What they do do, when they encounter overflow, is saturate the
   overflowed "struct timeval"(s): tv_sec is set to INT32_MAX and
   tv_nsec is set to 999999.  That means time stops advancing for
   programs with 32-bit time_t when they reach the deadline.  That's
   obviously going to break stuff, but I think wrapping around is
   probably going to break _more_ stuff.  I'd be interested to hear
   arguments against, if anyone has one.

The new header file tv32-compat.h is currently Alpha-specific but I
mean for it to be reused to aid in writing wrappers for all affected
architectures.  I only put it in sysdeps/unix/sysv/linux/alpha for now
because I haven't checked whether the various "foo32" structures it
defines agree with the ABI for ports other than Linux/Alpha.

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
4 years agoresolv/tst-idna_name_classify: Isolate from system libraries
Florian Weimer [Wed, 30 Oct 2019 16:44:09 +0000 (17:44 +0100)]
resolv/tst-idna_name_classify: Isolate from system libraries

Loading NSS modules from static binaries uses installed system
libraries if LD_LIBRARY_PATH is not set.

4 years agohurd: Support for file record locking
Svante Signell [Wed, 30 Oct 2019 00:23:41 +0000 (01:23 +0100)]
hurd: Support for file record locking

        * sysdeps/mach/hurd/fcntl.c: Add support for file-record-lock RPC
          fixing posix file locking using the flock64 version of struct
          flock.

4 years agoComment out initgroups from example nsswitch.conf (Bug 25146)
Carlos O'Donell [Tue, 29 Oct 2019 15:58:03 +0000 (11:58 -0400)]
Comment out initgroups from example nsswitch.conf (Bug 25146)

In commit 4b7c74179c8928d971d370e1137d202f891a4cf5 the nsswitch.conf
file was harmonized with downstream distributions, but this change
included adding "initgroups: files". We should not add initgroups by
default, we can have it, but it should be commented out to allow it
to inherit the settings for group. The problem is principally that
downstream authconfig won't update initgroups and it will get out of
sync with the setting for group.

4 years agoy2038: linux: Provide __clock_getres64 implementation
Lukasz Majewski [Tue, 15 Oct 2019 15:57:05 +0000 (17:57 +0200)]
y2038: linux: Provide __clock_getres64 implementation

This patch provides new __clock_getres64 explicit 64 bit function for
getting the resolution (precision) of specified clock ID. Moreover, a
32 bit version - __clock_getres has been refactored to internally use
__clock_getres64.

The __clock_getres is now supposed to be used on systems still supporting
32 bit time (__TIMESIZE != 64) - hence the necessary conversion from 64 bit
struct __timespec64 to struct timespec.

The new clock_getres_time64 syscall available from Linux 5.1+ has been used,
when applicable.
On systems which are not supporting clock_getres_time64 (as their
clock_getres supports 64 bit time ABI) the vDSO syscall is attempted.
On the contrary the non-vDSO syscall is used for clock_getres_time64 as
up till now the kernel is not providing such interface.

No additional checks (i.e. if tv_nsec value overflow) are performed on
values returned via clock_getres{_time64} syscall, as it is assumed that
the Linux kernel will either return 0 and provide correct value or error.

The check for tv_sec being out of range on systems still supporting 32 bit
time (__TIMESIZE != 64) without Y2038 time support is also omitted as it is
_very_ unlikely that we would have a timer with resolution which exceeds 32
bit time_t range.

Build tests:
- The code has been tested on x86_64/x86 (native compilation):
make PARALLELMFLAGS="-j8" && make xcheck PARALLELMFLAGS="-j8"

- The glibc has been build tested (make PARALLELMFLAGS="-j8") for
x86 (i386), x86_64-x32, and armv7

Run-time tests:
- Run specific tests on ARM/x86 32bit systems (qemu):
  https://github.com/lmajewski/meta-y2038 and run tests:
  https://github.com/lmajewski/y2038-tests/commits/master

- Use of cross-test-ssh.sh for ARM (armv7):
  make PARALLELMFLAGS="-j8" test-wrapper='./cross-test-ssh.sh root@192.168.7.2' xcheck

Linux kernel, headers and minimal kernel version for glibc build test
matrix:
- Linux v5.1 (with clock_getres_time64) and glibc build with v5.1 as
  minimal kernel version (--enable-kernel="5.1.0")
  The __ASSUME_TIME64_SYSCALLS flag defined.

- Linux v5.1 and default minimal kernel version
  The __ASSUME_TIME64_SYSCALLS not defined, but kernel supports
  clock_getres_time64 syscall.

- Linux v4.19 (no clock_getres_time64 support) with default minimal kernel
  version for contemporary glibc

  This kernel doesn't support clock_getres_time64 syscall, so the fallback
  to clock_getres is tested.

The above tests were performed with Y2038 redirection applied as well as
without (so the __TIMESIZE != 64 execution path is checked as well).

No regressions were observed.

4 years agotime: Introduce function to check correctness of nanoseconds value
Lukasz Majewski [Thu, 24 Oct 2019 14:20:56 +0000 (16:20 +0200)]
time: Introduce function to check correctness of nanoseconds value

The valid_nanoseconds () static inline function has been introduced to
check if nanoseconds value is in the correct range - greater or equal to
zero and less than 1000000000.

The explicit #include <time.h> has been added to files where it was
missing.

The __syscall_slong_t type for ns has been used to avoid issues on x32.

Tested with:
- scripts/build-many-glibcs.py
- make PARALLELMFLAGS="-j12" && make PARALLELMFLAGS="-j12" xcheck on x86_64

4 years agoAdd Transliterations for Unicode Misc. Mathematical Symbols-A/B [BZ #23132]
Arjun Shankar [Wed, 23 Oct 2019 16:51:29 +0000 (18:51 +0200)]
Add Transliterations for Unicode Misc. Mathematical Symbols-A/B [BZ #23132]

This commit adds previously missing transliterations for several code points
in the Unicode blocks "Miscellaneous Mathematical Symbols-A/B" -
transliterated to their approximate ASCII representations.  It also adds a
corresponding iconv transliteration test.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoInstall charmaps uncompressed in testroot
DJ Delorie [Wed, 23 Oct 2019 21:52:26 +0000 (17:52 -0400)]
Install charmaps uncompressed in testroot

The testroot does not have a gunzip command, so the charmap files
should not be installed gzipped else they cannot be used (and thus
tested).  With this patch, installing with INSTALL_UNCOMPRESSED=yes
installs uncompressed charmaps instead.

Note that we must purge the $(symbolic_link_list) as it contains
references to $(DESTDIR), which we change during the testroot
installation.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoAdd wait-for-debugger test harness hooks
DJ Delorie [Wed, 2 Oct 2019 18:46:46 +0000 (14:46 -0400)]
Add wait-for-debugger test harness hooks

If WAIT_FOR_DEBUGGER is set to a non-zero value in the environment,
any test that runs will print some useful gdb information and wait
for gdb to attach to it and clear the "wait_for_debugger" variable.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoDefine __STATFS_MATCHES_STATFS64
Alistair Francis [Tue, 13 Aug 2019 20:35:28 +0000 (13:35 -0700)]
Define __STATFS_MATCHES_STATFS64

Add a new macro __STATFS_MATCHES_STATFS64 that specifies if fsblkcnt_t
matches fsblkcnt64_t and if fsfilcnt_t matches fsfilcnt64_t.

As we don't have the padding we also need to update the overflow checker
to not access the undefined members.

4 years agohurd: Fix build after __pread64 usage in the dynamic loader
Florian Weimer [Thu, 24 Oct 2019 13:51:29 +0000 (15:51 +0200)]
hurd: Fix build after __pread64 usage in the dynamic loader

Commit 95c1056962a3f2297c94ce47f0eaf0c5b6563231 ("elf: Use nocancel
pread64() instead of lseek()+read()") added calls to __pread64 to
the dynamic loader.  On Hurd, this needs an implementation in the
dynamic loader because the rtld-pread64 rebuild pulls in too many
symbols.

Fixes: 95c1056962a3f2297c94ce47f0eaf0c5b6563231
Reviewed-by: Samuel Thibault <samuel.thibault@ens-lyon.org>
4 years agosysdeps/stat: Handle 64-bit ino_t types on 32-bit hosts
Alistair Francis [Tue, 13 Aug 2019 20:18:06 +0000 (13:18 -0700)]
sysdeps/stat: Handle 64-bit ino_t types on 32-bit hosts

On a 32-bit platform with a 64-bit ino_t type (__INO_T_MATCHES_INO64_T
defined) we want to update the stat struct to remove the padding as it
isn't required. As we don't have the padding we also need to update the
overflow checker to not access the undefined members.

4 years agoS390: Remove not needed stack frame in syscall function.
Stefan Liebler [Wed, 23 Oct 2019 12:51:53 +0000 (14:51 +0200)]
S390: Remove not needed stack frame in syscall function.

As an svc invocation does not clobber any user space registers
despite of the return value r2 and it does not need a special
stack frame. This patch gets rid of the extra frame.
We just have to save and restore r6 and r7 as those are
preserved across function calls.

4 years agoFix testroot.pristine creation copying dynamic linker.
Joseph Myers [Tue, 22 Oct 2019 20:24:10 +0000 (20:24 +0000)]
Fix testroot.pristine creation copying dynamic linker.

This patch addresses an issue reported in
<https://sourceware.org/ml/libc-alpha/2019-07/msg00661.html> where the
creation of testroot.pristine, on encountering
LD_TRACE_LOADED_OBJECTS=1 of the form

        libc.so.6 => /scratch/jmyers/glibc/mbs/obj/glibc-8-0-mips64-linux-gnu-x86_64-linux-gnu/default/libc.so.6 (0x772dd000)
        /lib32/ld.so.1 => /scratch/jmyers/glibc/mbs/obj/glibc-8-0-mips64-linux-gnu-x86_64-linux-gnu/default/elf/ld.so.1 (0x7747b000)

tries to copy /lib32/ld.so.1 (which does not exist) into the testroot
instead of copying the path on the RHS of "=>", which does exist,
because the Makefile logic assumes that the path on such a line with
'/' should be copied, when if there are such paths on both the LHS and
the RHS of "=>", only the one on the RHS necessarily exists and so
only that should be copied.  The patch follows the approach suggested
by DJ in <https://sourceware.org/ml/libc-alpha/2019-07/msg00662.html>,
with the suggestion from Andreas in
<https://sourceware.org/ml/libc-alpha/2019-10/msg00514.html> of a
single sed command in place of pipeline of grep and three sed
commands.

Tested for x86_64, with and without --enable-hardcoded-path-in-tests;
a previous version with multiple sed commands, implementing the same
logic, also tested for MIPS, with and without
--enable-hardcoded-path-in-tests, to confirm it fixes the original
problem.

Co-authored-by: DJ Delorie <dj@redhat.com>
4 years agoRemove x64 _finite tests and references
Wilco Dijkstra [Tue, 16 Jul 2019 14:29:06 +0000 (11:29 -0300)]
Remove x64 _finite tests and references

Remove _finite tests and references from x86_64.  Rather than calling
__exp_finite, use exp directly (since it's the same entry point).

x86_64 builds and passes testsuite.

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
4 years agoRemove finite-math tests
Wilco Dijkstra [Tue, 16 Jul 2019 13:39:56 +0000 (10:39 -0300)]
Remove finite-math tests

Remove the finite-math tests from the testsuite - these are no longer
useful after removing math-finite.h header.

Passes buildmanyglibc, build&test on x86_64 and AArch64.

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
4 years agoRemove math-finite.h
Wilco Dijkstra [Tue, 16 Jul 2019 13:08:57 +0000 (10:08 -0300)]
Remove math-finite.h

Remove math-finite.h redirections for math functions.

Passes buildmanyglibc.

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
4 years agoInclude <kernel-features.h> explicitly in Linux clock_settime.c
Lukasz Majewski [Fri, 18 Oct 2019 09:33:59 +0000 (11:33 +0200)]
Include <kernel-features.h> explicitly in Linux clock_settime.c

The rewritten clock_settime code (which now supports 64 bit time on systems
with __WORDSIZE == 32)  for Linux now relies on the
__ASSUME_TIME64_SYSCALLS flag set.

Lets explicitly include the header file where it is defined to avoid
any indirect inclusion (which may pose some unwanted API definitions).

Tested with scripts/build-many-glibcs.py script.

4 years agoloadarchive: guard against locale-archive corruption (Bug #25115)
DJ Delorie [Fri, 18 Oct 2019 21:15:52 +0000 (17:15 -0400)]
loadarchive: guard against locale-archive corruption (Bug #25115)

_nl_load_locale_from_archive() checks for a zero size, but
divides by both (size) and (size-2).  Extend the check to
guard against a size of two or less.

Tested by manually corrupting locale-archive and running a program
that calls setlocale() with LOCPATH unset (size is typically very
large).

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoUndo accidental commit to ChangeLog.19.
Carlos O'Donell [Fri, 18 Oct 2019 20:06:31 +0000 (16:06 -0400)]
Undo accidental commit to ChangeLog.19.

I had a local commit fed33b0fb03 which crossed the boundary
between when we had and didn't have ChangeLog's and this
caused me to have an odd behaviour with the file rename,
despite cleaning up the original ChangeLog changes.

Sorry. Corrected now.

4 years agonptl: Document AS-safe functions in cancellation.c.
Carlos O'Donell [Fri, 4 Oct 2019 19:58:08 +0000 (15:58 -0400)]
nptl: Document AS-safe functions in cancellation.c.

Document in comments that __pthread_enable_asynccancel and
__pthread_disable_asynccancel must be AS-safe in general with
the exception of the act of cancellation.

4 years agoelf: Use nocancel pread64() instead of lseek()+read()
Leandro Pereira [Wed, 2 Oct 2019 16:48:17 +0000 (12:48 -0400)]
elf: Use nocancel pread64() instead of lseek()+read()

Transforms this, when linking in a shared object:

  openat(AT_FDCWD, "/lib64/libc.so.6", O_RDONLY|O_CLOEXEC) = 3
  read(3, "\177ELF\2\1\1\3"..., 832) = 832
  lseek(3, 792, SEEK_SET)           = 792
  read(3, "\4\0\0\0\24\0\0\0"..., 68) = 68
  fstat(3, {st_mode=S_IFREG|0755, st_size=6699224, ...}) = 0
  lseek(3, 792, SEEK_SET)           = 792
  read(3, "\4\0\0\0\24\0\0\0"..., 68) = 68
  lseek(3, 864, SEEK_SET)           = 864
  read(3, "\4\0\0\0\20\0\0\0"..., 32) = 32

Into this:

  openat(AT_FDCWD, "/lib64/libc.so.6", O_RDONLY|O_CLOEXEC) = 3
  read(3, "\177ELF\2\1\1\3"..., 832) = 832
  pread(3, "\4\0\0\0\24\0\0\0"..., 68, 792) = 68
  fstat(3, {st_mode=S_IFREG|0755, st_size=6699224, ...}) = 0
  pread(3, "\4\0\0\0\24\0\0\0"..., 68, 792) = 68
  pread(3, "\4\0\0\0\20\0\0\0"..., 32, 864) = 32

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoAdd nocancel version of pread64()
Leandro Pereira [Wed, 2 Oct 2019 16:42:28 +0000 (12:42 -0400)]
Add nocancel version of pread64()

This is in preparation for changes in the dynamic linker so that
pread() is used instead of lseek()+read().

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoAdd run-one-test convenience target and makefile help text
DJ Delorie [Mon, 30 Sep 2019 20:04:52 +0000 (16:04 -0400)]
Add run-one-test convenience target and makefile help text

Adds "make test" for re-running just one test.  Also adds
"make help" for help with our Makefile targets, and adds a
mini-help when you just run "make".

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoUpdate sysvipc kernel-features.h files for Linux 5.1
Adhemerval Zanella [Mon, 20 May 2019 15:17:46 +0000 (12:17 -0300)]
Update sysvipc kernel-features.h files for Linux 5.1

Linux 5.1 adds missing SySV IPC syscalls to the syscall table for
remanining one that still uses the ipc syscall on glibc (m68k, mips-o32,
powerpc, s390, sh, and sparc32).  However the newly added direct ipc
syscall are different than the old ones:

  1. They do not expect IPC_64, meaning __IPC_64 should be set to zero
     when new syscalls are used.  And new syscalls can not be used
     for compat functions like __old_semctl (to emulated old sysvipc it
     requires to use the old __NR_ipc syscall without __IPC_64).
     Thus IPC_64 is redefined for newer kernels on affected ABIs.

  2. semtimedop and semop does not exist on 32-bit ABIs (only
     semtimedop_time64 is supplied).  The provided syscall wrappers only
     uses the wire-up syscall if __NR_semtimedop and __NR_semop are
     also defined.

Checked on x86_64-linux-gnu and i686-linux-gnu on both a 4.15 kernel
configure with default options and sysvipc tests on a 5.3.0 kernel with
--enable-kernel=5.1.

Tested-by: Paul A. Clarke <pc@us.ibm.com>
4 years agoS390: Add new s390 platform z15.
Stefan Liebler [Fri, 18 Oct 2019 12:57:14 +0000 (14:57 +0200)]
S390: Add new s390 platform z15.

The new IBM z15 is added to platform string array.
The macro _DL_PLATFORMS_COUNT is incremented.

4 years agonptl: SIGCANCEL, SIGTIMER, SIGSETXID are always defined
Florian Weimer [Fri, 18 Oct 2019 12:29:04 +0000 (14:29 +0200)]
nptl: SIGCANCEL, SIGTIMER, SIGSETXID are always defined

All nptl targets have these signal definitions nowadays.  This
changes also replaces the nptl-generic version of pthread_sigmask
with the Linux version.

Tested on x86_64-linux-gnu and i686-linux-gnu.  Built with
build-many-glibcs.py.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agonptl/tst-cancel25 needs to be an internal test
Florian Weimer [Fri, 18 Oct 2019 12:28:49 +0000 (14:28 +0200)]
nptl/tst-cancel25 needs to be an internal test

Otherwise the definition of SIGCANCEL is not visible.

Tested on x86_64-linux-gnu and i686-linux-gnu.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoRemove libc_hidden_def from __semtimedop stub
Florian Weimer [Thu, 17 Oct 2019 19:36:34 +0000 (21:36 +0200)]
Remove libc_hidden_def from __semtimedop stub

This breaks the Hurd build after commit 765cdd0bffd77960ae852104f
("sysvipc: Implement semop based on semtimedop") added it to the stub.

4 years agosysvipc: Implement semop based on semtimedop
Adhemerval Zanella [Fri, 11 Oct 2019 14:39:04 +0000 (11:39 -0300)]
sysvipc: Implement semop based on semtimedop

Besides semop being a subset of semtimedop, new 32-bit architectures
on Linux are not expected to provide the syscall (only the 64-bit time
semtimedop).

Also, Linux 5.1 only wired-up semtimedop for the 64-bit architectures
that missed it (powerpc, s390, and sparc).  This simplifies the code
to support it.

Checked on x86_64-linux-gnu and i686-linux-gnu.

Reviewed-by: Florian Weimer <fweimer@redhat.com>
4 years agoipc: Refactor sysvipc internal definitions
Adhemerval Zanella [Wed, 15 May 2019 18:20:58 +0000 (15:20 -0300)]
ipc: Refactor sysvipc internal definitions

This patch refactor the internal sysvipc in two main points:

  1. Add a new __ASSUME_SYSVIPC_DEFAULT_IPC_64 to infer the __IPC_64
     value to be used along either the multiplexed __NR_ipc or wired-up
     syscall.  The defaut value assumed for __IPC_64 is also changed
     from 0x100 to 0x0, aligning with Linux generic UAPI.  The idea
     is to simplify the Linux 5.1 wire-up for sysvipc syscalls for
     some 32-bit ABIs (which expectes __IPC_64 being 0x0) and simplify
     new ports (which will no longer need to add ipc_priv.h).

  2. It also removes some duplicated internal definition used on compat
     sysvipc symbols defined at ipc_priv.h (more specifically the
     __old_ipc_perm, SEMCTL_ARG_ADDRESS, MSGRCV_ARGS, and
     SEMTIMEDOP_IPC_ARGS).  The idea is also to make it simpler to enable
     the new wire-up sysvipc syscall provided by Linux v5.1.

There is no semantic change expected on any port.  Checked with a build
against all affected ABIs.

Reviewed-by: Florian Weimer <fweimer@redhat.com>
4 years agoRename and split elf/tst-dlopen-aout collection of tests
Florian Weimer [Thu, 17 Oct 2019 06:51:21 +0000 (08:51 +0200)]
Rename and split elf/tst-dlopen-aout collection of tests

From the beginning, elf/tst-dlopen-aout has exercised two different
bugs: (a) failure to report errors for a dlopen of the executable
itself in some cases (bug 24900) and (b) incorrect rollback of the
TLS modid allocation in case of a dlopen failure (bug 16634).

This commit replaces the test with elf/tst-dlopen-self for (a) and
elf/tst-dlopen-tlsmodid for (b).  The latter tests use the
elf/tst-dlopen-self binaries (or iconv) with dlopen, so they are
no longer self-dlopen tests.

Tested on x86_64-linux-gnu and i686-linux-gnu, with a toolchain that
does not default to PIE.

4 years agodlfcn: Remove remnants of caller sensitivity from dlinfo
Florian Weimer [Wed, 16 Oct 2019 16:19:51 +0000 (18:19 +0200)]
dlfcn: Remove remnants of caller sensitivity from dlinfo

dlinfo operates on a specific handle, which means that there is no
caller sensivity involved.

4 years agoldconfig: handle .dynstr located in separate segment (bug 25087)
Andreas Schwab [Wed, 9 Oct 2019 15:46:47 +0000 (17:46 +0200)]
ldconfig: handle .dynstr located in separate segment (bug 25087)

To determine the load offset of the DT_STRTAB section search for the
segment containing it, instead of using the load offset of the first
segment.

4 years agoldd: Print "not a dynamic executable" on standard error [BZ #24150]
Florian Weimer [Tue, 15 Oct 2019 14:41:51 +0000 (16:41 +0200)]
ldd: Print "not a dynamic executable" on standard error [BZ #24150]

Tested with the testsuite on x86_64-linux-gnu, and manually.

Reviewed-By: Richard W.M. Jones <rjones@redhat.com>
4 years agoAdd PTRACE_GET_SYSCALL_INFO from Linux 5.3 to sys/ptrace.h.
Joseph Myers [Mon, 14 Oct 2019 23:43:52 +0000 (23:43 +0000)]
Add PTRACE_GET_SYSCALL_INFO from Linux 5.3 to sys/ptrace.h.

Linux 5.3 adds a PTRACE_GET_SYSCALL_INFO constant, with an associated
structure and PTRACE_SYSCALL_INFO_* constants.

This patch adds these to sys/ptrace.h in glibc
(PTRACE_GET_SYSCALL_INFO in each architecture version, the rest in
bits/ptrace-shared.h).  As with previous such constants and associated
structures, the glibc version of the structure is named struct
__ptrace_syscall_info.

Tested for x86_64, and with build-many-glibcs.py.

4 years agoMove ChangeLog to ChangeLog.old/ChangeLog.19
Florian Weimer [Fri, 11 Oct 2019 20:42:32 +0000 (22:42 +0200)]
Move ChangeLog to ChangeLog.old/ChangeLog.19

We no longer maintain a manually-written ChangeLog file:

  <https://sourceware.org/ml/libc-alpha/2019-09/msg00333.html>
  <https://sourceware.org/ml/libc-alpha/2019-10/msg00131.html>

Instead the release manager is expected to generate a ChangeLog-like
file using scripts/gitlog_to_changelog.py.  For further details,
see commit f2144b7874b23be7c7eb184ec601633ec6fa8fac ("Script to
generate ChangeLog-like output from git log").

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agomanual: Remove warning in the documentation of the abort function
Florian Weimer [Fri, 11 Oct 2019 18:15:24 +0000 (20:15 +0200)]
manual: Remove warning in the documentation of the abort function

The warning is confusing to those who do not understand the context,
and the warning is easy to misunderstand:

A reader needs to know that it was written by someone who is generally
skeptical of government influence and control, otherwise it reads as
an affirmation of the U.S. government's role as the ultimate editor of
the manual.  This is precisely the opposite of what the warning
intends to convey.  (Reportedly, it criticizes that several
U.S. administrations have tried to restrict the medical advice that
U.S.-funded health care workers can provide abroad, considering that
censorship.)

The warning is also misleading on a technical level.  A reader who
makes the connection to pregnancy termination will get the wrong
impression that calling the abort function will terminate subprocesses
of the current process, but this is not what generally happens.

Finally, for both GNU and the FSF, it is inappropriate to use female
reproductive health as mere joke material, since these organizations
do not concern themselves with such issues otherwise, and the warning
is purportedly about something else entirely.

This reinstates commit 340d9652b9d0e1d4136588f18b726662d195777c
("manual/startup.texi (Aborting a Program): Remove inappropriate
joke."), effectively reverting the revert in commit
ffa81c22a3ac0fb75ad9bf2b1c3cdbf9eafa0bc9 ("Revert:").

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agosysvipc: Set ipc_perm mode as mode_t (BZ#18231)
Adhemerval Zanella [Thu, 10 Oct 2019 18:13:11 +0000 (18:13 +0000)]
sysvipc: Set ipc_perm mode as mode_t (BZ#18231)

This patch sets the mode field in ipc_perm as mode_t for all architectures,
as POSIX specification [1].  The changes required are as follow:

  1. It moves the ipc_perm definition out of ipc.h to its own header
     ipc_perm.h.  It also allows consolidate the IPC_* definition on
     only one header.

  2. The generic implementation follow the kernel ipc64_perm size so the
     syscall can be made directly without temporary buffer copy.  However,
     since glibc defines the MODE field as mode_t, it omits the __PAD1 field
     (since glibc does not export mode_t as 16-bit for any architecture).

     It is a two-fold improvement:

     2.1. New implementation which follow Linux UAPI will not need to
  provide an arch-specific ipc-perm.h header neither wrongly
          use the wrong 16-bit definition from previous default ipc.h
  (as csky did).

     2.1. It allows consolidate ipc_perm definition for architectures that
          already provide mode_t as 32-bit.

  3. All kernel ABIs for the supported architectures already provides the
     expected padding for mode type extension to 32-bit.  However, some
     architectures the padding has the wrong placement, so it requires
     the ipc control routines (msgctl, semctl, and shmctl) to adjust the
     mode field accordingly.  Currently they are armeb, microblaze, m68k,
     s390, and sheb.

     A new assume is added, __ASSUME_SYSVIPC_BROKEN_MODE_T, which the
     required ABIs define.

  4. For the ABIs that define __ASSUME_SYSVIPC_BROKEN_MODE_T, it also
     require compat symbols that do not adjust the mode field.

Checked on arm-linux-gnueabihf, aarch64-linux-gnu, powerpc64le-linux-gnu,
and x86_64-linux-gnu. I also checked the sysvipc tests on hppa-linux-gnu,
sh4-linux-gnu, s390x-linux-gnu, and s390-linux-gnu.

I also did a sanity test against armeb qemu usermode for the sysvipc
tests.

[BZ #18231]
* sysdeps/unix/sysv/linux/Makefile (sysdep_headers): Add
bits/ipc-perm.h.
* sysdeps/unix/sysv/linux/aarch64/bits/ipc.h: Remove file.
* sysdeps/unix/sysv/linux/alpha/bits/ipc.h: Likewise.
* sysdeps/unix/sysv/linux/hppa/bits/ipc.h: Likewise.
* sysdeps/unix/sysv/linux/ia64/bits/ipc.h: Likewise.
* sysdeps/unix/sysv/linux/mips/bits/ipc.h: Likewise.
* sysdeps/unix/sysv/linux/powerpc/bits/ipc.h: Likewise.
* sysdeps/unix/sysv/linux/s390/bits/ipc.h: Likewise.
* sysdeps/unix/sysv/linux/sparc/bits/ipc.h: Likewise.
* sysdeps/unix/sysv/linux/arm/kernel-features.h
[__BYTE_ORDER == __BIG_ENDIAN] (__ASSUME_SYSVIPC_BROKEN_MODE_T):
Define.
* sysdeps/sysv/linux/microblaze/kernel-features.h: Likewise.
* sysdeps/unix/sysv/linux/s390/kernel-features.h
[!__s390x__] (__ASSUME_SYSVIPC_BROKEN_MODE_T): Define.
* sysdeps/unix/sysv/linux/sh/kernel-features.h
(__ASSUME_SYSVIPC_BROKEN_MODE_T): Define.
* sysdeps/unix/sysv/linux/m68k/kernel-features.h: Likewise.
* sysdeps/unix/sysv/linux/bits/ipc-perm.h: New file.
* sysdeps/unix/sysv/linux/powerpc/bits/ipc-perm.h: Likewise.
* sysdeps/unix/sysv/linux/sparc/bits/ipc-perm.h: Likewise.
* sysdeps/unix/sysv/linux/bits/ipc.h (ipc_perm): Move to
bits/ipc-perm.h.
* sysdeps/unix/sysv/linux/hppa/bits/ipc-perm.h: New file.
* sysdeps/unix/sysv/linux/kernel-features.h: Add comment about
__ASSUME_SYSVIPC_BROKEN_MODE_T semantic.
* sysdeps/unix/sysv/linux/msgctl.c (DEFAULT_VERSION): Define as
2.31 if __ASSUME_SYSVIPC_BROKEN_MODE_T is defined.
(msgctl_syscall, __msgctl_mode16): New symbol.
(__new_msgctl): Add bits for __ASSUME_SYSVIPC_BROKEN_MODE_T.
* sysdeps/unix/sysv/linux/semctl.c: Likewise.
* sysdeps/unix/sysv/linux/shmctl.c: Likewise.
* sysdeps/unix/sysv/linux/arm/be/libc.abilist (GLIBC_2.31): Add
msgctl, semctl, and shmctl.
* sysdeps/sysv/linux/microblaze/be/libc.abilist: Likewise.
* sysdeps/unix/sysv/linux/m68k/coldfire/libc.abilist: Likewise.
* sysdeps/unix/sysv/linux/m68k/m680x0/libc.abilist: Likewise.
* sysdeps/unix/sysv/linux/s390/s390-32/libc.abilist: Likewise.
* sysdeps/unix/sysv/linux/sh/be/libc.abilist: Likewise.
* conform/data/sys/ipc.h-data: Only xfail {struct ipc_perm} mode_t
mode for Hurd.
* sysdeps/unix/sysv/linux/m68k/Versions (libc) [GLIBC_2.31]: Add
msgctl, semctl, and shmctl.
* sysdeps/unix/sysv/linux/arm/be/Versions: New file.
* sysdeps/unix/sysv/linux/microblaze/be/Versions: Likewise.
* sysdeps/unix/sysv/linux/sh/be/Versions: Likewise.

[1] http://pubs.opengroup.org/onlinepubs/9699919799/basedefs/sys_ipc.h.html

4 years agoSimplify note processing
Andreas Schwab [Thu, 10 Oct 2019 08:45:31 +0000 (10:45 +0200)]
Simplify note processing

This removes dead code during note processing.

4 years agosyscall-names.list: fix typos in comment
Dmitry V. Levin [Thu, 10 Oct 2019 00:38:28 +0000 (00:38 +0000)]
syscall-names.list: fix typos in comment

* sysdeps/unix/sysv/linux/syscall-names.list: Fix typos in comment,
reformat the affected paragraph.

4 years agoy2038: linux: Provide __clock_settime64 implementation
Lukasz Majewski [Tue, 24 Sep 2019 12:22:42 +0000 (14:22 +0200)]
y2038: linux: Provide __clock_settime64 implementation

This patch provides new __clock_settime64 explicit 64 bit function for
setting the time. Moreover, a 32 bit version - __clock_settime - has been
refactored to internally use __clock_settime64.

The __clock_settime is now supposed to be used on systems still supporting
32 bit time (__TIMESIZE != 64) - hence the necessary conversion to 64 bit
struct timespec.

The new clock_settime64 syscall available from Linux 5.1+ has been used,
when applicable.

In this patch the internal padding (tv_pad) of struct __timespec64 is
left untouched (on systems with __WORDSIZE == 32) as Linux kernel ignores
upper 32 bits of tv_nsec.

Build tests:
- The code has been tested on x86_64/x86 (native compilation):
make PARALLELMFLAGS="-j8" && make xcheck PARALLELMFLAGS="-j8"

- The glibc has been build tested (make PARALLELMFLAGS="-j8") for
x86 (i386), x86_64-x32, and armv7

Run-time tests:
- Run specific tests on ARM/x86 32bit systems (qemu):
  https://github.com/lmajewski/meta-y2038 and run tests:
  https://github.com/lmajewski/y2038-tests/commits/master

- Use of cross-test-ssh.sh for ARM (armv7):
  make PARALLELMFLAGS="-j8" test-wrapper='./cross-test-ssh.sh root@192.168.7.2' xcheck

Linux kernel, headers and minimal kernel version for glibc build test
matrix:
- Linux v5.1 (with clock_settime64) and glibc build with v5.1 as minimal
  kernel version (--enable-kernel="5.1.0")
  The __ASSUME_TIME64_SYSCALLS flag defined.

- Linux v5.1 and default minimal kernel version
  The __ASSUME_TIME64_SYSCALLS not defined, but kernel supports
  __clock_settime64 syscalls.

- Linux v4.19 (no clock_settime64 support) with default minimal kernel
  version for contemporary glibc

  This kernel doesn't support __clock_settime64 syscalls, so the fallback
  to clock_settime is tested.

The above tests were performed with Y2038 redirection applied as well as
without (so the __TIMESIZE != 64 execution path is checked as well).

No regressions were observed.

* include/time.h (__clock_settime64):
  Add __clock_settime alias according to __TIMESIZE define
* sysdeps/unix/sysv/linux/clock_settime.c (__clock_settime):
  Refactor this function to be used only on 32 bit machines as a wrapper
  on __clock_settime64.
* sysdeps/unix/sysv/linux/clock_settime.c (__clock_settime64): Add
* sysdeps/unix/sysv/linux/clock_settime.c (__clock_settime64):
  Use clock_settime64 kernel syscall (available from 5.1+ Linux)

4 years agoposix: Use posix_spawn for wordexp
Adhemerval Zanella [Thu, 25 Apr 2019 17:54:03 +0000 (17:54 +0000)]
posix: Use posix_spawn for wordexp

This patch replaces the fork+exec by posix_spawn on wordexp, which
allows a better scability on Linux and simplifies the thread
cancellation handling.

The only change which can not be implemented with posix_spawn the
/dev/null check to certify it is indeed the expected device.  I am
not sure how effetive this check is since /dev/null tampering means
something very wrong with the system and this is the least of the
issues.  My view is the tests is really out of the place and the
hardening provided is minimum.

If the idea is still to provide such check, I think a possibilty
would be to open /dev/null, check it, add a dup2 file action, and
close the file descriptor.

Checked on powerpc64le-linux-gnu and x86_64-linux-gnu.

* include/spawn.h (__posix_spawn_file_actions_addopen): New
prototype.
* posix/spawn_faction_addopen.c (posix_spawn_file_actions_addopen):
Add internal alias.
* posix/wordexp.c (create_environment, free_environment): New
functions.
(exec_comm_child, exec_comm): Use posix_spawn instead of fork+exec.
* posix/wordexp-test.c: Use libsupport.

4 years agomips: Do not malloc on getdents64 fallback
Adhemerval Zanella [Wed, 24 Jul 2019 16:48:12 +0000 (13:48 -0300)]
mips: Do not malloc on getdents64 fallback

This patch changes how the fallback getdents64 implementation calls
non-LFS getdents by replacing the scratch_buffer with static buffer
plus a loop on getdents calls.  This avoids the potential malloc
call on scratch_buffer_set_array_size for large input buffer size
at the cost of more getdents syscalls.

It also adds a small optimization for older kernels, where the first
ENOSYS failure for getdents64 disable subsequent calls.

Check the dirent tests on a mips64-linux-gnu with getdents64 code
disabled.

* sysdeps/unix/sysv/linux/mips/mips64/getdents64.c (__getdents64):
Add small optimization for older kernel to avoid issuing
__NR_getdents64 on each call and replace scratch_buffer usage with
a static allocated buffer.

Reviewed-by: Florian Weimer <fweimer@redhat.com>
4 years agosparc: Assume GOTDATA support in the toolchain
Florian Weimer [Wed, 9 Oct 2019 17:15:33 +0000 (19:15 +0200)]
sparc: Assume GOTDATA support in the toolchain

HAVE_GCC_GOTDATA has apparently never been used.

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
4 years ago<dirent.h>: Remove wrong comment about getdents64 declaration
Petr Vorel [Wed, 9 Oct 2019 09:31:03 +0000 (11:31 +0200)]
<dirent.h>: Remove wrong comment about getdents64 declaration

Originally the public interface for getdents64 was declared in
<unistd.h> in 51ea67d548. Later, b8b3d5a14e moved it to <dirent.h>.

Fixes: b8b3d5a14e ("Linux: Move getdents64 to <dirent.h>")

4 years agoChangeLog: Remove leading spaces before tabs and trailing whitespace
Florian Weimer [Wed, 9 Oct 2019 07:06:00 +0000 (09:06 +0200)]
ChangeLog: Remove leading spaces before tabs and trailing whitespace

4 years agoMake tst-strftime2 and tst-strftime3 depend on locale generation
Gabriel F. T. Gomes [Tue, 8 Oct 2019 17:32:17 +0000 (14:32 -0300)]
Make tst-strftime2 and tst-strftime3 depend on locale generation

Building the test cases in parallel might make tst-strftime2 and
tst-strftime3 fail.  Simply re-running the test case (or building
serially) makes the problem go away.  This patch adds the necessary
dependency to allow parallel builds in the time subdirectory.

Tested for powerpc64le.

Reviewed-by: Florian Weimer <fweimer@redhat.com>
Reviewed-by: Tulio Magno Quites Machado Filho <tuliom@linux.ibm.com>
4 years agoposix/tst-wordexp-nocmd: Fix diagnostics output in test
Florian Weimer [Tue, 8 Oct 2019 16:55:48 +0000 (18:55 +0200)]
posix/tst-wordexp-nocmd: Fix diagnostics output in test

4 years agowordexp: Split out command execution tests from posix/wordexp-test
Florian Weimer [Tue, 8 Oct 2019 11:04:15 +0000 (13:04 +0200)]
wordexp: Split out command execution tests from posix/wordexp-test

Once wordexp switches to posix_spawn, testing for command execution
based on fork handlers will not work anymore.  Therefore, move these
subtests into  a new test, posix/tst-wordexp-nocmd, which uses a
different form of command execution detection, based on PID
namespaces.

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
4 years agonptl: Move pthread_attr_setschedparam implementation into libc
Florian Weimer [Mon, 7 Oct 2019 18:00:38 +0000 (20:00 +0200)]
nptl: Move pthread_attr_setschedparam implementation into libc

This is part of the libpthread removal project:

  <https://sourceware.org/ml/libc-alpha/2019-10/msg00080.html>

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
4 years agoriscv: Remove support for variable page sizes
Florian Weimer [Mon, 7 Oct 2019 17:03:50 +0000 (19:03 +0200)]
riscv: Remove support for variable page sizes

_dl_var_init is used to patch the read-only data section after
relocation.  Several architectures use this to update
GLRO(page_size) with the correct value for the static dlopen case,
where _rtld_global_ro has not been initialized by the dynamic
loader.

RISC-V does not need this.  The RISC-V Instruction Set Manual,
Volume II: Privileged Architecture, Document Version
20190608-Priv-MSU-Ratified says this:

    After much deliberation, we have settled on a conventional
    page size of 4 KiB for both RV32 and RV64. We expect this
    decision to ease the porting of low-level runtime software
    and device drivers. The TLB reach problem is ameliorated by
    transparent superpage support in modern operating systems
    [2]. Additionally, multi-level TLB hierarchies are quite
    inexpensive relative to the multi-level cache hierarchies
    whose address space they map.

    [2] Juan Navarro, Sitaram Iyer, Peter Druschel, and
      Alan Cox. Practical, transparent operating system support
      for superpages.  SIGOPS Oper. Syst. Rev., 36(SI):89–104,
      December 2002.

This means that the initialization of
_rtld_global_ro._dl_page_size in elf/rtld.c with EXEC_PAGESIZE
is sufficient for RISC-V.

4 years agonptl: Move pthread_attr_getschedparam implementation into libc
Florian Weimer [Mon, 7 Oct 2019 13:49:48 +0000 (15:49 +0200)]
nptl: Move pthread_attr_getschedparam implementation into libc

This is part of the libpthread removal project:

  <https://sourceware.org/ml/libc-alpha/2019-10/msg00080.html>

Reviewed-by: Adhemerval Zanella <adhemerval.zanella@linaro.org>
4 years agoelf: Assign TLS modid later during dlopen [BZ #24930]
Florian Weimer [Fri, 4 Oct 2019 19:23:51 +0000 (21:23 +0200)]
elf: Assign TLS modid later during dlopen [BZ #24930]

Commit a42faf59d6d9f82e5293a9ebcc26d9c9e562b12b ("Fix BZ #16634.")
attempted to fix a TLS modid consistency issue by adding additional
checks to the open_verify function.  However, this is fragile
because open_verify cannot reliably predict whether
_dl_map_object_from_fd will later fail in the more complex cases
(such as memory allocation failures).  Therefore, this commit
assigns the TLS modid as late as possible.  At that point, the link
map pointer will eventually be passed to _dl_close, which will undo
the TLS modid assignment.

Reviewed-by: Gabriel F. T. Gomes <gabrielftg@linux.ibm.com>
4 years agoelf: Never use the file ID of the main executable [BZ #24900]
Florian Weimer [Fri, 4 Oct 2019 19:22:54 +0000 (21:22 +0200)]
elf: Never use the file ID of the main executable [BZ #24900]

If the loader is invoked explicitly and loads the main executable,
it stores the file ID of the main executable in l_file_id.  This
information is not available if the main excutable is loaded by the
kernel, so this is another case where the two cases differ.

This enhances commit 23d2e5faf0bca6d9b31bef4aa162b95ee64cbfc6
("elf: Self-dlopen failure with explict loader invocation
[BZ #24900]").

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
Reviewed-by: Gabriel F. T. Gomes <gabrielftg@linux.ibm.com>
4 years agonptl: Move pthread_attr_setinheritsched implementation into libc.
Florian Weimer [Fri, 4 Oct 2019 15:36:55 +0000 (17:36 +0200)]
nptl: Move pthread_attr_setinheritsched implementation into libc.

This is part of the libpthread removal project:

  <https://sourceware.org/ml/libc-alpha/2019-10/msg00080.html>

4 years agoChangeLog update from my last commit
Paul A. Clarke [Thu, 3 Oct 2019 19:09:54 +0000 (14:09 -0500)]
ChangeLog update from my last commit

I forgot to include the ChangeLog update with my last commit:
7b8481b330720d28c019a2e5994492a1923d5daa.

Signed-off-by: Paul A. Clarke <pc@us.ibm.com>
4 years agoDisable -Wmaybe-uninitialized for total_deadline in sunrpc/clnt_udp.c.
Joseph Myers [Wed, 2 Oct 2019 21:12:17 +0000 (21:12 +0000)]
Disable -Wmaybe-uninitialized for total_deadline in sunrpc/clnt_udp.c.

To work around <https://gcc.gnu.org/bugzilla/show_bug.cgi?id=91691>
for RV32, we recently disabled -Wmaybe-uninitialized for some inline
functions in inet/net-internal.h, as included by sunrpc/clnt_udp.c.

The same error has now appeared with current GCC trunk for MIPS, in a
form that is located at the definition of the variable in question and
so unaffected by the disabling in inet/net-internal.h.  Thus, this
patch adds the same disabling around the definition of that variable,
to cover the MIPS case.

Tested with build-many-glibcs.py (compilers and glibcs stages) for
mips64-linux-gnu with GCC mainline.

* sunrpc/clnt_udp.c: Include <libc-diag.h>.
(clntudp_call): Disable -Wmaybe-uninitialized around declaration
of total_deadline.

4 years agostring/endian.h: Restore the __USE_MISC conditionals
Alistair Francis [Wed, 2 Oct 2019 17:00:40 +0000 (10:00 -0700)]
string/endian.h: Restore the __USE_MISC conditionals

Commit 69fd157a3 "time: Add padding for the timespec if required"
caused a breakage in the glibc tests as the endian.h include file was
kept in the networking headers while the __USE_MISC #ifdefs had been
removed. This resulted in namespace violations in the networking
headers.

This patche restores the __USE_MISC conditionals in endian.h to fix the
test failures.

* string/endian.h: Restore the __USE_MISC conditionals.

4 years agoDisable warnings in string/tester.c at top level.
Joseph Myers [Wed, 2 Oct 2019 17:26:14 +0000 (17:26 +0000)]
Disable warnings in string/tester.c at top level.

string/tester.c contains code that correctly triggers various GCC
warnings about dubious uses of string functions (uses that are being
deliberately tested there), and duly disables those warnings around
the relevant code.

A change in GCC mainline resulted in this code failing to compile with
a -Warray-bounds error, despite the location with the error having
-Warray-bounds already disabled.  This has been reported as
<https://gcc.gnu.org/bugzilla/show_bug.cgi?id=91890>.  This patch
avoids that problem and possible future issues with these diagnostics
by moving all the warning disabling in this file to top level, as
suggested by Florian in
<https://sourceware.org/ml/libc-alpha/2019-10/msg00033.html>, rather
than only doing it locally around specific function calls.

Tested with build-many-glibcs.py for aarch64-linux-gnu with GCC
mainline (with only the conform/ failures noted in
<https://sourceware.org/ml/libc-alpha/2019-10/msg00043.html>).

* string/tester.c: Ignore -Warray-bounds and
-Wmemset-transposed-args at top level.
[__GNUC_PREREQ (7, 0)]: Ignore -Wrestrict and -Wstringop-overflow=
at top level.
[__GNUC_PREREQ (8, 0)]: Ignore -Wstringop-truncation at top level.
(test_stpncpy): Do not ignore warnings here.
(test_strncat): Likewise.
(test_strncpy): Likewise.
(test_memset): Likewise.

4 years agoY2038: Include proper header to provide support for struct timeval on HURD
Lukasz Majewski [Wed, 2 Oct 2019 08:19:55 +0000 (10:19 +0200)]
Y2038: Include proper header to provide support for struct timeval on HURD

The HURD requires explicit inclusion of <bits/types/struct_timeval.h> to use
struct timeval in ./include/time.h.
For this particular glibc port, the proper header hasn't been included before
inclusion of time.h.

Tested with build-many-glibcs.py with i686-gnu and x86_64-linux-gnu:

build-many-glibcs.py /home/lukma/work/glibc/glibc-many-build --keep all compilers i686-gnu
build-many-glibcs.py /home/lukma/work/glibc/glibc-many-build --keep all glibcs i686-gnu

Also run of xcheck on x86_64:
./src/configure --prefix=/usr
make PARALLELMFLAGS="-j12" && make xcheck PARALLELMFLAGS="-j12"

* include/time.h: Add #include <bits/types/struct_timeval.h>

4 years ago[powerpc] No need to enter "Ignore Exceptions Mode"
Paul A. Clarke [Thu, 19 Sep 2019 16:11:04 +0000 (11:11 -0500)]
[powerpc] No need to enter "Ignore Exceptions Mode"

Since at least POWER8, there is no performance advantage to entering
"Ignore Exceptions Mode", and doing so conditionally requires
 - the conditional logic, and
 - a system call.

Make it a no-op for uses within glibc.

4 years agoEnable passing arguments to the inferior in debugglibc.sh
Arjun Shankar [Wed, 2 Oct 2019 11:59:43 +0000 (13:59 +0200)]
Enable passing arguments to the inferior in debugglibc.sh

This patch adds the ability to run debugglibc.sh's inferior program with
arguments specified on the command line. This enables convenient debugging
of non-testcase programs such as iconv/iconv_prog or other dynamically
linked programs. Program arguments may be passed using `--' as a separator.

For example:

  $ ./debugglibc.sh -b iconv -- iconv/iconv_prog -f ASCII -t UTF-8 input.txt

4 years agotime: Add padding for the timespec if required
Alistair Francis [Wed, 18 Sep 2019 23:51:23 +0000 (16:51 -0700)]
time: Add padding for the timespec if required

If we are running on a 32-bit system with a 64-bit time_t we need to
ensure there is padding around the tv_nsec variable. This is requried as
the timespec is #defined to the __timespec64 struct.

* time/bits/types/struct_timespec.h: Add padding for the timespec if
required.

4 years agoSplit up endian.h to minimize exposure of BYTE_ORDER.
Alistair Francis [Fri, 20 Sep 2019 21:23:51 +0000 (14:23 -0700)]
Split up endian.h to minimize exposure of BYTE_ORDER.

With only two exceptions (sys/types.h and sys/param.h, both of which
historically might have defined BYTE_ORDER) the public headers that
include <endian.h> only want to be able to test __BYTE_ORDER against
__*_ENDIAN.

This patch creates a new bits/endian.h that can be included by any
header that wants to be able to test __BYTE_ORDER and/or
__FLOAT_WORD_ORDER against the __*_ENDIAN constants, or needs
__LONG_LONG_PAIR.  It only defines macros in the implementation
namespace.

The existing bits/endian.h (which could not be included independently
of endian.h, and only defines __BYTE_ORDER and maybe __FLOAT_WORD_ORDER)
is renamed to bits/endianness.h.  I also took the opportunity to
canonicalize the form of this header, which we are stuck with having
one copy of per architecture.  Since they are so short, this means git
doesn’t understand that they were renamed from existing headers, sigh.

endian.h itself is a nonstandard header and its only remaining use
from a standard header is guarded by __USE_MISC, so I dropped the
__USE_MISC conditionals from around all of the public-namespace things
it defines.  (This means, an application that requests strict library
conformance but includes endian.h will still see the definition of
BYTE_ORDER.)

A few changes to specific bits/endian(ness).h variants deserve
mention:

 - sysdeps/unix/sysv/linux/ia64/bits/endian.h is moved to
   sysdeps/ia64/bits/endianness.h.  If I remember correctly, ia64 did
   have selectable endianness, but we have assembly code in
   sysdeps/ia64 that assumes it’s little-endian, so there is no reason
   to treat the ia64 endianness.h as linux-specific.

 - The C-SKY port does not fully support big-endian mode, the compile
   will error out if __CSKYBE__ is defined.

 - The PowerPC port had extra logic in its bits/endian.h to detect a
   broken compiler, which strikes me as unnecessary, so I removed it.

 - The only files that defined __FLOAT_WORD_ORDER always defined it to
   the same value as __BYTE_ORDER, so I removed those definitions.
   The SH bits/endian(ness).h had comments inconsistent with the
   actual setting of __FLOAT_WORD_ORDER, which I also removed.

 - I *removed* copyright boilerplate from the few bits/endian(ness).h
   headers that had it; these files record a single fact in a fashion
   dictated by an external spec, so I do not think they are copyrightable.

As long as I was changing every copy of ieee754.h in the tree, I
noticed that only the MIPS variant includes float.h, because it uses
LDBL_MANT_DIG to decide among three different versions of
ieee854_long_double.  This patch makes it not include float.h when
GCC’s intrinsic __LDBL_MANT_DIG__ is available.

* string/endian.h: Unconditionally define LITTLE_ENDIAN,
BIG_ENDIAN, PDP_ENDIAN, and BYTE_ORDER.  Condition byteswapping
macros only on !__ASSEMBLER__. Move the definitions of
__BIG_ENDIAN, __LITTLE_ENDIAN, __PDP_ENDIAN, __FLOAT_WORD_ORDER,
and __LONG_LONG_PAIR to...
* string/bits/endian.h: ...this new file, which includes
the renamed header bits/endianness.h for the definition of
__BYTE_ORDER and possibly __FLOAT_WORD_ORDER.

* string/Makefile: Install bits/endianness.h.
* include/bits/endian.h: New wrapper.

* bits/endian.h: Rename to bits/endianness.h.
Add multiple-include guard.  Rewrite the comment explaining what
the machine-specific variants of this file should do.

* sysdeps/unix/sysv/linux/ia64/bits/endian.h:
Move to sysdeps/ia64.

* sysdeps/aarch64/bits/endian.h
* sysdeps/alpha/bits/endian.h
* sysdeps/arm/bits/endian.h
* sysdeps/csky/bits/endian.h
* sysdeps/hppa/bits/endian.h
* sysdeps/ia64/bits/endian.h
* sysdeps/m68k/bits/endian.h
* sysdeps/microblaze/bits/endian.h
* sysdeps/mips/bits/endian.h
* sysdeps/nios2/bits/endian.h
* sysdeps/powerpc/bits/endian.h
* sysdeps/riscv/bits/endian.h
* sysdeps/s390/bits/endian.h
* sysdeps/sh/bits/endian.h
* sysdeps/sparc/bits/endian.h
* sysdeps/x86/bits/endian.h:
Rename to endianness.h; canonicalize form of file; remove
redundant definitions of __FLOAT_WORD_ORDER.

* sysdeps/powerpc/bits/endianness.h: Remove logic to check for
broken compilers.

* ctype/ctype.h
* sysdeps/aarch64/nptl/bits/pthreadtypes-arch.h
* sysdeps/arm/nptl/bits/pthreadtypes-arch.h
* sysdeps/csky/nptl/bits/pthreadtypes-arch.h
* sysdeps/ia64/ieee754.h
* sysdeps/ieee754/ieee754.h
* sysdeps/ieee754/ldbl-128/ieee754.h
* sysdeps/ieee754/ldbl-128ibm/ieee754.h
* sysdeps/m68k/nptl/bits/pthreadtypes-arch.h
* sysdeps/microblaze/nptl/bits/pthreadtypes-arch.h
* sysdeps/mips/ieee754/ieee754.h
* sysdeps/mips/nptl/bits/pthreadtypes-arch.h
* sysdeps/nios2/nptl/bits/pthreadtypes-arch.h
* sysdeps/nptl/pthread.h
* sysdeps/riscv/nptl/bits/pthreadtypes-arch.h
* sysdeps/sh/nptl/bits/pthreadtypes-arch.h
* sysdeps/sparc/sparc32/ieee754.h
* sysdeps/unix/sysv/linux/generic/bits/stat.h
* sysdeps/unix/sysv/linux/generic/bits/statfs.h
* sysdeps/unix/sysv/linux/sys/acct.h
* wctype/bits/wctype-wchar.h:
Include bits/endian.h, not endian.h.

* sysdeps/unix/sysv/linux/hppa/pthread.h: Don’t include endian.h.

* sysdeps/mips/ieee754/ieee754.h: Use __LDBL_MANT_DIG__
in ifdefs, instead of LDBL_MANT_DIG.  Only include float.h
when __LDBL_MANT_DIG__ is not predefined, in which case
define __LDBL_MANT_DIG__ to equal LDBL_MANT_DIG.

4 years agoSync "language", "lang_name", "territory", "country_name" with CLDR/langtable
Mike FABIAN [Tue, 17 Sep 2019 15:20:32 +0000 (17:20 +0200)]
Sync "language", "lang_name", "territory", "country_name" with CLDR/langtable

Sync these values with CLDR and langtable as much as possible.  Add
missing values.

If possible, take the values from CLDR, if CLDR does not have it,
take it from langtable. The values from langtable which are not from
CLDR are from  Wikipedia or native speakers.

4 years agoUse binutils 2.33 branch in build-many-glibcs.py.
Joseph Myers [Mon, 30 Sep 2019 22:21:39 +0000 (22:21 +0000)]
Use binutils 2.33 branch in build-many-glibcs.py.

This patch makes build-many-glibcs.py default to binutils 2.33 branch.

Tested with build-many-glibcs.py (compilers and glibcs builds).

* scripts/build-many-glibcs.py (Context.checkout): Default
binutils version to 2.33 branch.

4 years agoy2038: Provide conversion helpers for struct __timespec64
Lukasz Majewski [Mon, 25 Mar 2019 07:38:02 +0000 (08:38 +0100)]
y2038: Provide conversion helpers for struct __timespec64

Those functions allow easy conversion between Y2038 safe struct
__timespec64 and other time related data structures (like struct timeval
or struct timespec).

* include/time.h (valid_timeval_to_timespec64): Add.
* include/time.h (valid_timespec_to_timespec64): Likewise.
* include/time.h (valid_timespec64_to_timespec): Likewise.
* include/time.h (valid_timespec64_to_timeval): Likewise.

4 years agoUpdate bits/mman.h constants and tst-mman-consts.py for Linux 5.3.
Joseph Myers [Mon, 30 Sep 2019 15:49:25 +0000 (15:49 +0000)]
Update bits/mman.h constants and tst-mman-consts.py for Linux 5.3.

The Linux 5.3 uapi headers have some rearrangement relating to MAP_*
constants, which includes the effect of adding definitions of MAP_SYNC
on powerpc and sparc.  This patch updates the corresponding glibc
bits/mman.h headers accordingly, and updates the Linux kernel version
number in tst-mman-consts.py to reflect that these constants are now
current with that kernel version.

Tested with build-many-glibcs.py.

* sysdeps/unix/sysv/linux/powerpc/bits/mman.h [__USE_MISC]
(MAP_SYNC): New macro.
* sysdeps/unix/sysv/linux/sparc/bits/mman.h [__USE_MISC]
(MAP_SYNC): Likewise.
* sysdeps/unix/sysv/linux/tst-mman-consts.py (main): Update Linux
kernel version number to 5.3.

4 years agoAdd helper script for glibc debugging
Gabriel F. T. Gomes [Tue, 24 Sep 2019 17:21:42 +0000 (14:21 -0300)]
Add helper script for glibc debugging

This patch adds a new make rule that generates a helper script for
debugging glibc test cases.  The new script, debugglibc.sh, is similar
to testrun.sh, in the sense that it allows the execution of the
specified test case, however, it opens the test case in GDB, setting the
library path the same way that testrun.sh does.  The commands are based
on the instructions on the wiki for glibc debugging [1,2].

By default, the script tells GDB to load the test case for symbol
information, so that, when a breakpoint is hit, the call stack is
displayed correctly (instead of printing lots of '??'s).  For instance,
after running 'make' and 'make check', one could do the following:

  $ ./debugglibc.sh nptl/tst-exec1 -b pthread_join

  Reading symbols from /home/gabriel/build/powerpc64le/glibc//elf/ld.so...done.
  Breakpoint 1 at 0x1444
  add symbol table from file "nptl/tst-exec1"
  [Thread debugging using libthread_db enabled]
  Using host libthread_db library "/home/gabriel/build/powerpc64le/glibc//nptl_db/libthread_db.so.1".

  Breakpoint 1, 0x00007ffff7fb1444 in _dl_start_user () from /home/gabriel/build/powerpc64le/glibc/elf/ld.so
  Breakpoint 2 at 0x7ffff7f49d48: file pthread_join.c, line 23.

Notice that the script will always start GDB with the program running
and halted at _dl_start_user.  So, in order to reach the actual
breakpoint of interest, one should hit 'c', not 'r':

  >>> c
  Continuing.
  [New Thread 0x7ffff7d1f180 (LWP 76443)]
  [Switching to Thread 0x7ffff7d1f180 (LWP 76443)]

  Thread 2 "ld.so" hit Breakpoint 2, __pthread_join (threadid=140737354087616, thread_return=0x0) at pthread_join.c:24
  24        return __pthread_timedjoin_ex (threadid, thread_return, NULL, true);

Then inspect the call stack with 'bt', as usual, and see symbols from
both the test case and from the libraries themselves:

  >>> bt
  #0  __pthread_join (threadid=140737354087616, thread_return=0x0) at pthread_join.c:24
  #1  0x0000000010001f4c in tf (arg=<optimized out>) at tst-exec1.c:37
  #2  0x00007ffff7f487e8 in start_thread (arg=0x7ffff7510000) at pthread_create.c:479
  #3  0x00007ffff7e523a8 in clone () at ../sysdeps/unix/sysv/linux/powerpc/powerpc64/clone.S:82

Tested for powerpc64le and x86_64.

[1] https://sourceware.org/glibc/wiki/Debugging/Loader_Debugging
[2] https://sourceware.org/glibc/wiki/Testing/Builds#Required_gdb_setup

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
Reviewed-by: Dmitry V. Levin <ldv@altlinux.org>
Reviewed-by: Joseph Myers <joseph@codesourcery.com>
Reviewed-by: Andreas Schwab <schwab@suse.de>
4 years ago[powerpc] Rename fesetenv_mode to fesetenv_control
Paul A. Clarke [Thu, 19 Sep 2019 19:04:45 +0000 (14:04 -0500)]
[powerpc] Rename fesetenv_mode to fesetenv_control

fesetenv_mode is used variously to write the FPSCR exception enable
bits and rounding mode bits.  These are referred to as the control
bits in the POWER ISA.  Change the name to be reflective of its
current and expected use, and match up well with fegetenv_control.

4 years ago[powerpc] libc_feholdsetround_noex_ppc_ctx: optimize FPSCR write
Paul A. Clarke [Thu, 19 Sep 2019 16:31:31 +0000 (11:31 -0500)]
[powerpc] libc_feholdsetround_noex_ppc_ctx: optimize FPSCR write

libc_feholdsetround_noex_ppc_ctx currently performs:
1. Read FPSCR, save to context.
2. Create new FPSCR value: clear enables and set new rounding mode.
3. Write new value to FPSCR.

Since other bits just pass through, there is no need to write them.

Instead, write just the changed values (enables and rounding mode),
which can be a bit more efficient.

4 years ago[powerpc] Rename fegetenv_status to fegetenv_control
Paul A. Clarke [Thu, 19 Sep 2019 16:58:46 +0000 (11:58 -0500)]
[powerpc] Rename fegetenv_status to fegetenv_control

fegetenv_status is used variously to retrieve the FPSCR exception enable
bits, rounding mode bits, or both.  These are referred to as the control
bits in the POWER ISA.  FPSCR status bits are also returned by the
'mffs' and 'mffsl' instructions, but they are uniformly ignored by all
uses of fegetenv_status.  Change the name to be reflective of its
current and expected use.

Reviewed-By: Paul E Murphy <murphyp@linux.ibm.com>
4 years ago[powerpc] __fesetround_inline optimizations
Paul A. Clarke [Thu, 19 Sep 2019 16:39:44 +0000 (11:39 -0500)]
[powerpc] __fesetround_inline optimizations

On POWER9, use more efficient means to update the 2-bit rounding mode
via the 'mffscrn' instruction (instead of two 'mtfsb0/1' instructions
or one 'mtfsfi' instruction that modifies 4 bits).

Suggested-by: Paul E. Murphy <murphyp@linux.ibm.com>
Reviewed-By: Paul E Murphy <murphyp@linux.ibm.com>
4 years ago[powerpc] libc_feupdateenv_test: optimize FPSCR access
Paul A. Clarke [Thu, 19 Sep 2019 16:18:33 +0000 (11:18 -0500)]
[powerpc] libc_feupdateenv_test: optimize FPSCR access

ROUND_TO_ODD and a couple of other places use libc_feupdateenv_test to
restore the rounding mode and exception enables, preserve exception flags,
and test whether given exception(s) were generated.

If the exception flags haven't changed, then it is sufficient and a bit
more efficient to just restore the rounding mode and enables, rather than
writing the full Floating-Point Status and Control Register (FPSCR).

Reviewed-by: Paul E. Murphy <murphyp@linux.ibm.com>
4 years ago[powerpc] fenv_private.h clean up
Paul A. Clarke [Thu, 19 Sep 2019 14:13:14 +0000 (09:13 -0500)]
[powerpc] fenv_private.h clean up

fenv_private.h includes unused functions, magic macro constants, and
some replicated common code fragments.

Remove unused functions, replace magic constants with constants from
fenv_libc.h, and refactor replicated code.

Suggested-by: Paul E. Murphy <murphyp@linux.ibm.com>
Reviewed-By: Paul E Murphy <murphyp@linux.ibm.com>
4 years agoAdd TCP_TX_DELAY from Linux 5.3 to netinet/tcp.h.
Joseph Myers [Fri, 27 Sep 2019 13:37:36 +0000 (13:37 +0000)]
Add TCP_TX_DELAY from Linux 5.3 to netinet/tcp.h.

This patch adds the new TCP_TX_DELAY constant from Linux 5.3 to
sysdeps/gnu/netinet/tcp.h.

Tested for x86_64.

* sysdeps/gnu/netinet/tcp.h (TCP_TX_DELAY): New macro.

4 years agoy2038: Introduce struct __timespec64 - new internal glibc type
Lukasz Majewski [Fri, 22 Mar 2019 10:53:45 +0000 (11:53 +0100)]
y2038: Introduce struct __timespec64 - new internal glibc type

This type is a glibc's "internal" type similar to struct timespec but
whose tv_sec field is a __time64_t rather than a time_t, which makes it
Y2038-proof and usable to pass syscalls between user code and Y2038-proof
kernel.

To support passing this structure to the kernel - the unnamed 32 bit
padding bit-field has been introduced. The placement of it depends on
the endianness of the SoC.

Tested on x86_64 and ARM.

4 years agoauto-changelog: Remove latin1 from codecs
Siddhesh Poyarekar [Thu, 26 Sep 2019 19:04:26 +0000 (12:04 -0700)]
auto-changelog: Remove latin1 from codecs

Bruno Haible had pointed out that latin1 is a subset of cp1252 and is
hence redundant.  I forgot to remove it back then.

4 years agoSet the expects flags to clock_nanosleep
Adhemerval Zanella [Wed, 25 Sep 2019 22:10:00 +0000 (22:10 +0000)]
Set the expects flags to clock_nanosleep

It moves the missing CFLAGS from rt/Makefile to time/Makefile missing
from 7b5af2d8f2a2b (Finish move of clock_* functions to libc. [BZ #24959]).

Checked on powerpc64le-linux-gnu.

* rt/Makefile (CFLAGS-clock_nanosleep.c): Move to ...
* time/Makefile (CFLAGS-clock_nanosleep.c): ... here.

4 years agoFix tst-sigcontext-get_pc rule name from a43565ac447b1
Adhemerval Zanella [Wed, 25 Sep 2019 22:06:34 +0000 (22:06 +0000)]
Fix tst-sigcontext-get_pc rule name from a43565ac447b1

Checked on powerpc64le-linux-gnu.

* sysdeps/unix/sysv/linux/Makefile
(CFLAGS-tst-sigcontextinfo-get_pc.c): Rename to
CFLAGS-tst-sigcontext-get_pc.c.

4 years agoinet/net-internal.h: Fix uninitalised clntudp_call() variable
Alistair Francis [Tue, 24 Sep 2019 20:55:36 +0000 (21:55 +0100)]
inet/net-internal.h: Fix uninitalised clntudp_call() variable

The total_deadline variable inside the clntudp_call() function inside
sunrpc/clnt_udp.c can cause uninitalised variable warnings when building
with GCC 8.3 or 9.2 on a platform with a 64-bit tv_nsec on a 32-bit
architecture.  To fix the warning let's use the DIAG_* macros to hide the
warning.

A GCC bug case has also been submitted:
    https://gcc.gnu.org/bugzilla/show_bug.cgi?id=91691

2019-09-24  Alistair Francis  <alistair.francis@wdc.com>

* inet/net-internal.h: Fix uninitalised clntudp_call() variable.

Reviewed-by: Carlos O'Donell <carlos@redhat.com>
4 years agoFix vDSO initialization on arm and mips
Andreas Schwab [Tue, 24 Sep 2019 10:16:37 +0000 (12:16 +0200)]
Fix vDSO initialization on arm and mips

4 years agoScript to generate ChangeLog-like output from git log
Siddhesh Poyarekar [Fri, 20 Sep 2019 18:36:55 +0000 (11:36 -0700)]
Script to generate ChangeLog-like output from git log

Co-authored-by: Gabriel F. T. Gomes <gabriel@inconstante.net.br>
Reviewed-by: Gabriel F. T. Gomes <gabriel@inconstante.net.br>
Reviewed-by: Joseph Myers <joseph@codesourcery.com>
The utility of a ChangeLog file has been discussed in various mailing
list threads and GNU Tools Cauldrons in the past years and the general
consensus is that while the file may have been very useful in the past
when revision control did not exist or was not as powerful as it is
today, it's current utility is fast diminishing.  Further, the
ChangeLog format gets in the way of modernisation of processes since
it almost always results in rewriting of a commit, thus preventing use
of any code review tools to automatically manage patches in the glibc
project.

There is consensus in the glibc community that documentation of why a
change was done (i.e. a detailed description in a git commit) is more
useful than what changed (i.e. a ChangeLog entry) since the latter can
be deduced from the patch.  The GNU community would however like to
keep the option of ascertaining what changed through a ChangeLog-like
output and as a compromise, it was proposed that a script be developed
that generates this output.

The script below is the result of these discussions.  This script
takes two git revisions references as input and generates the git log
between those revisions in a form that resembles a ChangeLog.  Its
capabilities and limitations are listed in a comment in the script.
On a high level it is capable of parsing C code and telling what
changed at the top level, but not within constructs such as functions.

Design
------

At a high level, the script analyses the raw output of a VCS, parses
the source files that have changed and attempts to determine what
changed.  The script driver needs three distinct components to be
fully functional for a repository:

- A vcstocl_quirks.py file that helps it parse weird patterns in
  sources that may result from preprocessor defines.
- A VCS plugin backend; the git backend is implemented for glibc
- A programming language parser plugin.  C is currently implemented.

Additional programming language parsers can be added to give more
detailed output for changes in those types of files.

For input in languages other than those that have a parser, the script
only identifies if a file has been added, removed, modified,
permissions changed, etc. but cannot understand the change in content.

The C Parser
------------

The C parser is capable of parsing C programs with preprocessor macros
in place, as if they were part of the language.  This presents some
challenges with parsing code that expands macros on the fly and to
help work around that, a vcstocl_quirks.py file has transformations to
ease things.

The C parser currently can identify macro definitions and scopes and
all global and static declarations and definitions.  It cannot parse
(and compare) changes inside functions yet, it could be a future
enhancement if the need for it arises.

Testing
-------

The script has been tested with the glibc repository up to glibc-2.29
and also in the past with emacs.  While it would be ideal to have
something like this in a repository like gnulib, that should not be a
bottleneck for glibc to start using this, so this patch proposes to
add these scripts into glibc.

And here is (hopefully!) one of the last ChangeLog entries we'd have
to write for glibc:

* scripts/gitlog_to_changelog.py: New script to auto-generate
ChangeLog.
* scripts/vcs_to_changelog/frontend_c.py: New file.
* scripts/vcs_to_changelog/misc_util.py: New file.
* scripts/vcs_to_changelog/vcs_git.py: New file.
* scripts/vcs_to_changelog/vcstocl_quirks.py: Likewise.