[gdb] Fix gdb crash when reading core file
authorTom de Vries <tdevries@suse.de>
Thu, 1 Nov 2018 08:21:18 +0000 (09:21 +0100)
committerTom de Vries <tdevries@suse.de>
Tue, 6 Nov 2018 22:15:41 +0000 (23:15 +0100)
commit31aceee86308321c2ef299e50773d0043e458e7f
treef9160cf07fef85e70924b7d9de9699f5314c98bb
parent109be305bb6acf7604f95411f333549f33a673bb
[gdb] Fix gdb crash when reading core file

Consider the test-case from this patch, compiled with O0.

The executable segfaults, and generates a core dump:
...
$ ./a.out
Segmentation fault (core dumped)
...

When loading the core file, limiting stack size to 4MB, gdb crashes:
...
$ ulimit -s 4096
$ gdb -batch ./a.out core.saved
[New LWP 19379]
Segmentation fault (core dumped)
...

The crash originates here in linux_vsyscall_range_raw, where we call alloca
with phdrs_size == 4194112 (roughly 4MB):
...
      phdrs = (Elf_Internal_Phdr *) alloca (phdrs_size);
...

While for this test-case gdb runs fine with the system default stack limit of
8MB, there are cases reported of 12MB phdrs_size where gdb also crashes with
the system default stack limit.

Fix this by using xmalloc instead of alloca, which prevents the crash provided
the stack limit is at least 112kb.

Build and reg-tested on x86_64-linux.

2018-11-06  Tom de Vries  <tdevries@suse.de>

* linux-tdep.c (linux_vsyscall_range_raw): Use xmalloc to allocate
program headers.

* gdb.base/many-headers.c: New test.
* gdb.base/many-headers.exp: New file.
gdb/ChangeLog
gdb/linux-tdep.c
gdb/testsuite/ChangeLog
gdb/testsuite/gdb.base/many-headers.c [new file with mode: 0644]
gdb/testsuite/gdb.base/many-headers.exp [new file with mode: 0644]