[ELF][PPC] Allow PT_LOAD to have overlapping p_offset ranges
authorFangrui Song <maskray@google.com>
Tue, 20 Aug 2019 08:34:25 +0000 (08:34 +0000)
committerFangrui Song <maskray@google.com>
Tue, 20 Aug 2019 08:34:25 +0000 (08:34 +0000)
commit01c7f4b6066935c5bd6f844fdb1d419c568aef14
tree52b3d696bcbe381633714e4a2efaac1acb84e5ae
parentebc8fd3c0c644faabaf2affbfc3d172f592ac5f3
[ELF][PPC] Allow PT_LOAD to have overlapping p_offset ranges

This change affects the non-linker script case (precisely, when the
`SECTIONS` command is not used). It deletes 3 alignments at PT_LOAD
boundaries for the default case: the size of a powerpc64 binary can be
decreased by at most 192kb. The technique can be ported to other
targets.

Let me demonstrate the idea with a maxPageSize=65536 example:

When assigning the address to the first output section of a new PT_LOAD,
if the end p_vaddr of the previous PT_LOAD is 0x10020, we advance to
the next multiple of maxPageSize: 0x20000. The new PT_LOAD will thus
have p_vaddr=0x20000. Because p_offset and p_vaddr are congruent modulo
maxPageSize, p_offset will be 0x20000, leaving a p_offset gap [0x10020,
0x20000) in the output.

Alternatively, if we advance to 0x20020, the new PT_LOAD will have
p_vaddr=0x20020. We can pick either 0x10020 or 0x20020 for p_offset!
Obviously 0x10020 is the choice because it leaves no gap. At runtime,
p_vaddr will be rounded down by pagesize (65536 if
pagesize=maxPageSize). This PT_LOAD will load additional initial
contents from p_offset ranges [0x10000,0x10020), which will also be
loaded by the previous PT_LOAD. This is fine if -z noseparate-code is in
effect or if we are not transiting between executable and non-executable
segments.

ld.bfd -z noseparate-code leverages this technique to keep output small.
This patch implements the technique in lld, which is mostly effective on
targets with large defaultMaxPageSize (AArch64/MIPS/PPC: 65536). The 3
removed alignments can save almost 3*65536 bytes.

Two places that rely on p_vaddr%pagesize = 0 have to be updated.

1) We used to round p_memsz(PT_GNU_RELRO) up to commonPageSize (defaults
  to 4096 on all targets). Now p_vaddr%commonPageSize may be non-zero.
  The updated formula takes account of that factor.
2) Our TP offsets formulae are only correct if p_vaddr%p_align = 0.
  Fix them. See the updated comments in InputSection.cpp for details.

  On targets that we enable the technique (only PPC64 now),
  we can potentially make `p_vaddr(PT_TLS)%p_align(PT_TLS) != 0`
  if `sh_addralign(.tdata) < sh_addralign(.tbss)`

  This exposes many problems in ld.so implementations, especially the
  offsets of dynamic TLS blocks. Known issues:

  FreeBSD 13.0-CURRENT rtld-elf (i386/amd64/powerpc/arm64)
  glibc (HEAD) i386 and x86_64 https://sourceware.org/bugzilla/show_bug.cgi?id=24606
  musl<=1.1.22 on TLS Variant I architectures (aarch64/powerpc64/...)

  So, force p_vaddr%p_align = 0 by rounding dot up to p_align(PT_TLS).

The technique will be enabled (with updated tests) for other targets in
subsequent patches.

Reviewed By: ruiu

Differential Revision: https://reviews.llvm.org/D64906

llvm-svn: 369343
35 files changed:
lld/ELF/InputSection.cpp
lld/ELF/Writer.cpp
lld/test/ELF/basic-ppc64.s
lld/test/ELF/ppc64-abs64-dyn.s
lld/test/ELF/ppc64-bsymbolic-toc-restore.s
lld/test/ELF/ppc64-call-reach.s
lld/test/ELF/ppc64-dq.s
lld/test/ELF/ppc64-dtprel.s
lld/test/ELF/ppc64-entry-point.s
lld/test/ELF/ppc64-error-missaligned-dq.s
lld/test/ELF/ppc64-error-missaligned-ds.s
lld/test/ELF/ppc64-func-entry-points.s
lld/test/ELF/ppc64-ifunc.s
lld/test/ELF/ppc64-local-dynamic.s
lld/test/ELF/ppc64-long-branch-localentry-offset.s
lld/test/ELF/ppc64-long-branch.s
lld/test/ELF/ppc64-plt-stub.s
lld/test/ELF/ppc64-rel-calls.s
lld/test/ELF/ppc64-reloc-rel.s
lld/test/ELF/ppc64-relocs.s
lld/test/ELF/ppc64-shared-long_branch.s
lld/test/ELF/ppc64-tls-gd.s
lld/test/ELF/ppc64-tls-ie.s
lld/test/ELF/ppc64-tls-vaddr-align.s [new file with mode: 0644]
lld/test/ELF/ppc64-toc-addis-nop-lqsq.s
lld/test/ELF/ppc64-toc-addis-nop.s
lld/test/ELF/ppc64-toc-rel.s
lld/test/ELF/ppc64-toc-relax-constants.s
lld/test/ELF/ppc64-toc-relax-ifunc.s
lld/test/ELF/ppc64-toc-relax-jumptable.s
lld/test/ELF/ppc64-toc-relax.s
lld/test/ELF/ppc64-toc-restore-recursive-call.s
lld/test/ELF/ppc64-toc-restore.s
lld/test/ELF/ppc64-weak-undef-call.s
lld/test/ELF/relro-copyrel-bss-script.s