bpf: Clear zext_dst of dead insns
authorIlya Leoshkevich <iii@linux.ibm.com>
Thu, 12 Aug 2021 15:18:10 +0000 (17:18 +0200)
committerDaniel Borkmann <daniel@iogearbox.net>
Fri, 13 Aug 2021 15:43:43 +0000 (17:43 +0200)
commit45c709f8c71b525b51988e782febe84ce933e7e0
treeda71f790cc784528f88ed653226f9e8fe72cf188
parent2d3a1e3615c5449a4583010f41a6f824a4ffa03e
bpf: Clear zext_dst of dead insns

"access skb fields ok" verifier test fails on s390 with the "verifier
bug. zext_dst is set, but no reg is defined" message. The first insns
of the test prog are ...

   0: 61 01 00 00 00 00 00 00  ldxw %r0,[%r1+0]
   8: 35 00 00 01 00 00 00 00  jge %r0,0,1
  10: 61 01 00 08 00 00 00 00  ldxw %r0,[%r1+8]

... and the 3rd one is dead (this does not look intentional to me, but
this is a separate topic).

sanitize_dead_code() converts dead insns into "ja -1", but keeps
zext_dst. When opt_subreg_zext_lo32_rnd_hi32() tries to parse such
an insn, it sees this discrepancy and bails. This problem can be seen
only with JITs whose bpf_jit_needs_zext() returns true.

Fix by clearning dead insns' zext_dst.

The commits that contributed to this problem are:

1. 5aa5bd14c5f8 ("bpf: add initial suite for selftests"), which
   introduced the test with the dead code.
2. 5327ed3d44b7 ("bpf: verifier: mark verified-insn with
   sub-register zext flag"), which introduced the zext_dst flag.
3. 83a2881903f3 ("bpf: Account for BPF_FETCH in
   insn_has_def32()"), which introduced the sanity check.
4. 9183671af6db ("bpf: Fix leakage under speculation on
   mispredicted branches"), which bisect points to.

It's best to fix this on stable branches that contain the second one,
since that's the point where the inconsistency was introduced.

Fixes: 5327ed3d44b7 ("bpf: verifier: mark verified-insn with sub-register zext flag")
Signed-off-by: Ilya Leoshkevich <iii@linux.ibm.com>
Signed-off-by: Daniel Borkmann <daniel@iogearbox.net>
Link: https://lore.kernel.org/bpf/20210812151811.184086-2-iii@linux.ibm.com
kernel/bpf/verifier.c