bpf: Support kptrs in local storage maps
authorKumar Kartikeya Dwivedi <memxor@gmail.com>
Sat, 25 Feb 2023 15:40:09 +0000 (16:40 +0100)
committerAlexei Starovoitov <ast@kernel.org>
Wed, 1 Mar 2023 18:24:33 +0000 (10:24 -0800)
commit9db44fdd8105da00669d425acab887c668df75f6
tree9215fabe2595aa084f2707d653dca82f4937fe80
parent65334e64a493c6a0976de7ad56bf8b7a9ff04b4a
bpf: Support kptrs in local storage maps

Enable support for kptrs in local storage maps by wiring up the freeing
of these kptrs from map value. Freeing of bpf_local_storage_map is only
delayed in case there are special fields, therefore bpf_selem_free_*
path can also only dereference smap safely in that case. This is
recorded using a bool utilizing a hole in bpF_local_storage_elem. It
could have been tagged in the pointer value smap using the lowest bit
(since alignment > 1), but since there was already a hole I went with
the simpler option. Only the map structure freeing is delayed using RCU
barriers, as the buckets aren't used when selem is being freed, so they
can be freed once all readers of the bucket lists can no longer access
it.

Cc: Martin KaFai Lau <martin.lau@kernel.org>
Cc: KP Singh <kpsingh@kernel.org>
Cc: Paul E. McKenney <paulmck@kernel.org>
Signed-off-by: Kumar Kartikeya Dwivedi <memxor@gmail.com>
Link: https://lore.kernel.org/r/20230225154010.391965-3-memxor@gmail.com
Signed-off-by: Alexei Starovoitov <ast@kernel.org>
include/linux/bpf_local_storage.h
kernel/bpf/bpf_local_storage.c
kernel/bpf/syscall.c
kernel/bpf/verifier.c