bpf: Use migrate_disable/enabe() in trampoline code.
authorDavid Miller <davem@davemloft.net>
Mon, 24 Feb 2020 14:01:45 +0000 (15:01 +0100)
committerAlexei Starovoitov <ast@kernel.org>
Tue, 25 Feb 2020 00:20:09 +0000 (16:20 -0800)
Instead of preemption disable/enable to reflect the purpose. This allows
PREEMPT_RT to substitute it with an actual migration disable
implementation. On non RT kernels this is still mapped to
preempt_disable/enable().

Signed-off-by: David S. Miller <davem@davemloft.net>
Signed-off-by: Thomas Gleixner <tglx@linutronix.de>
Signed-off-by: Alexei Starovoitov <ast@kernel.org>
Link: https://lore.kernel.org/bpf/20200224145643.891428873@linutronix.de
kernel/bpf/trampoline.c

index 6b264a9..704fa78 100644 (file)
@@ -367,8 +367,9 @@ out:
        mutex_unlock(&trampoline_mutex);
 }
 
-/* The logic is similar to BPF_PROG_RUN, but with explicit rcu and preempt that
- * are needed for trampoline. The macro is split into
+/* The logic is similar to BPF_PROG_RUN, but with an explicit
+ * rcu_read_lock() and migrate_disable() which are required
+ * for the trampoline. The macro is split into
  * call _bpf_prog_enter
  * call prog->bpf_func
  * call __bpf_prog_exit
@@ -378,7 +379,7 @@ u64 notrace __bpf_prog_enter(void)
        u64 start = 0;
 
        rcu_read_lock();
-       preempt_disable();
+       migrate_disable();
        if (static_branch_unlikely(&bpf_stats_enabled_key))
                start = sched_clock();
        return start;
@@ -401,7 +402,7 @@ void notrace __bpf_prog_exit(struct bpf_prog *prog, u64 start)
                stats->nsecs += sched_clock() - start;
                u64_stats_update_end(&stats->syncp);
        }
-       preempt_enable();
+       migrate_enable();
        rcu_read_unlock();
 }