io_uring/io-wq: clear current->worker_private on exit
authorJens Axboe <axboe@kernel.dk>
Wed, 14 Jun 2023 01:26:55 +0000 (19:26 -0600)
committerJens Axboe <axboe@kernel.dk>
Wed, 14 Jun 2023 18:54:55 +0000 (12:54 -0600)
commitadeaa3f290ecf7f6a6a5c53219a4686cbdff5fbd
tree594103ff2751e9f571323f6cd21eb2ab1f757a65
parentcac9e4418f4cbd548ccb065b3adcafe073f7f7d2
io_uring/io-wq: clear current->worker_private on exit

A recent fix stopped clearing PF_IO_WORKER from current->flags on exit,
which meant that we can now call inc/dec running on the worker after it
has been removed if it ends up scheduling in/out as part of exit.

If this happens after an RCU grace period has passed, then the struct
pointed to by current->worker_private may have been freed, and we can
now be accessing memory that is freed.

Ensure this doesn't happen by clearing the task worker_private field.
Both io_wq_worker_running() and io_wq_worker_sleeping() check this
field before going any further, and we don't need any accounting etc
done after this worker has exited.

Fixes: fd37b884003c ("io_uring/io-wq: don't clear PF_IO_WORKER on exit")
Reported-by: Zorro Lang <zlang@redhat.com>
Signed-off-by: Jens Axboe <axboe@kernel.dk>
io_uring/io-wq.c