io_uring: notification completion optimisation
authorPavel Begunkov <asml.silence@gmail.com>
Wed, 27 Jul 2022 09:30:41 +0000 (10:30 +0100)
committerJens Axboe <axboe@kernel.dk>
Wed, 27 Jul 2022 14:50:50 +0000 (08:50 -0600)
commit14b146b688ad9593f5eee93d51a34d09a47e50b5
tree760b8eb09789bf4df3eec796829bae78b7c480fe
parentbd1a3783dd749012134b142b52e5704f7c142897
io_uring: notification completion optimisation

We want to use all optimisations that we have for io_uring requests like
completion batching, memory caching and more but for zc notifications.
Fortunately, notification perfectly fit the request model so we can
overlay them onto struct io_kiocb and use all the infratructure.

Most of the fields of struct io_notif natively fits into io_kiocb, so we
replace struct io_notif with struct io_kiocb carrying struct
io_notif_data in the cmd cache line. Then we adapt io_alloc_notif() to
use io_alloc_req()/io_alloc_req_refill(), and kill leftovers of hand
coded caching. __io_notif_complete_tw() is converted to use io_uring's
tw infra.

Signed-off-by: Pavel Begunkov <asml.silence@gmail.com>
Link: https://lore.kernel.org/r/9e010125175e80baf51f0ca63bdc7cc6a4a9fa56.1658913593.git.asml.silence@gmail.com
Signed-off-by: Jens Axboe <axboe@kernel.dk>
include/linux/io_uring_types.h
io_uring/io_uring.c
io_uring/net.c
io_uring/notif.c
io_uring/notif.h