Merge tag 'x86_misc_for_v6.4_rc1' of git://git.kernel.org/pub/scm/linux/kernel/git...
[platform/kernel/linux-rpi.git] / io_uring / slist.h
1 #ifndef INTERNAL_IO_SLIST_H
2 #define INTERNAL_IO_SLIST_H
3
4 #include <linux/io_uring_types.h>
5
6 #define __wq_list_for_each(pos, head)                           \
7         for (pos = (head)->first; pos; pos = (pos)->next)
8
9 #define wq_list_for_each(pos, prv, head)                        \
10         for (pos = (head)->first, prv = NULL; pos; prv = pos, pos = (pos)->next)
11
12 #define wq_list_for_each_resume(pos, prv)                       \
13         for (; pos; prv = pos, pos = (pos)->next)
14
15 #define wq_list_empty(list)     (READ_ONCE((list)->first) == NULL)
16
17 #define INIT_WQ_LIST(list)      do {                            \
18         (list)->first = NULL;                                   \
19 } while (0)
20
21 static inline void wq_list_add_after(struct io_wq_work_node *node,
22                                      struct io_wq_work_node *pos,
23                                      struct io_wq_work_list *list)
24 {
25         struct io_wq_work_node *next = pos->next;
26
27         pos->next = node;
28         node->next = next;
29         if (!next)
30                 list->last = node;
31 }
32
33 static inline void wq_list_add_tail(struct io_wq_work_node *node,
34                                     struct io_wq_work_list *list)
35 {
36         node->next = NULL;
37         if (!list->first) {
38                 list->last = node;
39                 WRITE_ONCE(list->first, node);
40         } else {
41                 list->last->next = node;
42                 list->last = node;
43         }
44 }
45
46 static inline void wq_list_add_head(struct io_wq_work_node *node,
47                                     struct io_wq_work_list *list)
48 {
49         node->next = list->first;
50         if (!node->next)
51                 list->last = node;
52         WRITE_ONCE(list->first, node);
53 }
54
55 static inline void wq_list_cut(struct io_wq_work_list *list,
56                                struct io_wq_work_node *last,
57                                struct io_wq_work_node *prev)
58 {
59         /* first in the list, if prev==NULL */
60         if (!prev)
61                 WRITE_ONCE(list->first, last->next);
62         else
63                 prev->next = last->next;
64
65         if (last == list->last)
66                 list->last = prev;
67         last->next = NULL;
68 }
69
70 static inline void __wq_list_splice(struct io_wq_work_list *list,
71                                     struct io_wq_work_node *to)
72 {
73         list->last->next = to->next;
74         to->next = list->first;
75         INIT_WQ_LIST(list);
76 }
77
78 static inline bool wq_list_splice(struct io_wq_work_list *list,
79                                   struct io_wq_work_node *to)
80 {
81         if (!wq_list_empty(list)) {
82                 __wq_list_splice(list, to);
83                 return true;
84         }
85         return false;
86 }
87
88 static inline void wq_stack_add_head(struct io_wq_work_node *node,
89                                      struct io_wq_work_node *stack)
90 {
91         node->next = stack->next;
92         stack->next = node;
93 }
94
95 static inline void wq_list_del(struct io_wq_work_list *list,
96                                struct io_wq_work_node *node,
97                                struct io_wq_work_node *prev)
98 {
99         wq_list_cut(list, node, prev);
100 }
101
102 static inline
103 struct io_wq_work_node *wq_stack_extract(struct io_wq_work_node *stack)
104 {
105         struct io_wq_work_node *node = stack->next;
106
107         stack->next = node->next;
108         return node;
109 }
110
111 static inline struct io_wq_work *wq_next_work(struct io_wq_work *work)
112 {
113         if (!work->list.next)
114                 return NULL;
115
116         return container_of(work->list.next, struct io_wq_work, list);
117 }
118
119 #endif // INTERNAL_IO_SLIST_H