media: dvb: symbol fixup for dvb_attach()
[platform/kernel/linux-starfive.git] / fs / btrfs / tree-log.c
1 // SPDX-License-Identifier: GPL-2.0
2 /*
3  * Copyright (C) 2008 Oracle.  All rights reserved.
4  */
5
6 #include <linux/sched.h>
7 #include <linux/slab.h>
8 #include <linux/blkdev.h>
9 #include <linux/list_sort.h>
10 #include <linux/iversion.h>
11 #include "misc.h"
12 #include "ctree.h"
13 #include "tree-log.h"
14 #include "disk-io.h"
15 #include "locking.h"
16 #include "print-tree.h"
17 #include "backref.h"
18 #include "compression.h"
19 #include "qgroup.h"
20 #include "block-group.h"
21 #include "space-info.h"
22 #include "zoned.h"
23 #include "inode-item.h"
24
25 #define MAX_CONFLICT_INODES 10
26
27 /* magic values for the inode_only field in btrfs_log_inode:
28  *
29  * LOG_INODE_ALL means to log everything
30  * LOG_INODE_EXISTS means to log just enough to recreate the inode
31  * during log replay
32  */
33 enum {
34         LOG_INODE_ALL,
35         LOG_INODE_EXISTS,
36 };
37
38 /*
39  * directory trouble cases
40  *
41  * 1) on rename or unlink, if the inode being unlinked isn't in the fsync
42  * log, we must force a full commit before doing an fsync of the directory
43  * where the unlink was done.
44  * ---> record transid of last unlink/rename per directory
45  *
46  * mkdir foo/some_dir
47  * normal commit
48  * rename foo/some_dir foo2/some_dir
49  * mkdir foo/some_dir
50  * fsync foo/some_dir/some_file
51  *
52  * The fsync above will unlink the original some_dir without recording
53  * it in its new location (foo2).  After a crash, some_dir will be gone
54  * unless the fsync of some_file forces a full commit
55  *
56  * 2) we must log any new names for any file or dir that is in the fsync
57  * log. ---> check inode while renaming/linking.
58  *
59  * 2a) we must log any new names for any file or dir during rename
60  * when the directory they are being removed from was logged.
61  * ---> check inode and old parent dir during rename
62  *
63  *  2a is actually the more important variant.  With the extra logging
64  *  a crash might unlink the old name without recreating the new one
65  *
66  * 3) after a crash, we must go through any directories with a link count
67  * of zero and redo the rm -rf
68  *
69  * mkdir f1/foo
70  * normal commit
71  * rm -rf f1/foo
72  * fsync(f1)
73  *
74  * The directory f1 was fully removed from the FS, but fsync was never
75  * called on f1, only its parent dir.  After a crash the rm -rf must
76  * be replayed.  This must be able to recurse down the entire
77  * directory tree.  The inode link count fixup code takes care of the
78  * ugly details.
79  */
80
81 /*
82  * stages for the tree walking.  The first
83  * stage (0) is to only pin down the blocks we find
84  * the second stage (1) is to make sure that all the inodes
85  * we find in the log are created in the subvolume.
86  *
87  * The last stage is to deal with directories and links and extents
88  * and all the other fun semantics
89  */
90 enum {
91         LOG_WALK_PIN_ONLY,
92         LOG_WALK_REPLAY_INODES,
93         LOG_WALK_REPLAY_DIR_INDEX,
94         LOG_WALK_REPLAY_ALL,
95 };
96
97 static int btrfs_log_inode(struct btrfs_trans_handle *trans,
98                            struct btrfs_inode *inode,
99                            int inode_only,
100                            struct btrfs_log_ctx *ctx);
101 static int link_to_fixup_dir(struct btrfs_trans_handle *trans,
102                              struct btrfs_root *root,
103                              struct btrfs_path *path, u64 objectid);
104 static noinline int replay_dir_deletes(struct btrfs_trans_handle *trans,
105                                        struct btrfs_root *root,
106                                        struct btrfs_root *log,
107                                        struct btrfs_path *path,
108                                        u64 dirid, int del_all);
109 static void wait_log_commit(struct btrfs_root *root, int transid);
110
111 /*
112  * tree logging is a special write ahead log used to make sure that
113  * fsyncs and O_SYNCs can happen without doing full tree commits.
114  *
115  * Full tree commits are expensive because they require commonly
116  * modified blocks to be recowed, creating many dirty pages in the
117  * extent tree an 4x-6x higher write load than ext3.
118  *
119  * Instead of doing a tree commit on every fsync, we use the
120  * key ranges and transaction ids to find items for a given file or directory
121  * that have changed in this transaction.  Those items are copied into
122  * a special tree (one per subvolume root), that tree is written to disk
123  * and then the fsync is considered complete.
124  *
125  * After a crash, items are copied out of the log-tree back into the
126  * subvolume tree.  Any file data extents found are recorded in the extent
127  * allocation tree, and the log-tree freed.
128  *
129  * The log tree is read three times, once to pin down all the extents it is
130  * using in ram and once, once to create all the inodes logged in the tree
131  * and once to do all the other items.
132  */
133
134 /*
135  * start a sub transaction and setup the log tree
136  * this increments the log tree writer count to make the people
137  * syncing the tree wait for us to finish
138  */
139 static int start_log_trans(struct btrfs_trans_handle *trans,
140                            struct btrfs_root *root,
141                            struct btrfs_log_ctx *ctx)
142 {
143         struct btrfs_fs_info *fs_info = root->fs_info;
144         struct btrfs_root *tree_root = fs_info->tree_root;
145         const bool zoned = btrfs_is_zoned(fs_info);
146         int ret = 0;
147         bool created = false;
148
149         /*
150          * First check if the log root tree was already created. If not, create
151          * it before locking the root's log_mutex, just to keep lockdep happy.
152          */
153         if (!test_bit(BTRFS_ROOT_HAS_LOG_TREE, &tree_root->state)) {
154                 mutex_lock(&tree_root->log_mutex);
155                 if (!fs_info->log_root_tree) {
156                         ret = btrfs_init_log_root_tree(trans, fs_info);
157                         if (!ret) {
158                                 set_bit(BTRFS_ROOT_HAS_LOG_TREE, &tree_root->state);
159                                 created = true;
160                         }
161                 }
162                 mutex_unlock(&tree_root->log_mutex);
163                 if (ret)
164                         return ret;
165         }
166
167         mutex_lock(&root->log_mutex);
168
169 again:
170         if (root->log_root) {
171                 int index = (root->log_transid + 1) % 2;
172
173                 if (btrfs_need_log_full_commit(trans)) {
174                         ret = BTRFS_LOG_FORCE_COMMIT;
175                         goto out;
176                 }
177
178                 if (zoned && atomic_read(&root->log_commit[index])) {
179                         wait_log_commit(root, root->log_transid - 1);
180                         goto again;
181                 }
182
183                 if (!root->log_start_pid) {
184                         clear_bit(BTRFS_ROOT_MULTI_LOG_TASKS, &root->state);
185                         root->log_start_pid = current->pid;
186                 } else if (root->log_start_pid != current->pid) {
187                         set_bit(BTRFS_ROOT_MULTI_LOG_TASKS, &root->state);
188                 }
189         } else {
190                 /*
191                  * This means fs_info->log_root_tree was already created
192                  * for some other FS trees. Do the full commit not to mix
193                  * nodes from multiple log transactions to do sequential
194                  * writing.
195                  */
196                 if (zoned && !created) {
197                         ret = BTRFS_LOG_FORCE_COMMIT;
198                         goto out;
199                 }
200
201                 ret = btrfs_add_log_tree(trans, root);
202                 if (ret)
203                         goto out;
204
205                 set_bit(BTRFS_ROOT_HAS_LOG_TREE, &root->state);
206                 clear_bit(BTRFS_ROOT_MULTI_LOG_TASKS, &root->state);
207                 root->log_start_pid = current->pid;
208         }
209
210         atomic_inc(&root->log_writers);
211         if (!ctx->logging_new_name) {
212                 int index = root->log_transid % 2;
213                 list_add_tail(&ctx->list, &root->log_ctxs[index]);
214                 ctx->log_transid = root->log_transid;
215         }
216
217 out:
218         mutex_unlock(&root->log_mutex);
219         return ret;
220 }
221
222 /*
223  * returns 0 if there was a log transaction running and we were able
224  * to join, or returns -ENOENT if there were not transactions
225  * in progress
226  */
227 static int join_running_log_trans(struct btrfs_root *root)
228 {
229         const bool zoned = btrfs_is_zoned(root->fs_info);
230         int ret = -ENOENT;
231
232         if (!test_bit(BTRFS_ROOT_HAS_LOG_TREE, &root->state))
233                 return ret;
234
235         mutex_lock(&root->log_mutex);
236 again:
237         if (root->log_root) {
238                 int index = (root->log_transid + 1) % 2;
239
240                 ret = 0;
241                 if (zoned && atomic_read(&root->log_commit[index])) {
242                         wait_log_commit(root, root->log_transid - 1);
243                         goto again;
244                 }
245                 atomic_inc(&root->log_writers);
246         }
247         mutex_unlock(&root->log_mutex);
248         return ret;
249 }
250
251 /*
252  * This either makes the current running log transaction wait
253  * until you call btrfs_end_log_trans() or it makes any future
254  * log transactions wait until you call btrfs_end_log_trans()
255  */
256 void btrfs_pin_log_trans(struct btrfs_root *root)
257 {
258         atomic_inc(&root->log_writers);
259 }
260
261 /*
262  * indicate we're done making changes to the log tree
263  * and wake up anyone waiting to do a sync
264  */
265 void btrfs_end_log_trans(struct btrfs_root *root)
266 {
267         if (atomic_dec_and_test(&root->log_writers)) {
268                 /* atomic_dec_and_test implies a barrier */
269                 cond_wake_up_nomb(&root->log_writer_wait);
270         }
271 }
272
273 static void btrfs_wait_tree_block_writeback(struct extent_buffer *buf)
274 {
275         filemap_fdatawait_range(buf->pages[0]->mapping,
276                                 buf->start, buf->start + buf->len - 1);
277 }
278
279 /*
280  * the walk control struct is used to pass state down the chain when
281  * processing the log tree.  The stage field tells us which part
282  * of the log tree processing we are currently doing.  The others
283  * are state fields used for that specific part
284  */
285 struct walk_control {
286         /* should we free the extent on disk when done?  This is used
287          * at transaction commit time while freeing a log tree
288          */
289         int free;
290
291         /* pin only walk, we record which extents on disk belong to the
292          * log trees
293          */
294         int pin;
295
296         /* what stage of the replay code we're currently in */
297         int stage;
298
299         /*
300          * Ignore any items from the inode currently being processed. Needs
301          * to be set every time we find a BTRFS_INODE_ITEM_KEY and we are in
302          * the LOG_WALK_REPLAY_INODES stage.
303          */
304         bool ignore_cur_inode;
305
306         /* the root we are currently replaying */
307         struct btrfs_root *replay_dest;
308
309         /* the trans handle for the current replay */
310         struct btrfs_trans_handle *trans;
311
312         /* the function that gets used to process blocks we find in the
313          * tree.  Note the extent_buffer might not be up to date when it is
314          * passed in, and it must be checked or read if you need the data
315          * inside it
316          */
317         int (*process_func)(struct btrfs_root *log, struct extent_buffer *eb,
318                             struct walk_control *wc, u64 gen, int level);
319 };
320
321 /*
322  * process_func used to pin down extents, write them or wait on them
323  */
324 static int process_one_buffer(struct btrfs_root *log,
325                               struct extent_buffer *eb,
326                               struct walk_control *wc, u64 gen, int level)
327 {
328         struct btrfs_fs_info *fs_info = log->fs_info;
329         int ret = 0;
330
331         /*
332          * If this fs is mixed then we need to be able to process the leaves to
333          * pin down any logged extents, so we have to read the block.
334          */
335         if (btrfs_fs_incompat(fs_info, MIXED_GROUPS)) {
336                 ret = btrfs_read_extent_buffer(eb, gen, level, NULL);
337                 if (ret)
338                         return ret;
339         }
340
341         if (wc->pin) {
342                 ret = btrfs_pin_extent_for_log_replay(wc->trans, eb->start,
343                                                       eb->len);
344                 if (ret)
345                         return ret;
346
347                 if (btrfs_buffer_uptodate(eb, gen, 0) &&
348                     btrfs_header_level(eb) == 0)
349                         ret = btrfs_exclude_logged_extents(eb);
350         }
351         return ret;
352 }
353
354 static int do_overwrite_item(struct btrfs_trans_handle *trans,
355                              struct btrfs_root *root,
356                              struct btrfs_path *path,
357                              struct extent_buffer *eb, int slot,
358                              struct btrfs_key *key)
359 {
360         int ret;
361         u32 item_size;
362         u64 saved_i_size = 0;
363         int save_old_i_size = 0;
364         unsigned long src_ptr;
365         unsigned long dst_ptr;
366         int overwrite_root = 0;
367         bool inode_item = key->type == BTRFS_INODE_ITEM_KEY;
368
369         if (root->root_key.objectid != BTRFS_TREE_LOG_OBJECTID)
370                 overwrite_root = 1;
371
372         item_size = btrfs_item_size(eb, slot);
373         src_ptr = btrfs_item_ptr_offset(eb, slot);
374
375         /* Our caller must have done a search for the key for us. */
376         ASSERT(path->nodes[0] != NULL);
377
378         /*
379          * And the slot must point to the exact key or the slot where the key
380          * should be at (the first item with a key greater than 'key')
381          */
382         if (path->slots[0] < btrfs_header_nritems(path->nodes[0])) {
383                 struct btrfs_key found_key;
384
385                 btrfs_item_key_to_cpu(path->nodes[0], &found_key, path->slots[0]);
386                 ret = btrfs_comp_cpu_keys(&found_key, key);
387                 ASSERT(ret >= 0);
388         } else {
389                 ret = 1;
390         }
391
392         if (ret == 0) {
393                 char *src_copy;
394                 char *dst_copy;
395                 u32 dst_size = btrfs_item_size(path->nodes[0],
396                                                   path->slots[0]);
397                 if (dst_size != item_size)
398                         goto insert;
399
400                 if (item_size == 0) {
401                         btrfs_release_path(path);
402                         return 0;
403                 }
404                 dst_copy = kmalloc(item_size, GFP_NOFS);
405                 src_copy = kmalloc(item_size, GFP_NOFS);
406                 if (!dst_copy || !src_copy) {
407                         btrfs_release_path(path);
408                         kfree(dst_copy);
409                         kfree(src_copy);
410                         return -ENOMEM;
411                 }
412
413                 read_extent_buffer(eb, src_copy, src_ptr, item_size);
414
415                 dst_ptr = btrfs_item_ptr_offset(path->nodes[0], path->slots[0]);
416                 read_extent_buffer(path->nodes[0], dst_copy, dst_ptr,
417                                    item_size);
418                 ret = memcmp(dst_copy, src_copy, item_size);
419
420                 kfree(dst_copy);
421                 kfree(src_copy);
422                 /*
423                  * they have the same contents, just return, this saves
424                  * us from cowing blocks in the destination tree and doing
425                  * extra writes that may not have been done by a previous
426                  * sync
427                  */
428                 if (ret == 0) {
429                         btrfs_release_path(path);
430                         return 0;
431                 }
432
433                 /*
434                  * We need to load the old nbytes into the inode so when we
435                  * replay the extents we've logged we get the right nbytes.
436                  */
437                 if (inode_item) {
438                         struct btrfs_inode_item *item;
439                         u64 nbytes;
440                         u32 mode;
441
442                         item = btrfs_item_ptr(path->nodes[0], path->slots[0],
443                                               struct btrfs_inode_item);
444                         nbytes = btrfs_inode_nbytes(path->nodes[0], item);
445                         item = btrfs_item_ptr(eb, slot,
446                                               struct btrfs_inode_item);
447                         btrfs_set_inode_nbytes(eb, item, nbytes);
448
449                         /*
450                          * If this is a directory we need to reset the i_size to
451                          * 0 so that we can set it up properly when replaying
452                          * the rest of the items in this log.
453                          */
454                         mode = btrfs_inode_mode(eb, item);
455                         if (S_ISDIR(mode))
456                                 btrfs_set_inode_size(eb, item, 0);
457                 }
458         } else if (inode_item) {
459                 struct btrfs_inode_item *item;
460                 u32 mode;
461
462                 /*
463                  * New inode, set nbytes to 0 so that the nbytes comes out
464                  * properly when we replay the extents.
465                  */
466                 item = btrfs_item_ptr(eb, slot, struct btrfs_inode_item);
467                 btrfs_set_inode_nbytes(eb, item, 0);
468
469                 /*
470                  * If this is a directory we need to reset the i_size to 0 so
471                  * that we can set it up properly when replaying the rest of
472                  * the items in this log.
473                  */
474                 mode = btrfs_inode_mode(eb, item);
475                 if (S_ISDIR(mode))
476                         btrfs_set_inode_size(eb, item, 0);
477         }
478 insert:
479         btrfs_release_path(path);
480         /* try to insert the key into the destination tree */
481         path->skip_release_on_error = 1;
482         ret = btrfs_insert_empty_item(trans, root, path,
483                                       key, item_size);
484         path->skip_release_on_error = 0;
485
486         /* make sure any existing item is the correct size */
487         if (ret == -EEXIST || ret == -EOVERFLOW) {
488                 u32 found_size;
489                 found_size = btrfs_item_size(path->nodes[0],
490                                                 path->slots[0]);
491                 if (found_size > item_size)
492                         btrfs_truncate_item(path, item_size, 1);
493                 else if (found_size < item_size)
494                         btrfs_extend_item(path, item_size - found_size);
495         } else if (ret) {
496                 return ret;
497         }
498         dst_ptr = btrfs_item_ptr_offset(path->nodes[0],
499                                         path->slots[0]);
500
501         /* don't overwrite an existing inode if the generation number
502          * was logged as zero.  This is done when the tree logging code
503          * is just logging an inode to make sure it exists after recovery.
504          *
505          * Also, don't overwrite i_size on directories during replay.
506          * log replay inserts and removes directory items based on the
507          * state of the tree found in the subvolume, and i_size is modified
508          * as it goes
509          */
510         if (key->type == BTRFS_INODE_ITEM_KEY && ret == -EEXIST) {
511                 struct btrfs_inode_item *src_item;
512                 struct btrfs_inode_item *dst_item;
513
514                 src_item = (struct btrfs_inode_item *)src_ptr;
515                 dst_item = (struct btrfs_inode_item *)dst_ptr;
516
517                 if (btrfs_inode_generation(eb, src_item) == 0) {
518                         struct extent_buffer *dst_eb = path->nodes[0];
519                         const u64 ino_size = btrfs_inode_size(eb, src_item);
520
521                         /*
522                          * For regular files an ino_size == 0 is used only when
523                          * logging that an inode exists, as part of a directory
524                          * fsync, and the inode wasn't fsynced before. In this
525                          * case don't set the size of the inode in the fs/subvol
526                          * tree, otherwise we would be throwing valid data away.
527                          */
528                         if (S_ISREG(btrfs_inode_mode(eb, src_item)) &&
529                             S_ISREG(btrfs_inode_mode(dst_eb, dst_item)) &&
530                             ino_size != 0)
531                                 btrfs_set_inode_size(dst_eb, dst_item, ino_size);
532                         goto no_copy;
533                 }
534
535                 if (overwrite_root &&
536                     S_ISDIR(btrfs_inode_mode(eb, src_item)) &&
537                     S_ISDIR(btrfs_inode_mode(path->nodes[0], dst_item))) {
538                         save_old_i_size = 1;
539                         saved_i_size = btrfs_inode_size(path->nodes[0],
540                                                         dst_item);
541                 }
542         }
543
544         copy_extent_buffer(path->nodes[0], eb, dst_ptr,
545                            src_ptr, item_size);
546
547         if (save_old_i_size) {
548                 struct btrfs_inode_item *dst_item;
549                 dst_item = (struct btrfs_inode_item *)dst_ptr;
550                 btrfs_set_inode_size(path->nodes[0], dst_item, saved_i_size);
551         }
552
553         /* make sure the generation is filled in */
554         if (key->type == BTRFS_INODE_ITEM_KEY) {
555                 struct btrfs_inode_item *dst_item;
556                 dst_item = (struct btrfs_inode_item *)dst_ptr;
557                 if (btrfs_inode_generation(path->nodes[0], dst_item) == 0) {
558                         btrfs_set_inode_generation(path->nodes[0], dst_item,
559                                                    trans->transid);
560                 }
561         }
562 no_copy:
563         btrfs_mark_buffer_dirty(path->nodes[0]);
564         btrfs_release_path(path);
565         return 0;
566 }
567
568 /*
569  * Item overwrite used by replay and tree logging.  eb, slot and key all refer
570  * to the src data we are copying out.
571  *
572  * root is the tree we are copying into, and path is a scratch
573  * path for use in this function (it should be released on entry and
574  * will be released on exit).
575  *
576  * If the key is already in the destination tree the existing item is
577  * overwritten.  If the existing item isn't big enough, it is extended.
578  * If it is too large, it is truncated.
579  *
580  * If the key isn't in the destination yet, a new item is inserted.
581  */
582 static int overwrite_item(struct btrfs_trans_handle *trans,
583                           struct btrfs_root *root,
584                           struct btrfs_path *path,
585                           struct extent_buffer *eb, int slot,
586                           struct btrfs_key *key)
587 {
588         int ret;
589
590         /* Look for the key in the destination tree. */
591         ret = btrfs_search_slot(NULL, root, key, path, 0, 0);
592         if (ret < 0)
593                 return ret;
594
595         return do_overwrite_item(trans, root, path, eb, slot, key);
596 }
597
598 /*
599  * simple helper to read an inode off the disk from a given root
600  * This can only be called for subvolume roots and not for the log
601  */
602 static noinline struct inode *read_one_inode(struct btrfs_root *root,
603                                              u64 objectid)
604 {
605         struct inode *inode;
606
607         inode = btrfs_iget(root->fs_info->sb, objectid, root);
608         if (IS_ERR(inode))
609                 inode = NULL;
610         return inode;
611 }
612
613 /* replays a single extent in 'eb' at 'slot' with 'key' into the
614  * subvolume 'root'.  path is released on entry and should be released
615  * on exit.
616  *
617  * extents in the log tree have not been allocated out of the extent
618  * tree yet.  So, this completes the allocation, taking a reference
619  * as required if the extent already exists or creating a new extent
620  * if it isn't in the extent allocation tree yet.
621  *
622  * The extent is inserted into the file, dropping any existing extents
623  * from the file that overlap the new one.
624  */
625 static noinline int replay_one_extent(struct btrfs_trans_handle *trans,
626                                       struct btrfs_root *root,
627                                       struct btrfs_path *path,
628                                       struct extent_buffer *eb, int slot,
629                                       struct btrfs_key *key)
630 {
631         struct btrfs_drop_extents_args drop_args = { 0 };
632         struct btrfs_fs_info *fs_info = root->fs_info;
633         int found_type;
634         u64 extent_end;
635         u64 start = key->offset;
636         u64 nbytes = 0;
637         struct btrfs_file_extent_item *item;
638         struct inode *inode = NULL;
639         unsigned long size;
640         int ret = 0;
641
642         item = btrfs_item_ptr(eb, slot, struct btrfs_file_extent_item);
643         found_type = btrfs_file_extent_type(eb, item);
644
645         if (found_type == BTRFS_FILE_EXTENT_REG ||
646             found_type == BTRFS_FILE_EXTENT_PREALLOC) {
647                 nbytes = btrfs_file_extent_num_bytes(eb, item);
648                 extent_end = start + nbytes;
649
650                 /*
651                  * We don't add to the inodes nbytes if we are prealloc or a
652                  * hole.
653                  */
654                 if (btrfs_file_extent_disk_bytenr(eb, item) == 0)
655                         nbytes = 0;
656         } else if (found_type == BTRFS_FILE_EXTENT_INLINE) {
657                 size = btrfs_file_extent_ram_bytes(eb, item);
658                 nbytes = btrfs_file_extent_ram_bytes(eb, item);
659                 extent_end = ALIGN(start + size,
660                                    fs_info->sectorsize);
661         } else {
662                 ret = 0;
663                 goto out;
664         }
665
666         inode = read_one_inode(root, key->objectid);
667         if (!inode) {
668                 ret = -EIO;
669                 goto out;
670         }
671
672         /*
673          * first check to see if we already have this extent in the
674          * file.  This must be done before the btrfs_drop_extents run
675          * so we don't try to drop this extent.
676          */
677         ret = btrfs_lookup_file_extent(trans, root, path,
678                         btrfs_ino(BTRFS_I(inode)), start, 0);
679
680         if (ret == 0 &&
681             (found_type == BTRFS_FILE_EXTENT_REG ||
682              found_type == BTRFS_FILE_EXTENT_PREALLOC)) {
683                 struct btrfs_file_extent_item cmp1;
684                 struct btrfs_file_extent_item cmp2;
685                 struct btrfs_file_extent_item *existing;
686                 struct extent_buffer *leaf;
687
688                 leaf = path->nodes[0];
689                 existing = btrfs_item_ptr(leaf, path->slots[0],
690                                           struct btrfs_file_extent_item);
691
692                 read_extent_buffer(eb, &cmp1, (unsigned long)item,
693                                    sizeof(cmp1));
694                 read_extent_buffer(leaf, &cmp2, (unsigned long)existing,
695                                    sizeof(cmp2));
696
697                 /*
698                  * we already have a pointer to this exact extent,
699                  * we don't have to do anything
700                  */
701                 if (memcmp(&cmp1, &cmp2, sizeof(cmp1)) == 0) {
702                         btrfs_release_path(path);
703                         goto out;
704                 }
705         }
706         btrfs_release_path(path);
707
708         /* drop any overlapping extents */
709         drop_args.start = start;
710         drop_args.end = extent_end;
711         drop_args.drop_cache = true;
712         ret = btrfs_drop_extents(trans, root, BTRFS_I(inode), &drop_args);
713         if (ret)
714                 goto out;
715
716         if (found_type == BTRFS_FILE_EXTENT_REG ||
717             found_type == BTRFS_FILE_EXTENT_PREALLOC) {
718                 u64 offset;
719                 unsigned long dest_offset;
720                 struct btrfs_key ins;
721
722                 if (btrfs_file_extent_disk_bytenr(eb, item) == 0 &&
723                     btrfs_fs_incompat(fs_info, NO_HOLES))
724                         goto update_inode;
725
726                 ret = btrfs_insert_empty_item(trans, root, path, key,
727                                               sizeof(*item));
728                 if (ret)
729                         goto out;
730                 dest_offset = btrfs_item_ptr_offset(path->nodes[0],
731                                                     path->slots[0]);
732                 copy_extent_buffer(path->nodes[0], eb, dest_offset,
733                                 (unsigned long)item,  sizeof(*item));
734
735                 ins.objectid = btrfs_file_extent_disk_bytenr(eb, item);
736                 ins.offset = btrfs_file_extent_disk_num_bytes(eb, item);
737                 ins.type = BTRFS_EXTENT_ITEM_KEY;
738                 offset = key->offset - btrfs_file_extent_offset(eb, item);
739
740                 /*
741                  * Manually record dirty extent, as here we did a shallow
742                  * file extent item copy and skip normal backref update,
743                  * but modifying extent tree all by ourselves.
744                  * So need to manually record dirty extent for qgroup,
745                  * as the owner of the file extent changed from log tree
746                  * (doesn't affect qgroup) to fs/file tree(affects qgroup)
747                  */
748                 ret = btrfs_qgroup_trace_extent(trans,
749                                 btrfs_file_extent_disk_bytenr(eb, item),
750                                 btrfs_file_extent_disk_num_bytes(eb, item),
751                                 GFP_NOFS);
752                 if (ret < 0)
753                         goto out;
754
755                 if (ins.objectid > 0) {
756                         struct btrfs_ref ref = { 0 };
757                         u64 csum_start;
758                         u64 csum_end;
759                         LIST_HEAD(ordered_sums);
760
761                         /*
762                          * is this extent already allocated in the extent
763                          * allocation tree?  If so, just add a reference
764                          */
765                         ret = btrfs_lookup_data_extent(fs_info, ins.objectid,
766                                                 ins.offset);
767                         if (ret < 0) {
768                                 goto out;
769                         } else if (ret == 0) {
770                                 btrfs_init_generic_ref(&ref,
771                                                 BTRFS_ADD_DELAYED_REF,
772                                                 ins.objectid, ins.offset, 0);
773                                 btrfs_init_data_ref(&ref,
774                                                 root->root_key.objectid,
775                                                 key->objectid, offset, 0, false);
776                                 ret = btrfs_inc_extent_ref(trans, &ref);
777                                 if (ret)
778                                         goto out;
779                         } else {
780                                 /*
781                                  * insert the extent pointer in the extent
782                                  * allocation tree
783                                  */
784                                 ret = btrfs_alloc_logged_file_extent(trans,
785                                                 root->root_key.objectid,
786                                                 key->objectid, offset, &ins);
787                                 if (ret)
788                                         goto out;
789                         }
790                         btrfs_release_path(path);
791
792                         if (btrfs_file_extent_compression(eb, item)) {
793                                 csum_start = ins.objectid;
794                                 csum_end = csum_start + ins.offset;
795                         } else {
796                                 csum_start = ins.objectid +
797                                         btrfs_file_extent_offset(eb, item);
798                                 csum_end = csum_start +
799                                         btrfs_file_extent_num_bytes(eb, item);
800                         }
801
802                         ret = btrfs_lookup_csums_range(root->log_root,
803                                                 csum_start, csum_end - 1,
804                                                 &ordered_sums, 0, false);
805                         if (ret)
806                                 goto out;
807                         /*
808                          * Now delete all existing cums in the csum root that
809                          * cover our range. We do this because we can have an
810                          * extent that is completely referenced by one file
811                          * extent item and partially referenced by another
812                          * file extent item (like after using the clone or
813                          * extent_same ioctls). In this case if we end up doing
814                          * the replay of the one that partially references the
815                          * extent first, and we do not do the csum deletion
816                          * below, we can get 2 csum items in the csum tree that
817                          * overlap each other. For example, imagine our log has
818                          * the two following file extent items:
819                          *
820                          * key (257 EXTENT_DATA 409600)
821                          *     extent data disk byte 12845056 nr 102400
822                          *     extent data offset 20480 nr 20480 ram 102400
823                          *
824                          * key (257 EXTENT_DATA 819200)
825                          *     extent data disk byte 12845056 nr 102400
826                          *     extent data offset 0 nr 102400 ram 102400
827                          *
828                          * Where the second one fully references the 100K extent
829                          * that starts at disk byte 12845056, and the log tree
830                          * has a single csum item that covers the entire range
831                          * of the extent:
832                          *
833                          * key (EXTENT_CSUM EXTENT_CSUM 12845056) itemsize 100
834                          *
835                          * After the first file extent item is replayed, the
836                          * csum tree gets the following csum item:
837                          *
838                          * key (EXTENT_CSUM EXTENT_CSUM 12865536) itemsize 20
839                          *
840                          * Which covers the 20K sub-range starting at offset 20K
841                          * of our extent. Now when we replay the second file
842                          * extent item, if we do not delete existing csum items
843                          * that cover any of its blocks, we end up getting two
844                          * csum items in our csum tree that overlap each other:
845                          *
846                          * key (EXTENT_CSUM EXTENT_CSUM 12845056) itemsize 100
847                          * key (EXTENT_CSUM EXTENT_CSUM 12865536) itemsize 20
848                          *
849                          * Which is a problem, because after this anyone trying
850                          * to lookup up for the checksum of any block of our
851                          * extent starting at an offset of 40K or higher, will
852                          * end up looking at the second csum item only, which
853                          * does not contain the checksum for any block starting
854                          * at offset 40K or higher of our extent.
855                          */
856                         while (!list_empty(&ordered_sums)) {
857                                 struct btrfs_ordered_sum *sums;
858                                 struct btrfs_root *csum_root;
859
860                                 sums = list_entry(ordered_sums.next,
861                                                 struct btrfs_ordered_sum,
862                                                 list);
863                                 csum_root = btrfs_csum_root(fs_info,
864                                                             sums->bytenr);
865                                 if (!ret)
866                                         ret = btrfs_del_csums(trans, csum_root,
867                                                               sums->bytenr,
868                                                               sums->len);
869                                 if (!ret)
870                                         ret = btrfs_csum_file_blocks(trans,
871                                                                      csum_root,
872                                                                      sums);
873                                 list_del(&sums->list);
874                                 kfree(sums);
875                         }
876                         if (ret)
877                                 goto out;
878                 } else {
879                         btrfs_release_path(path);
880                 }
881         } else if (found_type == BTRFS_FILE_EXTENT_INLINE) {
882                 /* inline extents are easy, we just overwrite them */
883                 ret = overwrite_item(trans, root, path, eb, slot, key);
884                 if (ret)
885                         goto out;
886         }
887
888         ret = btrfs_inode_set_file_extent_range(BTRFS_I(inode), start,
889                                                 extent_end - start);
890         if (ret)
891                 goto out;
892
893 update_inode:
894         btrfs_update_inode_bytes(BTRFS_I(inode), nbytes, drop_args.bytes_found);
895         ret = btrfs_update_inode(trans, root, BTRFS_I(inode));
896 out:
897         iput(inode);
898         return ret;
899 }
900
901 static int unlink_inode_for_log_replay(struct btrfs_trans_handle *trans,
902                                        struct btrfs_inode *dir,
903                                        struct btrfs_inode *inode,
904                                        const char *name,
905                                        int name_len)
906 {
907         int ret;
908
909         ret = btrfs_unlink_inode(trans, dir, inode, name, name_len);
910         if (ret)
911                 return ret;
912         /*
913          * Whenever we need to check if a name exists or not, we check the
914          * fs/subvolume tree. So after an unlink we must run delayed items, so
915          * that future checks for a name during log replay see that the name
916          * does not exists anymore.
917          */
918         return btrfs_run_delayed_items(trans);
919 }
920
921 /*
922  * when cleaning up conflicts between the directory names in the
923  * subvolume, directory names in the log and directory names in the
924  * inode back references, we may have to unlink inodes from directories.
925  *
926  * This is a helper function to do the unlink of a specific directory
927  * item
928  */
929 static noinline int drop_one_dir_item(struct btrfs_trans_handle *trans,
930                                       struct btrfs_path *path,
931                                       struct btrfs_inode *dir,
932                                       struct btrfs_dir_item *di)
933 {
934         struct btrfs_root *root = dir->root;
935         struct inode *inode;
936         char *name;
937         int name_len;
938         struct extent_buffer *leaf;
939         struct btrfs_key location;
940         int ret;
941
942         leaf = path->nodes[0];
943
944         btrfs_dir_item_key_to_cpu(leaf, di, &location);
945         name_len = btrfs_dir_name_len(leaf, di);
946         name = kmalloc(name_len, GFP_NOFS);
947         if (!name)
948                 return -ENOMEM;
949
950         read_extent_buffer(leaf, name, (unsigned long)(di + 1), name_len);
951         btrfs_release_path(path);
952
953         inode = read_one_inode(root, location.objectid);
954         if (!inode) {
955                 ret = -EIO;
956                 goto out;
957         }
958
959         ret = link_to_fixup_dir(trans, root, path, location.objectid);
960         if (ret)
961                 goto out;
962
963         ret = unlink_inode_for_log_replay(trans, dir, BTRFS_I(inode), name,
964                         name_len);
965 out:
966         kfree(name);
967         iput(inode);
968         return ret;
969 }
970
971 /*
972  * See if a given name and sequence number found in an inode back reference are
973  * already in a directory and correctly point to this inode.
974  *
975  * Returns: < 0 on error, 0 if the directory entry does not exists and 1 if it
976  * exists.
977  */
978 static noinline int inode_in_dir(struct btrfs_root *root,
979                                  struct btrfs_path *path,
980                                  u64 dirid, u64 objectid, u64 index,
981                                  const char *name, int name_len)
982 {
983         struct btrfs_dir_item *di;
984         struct btrfs_key location;
985         int ret = 0;
986
987         di = btrfs_lookup_dir_index_item(NULL, root, path, dirid,
988                                          index, name, name_len, 0);
989         if (IS_ERR(di)) {
990                 ret = PTR_ERR(di);
991                 goto out;
992         } else if (di) {
993                 btrfs_dir_item_key_to_cpu(path->nodes[0], di, &location);
994                 if (location.objectid != objectid)
995                         goto out;
996         } else {
997                 goto out;
998         }
999
1000         btrfs_release_path(path);
1001         di = btrfs_lookup_dir_item(NULL, root, path, dirid, name, name_len, 0);
1002         if (IS_ERR(di)) {
1003                 ret = PTR_ERR(di);
1004                 goto out;
1005         } else if (di) {
1006                 btrfs_dir_item_key_to_cpu(path->nodes[0], di, &location);
1007                 if (location.objectid == objectid)
1008                         ret = 1;
1009         }
1010 out:
1011         btrfs_release_path(path);
1012         return ret;
1013 }
1014
1015 /*
1016  * helper function to check a log tree for a named back reference in
1017  * an inode.  This is used to decide if a back reference that is
1018  * found in the subvolume conflicts with what we find in the log.
1019  *
1020  * inode backreferences may have multiple refs in a single item,
1021  * during replay we process one reference at a time, and we don't
1022  * want to delete valid links to a file from the subvolume if that
1023  * link is also in the log.
1024  */
1025 static noinline int backref_in_log(struct btrfs_root *log,
1026                                    struct btrfs_key *key,
1027                                    u64 ref_objectid,
1028                                    const char *name, int namelen)
1029 {
1030         struct btrfs_path *path;
1031         int ret;
1032
1033         path = btrfs_alloc_path();
1034         if (!path)
1035                 return -ENOMEM;
1036
1037         ret = btrfs_search_slot(NULL, log, key, path, 0, 0);
1038         if (ret < 0) {
1039                 goto out;
1040         } else if (ret == 1) {
1041                 ret = 0;
1042                 goto out;
1043         }
1044
1045         if (key->type == BTRFS_INODE_EXTREF_KEY)
1046                 ret = !!btrfs_find_name_in_ext_backref(path->nodes[0],
1047                                                        path->slots[0],
1048                                                        ref_objectid,
1049                                                        name, namelen);
1050         else
1051                 ret = !!btrfs_find_name_in_backref(path->nodes[0],
1052                                                    path->slots[0],
1053                                                    name, namelen);
1054 out:
1055         btrfs_free_path(path);
1056         return ret;
1057 }
1058
1059 static inline int __add_inode_ref(struct btrfs_trans_handle *trans,
1060                                   struct btrfs_root *root,
1061                                   struct btrfs_path *path,
1062                                   struct btrfs_root *log_root,
1063                                   struct btrfs_inode *dir,
1064                                   struct btrfs_inode *inode,
1065                                   u64 inode_objectid, u64 parent_objectid,
1066                                   u64 ref_index, char *name, int namelen)
1067 {
1068         int ret;
1069         char *victim_name;
1070         int victim_name_len;
1071         struct extent_buffer *leaf;
1072         struct btrfs_dir_item *di;
1073         struct btrfs_key search_key;
1074         struct btrfs_inode_extref *extref;
1075
1076 again:
1077         /* Search old style refs */
1078         search_key.objectid = inode_objectid;
1079         search_key.type = BTRFS_INODE_REF_KEY;
1080         search_key.offset = parent_objectid;
1081         ret = btrfs_search_slot(NULL, root, &search_key, path, 0, 0);
1082         if (ret == 0) {
1083                 struct btrfs_inode_ref *victim_ref;
1084                 unsigned long ptr;
1085                 unsigned long ptr_end;
1086
1087                 leaf = path->nodes[0];
1088
1089                 /* are we trying to overwrite a back ref for the root directory
1090                  * if so, just jump out, we're done
1091                  */
1092                 if (search_key.objectid == search_key.offset)
1093                         return 1;
1094
1095                 /* check all the names in this back reference to see
1096                  * if they are in the log.  if so, we allow them to stay
1097                  * otherwise they must be unlinked as a conflict
1098                  */
1099                 ptr = btrfs_item_ptr_offset(leaf, path->slots[0]);
1100                 ptr_end = ptr + btrfs_item_size(leaf, path->slots[0]);
1101                 while (ptr < ptr_end) {
1102                         victim_ref = (struct btrfs_inode_ref *)ptr;
1103                         victim_name_len = btrfs_inode_ref_name_len(leaf,
1104                                                                    victim_ref);
1105                         victim_name = kmalloc(victim_name_len, GFP_NOFS);
1106                         if (!victim_name)
1107                                 return -ENOMEM;
1108
1109                         read_extent_buffer(leaf, victim_name,
1110                                            (unsigned long)(victim_ref + 1),
1111                                            victim_name_len);
1112
1113                         ret = backref_in_log(log_root, &search_key,
1114                                              parent_objectid, victim_name,
1115                                              victim_name_len);
1116                         if (ret < 0) {
1117                                 kfree(victim_name);
1118                                 return ret;
1119                         } else if (!ret) {
1120                                 inc_nlink(&inode->vfs_inode);
1121                                 btrfs_release_path(path);
1122
1123                                 ret = unlink_inode_for_log_replay(trans, dir, inode,
1124                                                 victim_name, victim_name_len);
1125                                 kfree(victim_name);
1126                                 if (ret)
1127                                         return ret;
1128                                 goto again;
1129                         }
1130                         kfree(victim_name);
1131
1132                         ptr = (unsigned long)(victim_ref + 1) + victim_name_len;
1133                 }
1134         }
1135         btrfs_release_path(path);
1136
1137         /* Same search but for extended refs */
1138         extref = btrfs_lookup_inode_extref(NULL, root, path, name, namelen,
1139                                            inode_objectid, parent_objectid, 0,
1140                                            0);
1141         if (IS_ERR(extref)) {
1142                 return PTR_ERR(extref);
1143         } else if (extref) {
1144                 u32 item_size;
1145                 u32 cur_offset = 0;
1146                 unsigned long base;
1147                 struct inode *victim_parent;
1148
1149                 leaf = path->nodes[0];
1150
1151                 item_size = btrfs_item_size(leaf, path->slots[0]);
1152                 base = btrfs_item_ptr_offset(leaf, path->slots[0]);
1153
1154                 while (cur_offset < item_size) {
1155                         extref = (struct btrfs_inode_extref *)(base + cur_offset);
1156
1157                         victim_name_len = btrfs_inode_extref_name_len(leaf, extref);
1158
1159                         if (btrfs_inode_extref_parent(leaf, extref) != parent_objectid)
1160                                 goto next;
1161
1162                         victim_name = kmalloc(victim_name_len, GFP_NOFS);
1163                         if (!victim_name)
1164                                 return -ENOMEM;
1165                         read_extent_buffer(leaf, victim_name, (unsigned long)&extref->name,
1166                                            victim_name_len);
1167
1168                         search_key.objectid = inode_objectid;
1169                         search_key.type = BTRFS_INODE_EXTREF_KEY;
1170                         search_key.offset = btrfs_extref_hash(parent_objectid,
1171                                                               victim_name,
1172                                                               victim_name_len);
1173                         ret = backref_in_log(log_root, &search_key,
1174                                              parent_objectid, victim_name,
1175                                              victim_name_len);
1176                         if (ret < 0) {
1177                                 kfree(victim_name);
1178                                 return ret;
1179                         } else if (!ret) {
1180                                 ret = -ENOENT;
1181                                 victim_parent = read_one_inode(root,
1182                                                 parent_objectid);
1183                                 if (victim_parent) {
1184                                         inc_nlink(&inode->vfs_inode);
1185                                         btrfs_release_path(path);
1186
1187                                         ret = unlink_inode_for_log_replay(trans,
1188                                                         BTRFS_I(victim_parent),
1189                                                         inode,
1190                                                         victim_name,
1191                                                         victim_name_len);
1192                                 }
1193                                 iput(victim_parent);
1194                                 kfree(victim_name);
1195                                 if (ret)
1196                                         return ret;
1197                                 goto again;
1198                         }
1199                         kfree(victim_name);
1200 next:
1201                         cur_offset += victim_name_len + sizeof(*extref);
1202                 }
1203         }
1204         btrfs_release_path(path);
1205
1206         /* look for a conflicting sequence number */
1207         di = btrfs_lookup_dir_index_item(trans, root, path, btrfs_ino(dir),
1208                                          ref_index, name, namelen, 0);
1209         if (IS_ERR(di)) {
1210                 return PTR_ERR(di);
1211         } else if (di) {
1212                 ret = drop_one_dir_item(trans, path, dir, di);
1213                 if (ret)
1214                         return ret;
1215         }
1216         btrfs_release_path(path);
1217
1218         /* look for a conflicting name */
1219         di = btrfs_lookup_dir_item(trans, root, path, btrfs_ino(dir),
1220                                    name, namelen, 0);
1221         if (IS_ERR(di)) {
1222                 return PTR_ERR(di);
1223         } else if (di) {
1224                 ret = drop_one_dir_item(trans, path, dir, di);
1225                 if (ret)
1226                         return ret;
1227         }
1228         btrfs_release_path(path);
1229
1230         return 0;
1231 }
1232
1233 static int extref_get_fields(struct extent_buffer *eb, unsigned long ref_ptr,
1234                              u32 *namelen, char **name, u64 *index,
1235                              u64 *parent_objectid)
1236 {
1237         struct btrfs_inode_extref *extref;
1238
1239         extref = (struct btrfs_inode_extref *)ref_ptr;
1240
1241         *namelen = btrfs_inode_extref_name_len(eb, extref);
1242         *name = kmalloc(*namelen, GFP_NOFS);
1243         if (*name == NULL)
1244                 return -ENOMEM;
1245
1246         read_extent_buffer(eb, *name, (unsigned long)&extref->name,
1247                            *namelen);
1248
1249         if (index)
1250                 *index = btrfs_inode_extref_index(eb, extref);
1251         if (parent_objectid)
1252                 *parent_objectid = btrfs_inode_extref_parent(eb, extref);
1253
1254         return 0;
1255 }
1256
1257 static int ref_get_fields(struct extent_buffer *eb, unsigned long ref_ptr,
1258                           u32 *namelen, char **name, u64 *index)
1259 {
1260         struct btrfs_inode_ref *ref;
1261
1262         ref = (struct btrfs_inode_ref *)ref_ptr;
1263
1264         *namelen = btrfs_inode_ref_name_len(eb, ref);
1265         *name = kmalloc(*namelen, GFP_NOFS);
1266         if (*name == NULL)
1267                 return -ENOMEM;
1268
1269         read_extent_buffer(eb, *name, (unsigned long)(ref + 1), *namelen);
1270
1271         if (index)
1272                 *index = btrfs_inode_ref_index(eb, ref);
1273
1274         return 0;
1275 }
1276
1277 /*
1278  * Take an inode reference item from the log tree and iterate all names from the
1279  * inode reference item in the subvolume tree with the same key (if it exists).
1280  * For any name that is not in the inode reference item from the log tree, do a
1281  * proper unlink of that name (that is, remove its entry from the inode
1282  * reference item and both dir index keys).
1283  */
1284 static int unlink_old_inode_refs(struct btrfs_trans_handle *trans,
1285                                  struct btrfs_root *root,
1286                                  struct btrfs_path *path,
1287                                  struct btrfs_inode *inode,
1288                                  struct extent_buffer *log_eb,
1289                                  int log_slot,
1290                                  struct btrfs_key *key)
1291 {
1292         int ret;
1293         unsigned long ref_ptr;
1294         unsigned long ref_end;
1295         struct extent_buffer *eb;
1296
1297 again:
1298         btrfs_release_path(path);
1299         ret = btrfs_search_slot(NULL, root, key, path, 0, 0);
1300         if (ret > 0) {
1301                 ret = 0;
1302                 goto out;
1303         }
1304         if (ret < 0)
1305                 goto out;
1306
1307         eb = path->nodes[0];
1308         ref_ptr = btrfs_item_ptr_offset(eb, path->slots[0]);
1309         ref_end = ref_ptr + btrfs_item_size(eb, path->slots[0]);
1310         while (ref_ptr < ref_end) {
1311                 char *name = NULL;
1312                 int namelen;
1313                 u64 parent_id;
1314
1315                 if (key->type == BTRFS_INODE_EXTREF_KEY) {
1316                         ret = extref_get_fields(eb, ref_ptr, &namelen, &name,
1317                                                 NULL, &parent_id);
1318                 } else {
1319                         parent_id = key->offset;
1320                         ret = ref_get_fields(eb, ref_ptr, &namelen, &name,
1321                                              NULL);
1322                 }
1323                 if (ret)
1324                         goto out;
1325
1326                 if (key->type == BTRFS_INODE_EXTREF_KEY)
1327                         ret = !!btrfs_find_name_in_ext_backref(log_eb, log_slot,
1328                                                                parent_id, name,
1329                                                                namelen);
1330                 else
1331                         ret = !!btrfs_find_name_in_backref(log_eb, log_slot,
1332                                                            name, namelen);
1333
1334                 if (!ret) {
1335                         struct inode *dir;
1336
1337                         btrfs_release_path(path);
1338                         dir = read_one_inode(root, parent_id);
1339                         if (!dir) {
1340                                 ret = -ENOENT;
1341                                 kfree(name);
1342                                 goto out;
1343                         }
1344                         ret = unlink_inode_for_log_replay(trans, BTRFS_I(dir),
1345                                                  inode, name, namelen);
1346                         kfree(name);
1347                         iput(dir);
1348                         if (ret)
1349                                 goto out;
1350                         goto again;
1351                 }
1352
1353                 kfree(name);
1354                 ref_ptr += namelen;
1355                 if (key->type == BTRFS_INODE_EXTREF_KEY)
1356                         ref_ptr += sizeof(struct btrfs_inode_extref);
1357                 else
1358                         ref_ptr += sizeof(struct btrfs_inode_ref);
1359         }
1360         ret = 0;
1361  out:
1362         btrfs_release_path(path);
1363         return ret;
1364 }
1365
1366 /*
1367  * replay one inode back reference item found in the log tree.
1368  * eb, slot and key refer to the buffer and key found in the log tree.
1369  * root is the destination we are replaying into, and path is for temp
1370  * use by this function.  (it should be released on return).
1371  */
1372 static noinline int add_inode_ref(struct btrfs_trans_handle *trans,
1373                                   struct btrfs_root *root,
1374                                   struct btrfs_root *log,
1375                                   struct btrfs_path *path,
1376                                   struct extent_buffer *eb, int slot,
1377                                   struct btrfs_key *key)
1378 {
1379         struct inode *dir = NULL;
1380         struct inode *inode = NULL;
1381         unsigned long ref_ptr;
1382         unsigned long ref_end;
1383         char *name = NULL;
1384         int namelen;
1385         int ret;
1386         int log_ref_ver = 0;
1387         u64 parent_objectid;
1388         u64 inode_objectid;
1389         u64 ref_index = 0;
1390         int ref_struct_size;
1391
1392         ref_ptr = btrfs_item_ptr_offset(eb, slot);
1393         ref_end = ref_ptr + btrfs_item_size(eb, slot);
1394
1395         if (key->type == BTRFS_INODE_EXTREF_KEY) {
1396                 struct btrfs_inode_extref *r;
1397
1398                 ref_struct_size = sizeof(struct btrfs_inode_extref);
1399                 log_ref_ver = 1;
1400                 r = (struct btrfs_inode_extref *)ref_ptr;
1401                 parent_objectid = btrfs_inode_extref_parent(eb, r);
1402         } else {
1403                 ref_struct_size = sizeof(struct btrfs_inode_ref);
1404                 parent_objectid = key->offset;
1405         }
1406         inode_objectid = key->objectid;
1407
1408         /*
1409          * it is possible that we didn't log all the parent directories
1410          * for a given inode.  If we don't find the dir, just don't
1411          * copy the back ref in.  The link count fixup code will take
1412          * care of the rest
1413          */
1414         dir = read_one_inode(root, parent_objectid);
1415         if (!dir) {
1416                 ret = -ENOENT;
1417                 goto out;
1418         }
1419
1420         inode = read_one_inode(root, inode_objectid);
1421         if (!inode) {
1422                 ret = -EIO;
1423                 goto out;
1424         }
1425
1426         while (ref_ptr < ref_end) {
1427                 if (log_ref_ver) {
1428                         ret = extref_get_fields(eb, ref_ptr, &namelen, &name,
1429                                                 &ref_index, &parent_objectid);
1430                         /*
1431                          * parent object can change from one array
1432                          * item to another.
1433                          */
1434                         if (!dir)
1435                                 dir = read_one_inode(root, parent_objectid);
1436                         if (!dir) {
1437                                 ret = -ENOENT;
1438                                 goto out;
1439                         }
1440                 } else {
1441                         ret = ref_get_fields(eb, ref_ptr, &namelen, &name,
1442                                              &ref_index);
1443                 }
1444                 if (ret)
1445                         goto out;
1446
1447                 ret = inode_in_dir(root, path, btrfs_ino(BTRFS_I(dir)),
1448                                    btrfs_ino(BTRFS_I(inode)), ref_index,
1449                                    name, namelen);
1450                 if (ret < 0) {
1451                         goto out;
1452                 } else if (ret == 0) {
1453                         /*
1454                          * look for a conflicting back reference in the
1455                          * metadata. if we find one we have to unlink that name
1456                          * of the file before we add our new link.  Later on, we
1457                          * overwrite any existing back reference, and we don't
1458                          * want to create dangling pointers in the directory.
1459                          */
1460                         ret = __add_inode_ref(trans, root, path, log,
1461                                               BTRFS_I(dir), BTRFS_I(inode),
1462                                               inode_objectid, parent_objectid,
1463                                               ref_index, name, namelen);
1464                         if (ret) {
1465                                 if (ret == 1)
1466                                         ret = 0;
1467                                 goto out;
1468                         }
1469
1470                         /* insert our name */
1471                         ret = btrfs_add_link(trans, BTRFS_I(dir), BTRFS_I(inode),
1472                                              name, namelen, 0, ref_index);
1473                         if (ret)
1474                                 goto out;
1475
1476                         ret = btrfs_update_inode(trans, root, BTRFS_I(inode));
1477                         if (ret)
1478                                 goto out;
1479                 }
1480                 /* Else, ret == 1, we already have a perfect match, we're done. */
1481
1482                 ref_ptr = (unsigned long)(ref_ptr + ref_struct_size) + namelen;
1483                 kfree(name);
1484                 name = NULL;
1485                 if (log_ref_ver) {
1486                         iput(dir);
1487                         dir = NULL;
1488                 }
1489         }
1490
1491         /*
1492          * Before we overwrite the inode reference item in the subvolume tree
1493          * with the item from the log tree, we must unlink all names from the
1494          * parent directory that are in the subvolume's tree inode reference
1495          * item, otherwise we end up with an inconsistent subvolume tree where
1496          * dir index entries exist for a name but there is no inode reference
1497          * item with the same name.
1498          */
1499         ret = unlink_old_inode_refs(trans, root, path, BTRFS_I(inode), eb, slot,
1500                                     key);
1501         if (ret)
1502                 goto out;
1503
1504         /* finally write the back reference in the inode */
1505         ret = overwrite_item(trans, root, path, eb, slot, key);
1506 out:
1507         btrfs_release_path(path);
1508         kfree(name);
1509         iput(dir);
1510         iput(inode);
1511         return ret;
1512 }
1513
1514 static int count_inode_extrefs(struct btrfs_root *root,
1515                 struct btrfs_inode *inode, struct btrfs_path *path)
1516 {
1517         int ret = 0;
1518         int name_len;
1519         unsigned int nlink = 0;
1520         u32 item_size;
1521         u32 cur_offset = 0;
1522         u64 inode_objectid = btrfs_ino(inode);
1523         u64 offset = 0;
1524         unsigned long ptr;
1525         struct btrfs_inode_extref *extref;
1526         struct extent_buffer *leaf;
1527
1528         while (1) {
1529                 ret = btrfs_find_one_extref(root, inode_objectid, offset, path,
1530                                             &extref, &offset);
1531                 if (ret)
1532                         break;
1533
1534                 leaf = path->nodes[0];
1535                 item_size = btrfs_item_size(leaf, path->slots[0]);
1536                 ptr = btrfs_item_ptr_offset(leaf, path->slots[0]);
1537                 cur_offset = 0;
1538
1539                 while (cur_offset < item_size) {
1540                         extref = (struct btrfs_inode_extref *) (ptr + cur_offset);
1541                         name_len = btrfs_inode_extref_name_len(leaf, extref);
1542
1543                         nlink++;
1544
1545                         cur_offset += name_len + sizeof(*extref);
1546                 }
1547
1548                 offset++;
1549                 btrfs_release_path(path);
1550         }
1551         btrfs_release_path(path);
1552
1553         if (ret < 0 && ret != -ENOENT)
1554                 return ret;
1555         return nlink;
1556 }
1557
1558 static int count_inode_refs(struct btrfs_root *root,
1559                         struct btrfs_inode *inode, struct btrfs_path *path)
1560 {
1561         int ret;
1562         struct btrfs_key key;
1563         unsigned int nlink = 0;
1564         unsigned long ptr;
1565         unsigned long ptr_end;
1566         int name_len;
1567         u64 ino = btrfs_ino(inode);
1568
1569         key.objectid = ino;
1570         key.type = BTRFS_INODE_REF_KEY;
1571         key.offset = (u64)-1;
1572
1573         while (1) {
1574                 ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
1575                 if (ret < 0)
1576                         break;
1577                 if (ret > 0) {
1578                         if (path->slots[0] == 0)
1579                                 break;
1580                         path->slots[0]--;
1581                 }
1582 process_slot:
1583                 btrfs_item_key_to_cpu(path->nodes[0], &key,
1584                                       path->slots[0]);
1585                 if (key.objectid != ino ||
1586                     key.type != BTRFS_INODE_REF_KEY)
1587                         break;
1588                 ptr = btrfs_item_ptr_offset(path->nodes[0], path->slots[0]);
1589                 ptr_end = ptr + btrfs_item_size(path->nodes[0],
1590                                                    path->slots[0]);
1591                 while (ptr < ptr_end) {
1592                         struct btrfs_inode_ref *ref;
1593
1594                         ref = (struct btrfs_inode_ref *)ptr;
1595                         name_len = btrfs_inode_ref_name_len(path->nodes[0],
1596                                                             ref);
1597                         ptr = (unsigned long)(ref + 1) + name_len;
1598                         nlink++;
1599                 }
1600
1601                 if (key.offset == 0)
1602                         break;
1603                 if (path->slots[0] > 0) {
1604                         path->slots[0]--;
1605                         goto process_slot;
1606                 }
1607                 key.offset--;
1608                 btrfs_release_path(path);
1609         }
1610         btrfs_release_path(path);
1611
1612         return nlink;
1613 }
1614
1615 /*
1616  * There are a few corners where the link count of the file can't
1617  * be properly maintained during replay.  So, instead of adding
1618  * lots of complexity to the log code, we just scan the backrefs
1619  * for any file that has been through replay.
1620  *
1621  * The scan will update the link count on the inode to reflect the
1622  * number of back refs found.  If it goes down to zero, the iput
1623  * will free the inode.
1624  */
1625 static noinline int fixup_inode_link_count(struct btrfs_trans_handle *trans,
1626                                            struct btrfs_root *root,
1627                                            struct inode *inode)
1628 {
1629         struct btrfs_path *path;
1630         int ret;
1631         u64 nlink = 0;
1632         u64 ino = btrfs_ino(BTRFS_I(inode));
1633
1634         path = btrfs_alloc_path();
1635         if (!path)
1636                 return -ENOMEM;
1637
1638         ret = count_inode_refs(root, BTRFS_I(inode), path);
1639         if (ret < 0)
1640                 goto out;
1641
1642         nlink = ret;
1643
1644         ret = count_inode_extrefs(root, BTRFS_I(inode), path);
1645         if (ret < 0)
1646                 goto out;
1647
1648         nlink += ret;
1649
1650         ret = 0;
1651
1652         if (nlink != inode->i_nlink) {
1653                 set_nlink(inode, nlink);
1654                 ret = btrfs_update_inode(trans, root, BTRFS_I(inode));
1655                 if (ret)
1656                         goto out;
1657         }
1658         BTRFS_I(inode)->index_cnt = (u64)-1;
1659
1660         if (inode->i_nlink == 0) {
1661                 if (S_ISDIR(inode->i_mode)) {
1662                         ret = replay_dir_deletes(trans, root, NULL, path,
1663                                                  ino, 1);
1664                         if (ret)
1665                                 goto out;
1666                 }
1667                 ret = btrfs_insert_orphan_item(trans, root, ino);
1668                 if (ret == -EEXIST)
1669                         ret = 0;
1670         }
1671
1672 out:
1673         btrfs_free_path(path);
1674         return ret;
1675 }
1676
1677 static noinline int fixup_inode_link_counts(struct btrfs_trans_handle *trans,
1678                                             struct btrfs_root *root,
1679                                             struct btrfs_path *path)
1680 {
1681         int ret;
1682         struct btrfs_key key;
1683         struct inode *inode;
1684
1685         key.objectid = BTRFS_TREE_LOG_FIXUP_OBJECTID;
1686         key.type = BTRFS_ORPHAN_ITEM_KEY;
1687         key.offset = (u64)-1;
1688         while (1) {
1689                 ret = btrfs_search_slot(trans, root, &key, path, -1, 1);
1690                 if (ret < 0)
1691                         break;
1692
1693                 if (ret == 1) {
1694                         ret = 0;
1695                         if (path->slots[0] == 0)
1696                                 break;
1697                         path->slots[0]--;
1698                 }
1699
1700                 btrfs_item_key_to_cpu(path->nodes[0], &key, path->slots[0]);
1701                 if (key.objectid != BTRFS_TREE_LOG_FIXUP_OBJECTID ||
1702                     key.type != BTRFS_ORPHAN_ITEM_KEY)
1703                         break;
1704
1705                 ret = btrfs_del_item(trans, root, path);
1706                 if (ret)
1707                         break;
1708
1709                 btrfs_release_path(path);
1710                 inode = read_one_inode(root, key.offset);
1711                 if (!inode) {
1712                         ret = -EIO;
1713                         break;
1714                 }
1715
1716                 ret = fixup_inode_link_count(trans, root, inode);
1717                 iput(inode);
1718                 if (ret)
1719                         break;
1720
1721                 /*
1722                  * fixup on a directory may create new entries,
1723                  * make sure we always look for the highset possible
1724                  * offset
1725                  */
1726                 key.offset = (u64)-1;
1727         }
1728         btrfs_release_path(path);
1729         return ret;
1730 }
1731
1732
1733 /*
1734  * record a given inode in the fixup dir so we can check its link
1735  * count when replay is done.  The link count is incremented here
1736  * so the inode won't go away until we check it
1737  */
1738 static noinline int link_to_fixup_dir(struct btrfs_trans_handle *trans,
1739                                       struct btrfs_root *root,
1740                                       struct btrfs_path *path,
1741                                       u64 objectid)
1742 {
1743         struct btrfs_key key;
1744         int ret = 0;
1745         struct inode *inode;
1746
1747         inode = read_one_inode(root, objectid);
1748         if (!inode)
1749                 return -EIO;
1750
1751         key.objectid = BTRFS_TREE_LOG_FIXUP_OBJECTID;
1752         key.type = BTRFS_ORPHAN_ITEM_KEY;
1753         key.offset = objectid;
1754
1755         ret = btrfs_insert_empty_item(trans, root, path, &key, 0);
1756
1757         btrfs_release_path(path);
1758         if (ret == 0) {
1759                 if (!inode->i_nlink)
1760                         set_nlink(inode, 1);
1761                 else
1762                         inc_nlink(inode);
1763                 ret = btrfs_update_inode(trans, root, BTRFS_I(inode));
1764         } else if (ret == -EEXIST) {
1765                 ret = 0;
1766         }
1767         iput(inode);
1768
1769         return ret;
1770 }
1771
1772 /*
1773  * when replaying the log for a directory, we only insert names
1774  * for inodes that actually exist.  This means an fsync on a directory
1775  * does not implicitly fsync all the new files in it
1776  */
1777 static noinline int insert_one_name(struct btrfs_trans_handle *trans,
1778                                     struct btrfs_root *root,
1779                                     u64 dirid, u64 index,
1780                                     char *name, int name_len,
1781                                     struct btrfs_key *location)
1782 {
1783         struct inode *inode;
1784         struct inode *dir;
1785         int ret;
1786
1787         inode = read_one_inode(root, location->objectid);
1788         if (!inode)
1789                 return -ENOENT;
1790
1791         dir = read_one_inode(root, dirid);
1792         if (!dir) {
1793                 iput(inode);
1794                 return -EIO;
1795         }
1796
1797         ret = btrfs_add_link(trans, BTRFS_I(dir), BTRFS_I(inode), name,
1798                         name_len, 1, index);
1799
1800         /* FIXME, put inode into FIXUP list */
1801
1802         iput(inode);
1803         iput(dir);
1804         return ret;
1805 }
1806
1807 static int delete_conflicting_dir_entry(struct btrfs_trans_handle *trans,
1808                                         struct btrfs_inode *dir,
1809                                         struct btrfs_path *path,
1810                                         struct btrfs_dir_item *dst_di,
1811                                         const struct btrfs_key *log_key,
1812                                         u8 log_type,
1813                                         bool exists)
1814 {
1815         struct btrfs_key found_key;
1816
1817         btrfs_dir_item_key_to_cpu(path->nodes[0], dst_di, &found_key);
1818         /* The existing dentry points to the same inode, don't delete it. */
1819         if (found_key.objectid == log_key->objectid &&
1820             found_key.type == log_key->type &&
1821             found_key.offset == log_key->offset &&
1822             btrfs_dir_type(path->nodes[0], dst_di) == log_type)
1823                 return 1;
1824
1825         /*
1826          * Don't drop the conflicting directory entry if the inode for the new
1827          * entry doesn't exist.
1828          */
1829         if (!exists)
1830                 return 0;
1831
1832         return drop_one_dir_item(trans, path, dir, dst_di);
1833 }
1834
1835 /*
1836  * take a single entry in a log directory item and replay it into
1837  * the subvolume.
1838  *
1839  * if a conflicting item exists in the subdirectory already,
1840  * the inode it points to is unlinked and put into the link count
1841  * fix up tree.
1842  *
1843  * If a name from the log points to a file or directory that does
1844  * not exist in the FS, it is skipped.  fsyncs on directories
1845  * do not force down inodes inside that directory, just changes to the
1846  * names or unlinks in a directory.
1847  *
1848  * Returns < 0 on error, 0 if the name wasn't replayed (dentry points to a
1849  * non-existing inode) and 1 if the name was replayed.
1850  */
1851 static noinline int replay_one_name(struct btrfs_trans_handle *trans,
1852                                     struct btrfs_root *root,
1853                                     struct btrfs_path *path,
1854                                     struct extent_buffer *eb,
1855                                     struct btrfs_dir_item *di,
1856                                     struct btrfs_key *key)
1857 {
1858         char *name;
1859         int name_len;
1860         struct btrfs_dir_item *dir_dst_di;
1861         struct btrfs_dir_item *index_dst_di;
1862         bool dir_dst_matches = false;
1863         bool index_dst_matches = false;
1864         struct btrfs_key log_key;
1865         struct btrfs_key search_key;
1866         struct inode *dir;
1867         u8 log_type;
1868         bool exists;
1869         int ret;
1870         bool update_size = true;
1871         bool name_added = false;
1872
1873         dir = read_one_inode(root, key->objectid);
1874         if (!dir)
1875                 return -EIO;
1876
1877         name_len = btrfs_dir_name_len(eb, di);
1878         name = kmalloc(name_len, GFP_NOFS);
1879         if (!name) {
1880                 ret = -ENOMEM;
1881                 goto out;
1882         }
1883
1884         log_type = btrfs_dir_type(eb, di);
1885         read_extent_buffer(eb, name, (unsigned long)(di + 1),
1886                    name_len);
1887
1888         btrfs_dir_item_key_to_cpu(eb, di, &log_key);
1889         ret = btrfs_lookup_inode(trans, root, path, &log_key, 0);
1890         btrfs_release_path(path);
1891         if (ret < 0)
1892                 goto out;
1893         exists = (ret == 0);
1894         ret = 0;
1895
1896         dir_dst_di = btrfs_lookup_dir_item(trans, root, path, key->objectid,
1897                                            name, name_len, 1);
1898         if (IS_ERR(dir_dst_di)) {
1899                 ret = PTR_ERR(dir_dst_di);
1900                 goto out;
1901         } else if (dir_dst_di) {
1902                 ret = delete_conflicting_dir_entry(trans, BTRFS_I(dir), path,
1903                                                    dir_dst_di, &log_key, log_type,
1904                                                    exists);
1905                 if (ret < 0)
1906                         goto out;
1907                 dir_dst_matches = (ret == 1);
1908         }
1909
1910         btrfs_release_path(path);
1911
1912         index_dst_di = btrfs_lookup_dir_index_item(trans, root, path,
1913                                                    key->objectid, key->offset,
1914                                                    name, name_len, 1);
1915         if (IS_ERR(index_dst_di)) {
1916                 ret = PTR_ERR(index_dst_di);
1917                 goto out;
1918         } else if (index_dst_di) {
1919                 ret = delete_conflicting_dir_entry(trans, BTRFS_I(dir), path,
1920                                                    index_dst_di, &log_key,
1921                                                    log_type, exists);
1922                 if (ret < 0)
1923                         goto out;
1924                 index_dst_matches = (ret == 1);
1925         }
1926
1927         btrfs_release_path(path);
1928
1929         if (dir_dst_matches && index_dst_matches) {
1930                 ret = 0;
1931                 update_size = false;
1932                 goto out;
1933         }
1934
1935         /*
1936          * Check if the inode reference exists in the log for the given name,
1937          * inode and parent inode
1938          */
1939         search_key.objectid = log_key.objectid;
1940         search_key.type = BTRFS_INODE_REF_KEY;
1941         search_key.offset = key->objectid;
1942         ret = backref_in_log(root->log_root, &search_key, 0, name, name_len);
1943         if (ret < 0) {
1944                 goto out;
1945         } else if (ret) {
1946                 /* The dentry will be added later. */
1947                 ret = 0;
1948                 update_size = false;
1949                 goto out;
1950         }
1951
1952         search_key.objectid = log_key.objectid;
1953         search_key.type = BTRFS_INODE_EXTREF_KEY;
1954         search_key.offset = key->objectid;
1955         ret = backref_in_log(root->log_root, &search_key, key->objectid, name,
1956                              name_len);
1957         if (ret < 0) {
1958                 goto out;
1959         } else if (ret) {
1960                 /* The dentry will be added later. */
1961                 ret = 0;
1962                 update_size = false;
1963                 goto out;
1964         }
1965         btrfs_release_path(path);
1966         ret = insert_one_name(trans, root, key->objectid, key->offset,
1967                               name, name_len, &log_key);
1968         if (ret && ret != -ENOENT && ret != -EEXIST)
1969                 goto out;
1970         if (!ret)
1971                 name_added = true;
1972         update_size = false;
1973         ret = 0;
1974
1975 out:
1976         if (!ret && update_size) {
1977                 btrfs_i_size_write(BTRFS_I(dir), dir->i_size + name_len * 2);
1978                 ret = btrfs_update_inode(trans, root, BTRFS_I(dir));
1979         }
1980         kfree(name);
1981         iput(dir);
1982         if (!ret && name_added)
1983                 ret = 1;
1984         return ret;
1985 }
1986
1987 /* Replay one dir item from a BTRFS_DIR_INDEX_KEY key. */
1988 static noinline int replay_one_dir_item(struct btrfs_trans_handle *trans,
1989                                         struct btrfs_root *root,
1990                                         struct btrfs_path *path,
1991                                         struct extent_buffer *eb, int slot,
1992                                         struct btrfs_key *key)
1993 {
1994         int ret;
1995         struct btrfs_dir_item *di;
1996
1997         /* We only log dir index keys, which only contain a single dir item. */
1998         ASSERT(key->type == BTRFS_DIR_INDEX_KEY);
1999
2000         di = btrfs_item_ptr(eb, slot, struct btrfs_dir_item);
2001         ret = replay_one_name(trans, root, path, eb, di, key);
2002         if (ret < 0)
2003                 return ret;
2004
2005         /*
2006          * If this entry refers to a non-directory (directories can not have a
2007          * link count > 1) and it was added in the transaction that was not
2008          * committed, make sure we fixup the link count of the inode the entry
2009          * points to. Otherwise something like the following would result in a
2010          * directory pointing to an inode with a wrong link that does not account
2011          * for this dir entry:
2012          *
2013          * mkdir testdir
2014          * touch testdir/foo
2015          * touch testdir/bar
2016          * sync
2017          *
2018          * ln testdir/bar testdir/bar_link
2019          * ln testdir/foo testdir/foo_link
2020          * xfs_io -c "fsync" testdir/bar
2021          *
2022          * <power failure>
2023          *
2024          * mount fs, log replay happens
2025          *
2026          * File foo would remain with a link count of 1 when it has two entries
2027          * pointing to it in the directory testdir. This would make it impossible
2028          * to ever delete the parent directory has it would result in stale
2029          * dentries that can never be deleted.
2030          */
2031         if (ret == 1 && btrfs_dir_type(eb, di) != BTRFS_FT_DIR) {
2032                 struct btrfs_path *fixup_path;
2033                 struct btrfs_key di_key;
2034
2035                 fixup_path = btrfs_alloc_path();
2036                 if (!fixup_path)
2037                         return -ENOMEM;
2038
2039                 btrfs_dir_item_key_to_cpu(eb, di, &di_key);
2040                 ret = link_to_fixup_dir(trans, root, fixup_path, di_key.objectid);
2041                 btrfs_free_path(fixup_path);
2042         }
2043
2044         return ret;
2045 }
2046
2047 /*
2048  * directory replay has two parts.  There are the standard directory
2049  * items in the log copied from the subvolume, and range items
2050  * created in the log while the subvolume was logged.
2051  *
2052  * The range items tell us which parts of the key space the log
2053  * is authoritative for.  During replay, if a key in the subvolume
2054  * directory is in a logged range item, but not actually in the log
2055  * that means it was deleted from the directory before the fsync
2056  * and should be removed.
2057  */
2058 static noinline int find_dir_range(struct btrfs_root *root,
2059                                    struct btrfs_path *path,
2060                                    u64 dirid,
2061                                    u64 *start_ret, u64 *end_ret)
2062 {
2063         struct btrfs_key key;
2064         u64 found_end;
2065         struct btrfs_dir_log_item *item;
2066         int ret;
2067         int nritems;
2068
2069         if (*start_ret == (u64)-1)
2070                 return 1;
2071
2072         key.objectid = dirid;
2073         key.type = BTRFS_DIR_LOG_INDEX_KEY;
2074         key.offset = *start_ret;
2075
2076         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
2077         if (ret < 0)
2078                 goto out;
2079         if (ret > 0) {
2080                 if (path->slots[0] == 0)
2081                         goto out;
2082                 path->slots[0]--;
2083         }
2084         if (ret != 0)
2085                 btrfs_item_key_to_cpu(path->nodes[0], &key, path->slots[0]);
2086
2087         if (key.type != BTRFS_DIR_LOG_INDEX_KEY || key.objectid != dirid) {
2088                 ret = 1;
2089                 goto next;
2090         }
2091         item = btrfs_item_ptr(path->nodes[0], path->slots[0],
2092                               struct btrfs_dir_log_item);
2093         found_end = btrfs_dir_log_end(path->nodes[0], item);
2094
2095         if (*start_ret >= key.offset && *start_ret <= found_end) {
2096                 ret = 0;
2097                 *start_ret = key.offset;
2098                 *end_ret = found_end;
2099                 goto out;
2100         }
2101         ret = 1;
2102 next:
2103         /* check the next slot in the tree to see if it is a valid item */
2104         nritems = btrfs_header_nritems(path->nodes[0]);
2105         path->slots[0]++;
2106         if (path->slots[0] >= nritems) {
2107                 ret = btrfs_next_leaf(root, path);
2108                 if (ret)
2109                         goto out;
2110         }
2111
2112         btrfs_item_key_to_cpu(path->nodes[0], &key, path->slots[0]);
2113
2114         if (key.type != BTRFS_DIR_LOG_INDEX_KEY || key.objectid != dirid) {
2115                 ret = 1;
2116                 goto out;
2117         }
2118         item = btrfs_item_ptr(path->nodes[0], path->slots[0],
2119                               struct btrfs_dir_log_item);
2120         found_end = btrfs_dir_log_end(path->nodes[0], item);
2121         *start_ret = key.offset;
2122         *end_ret = found_end;
2123         ret = 0;
2124 out:
2125         btrfs_release_path(path);
2126         return ret;
2127 }
2128
2129 /*
2130  * this looks for a given directory item in the log.  If the directory
2131  * item is not in the log, the item is removed and the inode it points
2132  * to is unlinked
2133  */
2134 static noinline int check_item_in_log(struct btrfs_trans_handle *trans,
2135                                       struct btrfs_root *log,
2136                                       struct btrfs_path *path,
2137                                       struct btrfs_path *log_path,
2138                                       struct inode *dir,
2139                                       struct btrfs_key *dir_key)
2140 {
2141         struct btrfs_root *root = BTRFS_I(dir)->root;
2142         int ret;
2143         struct extent_buffer *eb;
2144         int slot;
2145         struct btrfs_dir_item *di;
2146         int name_len;
2147         char *name;
2148         struct inode *inode = NULL;
2149         struct btrfs_key location;
2150
2151         /*
2152          * Currently we only log dir index keys. Even if we replay a log created
2153          * by an older kernel that logged both dir index and dir item keys, all
2154          * we need to do is process the dir index keys, we (and our caller) can
2155          * safely ignore dir item keys (key type BTRFS_DIR_ITEM_KEY).
2156          */
2157         ASSERT(dir_key->type == BTRFS_DIR_INDEX_KEY);
2158
2159         eb = path->nodes[0];
2160         slot = path->slots[0];
2161         di = btrfs_item_ptr(eb, slot, struct btrfs_dir_item);
2162         name_len = btrfs_dir_name_len(eb, di);
2163         name = kmalloc(name_len, GFP_NOFS);
2164         if (!name) {
2165                 ret = -ENOMEM;
2166                 goto out;
2167         }
2168
2169         read_extent_buffer(eb, name, (unsigned long)(di + 1), name_len);
2170
2171         if (log) {
2172                 struct btrfs_dir_item *log_di;
2173
2174                 log_di = btrfs_lookup_dir_index_item(trans, log, log_path,
2175                                                      dir_key->objectid,
2176                                                      dir_key->offset,
2177                                                      name, name_len, 0);
2178                 if (IS_ERR(log_di)) {
2179                         ret = PTR_ERR(log_di);
2180                         goto out;
2181                 } else if (log_di) {
2182                         /* The dentry exists in the log, we have nothing to do. */
2183                         ret = 0;
2184                         goto out;
2185                 }
2186         }
2187
2188         btrfs_dir_item_key_to_cpu(eb, di, &location);
2189         btrfs_release_path(path);
2190         btrfs_release_path(log_path);
2191         inode = read_one_inode(root, location.objectid);
2192         if (!inode) {
2193                 ret = -EIO;
2194                 goto out;
2195         }
2196
2197         ret = link_to_fixup_dir(trans, root, path, location.objectid);
2198         if (ret)
2199                 goto out;
2200
2201         inc_nlink(inode);
2202         ret = unlink_inode_for_log_replay(trans, BTRFS_I(dir), BTRFS_I(inode),
2203                                           name, name_len);
2204         /*
2205          * Unlike dir item keys, dir index keys can only have one name (entry) in
2206          * them, as there are no key collisions since each key has a unique offset
2207          * (an index number), so we're done.
2208          */
2209 out:
2210         btrfs_release_path(path);
2211         btrfs_release_path(log_path);
2212         kfree(name);
2213         iput(inode);
2214         return ret;
2215 }
2216
2217 static int replay_xattr_deletes(struct btrfs_trans_handle *trans,
2218                               struct btrfs_root *root,
2219                               struct btrfs_root *log,
2220                               struct btrfs_path *path,
2221                               const u64 ino)
2222 {
2223         struct btrfs_key search_key;
2224         struct btrfs_path *log_path;
2225         int i;
2226         int nritems;
2227         int ret;
2228
2229         log_path = btrfs_alloc_path();
2230         if (!log_path)
2231                 return -ENOMEM;
2232
2233         search_key.objectid = ino;
2234         search_key.type = BTRFS_XATTR_ITEM_KEY;
2235         search_key.offset = 0;
2236 again:
2237         ret = btrfs_search_slot(NULL, root, &search_key, path, 0, 0);
2238         if (ret < 0)
2239                 goto out;
2240 process_leaf:
2241         nritems = btrfs_header_nritems(path->nodes[0]);
2242         for (i = path->slots[0]; i < nritems; i++) {
2243                 struct btrfs_key key;
2244                 struct btrfs_dir_item *di;
2245                 struct btrfs_dir_item *log_di;
2246                 u32 total_size;
2247                 u32 cur;
2248
2249                 btrfs_item_key_to_cpu(path->nodes[0], &key, i);
2250                 if (key.objectid != ino || key.type != BTRFS_XATTR_ITEM_KEY) {
2251                         ret = 0;
2252                         goto out;
2253                 }
2254
2255                 di = btrfs_item_ptr(path->nodes[0], i, struct btrfs_dir_item);
2256                 total_size = btrfs_item_size(path->nodes[0], i);
2257                 cur = 0;
2258                 while (cur < total_size) {
2259                         u16 name_len = btrfs_dir_name_len(path->nodes[0], di);
2260                         u16 data_len = btrfs_dir_data_len(path->nodes[0], di);
2261                         u32 this_len = sizeof(*di) + name_len + data_len;
2262                         char *name;
2263
2264                         name = kmalloc(name_len, GFP_NOFS);
2265                         if (!name) {
2266                                 ret = -ENOMEM;
2267                                 goto out;
2268                         }
2269                         read_extent_buffer(path->nodes[0], name,
2270                                            (unsigned long)(di + 1), name_len);
2271
2272                         log_di = btrfs_lookup_xattr(NULL, log, log_path, ino,
2273                                                     name, name_len, 0);
2274                         btrfs_release_path(log_path);
2275                         if (!log_di) {
2276                                 /* Doesn't exist in log tree, so delete it. */
2277                                 btrfs_release_path(path);
2278                                 di = btrfs_lookup_xattr(trans, root, path, ino,
2279                                                         name, name_len, -1);
2280                                 kfree(name);
2281                                 if (IS_ERR(di)) {
2282                                         ret = PTR_ERR(di);
2283                                         goto out;
2284                                 }
2285                                 ASSERT(di);
2286                                 ret = btrfs_delete_one_dir_name(trans, root,
2287                                                                 path, di);
2288                                 if (ret)
2289                                         goto out;
2290                                 btrfs_release_path(path);
2291                                 search_key = key;
2292                                 goto again;
2293                         }
2294                         kfree(name);
2295                         if (IS_ERR(log_di)) {
2296                                 ret = PTR_ERR(log_di);
2297                                 goto out;
2298                         }
2299                         cur += this_len;
2300                         di = (struct btrfs_dir_item *)((char *)di + this_len);
2301                 }
2302         }
2303         ret = btrfs_next_leaf(root, path);
2304         if (ret > 0)
2305                 ret = 0;
2306         else if (ret == 0)
2307                 goto process_leaf;
2308 out:
2309         btrfs_free_path(log_path);
2310         btrfs_release_path(path);
2311         return ret;
2312 }
2313
2314
2315 /*
2316  * deletion replay happens before we copy any new directory items
2317  * out of the log or out of backreferences from inodes.  It
2318  * scans the log to find ranges of keys that log is authoritative for,
2319  * and then scans the directory to find items in those ranges that are
2320  * not present in the log.
2321  *
2322  * Anything we don't find in the log is unlinked and removed from the
2323  * directory.
2324  */
2325 static noinline int replay_dir_deletes(struct btrfs_trans_handle *trans,
2326                                        struct btrfs_root *root,
2327                                        struct btrfs_root *log,
2328                                        struct btrfs_path *path,
2329                                        u64 dirid, int del_all)
2330 {
2331         u64 range_start;
2332         u64 range_end;
2333         int ret = 0;
2334         struct btrfs_key dir_key;
2335         struct btrfs_key found_key;
2336         struct btrfs_path *log_path;
2337         struct inode *dir;
2338
2339         dir_key.objectid = dirid;
2340         dir_key.type = BTRFS_DIR_INDEX_KEY;
2341         log_path = btrfs_alloc_path();
2342         if (!log_path)
2343                 return -ENOMEM;
2344
2345         dir = read_one_inode(root, dirid);
2346         /* it isn't an error if the inode isn't there, that can happen
2347          * because we replay the deletes before we copy in the inode item
2348          * from the log
2349          */
2350         if (!dir) {
2351                 btrfs_free_path(log_path);
2352                 return 0;
2353         }
2354
2355         range_start = 0;
2356         range_end = 0;
2357         while (1) {
2358                 if (del_all)
2359                         range_end = (u64)-1;
2360                 else {
2361                         ret = find_dir_range(log, path, dirid,
2362                                              &range_start, &range_end);
2363                         if (ret < 0)
2364                                 goto out;
2365                         else if (ret > 0)
2366                                 break;
2367                 }
2368
2369                 dir_key.offset = range_start;
2370                 while (1) {
2371                         int nritems;
2372                         ret = btrfs_search_slot(NULL, root, &dir_key, path,
2373                                                 0, 0);
2374                         if (ret < 0)
2375                                 goto out;
2376
2377                         nritems = btrfs_header_nritems(path->nodes[0]);
2378                         if (path->slots[0] >= nritems) {
2379                                 ret = btrfs_next_leaf(root, path);
2380                                 if (ret == 1)
2381                                         break;
2382                                 else if (ret < 0)
2383                                         goto out;
2384                         }
2385                         btrfs_item_key_to_cpu(path->nodes[0], &found_key,
2386                                               path->slots[0]);
2387                         if (found_key.objectid != dirid ||
2388                             found_key.type != dir_key.type) {
2389                                 ret = 0;
2390                                 goto out;
2391                         }
2392
2393                         if (found_key.offset > range_end)
2394                                 break;
2395
2396                         ret = check_item_in_log(trans, log, path,
2397                                                 log_path, dir,
2398                                                 &found_key);
2399                         if (ret)
2400                                 goto out;
2401                         if (found_key.offset == (u64)-1)
2402                                 break;
2403                         dir_key.offset = found_key.offset + 1;
2404                 }
2405                 btrfs_release_path(path);
2406                 if (range_end == (u64)-1)
2407                         break;
2408                 range_start = range_end + 1;
2409         }
2410         ret = 0;
2411 out:
2412         btrfs_release_path(path);
2413         btrfs_free_path(log_path);
2414         iput(dir);
2415         return ret;
2416 }
2417
2418 /*
2419  * the process_func used to replay items from the log tree.  This
2420  * gets called in two different stages.  The first stage just looks
2421  * for inodes and makes sure they are all copied into the subvolume.
2422  *
2423  * The second stage copies all the other item types from the log into
2424  * the subvolume.  The two stage approach is slower, but gets rid of
2425  * lots of complexity around inodes referencing other inodes that exist
2426  * only in the log (references come from either directory items or inode
2427  * back refs).
2428  */
2429 static int replay_one_buffer(struct btrfs_root *log, struct extent_buffer *eb,
2430                              struct walk_control *wc, u64 gen, int level)
2431 {
2432         int nritems;
2433         struct btrfs_path *path;
2434         struct btrfs_root *root = wc->replay_dest;
2435         struct btrfs_key key;
2436         int i;
2437         int ret;
2438
2439         ret = btrfs_read_extent_buffer(eb, gen, level, NULL);
2440         if (ret)
2441                 return ret;
2442
2443         level = btrfs_header_level(eb);
2444
2445         if (level != 0)
2446                 return 0;
2447
2448         path = btrfs_alloc_path();
2449         if (!path)
2450                 return -ENOMEM;
2451
2452         nritems = btrfs_header_nritems(eb);
2453         for (i = 0; i < nritems; i++) {
2454                 btrfs_item_key_to_cpu(eb, &key, i);
2455
2456                 /* inode keys are done during the first stage */
2457                 if (key.type == BTRFS_INODE_ITEM_KEY &&
2458                     wc->stage == LOG_WALK_REPLAY_INODES) {
2459                         struct btrfs_inode_item *inode_item;
2460                         u32 mode;
2461
2462                         inode_item = btrfs_item_ptr(eb, i,
2463                                             struct btrfs_inode_item);
2464                         /*
2465                          * If we have a tmpfile (O_TMPFILE) that got fsync'ed
2466                          * and never got linked before the fsync, skip it, as
2467                          * replaying it is pointless since it would be deleted
2468                          * later. We skip logging tmpfiles, but it's always
2469                          * possible we are replaying a log created with a kernel
2470                          * that used to log tmpfiles.
2471                          */
2472                         if (btrfs_inode_nlink(eb, inode_item) == 0) {
2473                                 wc->ignore_cur_inode = true;
2474                                 continue;
2475                         } else {
2476                                 wc->ignore_cur_inode = false;
2477                         }
2478                         ret = replay_xattr_deletes(wc->trans, root, log,
2479                                                    path, key.objectid);
2480                         if (ret)
2481                                 break;
2482                         mode = btrfs_inode_mode(eb, inode_item);
2483                         if (S_ISDIR(mode)) {
2484                                 ret = replay_dir_deletes(wc->trans,
2485                                          root, log, path, key.objectid, 0);
2486                                 if (ret)
2487                                         break;
2488                         }
2489                         ret = overwrite_item(wc->trans, root, path,
2490                                              eb, i, &key);
2491                         if (ret)
2492                                 break;
2493
2494                         /*
2495                          * Before replaying extents, truncate the inode to its
2496                          * size. We need to do it now and not after log replay
2497                          * because before an fsync we can have prealloc extents
2498                          * added beyond the inode's i_size. If we did it after,
2499                          * through orphan cleanup for example, we would drop
2500                          * those prealloc extents just after replaying them.
2501                          */
2502                         if (S_ISREG(mode)) {
2503                                 struct btrfs_drop_extents_args drop_args = { 0 };
2504                                 struct inode *inode;
2505                                 u64 from;
2506
2507                                 inode = read_one_inode(root, key.objectid);
2508                                 if (!inode) {
2509                                         ret = -EIO;
2510                                         break;
2511                                 }
2512                                 from = ALIGN(i_size_read(inode),
2513                                              root->fs_info->sectorsize);
2514                                 drop_args.start = from;
2515                                 drop_args.end = (u64)-1;
2516                                 drop_args.drop_cache = true;
2517                                 ret = btrfs_drop_extents(wc->trans, root,
2518                                                          BTRFS_I(inode),
2519                                                          &drop_args);
2520                                 if (!ret) {
2521                                         inode_sub_bytes(inode,
2522                                                         drop_args.bytes_found);
2523                                         /* Update the inode's nbytes. */
2524                                         ret = btrfs_update_inode(wc->trans,
2525                                                         root, BTRFS_I(inode));
2526                                 }
2527                                 iput(inode);
2528                                 if (ret)
2529                                         break;
2530                         }
2531
2532                         ret = link_to_fixup_dir(wc->trans, root,
2533                                                 path, key.objectid);
2534                         if (ret)
2535                                 break;
2536                 }
2537
2538                 if (wc->ignore_cur_inode)
2539                         continue;
2540
2541                 if (key.type == BTRFS_DIR_INDEX_KEY &&
2542                     wc->stage == LOG_WALK_REPLAY_DIR_INDEX) {
2543                         ret = replay_one_dir_item(wc->trans, root, path,
2544                                                   eb, i, &key);
2545                         if (ret)
2546                                 break;
2547                 }
2548
2549                 if (wc->stage < LOG_WALK_REPLAY_ALL)
2550                         continue;
2551
2552                 /* these keys are simply copied */
2553                 if (key.type == BTRFS_XATTR_ITEM_KEY) {
2554                         ret = overwrite_item(wc->trans, root, path,
2555                                              eb, i, &key);
2556                         if (ret)
2557                                 break;
2558                 } else if (key.type == BTRFS_INODE_REF_KEY ||
2559                            key.type == BTRFS_INODE_EXTREF_KEY) {
2560                         ret = add_inode_ref(wc->trans, root, log, path,
2561                                             eb, i, &key);
2562                         if (ret && ret != -ENOENT)
2563                                 break;
2564                         ret = 0;
2565                 } else if (key.type == BTRFS_EXTENT_DATA_KEY) {
2566                         ret = replay_one_extent(wc->trans, root, path,
2567                                                 eb, i, &key);
2568                         if (ret)
2569                                 break;
2570                 }
2571                 /*
2572                  * We don't log BTRFS_DIR_ITEM_KEY keys anymore, only the
2573                  * BTRFS_DIR_INDEX_KEY items which we use to derive the
2574                  * BTRFS_DIR_ITEM_KEY items. If we are replaying a log from an
2575                  * older kernel with such keys, ignore them.
2576                  */
2577         }
2578         btrfs_free_path(path);
2579         return ret;
2580 }
2581
2582 /*
2583  * Correctly adjust the reserved bytes occupied by a log tree extent buffer
2584  */
2585 static void unaccount_log_buffer(struct btrfs_fs_info *fs_info, u64 start)
2586 {
2587         struct btrfs_block_group *cache;
2588
2589         cache = btrfs_lookup_block_group(fs_info, start);
2590         if (!cache) {
2591                 btrfs_err(fs_info, "unable to find block group for %llu", start);
2592                 return;
2593         }
2594
2595         spin_lock(&cache->space_info->lock);
2596         spin_lock(&cache->lock);
2597         cache->reserved -= fs_info->nodesize;
2598         cache->space_info->bytes_reserved -= fs_info->nodesize;
2599         spin_unlock(&cache->lock);
2600         spin_unlock(&cache->space_info->lock);
2601
2602         btrfs_put_block_group(cache);
2603 }
2604
2605 static noinline int walk_down_log_tree(struct btrfs_trans_handle *trans,
2606                                    struct btrfs_root *root,
2607                                    struct btrfs_path *path, int *level,
2608                                    struct walk_control *wc)
2609 {
2610         struct btrfs_fs_info *fs_info = root->fs_info;
2611         u64 bytenr;
2612         u64 ptr_gen;
2613         struct extent_buffer *next;
2614         struct extent_buffer *cur;
2615         u32 blocksize;
2616         int ret = 0;
2617
2618         while (*level > 0) {
2619                 struct btrfs_key first_key;
2620
2621                 cur = path->nodes[*level];
2622
2623                 WARN_ON(btrfs_header_level(cur) != *level);
2624
2625                 if (path->slots[*level] >=
2626                     btrfs_header_nritems(cur))
2627                         break;
2628
2629                 bytenr = btrfs_node_blockptr(cur, path->slots[*level]);
2630                 ptr_gen = btrfs_node_ptr_generation(cur, path->slots[*level]);
2631                 btrfs_node_key_to_cpu(cur, &first_key, path->slots[*level]);
2632                 blocksize = fs_info->nodesize;
2633
2634                 next = btrfs_find_create_tree_block(fs_info, bytenr,
2635                                                     btrfs_header_owner(cur),
2636                                                     *level - 1);
2637                 if (IS_ERR(next))
2638                         return PTR_ERR(next);
2639
2640                 if (*level == 1) {
2641                         ret = wc->process_func(root, next, wc, ptr_gen,
2642                                                *level - 1);
2643                         if (ret) {
2644                                 free_extent_buffer(next);
2645                                 return ret;
2646                         }
2647
2648                         path->slots[*level]++;
2649                         if (wc->free) {
2650                                 ret = btrfs_read_extent_buffer(next, ptr_gen,
2651                                                         *level - 1, &first_key);
2652                                 if (ret) {
2653                                         free_extent_buffer(next);
2654                                         return ret;
2655                                 }
2656
2657                                 if (trans) {
2658                                         btrfs_tree_lock(next);
2659                                         btrfs_clean_tree_block(next);
2660                                         btrfs_wait_tree_block_writeback(next);
2661                                         btrfs_tree_unlock(next);
2662                                         ret = btrfs_pin_reserved_extent(trans,
2663                                                         bytenr, blocksize);
2664                                         if (ret) {
2665                                                 free_extent_buffer(next);
2666                                                 return ret;
2667                                         }
2668                                         btrfs_redirty_list_add(
2669                                                 trans->transaction, next);
2670                                 } else {
2671                                         if (test_and_clear_bit(EXTENT_BUFFER_DIRTY, &next->bflags))
2672                                                 clear_extent_buffer_dirty(next);
2673                                         unaccount_log_buffer(fs_info, bytenr);
2674                                 }
2675                         }
2676                         free_extent_buffer(next);
2677                         continue;
2678                 }
2679                 ret = btrfs_read_extent_buffer(next, ptr_gen, *level - 1, &first_key);
2680                 if (ret) {
2681                         free_extent_buffer(next);
2682                         return ret;
2683                 }
2684
2685                 if (path->nodes[*level-1])
2686                         free_extent_buffer(path->nodes[*level-1]);
2687                 path->nodes[*level-1] = next;
2688                 *level = btrfs_header_level(next);
2689                 path->slots[*level] = 0;
2690                 cond_resched();
2691         }
2692         path->slots[*level] = btrfs_header_nritems(path->nodes[*level]);
2693
2694         cond_resched();
2695         return 0;
2696 }
2697
2698 static noinline int walk_up_log_tree(struct btrfs_trans_handle *trans,
2699                                  struct btrfs_root *root,
2700                                  struct btrfs_path *path, int *level,
2701                                  struct walk_control *wc)
2702 {
2703         struct btrfs_fs_info *fs_info = root->fs_info;
2704         int i;
2705         int slot;
2706         int ret;
2707
2708         for (i = *level; i < BTRFS_MAX_LEVEL - 1 && path->nodes[i]; i++) {
2709                 slot = path->slots[i];
2710                 if (slot + 1 < btrfs_header_nritems(path->nodes[i])) {
2711                         path->slots[i]++;
2712                         *level = i;
2713                         WARN_ON(*level == 0);
2714                         return 0;
2715                 } else {
2716                         ret = wc->process_func(root, path->nodes[*level], wc,
2717                                  btrfs_header_generation(path->nodes[*level]),
2718                                  *level);
2719                         if (ret)
2720                                 return ret;
2721
2722                         if (wc->free) {
2723                                 struct extent_buffer *next;
2724
2725                                 next = path->nodes[*level];
2726
2727                                 if (trans) {
2728                                         btrfs_tree_lock(next);
2729                                         btrfs_clean_tree_block(next);
2730                                         btrfs_wait_tree_block_writeback(next);
2731                                         btrfs_tree_unlock(next);
2732                                         ret = btrfs_pin_reserved_extent(trans,
2733                                                      path->nodes[*level]->start,
2734                                                      path->nodes[*level]->len);
2735                                         if (ret)
2736                                                 return ret;
2737                                         btrfs_redirty_list_add(trans->transaction,
2738                                                                next);
2739                                 } else {
2740                                         if (test_and_clear_bit(EXTENT_BUFFER_DIRTY, &next->bflags))
2741                                                 clear_extent_buffer_dirty(next);
2742
2743                                         unaccount_log_buffer(fs_info,
2744                                                 path->nodes[*level]->start);
2745                                 }
2746                         }
2747                         free_extent_buffer(path->nodes[*level]);
2748                         path->nodes[*level] = NULL;
2749                         *level = i + 1;
2750                 }
2751         }
2752         return 1;
2753 }
2754
2755 /*
2756  * drop the reference count on the tree rooted at 'snap'.  This traverses
2757  * the tree freeing any blocks that have a ref count of zero after being
2758  * decremented.
2759  */
2760 static int walk_log_tree(struct btrfs_trans_handle *trans,
2761                          struct btrfs_root *log, struct walk_control *wc)
2762 {
2763         struct btrfs_fs_info *fs_info = log->fs_info;
2764         int ret = 0;
2765         int wret;
2766         int level;
2767         struct btrfs_path *path;
2768         int orig_level;
2769
2770         path = btrfs_alloc_path();
2771         if (!path)
2772                 return -ENOMEM;
2773
2774         level = btrfs_header_level(log->node);
2775         orig_level = level;
2776         path->nodes[level] = log->node;
2777         atomic_inc(&log->node->refs);
2778         path->slots[level] = 0;
2779
2780         while (1) {
2781                 wret = walk_down_log_tree(trans, log, path, &level, wc);
2782                 if (wret > 0)
2783                         break;
2784                 if (wret < 0) {
2785                         ret = wret;
2786                         goto out;
2787                 }
2788
2789                 wret = walk_up_log_tree(trans, log, path, &level, wc);
2790                 if (wret > 0)
2791                         break;
2792                 if (wret < 0) {
2793                         ret = wret;
2794                         goto out;
2795                 }
2796         }
2797
2798         /* was the root node processed? if not, catch it here */
2799         if (path->nodes[orig_level]) {
2800                 ret = wc->process_func(log, path->nodes[orig_level], wc,
2801                          btrfs_header_generation(path->nodes[orig_level]),
2802                          orig_level);
2803                 if (ret)
2804                         goto out;
2805                 if (wc->free) {
2806                         struct extent_buffer *next;
2807
2808                         next = path->nodes[orig_level];
2809
2810                         if (trans) {
2811                                 btrfs_tree_lock(next);
2812                                 btrfs_clean_tree_block(next);
2813                                 btrfs_wait_tree_block_writeback(next);
2814                                 btrfs_tree_unlock(next);
2815                                 ret = btrfs_pin_reserved_extent(trans,
2816                                                 next->start, next->len);
2817                                 if (ret)
2818                                         goto out;
2819                                 btrfs_redirty_list_add(trans->transaction, next);
2820                         } else {
2821                                 if (test_and_clear_bit(EXTENT_BUFFER_DIRTY, &next->bflags))
2822                                         clear_extent_buffer_dirty(next);
2823                                 unaccount_log_buffer(fs_info, next->start);
2824                         }
2825                 }
2826         }
2827
2828 out:
2829         btrfs_free_path(path);
2830         return ret;
2831 }
2832
2833 /*
2834  * helper function to update the item for a given subvolumes log root
2835  * in the tree of log roots
2836  */
2837 static int update_log_root(struct btrfs_trans_handle *trans,
2838                            struct btrfs_root *log,
2839                            struct btrfs_root_item *root_item)
2840 {
2841         struct btrfs_fs_info *fs_info = log->fs_info;
2842         int ret;
2843
2844         if (log->log_transid == 1) {
2845                 /* insert root item on the first sync */
2846                 ret = btrfs_insert_root(trans, fs_info->log_root_tree,
2847                                 &log->root_key, root_item);
2848         } else {
2849                 ret = btrfs_update_root(trans, fs_info->log_root_tree,
2850                                 &log->root_key, root_item);
2851         }
2852         return ret;
2853 }
2854
2855 static void wait_log_commit(struct btrfs_root *root, int transid)
2856 {
2857         DEFINE_WAIT(wait);
2858         int index = transid % 2;
2859
2860         /*
2861          * we only allow two pending log transactions at a time,
2862          * so we know that if ours is more than 2 older than the
2863          * current transaction, we're done
2864          */
2865         for (;;) {
2866                 prepare_to_wait(&root->log_commit_wait[index],
2867                                 &wait, TASK_UNINTERRUPTIBLE);
2868
2869                 if (!(root->log_transid_committed < transid &&
2870                       atomic_read(&root->log_commit[index])))
2871                         break;
2872
2873                 mutex_unlock(&root->log_mutex);
2874                 schedule();
2875                 mutex_lock(&root->log_mutex);
2876         }
2877         finish_wait(&root->log_commit_wait[index], &wait);
2878 }
2879
2880 static void wait_for_writer(struct btrfs_root *root)
2881 {
2882         DEFINE_WAIT(wait);
2883
2884         for (;;) {
2885                 prepare_to_wait(&root->log_writer_wait, &wait,
2886                                 TASK_UNINTERRUPTIBLE);
2887                 if (!atomic_read(&root->log_writers))
2888                         break;
2889
2890                 mutex_unlock(&root->log_mutex);
2891                 schedule();
2892                 mutex_lock(&root->log_mutex);
2893         }
2894         finish_wait(&root->log_writer_wait, &wait);
2895 }
2896
2897 static inline void btrfs_remove_log_ctx(struct btrfs_root *root,
2898                                         struct btrfs_log_ctx *ctx)
2899 {
2900         mutex_lock(&root->log_mutex);
2901         list_del_init(&ctx->list);
2902         mutex_unlock(&root->log_mutex);
2903 }
2904
2905 /* 
2906  * Invoked in log mutex context, or be sure there is no other task which
2907  * can access the list.
2908  */
2909 static inline void btrfs_remove_all_log_ctxs(struct btrfs_root *root,
2910                                              int index, int error)
2911 {
2912         struct btrfs_log_ctx *ctx;
2913         struct btrfs_log_ctx *safe;
2914
2915         list_for_each_entry_safe(ctx, safe, &root->log_ctxs[index], list) {
2916                 list_del_init(&ctx->list);
2917                 ctx->log_ret = error;
2918         }
2919 }
2920
2921 /*
2922  * btrfs_sync_log does sends a given tree log down to the disk and
2923  * updates the super blocks to record it.  When this call is done,
2924  * you know that any inodes previously logged are safely on disk only
2925  * if it returns 0.
2926  *
2927  * Any other return value means you need to call btrfs_commit_transaction.
2928  * Some of the edge cases for fsyncing directories that have had unlinks
2929  * or renames done in the past mean that sometimes the only safe
2930  * fsync is to commit the whole FS.  When btrfs_sync_log returns -EAGAIN,
2931  * that has happened.
2932  */
2933 int btrfs_sync_log(struct btrfs_trans_handle *trans,
2934                    struct btrfs_root *root, struct btrfs_log_ctx *ctx)
2935 {
2936         int index1;
2937         int index2;
2938         int mark;
2939         int ret;
2940         struct btrfs_fs_info *fs_info = root->fs_info;
2941         struct btrfs_root *log = root->log_root;
2942         struct btrfs_root *log_root_tree = fs_info->log_root_tree;
2943         struct btrfs_root_item new_root_item;
2944         int log_transid = 0;
2945         struct btrfs_log_ctx root_log_ctx;
2946         struct blk_plug plug;
2947         u64 log_root_start;
2948         u64 log_root_level;
2949
2950         mutex_lock(&root->log_mutex);
2951         log_transid = ctx->log_transid;
2952         if (root->log_transid_committed >= log_transid) {
2953                 mutex_unlock(&root->log_mutex);
2954                 return ctx->log_ret;
2955         }
2956
2957         index1 = log_transid % 2;
2958         if (atomic_read(&root->log_commit[index1])) {
2959                 wait_log_commit(root, log_transid);
2960                 mutex_unlock(&root->log_mutex);
2961                 return ctx->log_ret;
2962         }
2963         ASSERT(log_transid == root->log_transid);
2964         atomic_set(&root->log_commit[index1], 1);
2965
2966         /* wait for previous tree log sync to complete */
2967         if (atomic_read(&root->log_commit[(index1 + 1) % 2]))
2968                 wait_log_commit(root, log_transid - 1);
2969
2970         while (1) {
2971                 int batch = atomic_read(&root->log_batch);
2972                 /* when we're on an ssd, just kick the log commit out */
2973                 if (!btrfs_test_opt(fs_info, SSD) &&
2974                     test_bit(BTRFS_ROOT_MULTI_LOG_TASKS, &root->state)) {
2975                         mutex_unlock(&root->log_mutex);
2976                         schedule_timeout_uninterruptible(1);
2977                         mutex_lock(&root->log_mutex);
2978                 }
2979                 wait_for_writer(root);
2980                 if (batch == atomic_read(&root->log_batch))
2981                         break;
2982         }
2983
2984         /* bail out if we need to do a full commit */
2985         if (btrfs_need_log_full_commit(trans)) {
2986                 ret = BTRFS_LOG_FORCE_COMMIT;
2987                 mutex_unlock(&root->log_mutex);
2988                 goto out;
2989         }
2990
2991         if (log_transid % 2 == 0)
2992                 mark = EXTENT_DIRTY;
2993         else
2994                 mark = EXTENT_NEW;
2995
2996         /* we start IO on  all the marked extents here, but we don't actually
2997          * wait for them until later.
2998          */
2999         blk_start_plug(&plug);
3000         ret = btrfs_write_marked_extents(fs_info, &log->dirty_log_pages, mark);
3001         /*
3002          * -EAGAIN happens when someone, e.g., a concurrent transaction
3003          *  commit, writes a dirty extent in this tree-log commit. This
3004          *  concurrent write will create a hole writing out the extents,
3005          *  and we cannot proceed on a zoned filesystem, requiring
3006          *  sequential writing. While we can bail out to a full commit
3007          *  here, but we can continue hoping the concurrent writing fills
3008          *  the hole.
3009          */
3010         if (ret == -EAGAIN && btrfs_is_zoned(fs_info))
3011                 ret = 0;
3012         if (ret) {
3013                 blk_finish_plug(&plug);
3014                 btrfs_set_log_full_commit(trans);
3015                 mutex_unlock(&root->log_mutex);
3016                 goto out;
3017         }
3018
3019         /*
3020          * We _must_ update under the root->log_mutex in order to make sure we
3021          * have a consistent view of the log root we are trying to commit at
3022          * this moment.
3023          *
3024          * We _must_ copy this into a local copy, because we are not holding the
3025          * log_root_tree->log_mutex yet.  This is important because when we
3026          * commit the log_root_tree we must have a consistent view of the
3027          * log_root_tree when we update the super block to point at the
3028          * log_root_tree bytenr.  If we update the log_root_tree here we'll race
3029          * with the commit and possibly point at the new block which we may not
3030          * have written out.
3031          */
3032         btrfs_set_root_node(&log->root_item, log->node);
3033         memcpy(&new_root_item, &log->root_item, sizeof(new_root_item));
3034
3035         root->log_transid++;
3036         log->log_transid = root->log_transid;
3037         root->log_start_pid = 0;
3038         /*
3039          * IO has been started, blocks of the log tree have WRITTEN flag set
3040          * in their headers. new modifications of the log will be written to
3041          * new positions. so it's safe to allow log writers to go in.
3042          */
3043         mutex_unlock(&root->log_mutex);
3044
3045         if (btrfs_is_zoned(fs_info)) {
3046                 mutex_lock(&fs_info->tree_root->log_mutex);
3047                 if (!log_root_tree->node) {
3048                         ret = btrfs_alloc_log_tree_node(trans, log_root_tree);
3049                         if (ret) {
3050                                 mutex_unlock(&fs_info->tree_root->log_mutex);
3051                                 blk_finish_plug(&plug);
3052                                 goto out;
3053                         }
3054                 }
3055                 mutex_unlock(&fs_info->tree_root->log_mutex);
3056         }
3057
3058         btrfs_init_log_ctx(&root_log_ctx, NULL);
3059
3060         mutex_lock(&log_root_tree->log_mutex);
3061
3062         index2 = log_root_tree->log_transid % 2;
3063         list_add_tail(&root_log_ctx.list, &log_root_tree->log_ctxs[index2]);
3064         root_log_ctx.log_transid = log_root_tree->log_transid;
3065
3066         /*
3067          * Now we are safe to update the log_root_tree because we're under the
3068          * log_mutex, and we're a current writer so we're holding the commit
3069          * open until we drop the log_mutex.
3070          */
3071         ret = update_log_root(trans, log, &new_root_item);
3072         if (ret) {
3073                 if (!list_empty(&root_log_ctx.list))
3074                         list_del_init(&root_log_ctx.list);
3075
3076                 blk_finish_plug(&plug);
3077                 btrfs_set_log_full_commit(trans);
3078                 if (ret != -ENOSPC)
3079                         btrfs_err(fs_info,
3080                                   "failed to update log for root %llu ret %d",
3081                                   root->root_key.objectid, ret);
3082                 btrfs_wait_tree_log_extents(log, mark);
3083                 mutex_unlock(&log_root_tree->log_mutex);
3084                 goto out;
3085         }
3086
3087         if (log_root_tree->log_transid_committed >= root_log_ctx.log_transid) {
3088                 blk_finish_plug(&plug);
3089                 list_del_init(&root_log_ctx.list);
3090                 mutex_unlock(&log_root_tree->log_mutex);
3091                 ret = root_log_ctx.log_ret;
3092                 goto out;
3093         }
3094
3095         index2 = root_log_ctx.log_transid % 2;
3096         if (atomic_read(&log_root_tree->log_commit[index2])) {
3097                 blk_finish_plug(&plug);
3098                 ret = btrfs_wait_tree_log_extents(log, mark);
3099                 wait_log_commit(log_root_tree,
3100                                 root_log_ctx.log_transid);
3101                 mutex_unlock(&log_root_tree->log_mutex);
3102                 if (!ret)
3103                         ret = root_log_ctx.log_ret;
3104                 goto out;
3105         }
3106         ASSERT(root_log_ctx.log_transid == log_root_tree->log_transid);
3107         atomic_set(&log_root_tree->log_commit[index2], 1);
3108
3109         if (atomic_read(&log_root_tree->log_commit[(index2 + 1) % 2])) {
3110                 wait_log_commit(log_root_tree,
3111                                 root_log_ctx.log_transid - 1);
3112         }
3113
3114         /*
3115          * now that we've moved on to the tree of log tree roots,
3116          * check the full commit flag again
3117          */
3118         if (btrfs_need_log_full_commit(trans)) {
3119                 blk_finish_plug(&plug);
3120                 btrfs_wait_tree_log_extents(log, mark);
3121                 mutex_unlock(&log_root_tree->log_mutex);
3122                 ret = BTRFS_LOG_FORCE_COMMIT;
3123                 goto out_wake_log_root;
3124         }
3125
3126         ret = btrfs_write_marked_extents(fs_info,
3127                                          &log_root_tree->dirty_log_pages,
3128                                          EXTENT_DIRTY | EXTENT_NEW);
3129         blk_finish_plug(&plug);
3130         /*
3131          * As described above, -EAGAIN indicates a hole in the extents. We
3132          * cannot wait for these write outs since the waiting cause a
3133          * deadlock. Bail out to the full commit instead.
3134          */
3135         if (ret == -EAGAIN && btrfs_is_zoned(fs_info)) {
3136                 btrfs_set_log_full_commit(trans);
3137                 btrfs_wait_tree_log_extents(log, mark);
3138                 mutex_unlock(&log_root_tree->log_mutex);
3139                 goto out_wake_log_root;
3140         } else if (ret) {
3141                 btrfs_set_log_full_commit(trans);
3142                 mutex_unlock(&log_root_tree->log_mutex);
3143                 goto out_wake_log_root;
3144         }
3145         ret = btrfs_wait_tree_log_extents(log, mark);
3146         if (!ret)
3147                 ret = btrfs_wait_tree_log_extents(log_root_tree,
3148                                                   EXTENT_NEW | EXTENT_DIRTY);
3149         if (ret) {
3150                 btrfs_set_log_full_commit(trans);
3151                 mutex_unlock(&log_root_tree->log_mutex);
3152                 goto out_wake_log_root;
3153         }
3154
3155         log_root_start = log_root_tree->node->start;
3156         log_root_level = btrfs_header_level(log_root_tree->node);
3157         log_root_tree->log_transid++;
3158         mutex_unlock(&log_root_tree->log_mutex);
3159
3160         /*
3161          * Here we are guaranteed that nobody is going to write the superblock
3162          * for the current transaction before us and that neither we do write
3163          * our superblock before the previous transaction finishes its commit
3164          * and writes its superblock, because:
3165          *
3166          * 1) We are holding a handle on the current transaction, so no body
3167          *    can commit it until we release the handle;
3168          *
3169          * 2) Before writing our superblock we acquire the tree_log_mutex, so
3170          *    if the previous transaction is still committing, and hasn't yet
3171          *    written its superblock, we wait for it to do it, because a
3172          *    transaction commit acquires the tree_log_mutex when the commit
3173          *    begins and releases it only after writing its superblock.
3174          */
3175         mutex_lock(&fs_info->tree_log_mutex);
3176
3177         /*
3178          * The previous transaction writeout phase could have failed, and thus
3179          * marked the fs in an error state.  We must not commit here, as we
3180          * could have updated our generation in the super_for_commit and
3181          * writing the super here would result in transid mismatches.  If there
3182          * is an error here just bail.
3183          */
3184         if (BTRFS_FS_ERROR(fs_info)) {
3185                 ret = -EIO;
3186                 btrfs_set_log_full_commit(trans);
3187                 btrfs_abort_transaction(trans, ret);
3188                 mutex_unlock(&fs_info->tree_log_mutex);
3189                 goto out_wake_log_root;
3190         }
3191
3192         btrfs_set_super_log_root(fs_info->super_for_commit, log_root_start);
3193         btrfs_set_super_log_root_level(fs_info->super_for_commit, log_root_level);
3194         ret = write_all_supers(fs_info, 1);
3195         mutex_unlock(&fs_info->tree_log_mutex);
3196         if (ret) {
3197                 btrfs_set_log_full_commit(trans);
3198                 btrfs_abort_transaction(trans, ret);
3199                 goto out_wake_log_root;
3200         }
3201
3202         /*
3203          * We know there can only be one task here, since we have not yet set
3204          * root->log_commit[index1] to 0 and any task attempting to sync the
3205          * log must wait for the previous log transaction to commit if it's
3206          * still in progress or wait for the current log transaction commit if
3207          * someone else already started it. We use <= and not < because the
3208          * first log transaction has an ID of 0.
3209          */
3210         ASSERT(root->last_log_commit <= log_transid);
3211         root->last_log_commit = log_transid;
3212
3213 out_wake_log_root:
3214         mutex_lock(&log_root_tree->log_mutex);
3215         btrfs_remove_all_log_ctxs(log_root_tree, index2, ret);
3216
3217         log_root_tree->log_transid_committed++;
3218         atomic_set(&log_root_tree->log_commit[index2], 0);
3219         mutex_unlock(&log_root_tree->log_mutex);
3220
3221         /*
3222          * The barrier before waitqueue_active (in cond_wake_up) is needed so
3223          * all the updates above are seen by the woken threads. It might not be
3224          * necessary, but proving that seems to be hard.
3225          */
3226         cond_wake_up(&log_root_tree->log_commit_wait[index2]);
3227 out:
3228         mutex_lock(&root->log_mutex);
3229         btrfs_remove_all_log_ctxs(root, index1, ret);
3230         root->log_transid_committed++;
3231         atomic_set(&root->log_commit[index1], 0);
3232         mutex_unlock(&root->log_mutex);
3233
3234         /*
3235          * The barrier before waitqueue_active (in cond_wake_up) is needed so
3236          * all the updates above are seen by the woken threads. It might not be
3237          * necessary, but proving that seems to be hard.
3238          */
3239         cond_wake_up(&root->log_commit_wait[index1]);
3240         return ret;
3241 }
3242
3243 static void free_log_tree(struct btrfs_trans_handle *trans,
3244                           struct btrfs_root *log)
3245 {
3246         int ret;
3247         struct walk_control wc = {
3248                 .free = 1,
3249                 .process_func = process_one_buffer
3250         };
3251
3252         if (log->node) {
3253                 ret = walk_log_tree(trans, log, &wc);
3254                 if (ret) {
3255                         /*
3256                          * We weren't able to traverse the entire log tree, the
3257                          * typical scenario is getting an -EIO when reading an
3258                          * extent buffer of the tree, due to a previous writeback
3259                          * failure of it.
3260                          */
3261                         set_bit(BTRFS_FS_STATE_LOG_CLEANUP_ERROR,
3262                                 &log->fs_info->fs_state);
3263
3264                         /*
3265                          * Some extent buffers of the log tree may still be dirty
3266                          * and not yet written back to storage, because we may
3267                          * have updates to a log tree without syncing a log tree,
3268                          * such as during rename and link operations. So flush
3269                          * them out and wait for their writeback to complete, so
3270                          * that we properly cleanup their state and pages.
3271                          */
3272                         btrfs_write_marked_extents(log->fs_info,
3273                                                    &log->dirty_log_pages,
3274                                                    EXTENT_DIRTY | EXTENT_NEW);
3275                         btrfs_wait_tree_log_extents(log,
3276                                                     EXTENT_DIRTY | EXTENT_NEW);
3277
3278                         if (trans)
3279                                 btrfs_abort_transaction(trans, ret);
3280                         else
3281                                 btrfs_handle_fs_error(log->fs_info, ret, NULL);
3282                 }
3283         }
3284
3285         clear_extent_bits(&log->dirty_log_pages, 0, (u64)-1,
3286                           EXTENT_DIRTY | EXTENT_NEW | EXTENT_NEED_WAIT);
3287         extent_io_tree_release(&log->log_csum_range);
3288
3289         btrfs_put_root(log);
3290 }
3291
3292 /*
3293  * free all the extents used by the tree log.  This should be called
3294  * at commit time of the full transaction
3295  */
3296 int btrfs_free_log(struct btrfs_trans_handle *trans, struct btrfs_root *root)
3297 {
3298         if (root->log_root) {
3299                 free_log_tree(trans, root->log_root);
3300                 root->log_root = NULL;
3301                 clear_bit(BTRFS_ROOT_HAS_LOG_TREE, &root->state);
3302         }
3303         return 0;
3304 }
3305
3306 int btrfs_free_log_root_tree(struct btrfs_trans_handle *trans,
3307                              struct btrfs_fs_info *fs_info)
3308 {
3309         if (fs_info->log_root_tree) {
3310                 free_log_tree(trans, fs_info->log_root_tree);
3311                 fs_info->log_root_tree = NULL;
3312                 clear_bit(BTRFS_ROOT_HAS_LOG_TREE, &fs_info->tree_root->state);
3313         }
3314         return 0;
3315 }
3316
3317 /*
3318  * Check if an inode was logged in the current transaction. This correctly deals
3319  * with the case where the inode was logged but has a logged_trans of 0, which
3320  * happens if the inode is evicted and loaded again, as logged_trans is an in
3321  * memory only field (not persisted).
3322  *
3323  * Returns 1 if the inode was logged before in the transaction, 0 if it was not,
3324  * and < 0 on error.
3325  */
3326 static int inode_logged(struct btrfs_trans_handle *trans,
3327                         struct btrfs_inode *inode,
3328                         struct btrfs_path *path_in)
3329 {
3330         struct btrfs_path *path = path_in;
3331         struct btrfs_key key;
3332         int ret;
3333
3334         if (inode->logged_trans == trans->transid)
3335                 return 1;
3336
3337         /*
3338          * If logged_trans is not 0, then we know the inode logged was not logged
3339          * in this transaction, so we can return false right away.
3340          */
3341         if (inode->logged_trans > 0)
3342                 return 0;
3343
3344         /*
3345          * If no log tree was created for this root in this transaction, then
3346          * the inode can not have been logged in this transaction. In that case
3347          * set logged_trans to anything greater than 0 and less than the current
3348          * transaction's ID, to avoid the search below in a future call in case
3349          * a log tree gets created after this.
3350          */
3351         if (!test_bit(BTRFS_ROOT_HAS_LOG_TREE, &inode->root->state)) {
3352                 inode->logged_trans = trans->transid - 1;
3353                 return 0;
3354         }
3355
3356         /*
3357          * We have a log tree and the inode's logged_trans is 0. We can't tell
3358          * for sure if the inode was logged before in this transaction by looking
3359          * only at logged_trans. We could be pessimistic and assume it was, but
3360          * that can lead to unnecessarily logging an inode during rename and link
3361          * operations, and then further updating the log in followup rename and
3362          * link operations, specially if it's a directory, which adds latency
3363          * visible to applications doing a series of rename or link operations.
3364          *
3365          * A logged_trans of 0 here can mean several things:
3366          *
3367          * 1) The inode was never logged since the filesystem was mounted, and may
3368          *    or may have not been evicted and loaded again;
3369          *
3370          * 2) The inode was logged in a previous transaction, then evicted and
3371          *    then loaded again;
3372          *
3373          * 3) The inode was logged in the current transaction, then evicted and
3374          *    then loaded again.
3375          *
3376          * For cases 1) and 2) we don't want to return true, but we need to detect
3377          * case 3) and return true. So we do a search in the log root for the inode
3378          * item.
3379          */
3380         key.objectid = btrfs_ino(inode);
3381         key.type = BTRFS_INODE_ITEM_KEY;
3382         key.offset = 0;
3383
3384         if (!path) {
3385                 path = btrfs_alloc_path();
3386                 if (!path)
3387                         return -ENOMEM;
3388         }
3389
3390         ret = btrfs_search_slot(NULL, inode->root->log_root, &key, path, 0, 0);
3391
3392         if (path_in)
3393                 btrfs_release_path(path);
3394         else
3395                 btrfs_free_path(path);
3396
3397         /*
3398          * Logging an inode always results in logging its inode item. So if we
3399          * did not find the item we know the inode was not logged for sure.
3400          */
3401         if (ret < 0) {
3402                 return ret;
3403         } else if (ret > 0) {
3404                 /*
3405                  * Set logged_trans to a value greater than 0 and less then the
3406                  * current transaction to avoid doing the search in future calls.
3407                  */
3408                 inode->logged_trans = trans->transid - 1;
3409                 return 0;
3410         }
3411
3412         /*
3413          * The inode was previously logged and then evicted, set logged_trans to
3414          * the current transacion's ID, to avoid future tree searches as long as
3415          * the inode is not evicted again.
3416          */
3417         inode->logged_trans = trans->transid;
3418
3419         /*
3420          * If it's a directory, then we must set last_dir_index_offset to the
3421          * maximum possible value, so that the next attempt to log the inode does
3422          * not skip checking if dir index keys found in modified subvolume tree
3423          * leaves have been logged before, otherwise it would result in attempts
3424          * to insert duplicate dir index keys in the log tree. This must be done
3425          * because last_dir_index_offset is an in-memory only field, not persisted
3426          * in the inode item or any other on-disk structure, so its value is lost
3427          * once the inode is evicted.
3428          */
3429         if (S_ISDIR(inode->vfs_inode.i_mode))
3430                 inode->last_dir_index_offset = (u64)-1;
3431
3432         return 1;
3433 }
3434
3435 /*
3436  * Delete a directory entry from the log if it exists.
3437  *
3438  * Returns < 0 on error
3439  *           1 if the entry does not exists
3440  *           0 if the entry existed and was successfully deleted
3441  */
3442 static int del_logged_dentry(struct btrfs_trans_handle *trans,
3443                              struct btrfs_root *log,
3444                              struct btrfs_path *path,
3445                              u64 dir_ino,
3446                              const char *name, int name_len,
3447                              u64 index)
3448 {
3449         struct btrfs_dir_item *di;
3450
3451         /*
3452          * We only log dir index items of a directory, so we don't need to look
3453          * for dir item keys.
3454          */
3455         di = btrfs_lookup_dir_index_item(trans, log, path, dir_ino,
3456                                          index, name, name_len, -1);
3457         if (IS_ERR(di))
3458                 return PTR_ERR(di);
3459         else if (!di)
3460                 return 1;
3461
3462         /*
3463          * We do not need to update the size field of the directory's
3464          * inode item because on log replay we update the field to reflect
3465          * all existing entries in the directory (see overwrite_item()).
3466          */
3467         return btrfs_delete_one_dir_name(trans, log, path, di);
3468 }
3469
3470 /*
3471  * If both a file and directory are logged, and unlinks or renames are
3472  * mixed in, we have a few interesting corners:
3473  *
3474  * create file X in dir Y
3475  * link file X to X.link in dir Y
3476  * fsync file X
3477  * unlink file X but leave X.link
3478  * fsync dir Y
3479  *
3480  * After a crash we would expect only X.link to exist.  But file X
3481  * didn't get fsync'd again so the log has back refs for X and X.link.
3482  *
3483  * We solve this by removing directory entries and inode backrefs from the
3484  * log when a file that was logged in the current transaction is
3485  * unlinked.  Any later fsync will include the updated log entries, and
3486  * we'll be able to reconstruct the proper directory items from backrefs.
3487  *
3488  * This optimizations allows us to avoid relogging the entire inode
3489  * or the entire directory.
3490  */
3491 void btrfs_del_dir_entries_in_log(struct btrfs_trans_handle *trans,
3492                                   struct btrfs_root *root,
3493                                   const char *name, int name_len,
3494                                   struct btrfs_inode *dir, u64 index)
3495 {
3496         struct btrfs_path *path;
3497         int ret;
3498
3499         ret = inode_logged(trans, dir, NULL);
3500         if (ret == 0)
3501                 return;
3502         else if (ret < 0) {
3503                 btrfs_set_log_full_commit(trans);
3504                 return;
3505         }
3506
3507         ret = join_running_log_trans(root);
3508         if (ret)
3509                 return;
3510
3511         mutex_lock(&dir->log_mutex);
3512
3513         path = btrfs_alloc_path();
3514         if (!path) {
3515                 ret = -ENOMEM;
3516                 goto out_unlock;
3517         }
3518
3519         ret = del_logged_dentry(trans, root->log_root, path, btrfs_ino(dir),
3520                                 name, name_len, index);
3521         btrfs_free_path(path);
3522 out_unlock:
3523         mutex_unlock(&dir->log_mutex);
3524         if (ret < 0)
3525                 btrfs_set_log_full_commit(trans);
3526         btrfs_end_log_trans(root);
3527 }
3528
3529 /* see comments for btrfs_del_dir_entries_in_log */
3530 void btrfs_del_inode_ref_in_log(struct btrfs_trans_handle *trans,
3531                                 struct btrfs_root *root,
3532                                 const char *name, int name_len,
3533                                 struct btrfs_inode *inode, u64 dirid)
3534 {
3535         struct btrfs_root *log;
3536         u64 index;
3537         int ret;
3538
3539         ret = inode_logged(trans, inode, NULL);
3540         if (ret == 0)
3541                 return;
3542         else if (ret < 0) {
3543                 btrfs_set_log_full_commit(trans);
3544                 return;
3545         }
3546
3547         ret = join_running_log_trans(root);
3548         if (ret)
3549                 return;
3550         log = root->log_root;
3551         mutex_lock(&inode->log_mutex);
3552
3553         ret = btrfs_del_inode_ref(trans, log, name, name_len, btrfs_ino(inode),
3554                                   dirid, &index);
3555         mutex_unlock(&inode->log_mutex);
3556         if (ret < 0 && ret != -ENOENT)
3557                 btrfs_set_log_full_commit(trans);
3558         btrfs_end_log_trans(root);
3559 }
3560
3561 /*
3562  * creates a range item in the log for 'dirid'.  first_offset and
3563  * last_offset tell us which parts of the key space the log should
3564  * be considered authoritative for.
3565  */
3566 static noinline int insert_dir_log_key(struct btrfs_trans_handle *trans,
3567                                        struct btrfs_root *log,
3568                                        struct btrfs_path *path,
3569                                        u64 dirid,
3570                                        u64 first_offset, u64 last_offset)
3571 {
3572         int ret;
3573         struct btrfs_key key;
3574         struct btrfs_dir_log_item *item;
3575
3576         key.objectid = dirid;
3577         key.offset = first_offset;
3578         key.type = BTRFS_DIR_LOG_INDEX_KEY;
3579         ret = btrfs_insert_empty_item(trans, log, path, &key, sizeof(*item));
3580         /*
3581          * -EEXIST is fine and can happen sporadically when we are logging a
3582          * directory and have concurrent insertions in the subvolume's tree for
3583          * items from other inodes and that result in pushing off some dir items
3584          * from one leaf to another in order to accommodate for the new items.
3585          * This results in logging the same dir index range key.
3586          */
3587         if (ret && ret != -EEXIST)
3588                 return ret;
3589
3590         item = btrfs_item_ptr(path->nodes[0], path->slots[0],
3591                               struct btrfs_dir_log_item);
3592         if (ret == -EEXIST) {
3593                 const u64 curr_end = btrfs_dir_log_end(path->nodes[0], item);
3594
3595                 /*
3596                  * btrfs_del_dir_entries_in_log() might have been called during
3597                  * an unlink between the initial insertion of this key and the
3598                  * current update, or we might be logging a single entry deletion
3599                  * during a rename, so set the new last_offset to the max value.
3600                  */
3601                 last_offset = max(last_offset, curr_end);
3602         }
3603         btrfs_set_dir_log_end(path->nodes[0], item, last_offset);
3604         btrfs_mark_buffer_dirty(path->nodes[0]);
3605         btrfs_release_path(path);
3606         return 0;
3607 }
3608
3609 static int flush_dir_items_batch(struct btrfs_trans_handle *trans,
3610                                  struct btrfs_inode *inode,
3611                                  struct extent_buffer *src,
3612                                  struct btrfs_path *dst_path,
3613                                  int start_slot,
3614                                  int count)
3615 {
3616         struct btrfs_root *log = inode->root->log_root;
3617         char *ins_data = NULL;
3618         struct btrfs_item_batch batch;
3619         struct extent_buffer *dst;
3620         unsigned long src_offset;
3621         unsigned long dst_offset;
3622         u64 last_index;
3623         struct btrfs_key key;
3624         u32 item_size;
3625         int ret;
3626         int i;
3627
3628         ASSERT(count > 0);
3629         batch.nr = count;
3630
3631         if (count == 1) {
3632                 btrfs_item_key_to_cpu(src, &key, start_slot);
3633                 item_size = btrfs_item_size(src, start_slot);
3634                 batch.keys = &key;
3635                 batch.data_sizes = &item_size;
3636                 batch.total_data_size = item_size;
3637         } else {
3638                 struct btrfs_key *ins_keys;
3639                 u32 *ins_sizes;
3640
3641                 ins_data = kmalloc(count * sizeof(u32) +
3642                                    count * sizeof(struct btrfs_key), GFP_NOFS);
3643                 if (!ins_data)
3644                         return -ENOMEM;
3645
3646                 ins_sizes = (u32 *)ins_data;
3647                 ins_keys = (struct btrfs_key *)(ins_data + count * sizeof(u32));
3648                 batch.keys = ins_keys;
3649                 batch.data_sizes = ins_sizes;
3650                 batch.total_data_size = 0;
3651
3652                 for (i = 0; i < count; i++) {
3653                         const int slot = start_slot + i;
3654
3655                         btrfs_item_key_to_cpu(src, &ins_keys[i], slot);
3656                         ins_sizes[i] = btrfs_item_size(src, slot);
3657                         batch.total_data_size += ins_sizes[i];
3658                 }
3659         }
3660
3661         ret = btrfs_insert_empty_items(trans, log, dst_path, &batch);
3662         if (ret)
3663                 goto out;
3664
3665         dst = dst_path->nodes[0];
3666         /*
3667          * Copy all the items in bulk, in a single copy operation. Item data is
3668          * organized such that it's placed at the end of a leaf and from right
3669          * to left. For example, the data for the second item ends at an offset
3670          * that matches the offset where the data for the first item starts, the
3671          * data for the third item ends at an offset that matches the offset
3672          * where the data of the second items starts, and so on.
3673          * Therefore our source and destination start offsets for copy match the
3674          * offsets of the last items (highest slots).
3675          */
3676         dst_offset = btrfs_item_ptr_offset(dst, dst_path->slots[0] + count - 1);
3677         src_offset = btrfs_item_ptr_offset(src, start_slot + count - 1);
3678         copy_extent_buffer(dst, src, dst_offset, src_offset, batch.total_data_size);
3679         btrfs_release_path(dst_path);
3680
3681         last_index = batch.keys[count - 1].offset;
3682         ASSERT(last_index > inode->last_dir_index_offset);
3683
3684         /*
3685          * If for some unexpected reason the last item's index is not greater
3686          * than the last index we logged, warn and return an error to fallback
3687          * to a transaction commit.
3688          */
3689         if (WARN_ON(last_index <= inode->last_dir_index_offset))
3690                 ret = -EUCLEAN;
3691         else
3692                 inode->last_dir_index_offset = last_index;
3693 out:
3694         kfree(ins_data);
3695
3696         return ret;
3697 }
3698
3699 static int process_dir_items_leaf(struct btrfs_trans_handle *trans,
3700                                   struct btrfs_inode *inode,
3701                                   struct btrfs_path *path,
3702                                   struct btrfs_path *dst_path,
3703                                   struct btrfs_log_ctx *ctx,
3704                                   u64 *last_old_dentry_offset)
3705 {
3706         struct btrfs_root *log = inode->root->log_root;
3707         struct extent_buffer *src;
3708         const int nritems = btrfs_header_nritems(path->nodes[0]);
3709         const u64 ino = btrfs_ino(inode);
3710         bool last_found = false;
3711         int batch_start = 0;
3712         int batch_size = 0;
3713         int i;
3714
3715         /*
3716          * We need to clone the leaf, release the read lock on it, and use the
3717          * clone before modifying the log tree. See the comment at copy_items()
3718          * about why we need to do this.
3719          */
3720         src = btrfs_clone_extent_buffer(path->nodes[0]);
3721         if (!src)
3722                 return -ENOMEM;
3723
3724         i = path->slots[0];
3725         btrfs_release_path(path);
3726         path->nodes[0] = src;
3727         path->slots[0] = i;
3728
3729         for (; i < nritems; i++) {
3730                 struct btrfs_dir_item *di;
3731                 struct btrfs_key key;
3732                 int ret;
3733
3734                 btrfs_item_key_to_cpu(src, &key, i);
3735
3736                 if (key.objectid != ino || key.type != BTRFS_DIR_INDEX_KEY) {
3737                         last_found = true;
3738                         break;
3739                 }
3740
3741                 di = btrfs_item_ptr(src, i, struct btrfs_dir_item);
3742
3743                 /*
3744                  * Skip ranges of items that consist only of dir item keys created
3745                  * in past transactions. However if we find a gap, we must log a
3746                  * dir index range item for that gap, so that index keys in that
3747                  * gap are deleted during log replay.
3748                  */
3749                 if (btrfs_dir_transid(src, di) < trans->transid) {
3750                         if (key.offset > *last_old_dentry_offset + 1) {
3751                                 ret = insert_dir_log_key(trans, log, dst_path,
3752                                                  ino, *last_old_dentry_offset + 1,
3753                                                  key.offset - 1);
3754                                 if (ret < 0)
3755                                         return ret;
3756                         }
3757
3758                         *last_old_dentry_offset = key.offset;
3759                         continue;
3760                 }
3761
3762                 /* If we logged this dir index item before, we can skip it. */
3763                 if (key.offset <= inode->last_dir_index_offset)
3764                         continue;
3765
3766                 /*
3767                  * We must make sure that when we log a directory entry, the
3768                  * corresponding inode, after log replay, has a matching link
3769                  * count. For example:
3770                  *
3771                  * touch foo
3772                  * mkdir mydir
3773                  * sync
3774                  * ln foo mydir/bar
3775                  * xfs_io -c "fsync" mydir
3776                  * <crash>
3777                  * <mount fs and log replay>
3778                  *
3779                  * Would result in a fsync log that when replayed, our file inode
3780                  * would have a link count of 1, but we get two directory entries
3781                  * pointing to the same inode. After removing one of the names,
3782                  * it would not be possible to remove the other name, which
3783                  * resulted always in stale file handle errors, and would not be
3784                  * possible to rmdir the parent directory, since its i_size could
3785                  * never be decremented to the value BTRFS_EMPTY_DIR_SIZE,
3786                  * resulting in -ENOTEMPTY errors.
3787                  */
3788                 if (!ctx->log_new_dentries) {
3789                         struct btrfs_key di_key;
3790
3791                         btrfs_dir_item_key_to_cpu(src, di, &di_key);
3792                         if (di_key.type != BTRFS_ROOT_ITEM_KEY)
3793                                 ctx->log_new_dentries = true;
3794                 }
3795
3796                 if (batch_size == 0)
3797                         batch_start = i;
3798                 batch_size++;
3799         }
3800
3801         if (batch_size > 0) {
3802                 int ret;
3803
3804                 ret = flush_dir_items_batch(trans, inode, src, dst_path,
3805                                             batch_start, batch_size);
3806                 if (ret < 0)
3807                         return ret;
3808         }
3809
3810         return last_found ? 1 : 0;
3811 }
3812
3813 /*
3814  * log all the items included in the current transaction for a given
3815  * directory.  This also creates the range items in the log tree required
3816  * to replay anything deleted before the fsync
3817  */
3818 static noinline int log_dir_items(struct btrfs_trans_handle *trans,
3819                           struct btrfs_inode *inode,
3820                           struct btrfs_path *path,
3821                           struct btrfs_path *dst_path,
3822                           struct btrfs_log_ctx *ctx,
3823                           u64 min_offset, u64 *last_offset_ret)
3824 {
3825         struct btrfs_key min_key;
3826         struct btrfs_root *root = inode->root;
3827         struct btrfs_root *log = root->log_root;
3828         int err = 0;
3829         int ret;
3830         u64 last_old_dentry_offset = min_offset - 1;
3831         u64 last_offset = (u64)-1;
3832         u64 ino = btrfs_ino(inode);
3833
3834         min_key.objectid = ino;
3835         min_key.type = BTRFS_DIR_INDEX_KEY;
3836         min_key.offset = min_offset;
3837
3838         ret = btrfs_search_forward(root, &min_key, path, trans->transid);
3839
3840         /*
3841          * we didn't find anything from this transaction, see if there
3842          * is anything at all
3843          */
3844         if (ret != 0 || min_key.objectid != ino ||
3845             min_key.type != BTRFS_DIR_INDEX_KEY) {
3846                 min_key.objectid = ino;
3847                 min_key.type = BTRFS_DIR_INDEX_KEY;
3848                 min_key.offset = (u64)-1;
3849                 btrfs_release_path(path);
3850                 ret = btrfs_search_slot(NULL, root, &min_key, path, 0, 0);
3851                 if (ret < 0) {
3852                         btrfs_release_path(path);
3853                         return ret;
3854                 }
3855                 ret = btrfs_previous_item(root, path, ino, BTRFS_DIR_INDEX_KEY);
3856
3857                 /* if ret == 0 there are items for this type,
3858                  * create a range to tell us the last key of this type.
3859                  * otherwise, there are no items in this directory after
3860                  * *min_offset, and we create a range to indicate that.
3861                  */
3862                 if (ret == 0) {
3863                         struct btrfs_key tmp;
3864
3865                         btrfs_item_key_to_cpu(path->nodes[0], &tmp,
3866                                               path->slots[0]);
3867                         if (tmp.type == BTRFS_DIR_INDEX_KEY)
3868                                 last_old_dentry_offset = tmp.offset;
3869                 } else if (ret < 0) {
3870                         err = ret;
3871                 }
3872
3873                 goto done;
3874         }
3875
3876         /* go backward to find any previous key */
3877         ret = btrfs_previous_item(root, path, ino, BTRFS_DIR_INDEX_KEY);
3878         if (ret == 0) {
3879                 struct btrfs_key tmp;
3880
3881                 btrfs_item_key_to_cpu(path->nodes[0], &tmp, path->slots[0]);
3882                 /*
3883                  * The dir index key before the first one we found that needs to
3884                  * be logged might be in a previous leaf, and there might be a
3885                  * gap between these keys, meaning that we had deletions that
3886                  * happened. So the key range item we log (key type
3887                  * BTRFS_DIR_LOG_INDEX_KEY) must cover a range that starts at the
3888                  * previous key's offset plus 1, so that those deletes are replayed.
3889                  */
3890                 if (tmp.type == BTRFS_DIR_INDEX_KEY)
3891                         last_old_dentry_offset = tmp.offset;
3892         } else if (ret < 0) {
3893                 err = ret;
3894                 goto done;
3895         }
3896
3897         btrfs_release_path(path);
3898
3899         /*
3900          * Find the first key from this transaction again or the one we were at
3901          * in the loop below in case we had to reschedule. We may be logging the
3902          * directory without holding its VFS lock, which happen when logging new
3903          * dentries (through log_new_dir_dentries()) or in some cases when we
3904          * need to log the parent directory of an inode. This means a dir index
3905          * key might be deleted from the inode's root, and therefore we may not
3906          * find it anymore. If we can't find it, just move to the next key. We
3907          * can not bail out and ignore, because if we do that we will simply
3908          * not log dir index keys that come after the one that was just deleted
3909          * and we can end up logging a dir index range that ends at (u64)-1
3910          * (@last_offset is initialized to that), resulting in removing dir
3911          * entries we should not remove at log replay time.
3912          */
3913 search:
3914         ret = btrfs_search_slot(NULL, root, &min_key, path, 0, 0);
3915         if (ret > 0)
3916                 ret = btrfs_next_item(root, path);
3917         if (ret < 0)
3918                 err = ret;
3919         /* If ret is 1, there are no more keys in the inode's root. */
3920         if (ret != 0)
3921                 goto done;
3922
3923         /*
3924          * we have a block from this transaction, log every item in it
3925          * from our directory
3926          */
3927         while (1) {
3928                 ret = process_dir_items_leaf(trans, inode, path, dst_path, ctx,
3929                                              &last_old_dentry_offset);
3930                 if (ret != 0) {
3931                         if (ret < 0)
3932                                 err = ret;
3933                         goto done;
3934                 }
3935                 path->slots[0] = btrfs_header_nritems(path->nodes[0]);
3936
3937                 /*
3938                  * look ahead to the next item and see if it is also
3939                  * from this directory and from this transaction
3940                  */
3941                 ret = btrfs_next_leaf(root, path);
3942                 if (ret) {
3943                         if (ret == 1)
3944                                 last_offset = (u64)-1;
3945                         else
3946                                 err = ret;
3947                         goto done;
3948                 }
3949                 btrfs_item_key_to_cpu(path->nodes[0], &min_key, path->slots[0]);
3950                 if (min_key.objectid != ino || min_key.type != BTRFS_DIR_INDEX_KEY) {
3951                         last_offset = (u64)-1;
3952                         goto done;
3953                 }
3954                 if (btrfs_header_generation(path->nodes[0]) != trans->transid) {
3955                         /*
3956                          * The next leaf was not changed in the current transaction
3957                          * and has at least one dir index key.
3958                          * We check for the next key because there might have been
3959                          * one or more deletions between the last key we logged and
3960                          * that next key. So the key range item we log (key type
3961                          * BTRFS_DIR_LOG_INDEX_KEY) must end at the next key's
3962                          * offset minus 1, so that those deletes are replayed.
3963                          */
3964                         last_offset = min_key.offset - 1;
3965                         goto done;
3966                 }
3967                 if (need_resched()) {
3968                         btrfs_release_path(path);
3969                         cond_resched();
3970                         goto search;
3971                 }
3972         }
3973 done:
3974         btrfs_release_path(path);
3975         btrfs_release_path(dst_path);
3976
3977         if (err == 0) {
3978                 *last_offset_ret = last_offset;
3979                 /*
3980                  * In case the leaf was changed in the current transaction but
3981                  * all its dir items are from a past transaction, the last item
3982                  * in the leaf is a dir item and there's no gap between that last
3983                  * dir item and the first one on the next leaf (which did not
3984                  * change in the current transaction), then we don't need to log
3985                  * a range, last_old_dentry_offset is == to last_offset.
3986                  */
3987                 ASSERT(last_old_dentry_offset <= last_offset);
3988                 if (last_old_dentry_offset < last_offset) {
3989                         ret = insert_dir_log_key(trans, log, path, ino,
3990                                                  last_old_dentry_offset + 1,
3991                                                  last_offset);
3992                         if (ret)
3993                                 err = ret;
3994                 }
3995         }
3996         return err;
3997 }
3998
3999 /*
4000  * If the inode was logged before and it was evicted, then its
4001  * last_dir_index_offset is (u64)-1, so we don't the value of the last index
4002  * key offset. If that's the case, search for it and update the inode. This
4003  * is to avoid lookups in the log tree every time we try to insert a dir index
4004  * key from a leaf changed in the current transaction, and to allow us to always
4005  * do batch insertions of dir index keys.
4006  */
4007 static int update_last_dir_index_offset(struct btrfs_inode *inode,
4008                                         struct btrfs_path *path,
4009                                         const struct btrfs_log_ctx *ctx)
4010 {
4011         const u64 ino = btrfs_ino(inode);
4012         struct btrfs_key key;
4013         int ret;
4014
4015         lockdep_assert_held(&inode->log_mutex);
4016
4017         if (inode->last_dir_index_offset != (u64)-1)
4018                 return 0;
4019
4020         if (!ctx->logged_before) {
4021                 inode->last_dir_index_offset = BTRFS_DIR_START_INDEX - 1;
4022                 return 0;
4023         }
4024
4025         key.objectid = ino;
4026         key.type = BTRFS_DIR_INDEX_KEY;
4027         key.offset = (u64)-1;
4028
4029         ret = btrfs_search_slot(NULL, inode->root->log_root, &key, path, 0, 0);
4030         /*
4031          * An error happened or we actually have an index key with an offset
4032          * value of (u64)-1. Bail out, we're done.
4033          */
4034         if (ret <= 0)
4035                 goto out;
4036
4037         ret = 0;
4038         inode->last_dir_index_offset = BTRFS_DIR_START_INDEX - 1;
4039
4040         /*
4041          * No dir index items, bail out and leave last_dir_index_offset with
4042          * the value right before the first valid index value.
4043          */
4044         if (path->slots[0] == 0)
4045                 goto out;
4046
4047         /*
4048          * btrfs_search_slot() left us at one slot beyond the slot with the last
4049          * index key, or beyond the last key of the directory that is not an
4050          * index key. If we have an index key before, set last_dir_index_offset
4051          * to its offset value, otherwise leave it with a value right before the
4052          * first valid index value, as it means we have an empty directory.
4053          */
4054         btrfs_item_key_to_cpu(path->nodes[0], &key, path->slots[0] - 1);
4055         if (key.objectid == ino && key.type == BTRFS_DIR_INDEX_KEY)
4056                 inode->last_dir_index_offset = key.offset;
4057
4058 out:
4059         btrfs_release_path(path);
4060
4061         return ret;
4062 }
4063
4064 /*
4065  * logging directories is very similar to logging inodes, We find all the items
4066  * from the current transaction and write them to the log.
4067  *
4068  * The recovery code scans the directory in the subvolume, and if it finds a
4069  * key in the range logged that is not present in the log tree, then it means
4070  * that dir entry was unlinked during the transaction.
4071  *
4072  * In order for that scan to work, we must include one key smaller than
4073  * the smallest logged by this transaction and one key larger than the largest
4074  * key logged by this transaction.
4075  */
4076 static noinline int log_directory_changes(struct btrfs_trans_handle *trans,
4077                           struct btrfs_inode *inode,
4078                           struct btrfs_path *path,
4079                           struct btrfs_path *dst_path,
4080                           struct btrfs_log_ctx *ctx)
4081 {
4082         u64 min_key;
4083         u64 max_key;
4084         int ret;
4085
4086         ret = update_last_dir_index_offset(inode, path, ctx);
4087         if (ret)
4088                 return ret;
4089
4090         min_key = BTRFS_DIR_START_INDEX;
4091         max_key = 0;
4092
4093         while (1) {
4094                 ret = log_dir_items(trans, inode, path, dst_path,
4095                                 ctx, min_key, &max_key);
4096                 if (ret)
4097                         return ret;
4098                 if (max_key == (u64)-1)
4099                         break;
4100                 min_key = max_key + 1;
4101         }
4102
4103         return 0;
4104 }
4105
4106 /*
4107  * a helper function to drop items from the log before we relog an
4108  * inode.  max_key_type indicates the highest item type to remove.
4109  * This cannot be run for file data extents because it does not
4110  * free the extents they point to.
4111  */
4112 static int drop_inode_items(struct btrfs_trans_handle *trans,
4113                                   struct btrfs_root *log,
4114                                   struct btrfs_path *path,
4115                                   struct btrfs_inode *inode,
4116                                   int max_key_type)
4117 {
4118         int ret;
4119         struct btrfs_key key;
4120         struct btrfs_key found_key;
4121         int start_slot;
4122
4123         key.objectid = btrfs_ino(inode);
4124         key.type = max_key_type;
4125         key.offset = (u64)-1;
4126
4127         while (1) {
4128                 ret = btrfs_search_slot(trans, log, &key, path, -1, 1);
4129                 BUG_ON(ret == 0); /* Logic error */
4130                 if (ret < 0)
4131                         break;
4132
4133                 if (path->slots[0] == 0)
4134                         break;
4135
4136                 path->slots[0]--;
4137                 btrfs_item_key_to_cpu(path->nodes[0], &found_key,
4138                                       path->slots[0]);
4139
4140                 if (found_key.objectid != key.objectid)
4141                         break;
4142
4143                 found_key.offset = 0;
4144                 found_key.type = 0;
4145                 ret = btrfs_bin_search(path->nodes[0], &found_key, &start_slot);
4146                 if (ret < 0)
4147                         break;
4148
4149                 ret = btrfs_del_items(trans, log, path, start_slot,
4150                                       path->slots[0] - start_slot + 1);
4151                 /*
4152                  * If start slot isn't 0 then we don't need to re-search, we've
4153                  * found the last guy with the objectid in this tree.
4154                  */
4155                 if (ret || start_slot != 0)
4156                         break;
4157                 btrfs_release_path(path);
4158         }
4159         btrfs_release_path(path);
4160         if (ret > 0)
4161                 ret = 0;
4162         return ret;
4163 }
4164
4165 static int truncate_inode_items(struct btrfs_trans_handle *trans,
4166                                 struct btrfs_root *log_root,
4167                                 struct btrfs_inode *inode,
4168                                 u64 new_size, u32 min_type)
4169 {
4170         struct btrfs_truncate_control control = {
4171                 .new_size = new_size,
4172                 .ino = btrfs_ino(inode),
4173                 .min_type = min_type,
4174                 .skip_ref_updates = true,
4175         };
4176
4177         return btrfs_truncate_inode_items(trans, log_root, &control);
4178 }
4179
4180 static void fill_inode_item(struct btrfs_trans_handle *trans,
4181                             struct extent_buffer *leaf,
4182                             struct btrfs_inode_item *item,
4183                             struct inode *inode, int log_inode_only,
4184                             u64 logged_isize)
4185 {
4186         struct btrfs_map_token token;
4187         u64 flags;
4188
4189         btrfs_init_map_token(&token, leaf);
4190
4191         if (log_inode_only) {
4192                 /* set the generation to zero so the recover code
4193                  * can tell the difference between an logging
4194                  * just to say 'this inode exists' and a logging
4195                  * to say 'update this inode with these values'
4196                  */
4197                 btrfs_set_token_inode_generation(&token, item, 0);
4198                 btrfs_set_token_inode_size(&token, item, logged_isize);
4199         } else {
4200                 btrfs_set_token_inode_generation(&token, item,
4201                                                  BTRFS_I(inode)->generation);
4202                 btrfs_set_token_inode_size(&token, item, inode->i_size);
4203         }
4204
4205         btrfs_set_token_inode_uid(&token, item, i_uid_read(inode));
4206         btrfs_set_token_inode_gid(&token, item, i_gid_read(inode));
4207         btrfs_set_token_inode_mode(&token, item, inode->i_mode);
4208         btrfs_set_token_inode_nlink(&token, item, inode->i_nlink);
4209
4210         btrfs_set_token_timespec_sec(&token, &item->atime,
4211                                      inode->i_atime.tv_sec);
4212         btrfs_set_token_timespec_nsec(&token, &item->atime,
4213                                       inode->i_atime.tv_nsec);
4214
4215         btrfs_set_token_timespec_sec(&token, &item->mtime,
4216                                      inode->i_mtime.tv_sec);
4217         btrfs_set_token_timespec_nsec(&token, &item->mtime,
4218                                       inode->i_mtime.tv_nsec);
4219
4220         btrfs_set_token_timespec_sec(&token, &item->ctime,
4221                                      inode->i_ctime.tv_sec);
4222         btrfs_set_token_timespec_nsec(&token, &item->ctime,
4223                                       inode->i_ctime.tv_nsec);
4224
4225         /*
4226          * We do not need to set the nbytes field, in fact during a fast fsync
4227          * its value may not even be correct, since a fast fsync does not wait
4228          * for ordered extent completion, which is where we update nbytes, it
4229          * only waits for writeback to complete. During log replay as we find
4230          * file extent items and replay them, we adjust the nbytes field of the
4231          * inode item in subvolume tree as needed (see overwrite_item()).
4232          */
4233
4234         btrfs_set_token_inode_sequence(&token, item, inode_peek_iversion(inode));
4235         btrfs_set_token_inode_transid(&token, item, trans->transid);
4236         btrfs_set_token_inode_rdev(&token, item, inode->i_rdev);
4237         flags = btrfs_inode_combine_flags(BTRFS_I(inode)->flags,
4238                                           BTRFS_I(inode)->ro_flags);
4239         btrfs_set_token_inode_flags(&token, item, flags);
4240         btrfs_set_token_inode_block_group(&token, item, 0);
4241 }
4242
4243 static int log_inode_item(struct btrfs_trans_handle *trans,
4244                           struct btrfs_root *log, struct btrfs_path *path,
4245                           struct btrfs_inode *inode, bool inode_item_dropped)
4246 {
4247         struct btrfs_inode_item *inode_item;
4248         int ret;
4249
4250         /*
4251          * If we are doing a fast fsync and the inode was logged before in the
4252          * current transaction, then we know the inode was previously logged and
4253          * it exists in the log tree. For performance reasons, in this case use
4254          * btrfs_search_slot() directly with ins_len set to 0 so that we never
4255          * attempt a write lock on the leaf's parent, which adds unnecessary lock
4256          * contention in case there are concurrent fsyncs for other inodes of the
4257          * same subvolume. Using btrfs_insert_empty_item() when the inode item
4258          * already exists can also result in unnecessarily splitting a leaf.
4259          */
4260         if (!inode_item_dropped && inode->logged_trans == trans->transid) {
4261                 ret = btrfs_search_slot(trans, log, &inode->location, path, 0, 1);
4262                 ASSERT(ret <= 0);
4263                 if (ret > 0)
4264                         ret = -ENOENT;
4265         } else {
4266                 /*
4267                  * This means it is the first fsync in the current transaction,
4268                  * so the inode item is not in the log and we need to insert it.
4269                  * We can never get -EEXIST because we are only called for a fast
4270                  * fsync and in case an inode eviction happens after the inode was
4271                  * logged before in the current transaction, when we load again
4272                  * the inode, we set BTRFS_INODE_NEEDS_FULL_SYNC on its runtime
4273                  * flags and set ->logged_trans to 0.
4274                  */
4275                 ret = btrfs_insert_empty_item(trans, log, path, &inode->location,
4276                                               sizeof(*inode_item));
4277                 ASSERT(ret != -EEXIST);
4278         }
4279         if (ret)
4280                 return ret;
4281         inode_item = btrfs_item_ptr(path->nodes[0], path->slots[0],
4282                                     struct btrfs_inode_item);
4283         fill_inode_item(trans, path->nodes[0], inode_item, &inode->vfs_inode,
4284                         0, 0);
4285         btrfs_release_path(path);
4286         return 0;
4287 }
4288
4289 static int log_csums(struct btrfs_trans_handle *trans,
4290                      struct btrfs_inode *inode,
4291                      struct btrfs_root *log_root,
4292                      struct btrfs_ordered_sum *sums)
4293 {
4294         const u64 lock_end = sums->bytenr + sums->len - 1;
4295         struct extent_state *cached_state = NULL;
4296         int ret;
4297
4298         /*
4299          * If this inode was not used for reflink operations in the current
4300          * transaction with new extents, then do the fast path, no need to
4301          * worry about logging checksum items with overlapping ranges.
4302          */
4303         if (inode->last_reflink_trans < trans->transid)
4304                 return btrfs_csum_file_blocks(trans, log_root, sums);
4305
4306         /*
4307          * Serialize logging for checksums. This is to avoid racing with the
4308          * same checksum being logged by another task that is logging another
4309          * file which happens to refer to the same extent as well. Such races
4310          * can leave checksum items in the log with overlapping ranges.
4311          */
4312         ret = lock_extent(&log_root->log_csum_range, sums->bytenr, lock_end,
4313                           &cached_state);
4314         if (ret)
4315                 return ret;
4316         /*
4317          * Due to extent cloning, we might have logged a csum item that covers a
4318          * subrange of a cloned extent, and later we can end up logging a csum
4319          * item for a larger subrange of the same extent or the entire range.
4320          * This would leave csum items in the log tree that cover the same range
4321          * and break the searches for checksums in the log tree, resulting in
4322          * some checksums missing in the fs/subvolume tree. So just delete (or
4323          * trim and adjust) any existing csum items in the log for this range.
4324          */
4325         ret = btrfs_del_csums(trans, log_root, sums->bytenr, sums->len);
4326         if (!ret)
4327                 ret = btrfs_csum_file_blocks(trans, log_root, sums);
4328
4329         unlock_extent(&log_root->log_csum_range, sums->bytenr, lock_end,
4330                       &cached_state);
4331
4332         return ret;
4333 }
4334
4335 static noinline int copy_items(struct btrfs_trans_handle *trans,
4336                                struct btrfs_inode *inode,
4337                                struct btrfs_path *dst_path,
4338                                struct btrfs_path *src_path,
4339                                int start_slot, int nr, int inode_only,
4340                                u64 logged_isize)
4341 {
4342         struct btrfs_root *log = inode->root->log_root;
4343         struct btrfs_file_extent_item *extent;
4344         struct extent_buffer *src;
4345         int ret = 0;
4346         struct btrfs_key *ins_keys;
4347         u32 *ins_sizes;
4348         struct btrfs_item_batch batch;
4349         char *ins_data;
4350         int i;
4351         int dst_index;
4352         const bool skip_csum = (inode->flags & BTRFS_INODE_NODATASUM);
4353         const u64 i_size = i_size_read(&inode->vfs_inode);
4354
4355         /*
4356          * To keep lockdep happy and avoid deadlocks, clone the source leaf and
4357          * use the clone. This is because otherwise we would be changing the log
4358          * tree, to insert items from the subvolume tree or insert csum items,
4359          * while holding a read lock on a leaf from the subvolume tree, which
4360          * creates a nasty lock dependency when COWing log tree nodes/leaves:
4361          *
4362          * 1) Modifying the log tree triggers an extent buffer allocation while
4363          *    holding a write lock on a parent extent buffer from the log tree.
4364          *    Allocating the pages for an extent buffer, or the extent buffer
4365          *    struct, can trigger inode eviction and finally the inode eviction
4366          *    will trigger a release/remove of a delayed node, which requires
4367          *    taking the delayed node's mutex;
4368          *
4369          * 2) Allocating a metadata extent for a log tree can trigger the async
4370          *    reclaim thread and make us wait for it to release enough space and
4371          *    unblock our reservation ticket. The reclaim thread can start
4372          *    flushing delayed items, and that in turn results in the need to
4373          *    lock delayed node mutexes and in the need to write lock extent
4374          *    buffers of a subvolume tree - all this while holding a write lock
4375          *    on the parent extent buffer in the log tree.
4376          *
4377          * So one task in scenario 1) running in parallel with another task in
4378          * scenario 2) could lead to a deadlock, one wanting to lock a delayed
4379          * node mutex while having a read lock on a leaf from the subvolume,
4380          * while the other is holding the delayed node's mutex and wants to
4381          * write lock the same subvolume leaf for flushing delayed items.
4382          */
4383         src = btrfs_clone_extent_buffer(src_path->nodes[0]);
4384         if (!src)
4385                 return -ENOMEM;
4386
4387         i = src_path->slots[0];
4388         btrfs_release_path(src_path);
4389         src_path->nodes[0] = src;
4390         src_path->slots[0] = i;
4391
4392         ins_data = kmalloc(nr * sizeof(struct btrfs_key) +
4393                            nr * sizeof(u32), GFP_NOFS);
4394         if (!ins_data)
4395                 return -ENOMEM;
4396
4397         ins_sizes = (u32 *)ins_data;
4398         ins_keys = (struct btrfs_key *)(ins_data + nr * sizeof(u32));
4399         batch.keys = ins_keys;
4400         batch.data_sizes = ins_sizes;
4401         batch.total_data_size = 0;
4402         batch.nr = 0;
4403
4404         dst_index = 0;
4405         for (i = 0; i < nr; i++) {
4406                 const int src_slot = start_slot + i;
4407                 struct btrfs_root *csum_root;
4408                 struct btrfs_ordered_sum *sums;
4409                 struct btrfs_ordered_sum *sums_next;
4410                 LIST_HEAD(ordered_sums);
4411                 u64 disk_bytenr;
4412                 u64 disk_num_bytes;
4413                 u64 extent_offset;
4414                 u64 extent_num_bytes;
4415                 bool is_old_extent;
4416
4417                 btrfs_item_key_to_cpu(src, &ins_keys[dst_index], src_slot);
4418
4419                 if (ins_keys[dst_index].type != BTRFS_EXTENT_DATA_KEY)
4420                         goto add_to_batch;
4421
4422                 extent = btrfs_item_ptr(src, src_slot,
4423                                         struct btrfs_file_extent_item);
4424
4425                 is_old_extent = (btrfs_file_extent_generation(src, extent) <
4426                                  trans->transid);
4427
4428                 /*
4429                  * Don't copy extents from past generations. That would make us
4430                  * log a lot more metadata for common cases like doing only a
4431                  * few random writes into a file and then fsync it for the first
4432                  * time or after the full sync flag is set on the inode. We can
4433                  * get leaves full of extent items, most of which are from past
4434                  * generations, so we can skip them - as long as the inode has
4435                  * not been the target of a reflink operation in this transaction,
4436                  * as in that case it might have had file extent items with old
4437                  * generations copied into it. We also must always log prealloc
4438                  * extents that start at or beyond eof, otherwise we would lose
4439                  * them on log replay.
4440                  */
4441                 if (is_old_extent &&
4442                     ins_keys[dst_index].offset < i_size &&
4443                     inode->last_reflink_trans < trans->transid)
4444                         continue;
4445
4446                 if (skip_csum)
4447                         goto add_to_batch;
4448
4449                 /* Only regular extents have checksums. */
4450                 if (btrfs_file_extent_type(src, extent) != BTRFS_FILE_EXTENT_REG)
4451                         goto add_to_batch;
4452
4453                 /*
4454                  * If it's an extent created in a past transaction, then its
4455                  * checksums are already accessible from the committed csum tree,
4456                  * no need to log them.
4457                  */
4458                 if (is_old_extent)
4459                         goto add_to_batch;
4460
4461                 disk_bytenr = btrfs_file_extent_disk_bytenr(src, extent);
4462                 /* If it's an explicit hole, there are no checksums. */
4463                 if (disk_bytenr == 0)
4464                         goto add_to_batch;
4465
4466                 disk_num_bytes = btrfs_file_extent_disk_num_bytes(src, extent);
4467
4468                 if (btrfs_file_extent_compression(src, extent)) {
4469                         extent_offset = 0;
4470                         extent_num_bytes = disk_num_bytes;
4471                 } else {
4472                         extent_offset = btrfs_file_extent_offset(src, extent);
4473                         extent_num_bytes = btrfs_file_extent_num_bytes(src, extent);
4474                 }
4475
4476                 csum_root = btrfs_csum_root(trans->fs_info, disk_bytenr);
4477                 disk_bytenr += extent_offset;
4478                 ret = btrfs_lookup_csums_range(csum_root, disk_bytenr,
4479                                                disk_bytenr + extent_num_bytes - 1,
4480                                                &ordered_sums, 0, false);
4481                 if (ret)
4482                         goto out;
4483
4484                 list_for_each_entry_safe(sums, sums_next, &ordered_sums, list) {
4485                         if (!ret)
4486                                 ret = log_csums(trans, inode, log, sums);
4487                         list_del(&sums->list);
4488                         kfree(sums);
4489                 }
4490                 if (ret)
4491                         goto out;
4492
4493 add_to_batch:
4494                 ins_sizes[dst_index] = btrfs_item_size(src, src_slot);
4495                 batch.total_data_size += ins_sizes[dst_index];
4496                 batch.nr++;
4497                 dst_index++;
4498         }
4499
4500         /*
4501          * We have a leaf full of old extent items that don't need to be logged,
4502          * so we don't need to do anything.
4503          */
4504         if (batch.nr == 0)
4505                 goto out;
4506
4507         ret = btrfs_insert_empty_items(trans, log, dst_path, &batch);
4508         if (ret)
4509                 goto out;
4510
4511         dst_index = 0;
4512         for (i = 0; i < nr; i++) {
4513                 const int src_slot = start_slot + i;
4514                 const int dst_slot = dst_path->slots[0] + dst_index;
4515                 struct btrfs_key key;
4516                 unsigned long src_offset;
4517                 unsigned long dst_offset;
4518
4519                 /*
4520                  * We're done, all the remaining items in the source leaf
4521                  * correspond to old file extent items.
4522                  */
4523                 if (dst_index >= batch.nr)
4524                         break;
4525
4526                 btrfs_item_key_to_cpu(src, &key, src_slot);
4527
4528                 if (key.type != BTRFS_EXTENT_DATA_KEY)
4529                         goto copy_item;
4530
4531                 extent = btrfs_item_ptr(src, src_slot,
4532                                         struct btrfs_file_extent_item);
4533
4534                 /* See the comment in the previous loop, same logic. */
4535                 if (btrfs_file_extent_generation(src, extent) < trans->transid &&
4536                     key.offset < i_size &&
4537                     inode->last_reflink_trans < trans->transid)
4538                         continue;
4539
4540 copy_item:
4541                 dst_offset = btrfs_item_ptr_offset(dst_path->nodes[0], dst_slot);
4542                 src_offset = btrfs_item_ptr_offset(src, src_slot);
4543
4544                 if (key.type == BTRFS_INODE_ITEM_KEY) {
4545                         struct btrfs_inode_item *inode_item;
4546
4547                         inode_item = btrfs_item_ptr(dst_path->nodes[0], dst_slot,
4548                                                     struct btrfs_inode_item);
4549                         fill_inode_item(trans, dst_path->nodes[0], inode_item,
4550                                         &inode->vfs_inode,
4551                                         inode_only == LOG_INODE_EXISTS,
4552                                         logged_isize);
4553                 } else {
4554                         copy_extent_buffer(dst_path->nodes[0], src, dst_offset,
4555                                            src_offset, ins_sizes[dst_index]);
4556                 }
4557
4558                 dst_index++;
4559         }
4560
4561         btrfs_mark_buffer_dirty(dst_path->nodes[0]);
4562         btrfs_release_path(dst_path);
4563 out:
4564         kfree(ins_data);
4565
4566         return ret;
4567 }
4568
4569 static int extent_cmp(void *priv, const struct list_head *a,
4570                       const struct list_head *b)
4571 {
4572         const struct extent_map *em1, *em2;
4573
4574         em1 = list_entry(a, struct extent_map, list);
4575         em2 = list_entry(b, struct extent_map, list);
4576
4577         if (em1->start < em2->start)
4578                 return -1;
4579         else if (em1->start > em2->start)
4580                 return 1;
4581         return 0;
4582 }
4583
4584 static int log_extent_csums(struct btrfs_trans_handle *trans,
4585                             struct btrfs_inode *inode,
4586                             struct btrfs_root *log_root,
4587                             const struct extent_map *em,
4588                             struct btrfs_log_ctx *ctx)
4589 {
4590         struct btrfs_ordered_extent *ordered;
4591         struct btrfs_root *csum_root;
4592         u64 csum_offset;
4593         u64 csum_len;
4594         u64 mod_start = em->mod_start;
4595         u64 mod_len = em->mod_len;
4596         LIST_HEAD(ordered_sums);
4597         int ret = 0;
4598
4599         if (inode->flags & BTRFS_INODE_NODATASUM ||
4600             test_bit(EXTENT_FLAG_PREALLOC, &em->flags) ||
4601             em->block_start == EXTENT_MAP_HOLE)
4602                 return 0;
4603
4604         list_for_each_entry(ordered, &ctx->ordered_extents, log_list) {
4605                 const u64 ordered_end = ordered->file_offset + ordered->num_bytes;
4606                 const u64 mod_end = mod_start + mod_len;
4607                 struct btrfs_ordered_sum *sums;
4608
4609                 if (mod_len == 0)
4610                         break;
4611
4612                 if (ordered_end <= mod_start)
4613                         continue;
4614                 if (mod_end <= ordered->file_offset)
4615                         break;
4616
4617                 /*
4618                  * We are going to copy all the csums on this ordered extent, so
4619                  * go ahead and adjust mod_start and mod_len in case this ordered
4620                  * extent has already been logged.
4621                  */
4622                 if (ordered->file_offset > mod_start) {
4623                         if (ordered_end >= mod_end)
4624                                 mod_len = ordered->file_offset - mod_start;
4625                         /*
4626                          * If we have this case
4627                          *
4628                          * |--------- logged extent ---------|
4629                          *       |----- ordered extent ----|
4630                          *
4631                          * Just don't mess with mod_start and mod_len, we'll
4632                          * just end up logging more csums than we need and it
4633                          * will be ok.
4634                          */
4635                 } else {
4636                         if (ordered_end < mod_end) {
4637                                 mod_len = mod_end - ordered_end;
4638                                 mod_start = ordered_end;
4639                         } else {
4640                                 mod_len = 0;
4641                         }
4642                 }
4643
4644                 /*
4645                  * To keep us from looping for the above case of an ordered
4646                  * extent that falls inside of the logged extent.
4647                  */
4648                 if (test_and_set_bit(BTRFS_ORDERED_LOGGED_CSUM, &ordered->flags))
4649                         continue;
4650
4651                 list_for_each_entry(sums, &ordered->list, list) {
4652                         ret = log_csums(trans, inode, log_root, sums);
4653                         if (ret)
4654                                 return ret;
4655                 }
4656         }
4657
4658         /* We're done, found all csums in the ordered extents. */
4659         if (mod_len == 0)
4660                 return 0;
4661
4662         /* If we're compressed we have to save the entire range of csums. */
4663         if (em->compress_type) {
4664                 csum_offset = 0;
4665                 csum_len = max(em->block_len, em->orig_block_len);
4666         } else {
4667                 csum_offset = mod_start - em->start;
4668                 csum_len = mod_len;
4669         }
4670
4671         /* block start is already adjusted for the file extent offset. */
4672         csum_root = btrfs_csum_root(trans->fs_info, em->block_start);
4673         ret = btrfs_lookup_csums_range(csum_root,
4674                                        em->block_start + csum_offset,
4675                                        em->block_start + csum_offset +
4676                                        csum_len - 1, &ordered_sums, 0, false);
4677         if (ret)
4678                 return ret;
4679
4680         while (!list_empty(&ordered_sums)) {
4681                 struct btrfs_ordered_sum *sums = list_entry(ordered_sums.next,
4682                                                    struct btrfs_ordered_sum,
4683                                                    list);
4684                 if (!ret)
4685                         ret = log_csums(trans, inode, log_root, sums);
4686                 list_del(&sums->list);
4687                 kfree(sums);
4688         }
4689
4690         return ret;
4691 }
4692
4693 static int log_one_extent(struct btrfs_trans_handle *trans,
4694                           struct btrfs_inode *inode,
4695                           const struct extent_map *em,
4696                           struct btrfs_path *path,
4697                           struct btrfs_log_ctx *ctx)
4698 {
4699         struct btrfs_drop_extents_args drop_args = { 0 };
4700         struct btrfs_root *log = inode->root->log_root;
4701         struct btrfs_file_extent_item fi = { 0 };
4702         struct extent_buffer *leaf;
4703         struct btrfs_key key;
4704         u64 extent_offset = em->start - em->orig_start;
4705         u64 block_len;
4706         int ret;
4707
4708         btrfs_set_stack_file_extent_generation(&fi, trans->transid);
4709         if (test_bit(EXTENT_FLAG_PREALLOC, &em->flags))
4710                 btrfs_set_stack_file_extent_type(&fi, BTRFS_FILE_EXTENT_PREALLOC);
4711         else
4712                 btrfs_set_stack_file_extent_type(&fi, BTRFS_FILE_EXTENT_REG);
4713
4714         block_len = max(em->block_len, em->orig_block_len);
4715         if (em->compress_type != BTRFS_COMPRESS_NONE) {
4716                 btrfs_set_stack_file_extent_disk_bytenr(&fi, em->block_start);
4717                 btrfs_set_stack_file_extent_disk_num_bytes(&fi, block_len);
4718         } else if (em->block_start < EXTENT_MAP_LAST_BYTE) {
4719                 btrfs_set_stack_file_extent_disk_bytenr(&fi, em->block_start -
4720                                                         extent_offset);
4721                 btrfs_set_stack_file_extent_disk_num_bytes(&fi, block_len);
4722         }
4723
4724         btrfs_set_stack_file_extent_offset(&fi, extent_offset);
4725         btrfs_set_stack_file_extent_num_bytes(&fi, em->len);
4726         btrfs_set_stack_file_extent_ram_bytes(&fi, em->ram_bytes);
4727         btrfs_set_stack_file_extent_compression(&fi, em->compress_type);
4728
4729         ret = log_extent_csums(trans, inode, log, em, ctx);
4730         if (ret)
4731                 return ret;
4732
4733         /*
4734          * If this is the first time we are logging the inode in the current
4735          * transaction, we can avoid btrfs_drop_extents(), which is expensive
4736          * because it does a deletion search, which always acquires write locks
4737          * for extent buffers at levels 2, 1 and 0. This not only wastes time
4738          * but also adds significant contention in a log tree, since log trees
4739          * are small, with a root at level 2 or 3 at most, due to their short
4740          * life span.
4741          */
4742         if (ctx->logged_before) {
4743                 drop_args.path = path;
4744                 drop_args.start = em->start;
4745                 drop_args.end = em->start + em->len;
4746                 drop_args.replace_extent = true;
4747                 drop_args.extent_item_size = sizeof(fi);
4748                 ret = btrfs_drop_extents(trans, log, inode, &drop_args);
4749                 if (ret)
4750                         return ret;
4751         }
4752
4753         if (!drop_args.extent_inserted) {
4754                 key.objectid = btrfs_ino(inode);
4755                 key.type = BTRFS_EXTENT_DATA_KEY;
4756                 key.offset = em->start;
4757
4758                 ret = btrfs_insert_empty_item(trans, log, path, &key,
4759                                               sizeof(fi));
4760                 if (ret)
4761                         return ret;
4762         }
4763         leaf = path->nodes[0];
4764         write_extent_buffer(leaf, &fi,
4765                             btrfs_item_ptr_offset(leaf, path->slots[0]),
4766                             sizeof(fi));
4767         btrfs_mark_buffer_dirty(leaf);
4768
4769         btrfs_release_path(path);
4770
4771         return ret;
4772 }
4773
4774 /*
4775  * Log all prealloc extents beyond the inode's i_size to make sure we do not
4776  * lose them after doing a full/fast fsync and replaying the log. We scan the
4777  * subvolume's root instead of iterating the inode's extent map tree because
4778  * otherwise we can log incorrect extent items based on extent map conversion.
4779  * That can happen due to the fact that extent maps are merged when they
4780  * are not in the extent map tree's list of modified extents.
4781  */
4782 static int btrfs_log_prealloc_extents(struct btrfs_trans_handle *trans,
4783                                       struct btrfs_inode *inode,
4784                                       struct btrfs_path *path)
4785 {
4786         struct btrfs_root *root = inode->root;
4787         struct btrfs_key key;
4788         const u64 i_size = i_size_read(&inode->vfs_inode);
4789         const u64 ino = btrfs_ino(inode);
4790         struct btrfs_path *dst_path = NULL;
4791         bool dropped_extents = false;
4792         u64 truncate_offset = i_size;
4793         struct extent_buffer *leaf;
4794         int slot;
4795         int ins_nr = 0;
4796         int start_slot;
4797         int ret;
4798
4799         if (!(inode->flags & BTRFS_INODE_PREALLOC))
4800                 return 0;
4801
4802         key.objectid = ino;
4803         key.type = BTRFS_EXTENT_DATA_KEY;
4804         key.offset = i_size;
4805         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
4806         if (ret < 0)
4807                 goto out;
4808
4809         /*
4810          * We must check if there is a prealloc extent that starts before the
4811          * i_size and crosses the i_size boundary. This is to ensure later we
4812          * truncate down to the end of that extent and not to the i_size, as
4813          * otherwise we end up losing part of the prealloc extent after a log
4814          * replay and with an implicit hole if there is another prealloc extent
4815          * that starts at an offset beyond i_size.
4816          */
4817         ret = btrfs_previous_item(root, path, ino, BTRFS_EXTENT_DATA_KEY);
4818         if (ret < 0)
4819                 goto out;
4820
4821         if (ret == 0) {
4822                 struct btrfs_file_extent_item *ei;
4823
4824                 leaf = path->nodes[0];
4825                 slot = path->slots[0];
4826                 ei = btrfs_item_ptr(leaf, slot, struct btrfs_file_extent_item);
4827
4828                 if (btrfs_file_extent_type(leaf, ei) ==
4829                     BTRFS_FILE_EXTENT_PREALLOC) {
4830                         u64 extent_end;
4831
4832                         btrfs_item_key_to_cpu(leaf, &key, slot);
4833                         extent_end = key.offset +
4834                                 btrfs_file_extent_num_bytes(leaf, ei);
4835
4836                         if (extent_end > i_size)
4837                                 truncate_offset = extent_end;
4838                 }
4839         } else {
4840                 ret = 0;
4841         }
4842
4843         while (true) {
4844                 leaf = path->nodes[0];
4845                 slot = path->slots[0];
4846
4847                 if (slot >= btrfs_header_nritems(leaf)) {
4848                         if (ins_nr > 0) {
4849                                 ret = copy_items(trans, inode, dst_path, path,
4850                                                  start_slot, ins_nr, 1, 0);
4851                                 if (ret < 0)
4852                                         goto out;
4853                                 ins_nr = 0;
4854                         }
4855                         ret = btrfs_next_leaf(root, path);
4856                         if (ret < 0)
4857                                 goto out;
4858                         if (ret > 0) {
4859                                 ret = 0;
4860                                 break;
4861                         }
4862                         continue;
4863                 }
4864
4865                 btrfs_item_key_to_cpu(leaf, &key, slot);
4866                 if (key.objectid > ino)
4867                         break;
4868                 if (WARN_ON_ONCE(key.objectid < ino) ||
4869                     key.type < BTRFS_EXTENT_DATA_KEY ||
4870                     key.offset < i_size) {
4871                         path->slots[0]++;
4872                         continue;
4873                 }
4874                 if (!dropped_extents) {
4875                         /*
4876                          * Avoid logging extent items logged in past fsync calls
4877                          * and leading to duplicate keys in the log tree.
4878                          */
4879                         ret = truncate_inode_items(trans, root->log_root, inode,
4880                                                    truncate_offset,
4881                                                    BTRFS_EXTENT_DATA_KEY);
4882                         if (ret)
4883                                 goto out;
4884                         dropped_extents = true;
4885                 }
4886                 if (ins_nr == 0)
4887                         start_slot = slot;
4888                 ins_nr++;
4889                 path->slots[0]++;
4890                 if (!dst_path) {
4891                         dst_path = btrfs_alloc_path();
4892                         if (!dst_path) {
4893                                 ret = -ENOMEM;
4894                                 goto out;
4895                         }
4896                 }
4897         }
4898         if (ins_nr > 0)
4899                 ret = copy_items(trans, inode, dst_path, path,
4900                                  start_slot, ins_nr, 1, 0);
4901 out:
4902         btrfs_release_path(path);
4903         btrfs_free_path(dst_path);
4904         return ret;
4905 }
4906
4907 static int btrfs_log_changed_extents(struct btrfs_trans_handle *trans,
4908                                      struct btrfs_inode *inode,
4909                                      struct btrfs_path *path,
4910                                      struct btrfs_log_ctx *ctx)
4911 {
4912         struct btrfs_ordered_extent *ordered;
4913         struct btrfs_ordered_extent *tmp;
4914         struct extent_map *em, *n;
4915         struct list_head extents;
4916         struct extent_map_tree *tree = &inode->extent_tree;
4917         int ret = 0;
4918         int num = 0;
4919
4920         INIT_LIST_HEAD(&extents);
4921
4922         write_lock(&tree->lock);
4923
4924         list_for_each_entry_safe(em, n, &tree->modified_extents, list) {
4925                 list_del_init(&em->list);
4926                 /*
4927                  * Just an arbitrary number, this can be really CPU intensive
4928                  * once we start getting a lot of extents, and really once we
4929                  * have a bunch of extents we just want to commit since it will
4930                  * be faster.
4931                  */
4932                 if (++num > 32768) {
4933                         list_del_init(&tree->modified_extents);
4934                         ret = -EFBIG;
4935                         goto process;
4936                 }
4937
4938                 if (em->generation < trans->transid)
4939                         continue;
4940
4941                 /* We log prealloc extents beyond eof later. */
4942                 if (test_bit(EXTENT_FLAG_PREALLOC, &em->flags) &&
4943                     em->start >= i_size_read(&inode->vfs_inode))
4944                         continue;
4945
4946                 /* Need a ref to keep it from getting evicted from cache */
4947                 refcount_inc(&em->refs);
4948                 set_bit(EXTENT_FLAG_LOGGING, &em->flags);
4949                 list_add_tail(&em->list, &extents);
4950                 num++;
4951         }
4952
4953         list_sort(NULL, &extents, extent_cmp);
4954 process:
4955         while (!list_empty(&extents)) {
4956                 em = list_entry(extents.next, struct extent_map, list);
4957
4958                 list_del_init(&em->list);
4959
4960                 /*
4961                  * If we had an error we just need to delete everybody from our
4962                  * private list.
4963                  */
4964                 if (ret) {
4965                         clear_em_logging(tree, em);
4966                         free_extent_map(em);
4967                         continue;
4968                 }
4969
4970                 write_unlock(&tree->lock);
4971
4972                 ret = log_one_extent(trans, inode, em, path, ctx);
4973                 write_lock(&tree->lock);
4974                 clear_em_logging(tree, em);
4975                 free_extent_map(em);
4976         }
4977         WARN_ON(!list_empty(&extents));
4978         write_unlock(&tree->lock);
4979
4980         if (!ret)
4981                 ret = btrfs_log_prealloc_extents(trans, inode, path);
4982         if (ret)
4983                 return ret;
4984
4985         /*
4986          * We have logged all extents successfully, now make sure the commit of
4987          * the current transaction waits for the ordered extents to complete
4988          * before it commits and wipes out the log trees, otherwise we would
4989          * lose data if an ordered extents completes after the transaction
4990          * commits and a power failure happens after the transaction commit.
4991          */
4992         list_for_each_entry_safe(ordered, tmp, &ctx->ordered_extents, log_list) {
4993                 list_del_init(&ordered->log_list);
4994                 set_bit(BTRFS_ORDERED_LOGGED, &ordered->flags);
4995
4996                 if (!test_bit(BTRFS_ORDERED_COMPLETE, &ordered->flags)) {
4997                         spin_lock_irq(&inode->ordered_tree.lock);
4998                         if (!test_bit(BTRFS_ORDERED_COMPLETE, &ordered->flags)) {
4999                                 set_bit(BTRFS_ORDERED_PENDING, &ordered->flags);
5000                                 atomic_inc(&trans->transaction->pending_ordered);
5001                         }
5002                         spin_unlock_irq(&inode->ordered_tree.lock);
5003                 }
5004                 btrfs_put_ordered_extent(ordered);
5005         }
5006
5007         return 0;
5008 }
5009
5010 static int logged_inode_size(struct btrfs_root *log, struct btrfs_inode *inode,
5011                              struct btrfs_path *path, u64 *size_ret)
5012 {
5013         struct btrfs_key key;
5014         int ret;
5015
5016         key.objectid = btrfs_ino(inode);
5017         key.type = BTRFS_INODE_ITEM_KEY;
5018         key.offset = 0;
5019
5020         ret = btrfs_search_slot(NULL, log, &key, path, 0, 0);
5021         if (ret < 0) {
5022                 return ret;
5023         } else if (ret > 0) {
5024                 *size_ret = 0;
5025         } else {
5026                 struct btrfs_inode_item *item;
5027
5028                 item = btrfs_item_ptr(path->nodes[0], path->slots[0],
5029                                       struct btrfs_inode_item);
5030                 *size_ret = btrfs_inode_size(path->nodes[0], item);
5031                 /*
5032                  * If the in-memory inode's i_size is smaller then the inode
5033                  * size stored in the btree, return the inode's i_size, so
5034                  * that we get a correct inode size after replaying the log
5035                  * when before a power failure we had a shrinking truncate
5036                  * followed by addition of a new name (rename / new hard link).
5037                  * Otherwise return the inode size from the btree, to avoid
5038                  * data loss when replaying a log due to previously doing a
5039                  * write that expands the inode's size and logging a new name
5040                  * immediately after.
5041                  */
5042                 if (*size_ret > inode->vfs_inode.i_size)
5043                         *size_ret = inode->vfs_inode.i_size;
5044         }
5045
5046         btrfs_release_path(path);
5047         return 0;
5048 }
5049
5050 /*
5051  * At the moment we always log all xattrs. This is to figure out at log replay
5052  * time which xattrs must have their deletion replayed. If a xattr is missing
5053  * in the log tree and exists in the fs/subvol tree, we delete it. This is
5054  * because if a xattr is deleted, the inode is fsynced and a power failure
5055  * happens, causing the log to be replayed the next time the fs is mounted,
5056  * we want the xattr to not exist anymore (same behaviour as other filesystems
5057  * with a journal, ext3/4, xfs, f2fs, etc).
5058  */
5059 static int btrfs_log_all_xattrs(struct btrfs_trans_handle *trans,
5060                                 struct btrfs_inode *inode,
5061                                 struct btrfs_path *path,
5062                                 struct btrfs_path *dst_path)
5063 {
5064         struct btrfs_root *root = inode->root;
5065         int ret;
5066         struct btrfs_key key;
5067         const u64 ino = btrfs_ino(inode);
5068         int ins_nr = 0;
5069         int start_slot = 0;
5070         bool found_xattrs = false;
5071
5072         if (test_bit(BTRFS_INODE_NO_XATTRS, &inode->runtime_flags))
5073                 return 0;
5074
5075         key.objectid = ino;
5076         key.type = BTRFS_XATTR_ITEM_KEY;
5077         key.offset = 0;
5078
5079         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
5080         if (ret < 0)
5081                 return ret;
5082
5083         while (true) {
5084                 int slot = path->slots[0];
5085                 struct extent_buffer *leaf = path->nodes[0];
5086                 int nritems = btrfs_header_nritems(leaf);
5087
5088                 if (slot >= nritems) {
5089                         if (ins_nr > 0) {
5090                                 ret = copy_items(trans, inode, dst_path, path,
5091                                                  start_slot, ins_nr, 1, 0);
5092                                 if (ret < 0)
5093                                         return ret;
5094                                 ins_nr = 0;
5095                         }
5096                         ret = btrfs_next_leaf(root, path);
5097                         if (ret < 0)
5098                                 return ret;
5099                         else if (ret > 0)
5100                                 break;
5101                         continue;
5102                 }
5103
5104                 btrfs_item_key_to_cpu(leaf, &key, slot);
5105                 if (key.objectid != ino || key.type != BTRFS_XATTR_ITEM_KEY)
5106                         break;
5107
5108                 if (ins_nr == 0)
5109                         start_slot = slot;
5110                 ins_nr++;
5111                 path->slots[0]++;
5112                 found_xattrs = true;
5113                 cond_resched();
5114         }
5115         if (ins_nr > 0) {
5116                 ret = copy_items(trans, inode, dst_path, path,
5117                                  start_slot, ins_nr, 1, 0);
5118                 if (ret < 0)
5119                         return ret;
5120         }
5121
5122         if (!found_xattrs)
5123                 set_bit(BTRFS_INODE_NO_XATTRS, &inode->runtime_flags);
5124
5125         return 0;
5126 }
5127
5128 /*
5129  * When using the NO_HOLES feature if we punched a hole that causes the
5130  * deletion of entire leafs or all the extent items of the first leaf (the one
5131  * that contains the inode item and references) we may end up not processing
5132  * any extents, because there are no leafs with a generation matching the
5133  * current transaction that have extent items for our inode. So we need to find
5134  * if any holes exist and then log them. We also need to log holes after any
5135  * truncate operation that changes the inode's size.
5136  */
5137 static int btrfs_log_holes(struct btrfs_trans_handle *trans,
5138                            struct btrfs_inode *inode,
5139                            struct btrfs_path *path)
5140 {
5141         struct btrfs_root *root = inode->root;
5142         struct btrfs_fs_info *fs_info = root->fs_info;
5143         struct btrfs_key key;
5144         const u64 ino = btrfs_ino(inode);
5145         const u64 i_size = i_size_read(&inode->vfs_inode);
5146         u64 prev_extent_end = 0;
5147         int ret;
5148
5149         if (!btrfs_fs_incompat(fs_info, NO_HOLES) || i_size == 0)
5150                 return 0;
5151
5152         key.objectid = ino;
5153         key.type = BTRFS_EXTENT_DATA_KEY;
5154         key.offset = 0;
5155
5156         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
5157         if (ret < 0)
5158                 return ret;
5159
5160         while (true) {
5161                 struct extent_buffer *leaf = path->nodes[0];
5162
5163                 if (path->slots[0] >= btrfs_header_nritems(path->nodes[0])) {
5164                         ret = btrfs_next_leaf(root, path);
5165                         if (ret < 0)
5166                                 return ret;
5167                         if (ret > 0) {
5168                                 ret = 0;
5169                                 break;
5170                         }
5171                         leaf = path->nodes[0];
5172                 }
5173
5174                 btrfs_item_key_to_cpu(leaf, &key, path->slots[0]);
5175                 if (key.objectid != ino || key.type != BTRFS_EXTENT_DATA_KEY)
5176                         break;
5177
5178                 /* We have a hole, log it. */
5179                 if (prev_extent_end < key.offset) {
5180                         const u64 hole_len = key.offset - prev_extent_end;
5181
5182                         /*
5183                          * Release the path to avoid deadlocks with other code
5184                          * paths that search the root while holding locks on
5185                          * leafs from the log root.
5186                          */
5187                         btrfs_release_path(path);
5188                         ret = btrfs_insert_hole_extent(trans, root->log_root,
5189                                                        ino, prev_extent_end,
5190                                                        hole_len);
5191                         if (ret < 0)
5192                                 return ret;
5193
5194                         /*
5195                          * Search for the same key again in the root. Since it's
5196                          * an extent item and we are holding the inode lock, the
5197                          * key must still exist. If it doesn't just emit warning
5198                          * and return an error to fall back to a transaction
5199                          * commit.
5200                          */
5201                         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
5202                         if (ret < 0)
5203                                 return ret;
5204                         if (WARN_ON(ret > 0))
5205                                 return -ENOENT;
5206                         leaf = path->nodes[0];
5207                 }
5208
5209                 prev_extent_end = btrfs_file_extent_end(path);
5210                 path->slots[0]++;
5211                 cond_resched();
5212         }
5213
5214         if (prev_extent_end < i_size) {
5215                 u64 hole_len;
5216
5217                 btrfs_release_path(path);
5218                 hole_len = ALIGN(i_size - prev_extent_end, fs_info->sectorsize);
5219                 ret = btrfs_insert_hole_extent(trans, root->log_root, ino,
5220                                                prev_extent_end, hole_len);
5221                 if (ret < 0)
5222                         return ret;
5223         }
5224
5225         return 0;
5226 }
5227
5228 /*
5229  * When we are logging a new inode X, check if it doesn't have a reference that
5230  * matches the reference from some other inode Y created in a past transaction
5231  * and that was renamed in the current transaction. If we don't do this, then at
5232  * log replay time we can lose inode Y (and all its files if it's a directory):
5233  *
5234  * mkdir /mnt/x
5235  * echo "hello world" > /mnt/x/foobar
5236  * sync
5237  * mv /mnt/x /mnt/y
5238  * mkdir /mnt/x                 # or touch /mnt/x
5239  * xfs_io -c fsync /mnt/x
5240  * <power fail>
5241  * mount fs, trigger log replay
5242  *
5243  * After the log replay procedure, we would lose the first directory and all its
5244  * files (file foobar).
5245  * For the case where inode Y is not a directory we simply end up losing it:
5246  *
5247  * echo "123" > /mnt/foo
5248  * sync
5249  * mv /mnt/foo /mnt/bar
5250  * echo "abc" > /mnt/foo
5251  * xfs_io -c fsync /mnt/foo
5252  * <power fail>
5253  *
5254  * We also need this for cases where a snapshot entry is replaced by some other
5255  * entry (file or directory) otherwise we end up with an unreplayable log due to
5256  * attempts to delete the snapshot entry (entry of type BTRFS_ROOT_ITEM_KEY) as
5257  * if it were a regular entry:
5258  *
5259  * mkdir /mnt/x
5260  * btrfs subvolume snapshot /mnt /mnt/x/snap
5261  * btrfs subvolume delete /mnt/x/snap
5262  * rmdir /mnt/x
5263  * mkdir /mnt/x
5264  * fsync /mnt/x or fsync some new file inside it
5265  * <power fail>
5266  *
5267  * The snapshot delete, rmdir of x, mkdir of a new x and the fsync all happen in
5268  * the same transaction.
5269  */
5270 static int btrfs_check_ref_name_override(struct extent_buffer *eb,
5271                                          const int slot,
5272                                          const struct btrfs_key *key,
5273                                          struct btrfs_inode *inode,
5274                                          u64 *other_ino, u64 *other_parent)
5275 {
5276         int ret;
5277         struct btrfs_path *search_path;
5278         char *name = NULL;
5279         u32 name_len = 0;
5280         u32 item_size = btrfs_item_size(eb, slot);
5281         u32 cur_offset = 0;
5282         unsigned long ptr = btrfs_item_ptr_offset(eb, slot);
5283
5284         search_path = btrfs_alloc_path();
5285         if (!search_path)
5286                 return -ENOMEM;
5287         search_path->search_commit_root = 1;
5288         search_path->skip_locking = 1;
5289
5290         while (cur_offset < item_size) {
5291                 u64 parent;
5292                 u32 this_name_len;
5293                 u32 this_len;
5294                 unsigned long name_ptr;
5295                 struct btrfs_dir_item *di;
5296
5297                 if (key->type == BTRFS_INODE_REF_KEY) {
5298                         struct btrfs_inode_ref *iref;
5299
5300                         iref = (struct btrfs_inode_ref *)(ptr + cur_offset);
5301                         parent = key->offset;
5302                         this_name_len = btrfs_inode_ref_name_len(eb, iref);
5303                         name_ptr = (unsigned long)(iref + 1);
5304                         this_len = sizeof(*iref) + this_name_len;
5305                 } else {
5306                         struct btrfs_inode_extref *extref;
5307
5308                         extref = (struct btrfs_inode_extref *)(ptr +
5309                                                                cur_offset);
5310                         parent = btrfs_inode_extref_parent(eb, extref);
5311                         this_name_len = btrfs_inode_extref_name_len(eb, extref);
5312                         name_ptr = (unsigned long)&extref->name;
5313                         this_len = sizeof(*extref) + this_name_len;
5314                 }
5315
5316                 if (this_name_len > name_len) {
5317                         char *new_name;
5318
5319                         new_name = krealloc(name, this_name_len, GFP_NOFS);
5320                         if (!new_name) {
5321                                 ret = -ENOMEM;
5322                                 goto out;
5323                         }
5324                         name_len = this_name_len;
5325                         name = new_name;
5326                 }
5327
5328                 read_extent_buffer(eb, name, name_ptr, this_name_len);
5329                 di = btrfs_lookup_dir_item(NULL, inode->root, search_path,
5330                                 parent, name, this_name_len, 0);
5331                 if (di && !IS_ERR(di)) {
5332                         struct btrfs_key di_key;
5333
5334                         btrfs_dir_item_key_to_cpu(search_path->nodes[0],
5335                                                   di, &di_key);
5336                         if (di_key.type == BTRFS_INODE_ITEM_KEY) {
5337                                 if (di_key.objectid != key->objectid) {
5338                                         ret = 1;
5339                                         *other_ino = di_key.objectid;
5340                                         *other_parent = parent;
5341                                 } else {
5342                                         ret = 0;
5343                                 }
5344                         } else {
5345                                 ret = -EAGAIN;
5346                         }
5347                         goto out;
5348                 } else if (IS_ERR(di)) {
5349                         ret = PTR_ERR(di);
5350                         goto out;
5351                 }
5352                 btrfs_release_path(search_path);
5353
5354                 cur_offset += this_len;
5355         }
5356         ret = 0;
5357 out:
5358         btrfs_free_path(search_path);
5359         kfree(name);
5360         return ret;
5361 }
5362
5363 /*
5364  * Check if we need to log an inode. This is used in contexts where while
5365  * logging an inode we need to log another inode (either that it exists or in
5366  * full mode). This is used instead of btrfs_inode_in_log() because the later
5367  * requires the inode to be in the log and have the log transaction committed,
5368  * while here we do not care if the log transaction was already committed - our
5369  * caller will commit the log later - and we want to avoid logging an inode
5370  * multiple times when multiple tasks have joined the same log transaction.
5371  */
5372 static bool need_log_inode(const struct btrfs_trans_handle *trans,
5373                            const struct btrfs_inode *inode)
5374 {
5375         /*
5376          * If a directory was not modified, no dentries added or removed, we can
5377          * and should avoid logging it.
5378          */
5379         if (S_ISDIR(inode->vfs_inode.i_mode) && inode->last_trans < trans->transid)
5380                 return false;
5381
5382         /*
5383          * If this inode does not have new/updated/deleted xattrs since the last
5384          * time it was logged and is flagged as logged in the current transaction,
5385          * we can skip logging it. As for new/deleted names, those are updated in
5386          * the log by link/unlink/rename operations.
5387          * In case the inode was logged and then evicted and reloaded, its
5388          * logged_trans will be 0, in which case we have to fully log it since
5389          * logged_trans is a transient field, not persisted.
5390          */
5391         if (inode->logged_trans == trans->transid &&
5392             !test_bit(BTRFS_INODE_COPY_EVERYTHING, &inode->runtime_flags))
5393                 return false;
5394
5395         return true;
5396 }
5397
5398 struct btrfs_dir_list {
5399         u64 ino;
5400         struct list_head list;
5401 };
5402
5403 /*
5404  * Log the inodes of the new dentries of a directory.
5405  * See process_dir_items_leaf() for details about why it is needed.
5406  * This is a recursive operation - if an existing dentry corresponds to a
5407  * directory, that directory's new entries are logged too (same behaviour as
5408  * ext3/4, xfs, f2fs, reiserfs, nilfs2). Note that when logging the inodes
5409  * the dentries point to we do not acquire their VFS lock, otherwise lockdep
5410  * complains about the following circular lock dependency / possible deadlock:
5411  *
5412  *        CPU0                                        CPU1
5413  *        ----                                        ----
5414  * lock(&type->i_mutex_dir_key#3/2);
5415  *                                            lock(sb_internal#2);
5416  *                                            lock(&type->i_mutex_dir_key#3/2);
5417  * lock(&sb->s_type->i_mutex_key#14);
5418  *
5419  * Where sb_internal is the lock (a counter that works as a lock) acquired by
5420  * sb_start_intwrite() in btrfs_start_transaction().
5421  * Not acquiring the VFS lock of the inodes is still safe because:
5422  *
5423  * 1) For regular files we log with a mode of LOG_INODE_EXISTS. It's possible
5424  *    that while logging the inode new references (names) are added or removed
5425  *    from the inode, leaving the logged inode item with a link count that does
5426  *    not match the number of logged inode reference items. This is fine because
5427  *    at log replay time we compute the real number of links and correct the
5428  *    link count in the inode item (see replay_one_buffer() and
5429  *    link_to_fixup_dir());
5430  *
5431  * 2) For directories we log with a mode of LOG_INODE_ALL. It's possible that
5432  *    while logging the inode's items new index items (key type
5433  *    BTRFS_DIR_INDEX_KEY) are added to fs/subvol tree and the logged inode item
5434  *    has a size that doesn't match the sum of the lengths of all the logged
5435  *    names - this is ok, not a problem, because at log replay time we set the
5436  *    directory's i_size to the correct value (see replay_one_name() and
5437  *    do_overwrite_item()).
5438  */
5439 static int log_new_dir_dentries(struct btrfs_trans_handle *trans,
5440                                 struct btrfs_inode *start_inode,
5441                                 struct btrfs_log_ctx *ctx)
5442 {
5443         struct btrfs_root *root = start_inode->root;
5444         struct btrfs_fs_info *fs_info = root->fs_info;
5445         struct btrfs_path *path;
5446         LIST_HEAD(dir_list);
5447         struct btrfs_dir_list *dir_elem;
5448         u64 ino = btrfs_ino(start_inode);
5449         int ret = 0;
5450
5451         /*
5452          * If we are logging a new name, as part of a link or rename operation,
5453          * don't bother logging new dentries, as we just want to log the names
5454          * of an inode and that any new parents exist.
5455          */
5456         if (ctx->logging_new_name)
5457                 return 0;
5458
5459         path = btrfs_alloc_path();
5460         if (!path)
5461                 return -ENOMEM;
5462
5463         while (true) {
5464                 struct extent_buffer *leaf;
5465                 struct btrfs_key min_key;
5466                 bool continue_curr_inode = true;
5467                 int nritems;
5468                 int i;
5469
5470                 min_key.objectid = ino;
5471                 min_key.type = BTRFS_DIR_INDEX_KEY;
5472                 min_key.offset = 0;
5473 again:
5474                 btrfs_release_path(path);
5475                 ret = btrfs_search_forward(root, &min_key, path, trans->transid);
5476                 if (ret < 0) {
5477                         break;
5478                 } else if (ret > 0) {
5479                         ret = 0;
5480                         goto next;
5481                 }
5482
5483                 leaf = path->nodes[0];
5484                 nritems = btrfs_header_nritems(leaf);
5485                 for (i = path->slots[0]; i < nritems; i++) {
5486                         struct btrfs_dir_item *di;
5487                         struct btrfs_key di_key;
5488                         struct inode *di_inode;
5489                         int log_mode = LOG_INODE_EXISTS;
5490                         int type;
5491
5492                         btrfs_item_key_to_cpu(leaf, &min_key, i);
5493                         if (min_key.objectid != ino ||
5494                             min_key.type != BTRFS_DIR_INDEX_KEY) {
5495                                 continue_curr_inode = false;
5496                                 break;
5497                         }
5498
5499                         di = btrfs_item_ptr(leaf, i, struct btrfs_dir_item);
5500                         type = btrfs_dir_type(leaf, di);
5501                         if (btrfs_dir_transid(leaf, di) < trans->transid)
5502                                 continue;
5503                         btrfs_dir_item_key_to_cpu(leaf, di, &di_key);
5504                         if (di_key.type == BTRFS_ROOT_ITEM_KEY)
5505                                 continue;
5506
5507                         btrfs_release_path(path);
5508                         di_inode = btrfs_iget(fs_info->sb, di_key.objectid, root);
5509                         if (IS_ERR(di_inode)) {
5510                                 ret = PTR_ERR(di_inode);
5511                                 goto out;
5512                         }
5513
5514                         if (!need_log_inode(trans, BTRFS_I(di_inode))) {
5515                                 btrfs_add_delayed_iput(di_inode);
5516                                 break;
5517                         }
5518
5519                         ctx->log_new_dentries = false;
5520                         if (type == BTRFS_FT_DIR)
5521                                 log_mode = LOG_INODE_ALL;
5522                         ret = btrfs_log_inode(trans, BTRFS_I(di_inode),
5523                                               log_mode, ctx);
5524                         btrfs_add_delayed_iput(di_inode);
5525                         if (ret)
5526                                 goto out;
5527                         if (ctx->log_new_dentries) {
5528                                 dir_elem = kmalloc(sizeof(*dir_elem), GFP_NOFS);
5529                                 if (!dir_elem) {
5530                                         ret = -ENOMEM;
5531                                         goto out;
5532                                 }
5533                                 dir_elem->ino = di_key.objectid;
5534                                 list_add_tail(&dir_elem->list, &dir_list);
5535                         }
5536                         break;
5537                 }
5538
5539                 if (continue_curr_inode && min_key.offset < (u64)-1) {
5540                         min_key.offset++;
5541                         goto again;
5542                 }
5543
5544 next:
5545                 if (list_empty(&dir_list))
5546                         break;
5547
5548                 dir_elem = list_first_entry(&dir_list, struct btrfs_dir_list, list);
5549                 ino = dir_elem->ino;
5550                 list_del(&dir_elem->list);
5551                 kfree(dir_elem);
5552         }
5553 out:
5554         btrfs_free_path(path);
5555         if (ret) {
5556                 struct btrfs_dir_list *next;
5557
5558                 list_for_each_entry_safe(dir_elem, next, &dir_list, list)
5559                         kfree(dir_elem);
5560         }
5561
5562         return ret;
5563 }
5564
5565 struct btrfs_ino_list {
5566         u64 ino;
5567         u64 parent;
5568         struct list_head list;
5569 };
5570
5571 static void free_conflicting_inodes(struct btrfs_log_ctx *ctx)
5572 {
5573         struct btrfs_ino_list *curr;
5574         struct btrfs_ino_list *next;
5575
5576         list_for_each_entry_safe(curr, next, &ctx->conflict_inodes, list) {
5577                 list_del(&curr->list);
5578                 kfree(curr);
5579         }
5580 }
5581
5582 static int conflicting_inode_is_dir(struct btrfs_root *root, u64 ino,
5583                                     struct btrfs_path *path)
5584 {
5585         struct btrfs_key key;
5586         int ret;
5587
5588         key.objectid = ino;
5589         key.type = BTRFS_INODE_ITEM_KEY;
5590         key.offset = 0;
5591
5592         path->search_commit_root = 1;
5593         path->skip_locking = 1;
5594
5595         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
5596         if (WARN_ON_ONCE(ret > 0)) {
5597                 /*
5598                  * We have previously found the inode through the commit root
5599                  * so this should not happen. If it does, just error out and
5600                  * fallback to a transaction commit.
5601                  */
5602                 ret = -ENOENT;
5603         } else if (ret == 0) {
5604                 struct btrfs_inode_item *item;
5605
5606                 item = btrfs_item_ptr(path->nodes[0], path->slots[0],
5607                                       struct btrfs_inode_item);
5608                 if (S_ISDIR(btrfs_inode_mode(path->nodes[0], item)))
5609                         ret = 1;
5610         }
5611
5612         btrfs_release_path(path);
5613         path->search_commit_root = 0;
5614         path->skip_locking = 0;
5615
5616         return ret;
5617 }
5618
5619 static int add_conflicting_inode(struct btrfs_trans_handle *trans,
5620                                  struct btrfs_root *root,
5621                                  struct btrfs_path *path,
5622                                  u64 ino, u64 parent,
5623                                  struct btrfs_log_ctx *ctx)
5624 {
5625         struct btrfs_ino_list *ino_elem;
5626         struct inode *inode;
5627
5628         /*
5629          * It's rare to have a lot of conflicting inodes, in practice it is not
5630          * common to have more than 1 or 2. We don't want to collect too many,
5631          * as we could end up logging too many inodes (even if only in
5632          * LOG_INODE_EXISTS mode) and slow down other fsyncs or transaction
5633          * commits.
5634          */
5635         if (ctx->num_conflict_inodes >= MAX_CONFLICT_INODES) {
5636                 btrfs_set_log_full_commit(trans);
5637                 return BTRFS_LOG_FORCE_COMMIT;
5638         }
5639
5640         inode = btrfs_iget(root->fs_info->sb, ino, root);
5641         /*
5642          * If the other inode that had a conflicting dir entry was deleted in
5643          * the current transaction then we either:
5644          *
5645          * 1) Log the parent directory (later after adding it to the list) if
5646          *    the inode is a directory. This is because it may be a deleted
5647          *    subvolume/snapshot or it may be a regular directory that had
5648          *    deleted subvolumes/snapshots (or subdirectories that had them),
5649          *    and at the moment we can't deal with dropping subvolumes/snapshots
5650          *    during log replay. So we just log the parent, which will result in
5651          *    a fallback to a transaction commit if we are dealing with those
5652          *    cases (last_unlink_trans will match the current transaction);
5653          *
5654          * 2) Do nothing if it's not a directory. During log replay we simply
5655          *    unlink the conflicting dentry from the parent directory and then
5656          *    add the dentry for our inode. Like this we can avoid logging the
5657          *    parent directory (and maybe fallback to a transaction commit in
5658          *    case it has a last_unlink_trans == trans->transid, due to moving
5659          *    some inode from it to some other directory).
5660          */
5661         if (IS_ERR(inode)) {
5662                 int ret = PTR_ERR(inode);
5663
5664                 if (ret != -ENOENT)
5665                         return ret;
5666
5667                 ret = conflicting_inode_is_dir(root, ino, path);
5668                 /* Not a directory or we got an error. */
5669                 if (ret <= 0)
5670                         return ret;
5671
5672                 /* Conflicting inode is a directory, so we'll log its parent. */
5673                 ino_elem = kmalloc(sizeof(*ino_elem), GFP_NOFS);
5674                 if (!ino_elem)
5675                         return -ENOMEM;
5676                 ino_elem->ino = ino;
5677                 ino_elem->parent = parent;
5678                 list_add_tail(&ino_elem->list, &ctx->conflict_inodes);
5679                 ctx->num_conflict_inodes++;
5680
5681                 return 0;
5682         }
5683
5684         /*
5685          * If the inode was already logged skip it - otherwise we can hit an
5686          * infinite loop. Example:
5687          *
5688          * From the commit root (previous transaction) we have the following
5689          * inodes:
5690          *
5691          * inode 257 a directory
5692          * inode 258 with references "zz" and "zz_link" on inode 257
5693          * inode 259 with reference "a" on inode 257
5694          *
5695          * And in the current (uncommitted) transaction we have:
5696          *
5697          * inode 257 a directory, unchanged
5698          * inode 258 with references "a" and "a2" on inode 257
5699          * inode 259 with reference "zz_link" on inode 257
5700          * inode 261 with reference "zz" on inode 257
5701          *
5702          * When logging inode 261 the following infinite loop could
5703          * happen if we don't skip already logged inodes:
5704          *
5705          * - we detect inode 258 as a conflicting inode, with inode 261
5706          *   on reference "zz", and log it;
5707          *
5708          * - we detect inode 259 as a conflicting inode, with inode 258
5709          *   on reference "a", and log it;
5710          *
5711          * - we detect inode 258 as a conflicting inode, with inode 259
5712          *   on reference "zz_link", and log it - again! After this we
5713          *   repeat the above steps forever.
5714          *
5715          * Here we can use need_log_inode() because we only need to log the
5716          * inode in LOG_INODE_EXISTS mode and rename operations update the log,
5717          * so that the log ends up with the new name and without the old name.
5718          */
5719         if (!need_log_inode(trans, BTRFS_I(inode))) {
5720                 btrfs_add_delayed_iput(inode);
5721                 return 0;
5722         }
5723
5724         btrfs_add_delayed_iput(inode);
5725
5726         ino_elem = kmalloc(sizeof(*ino_elem), GFP_NOFS);
5727         if (!ino_elem)
5728                 return -ENOMEM;
5729         ino_elem->ino = ino;
5730         ino_elem->parent = parent;
5731         list_add_tail(&ino_elem->list, &ctx->conflict_inodes);
5732         ctx->num_conflict_inodes++;
5733
5734         return 0;
5735 }
5736
5737 static int log_conflicting_inodes(struct btrfs_trans_handle *trans,
5738                                   struct btrfs_root *root,
5739                                   struct btrfs_log_ctx *ctx)
5740 {
5741         struct btrfs_fs_info *fs_info = root->fs_info;
5742         int ret = 0;
5743
5744         /*
5745          * Conflicting inodes are logged by the first call to btrfs_log_inode(),
5746          * otherwise we could have unbounded recursion of btrfs_log_inode()
5747          * calls. This check guarantees we can have only 1 level of recursion.
5748          */
5749         if (ctx->logging_conflict_inodes)
5750                 return 0;
5751
5752         ctx->logging_conflict_inodes = true;
5753
5754         /*
5755          * New conflicting inodes may be found and added to the list while we
5756          * are logging a conflicting inode, so keep iterating while the list is
5757          * not empty.
5758          */
5759         while (!list_empty(&ctx->conflict_inodes)) {
5760                 struct btrfs_ino_list *curr;
5761                 struct inode *inode;
5762                 u64 ino;
5763                 u64 parent;
5764
5765                 curr = list_first_entry(&ctx->conflict_inodes,
5766                                         struct btrfs_ino_list, list);
5767                 ino = curr->ino;
5768                 parent = curr->parent;
5769                 list_del(&curr->list);
5770                 kfree(curr);
5771
5772                 inode = btrfs_iget(fs_info->sb, ino, root);
5773                 /*
5774                  * If the other inode that had a conflicting dir entry was
5775                  * deleted in the current transaction, we need to log its parent
5776                  * directory. See the comment at add_conflicting_inode().
5777                  */
5778                 if (IS_ERR(inode)) {
5779                         ret = PTR_ERR(inode);
5780                         if (ret != -ENOENT)
5781                                 break;
5782
5783                         inode = btrfs_iget(fs_info->sb, parent, root);
5784                         if (IS_ERR(inode)) {
5785                                 ret = PTR_ERR(inode);
5786                                 break;
5787                         }
5788
5789                         /*
5790                          * Always log the directory, we cannot make this
5791                          * conditional on need_log_inode() because the directory
5792                          * might have been logged in LOG_INODE_EXISTS mode or
5793                          * the dir index of the conflicting inode is not in a
5794                          * dir index key range logged for the directory. So we
5795                          * must make sure the deletion is recorded.
5796                          */
5797                         ret = btrfs_log_inode(trans, BTRFS_I(inode),
5798                                               LOG_INODE_ALL, ctx);
5799                         btrfs_add_delayed_iput(inode);
5800                         if (ret)
5801                                 break;
5802                         continue;
5803                 }
5804
5805                 /*
5806                  * Here we can use need_log_inode() because we only need to log
5807                  * the inode in LOG_INODE_EXISTS mode and rename operations
5808                  * update the log, so that the log ends up with the new name and
5809                  * without the old name.
5810                  *
5811                  * We did this check at add_conflicting_inode(), but here we do
5812                  * it again because if some other task logged the inode after
5813                  * that, we can avoid doing it again.
5814                  */
5815                 if (!need_log_inode(trans, BTRFS_I(inode))) {
5816                         btrfs_add_delayed_iput(inode);
5817                         continue;
5818                 }
5819
5820                 /*
5821                  * We are safe logging the other inode without acquiring its
5822                  * lock as long as we log with the LOG_INODE_EXISTS mode. We
5823                  * are safe against concurrent renames of the other inode as
5824                  * well because during a rename we pin the log and update the
5825                  * log with the new name before we unpin it.
5826                  */
5827                 ret = btrfs_log_inode(trans, BTRFS_I(inode), LOG_INODE_EXISTS, ctx);
5828                 btrfs_add_delayed_iput(inode);
5829                 if (ret)
5830                         break;
5831         }
5832
5833         ctx->logging_conflict_inodes = false;
5834         if (ret)
5835                 free_conflicting_inodes(ctx);
5836
5837         return ret;
5838 }
5839
5840 static int copy_inode_items_to_log(struct btrfs_trans_handle *trans,
5841                                    struct btrfs_inode *inode,
5842                                    struct btrfs_key *min_key,
5843                                    const struct btrfs_key *max_key,
5844                                    struct btrfs_path *path,
5845                                    struct btrfs_path *dst_path,
5846                                    const u64 logged_isize,
5847                                    const int inode_only,
5848                                    struct btrfs_log_ctx *ctx,
5849                                    bool *need_log_inode_item)
5850 {
5851         const u64 i_size = i_size_read(&inode->vfs_inode);
5852         struct btrfs_root *root = inode->root;
5853         int ins_start_slot = 0;
5854         int ins_nr = 0;
5855         int ret;
5856
5857         while (1) {
5858                 ret = btrfs_search_forward(root, min_key, path, trans->transid);
5859                 if (ret < 0)
5860                         return ret;
5861                 if (ret > 0) {
5862                         ret = 0;
5863                         break;
5864                 }
5865 again:
5866                 /* Note, ins_nr might be > 0 here, cleanup outside the loop */
5867                 if (min_key->objectid != max_key->objectid)
5868                         break;
5869                 if (min_key->type > max_key->type)
5870                         break;
5871
5872                 if (min_key->type == BTRFS_INODE_ITEM_KEY) {
5873                         *need_log_inode_item = false;
5874                 } else if (min_key->type == BTRFS_EXTENT_DATA_KEY &&
5875                            min_key->offset >= i_size) {
5876                         /*
5877                          * Extents at and beyond eof are logged with
5878                          * btrfs_log_prealloc_extents().
5879                          * Only regular files have BTRFS_EXTENT_DATA_KEY keys,
5880                          * and no keys greater than that, so bail out.
5881                          */
5882                         break;
5883                 } else if ((min_key->type == BTRFS_INODE_REF_KEY ||
5884                             min_key->type == BTRFS_INODE_EXTREF_KEY) &&
5885                            (inode->generation == trans->transid ||
5886                             ctx->logging_conflict_inodes)) {
5887                         u64 other_ino = 0;
5888                         u64 other_parent = 0;
5889
5890                         ret = btrfs_check_ref_name_override(path->nodes[0],
5891                                         path->slots[0], min_key, inode,
5892                                         &other_ino, &other_parent);
5893                         if (ret < 0) {
5894                                 return ret;
5895                         } else if (ret > 0 &&
5896                                    other_ino != btrfs_ino(BTRFS_I(ctx->inode))) {
5897                                 if (ins_nr > 0) {
5898                                         ins_nr++;
5899                                 } else {
5900                                         ins_nr = 1;
5901                                         ins_start_slot = path->slots[0];
5902                                 }
5903                                 ret = copy_items(trans, inode, dst_path, path,
5904                                                  ins_start_slot, ins_nr,
5905                                                  inode_only, logged_isize);
5906                                 if (ret < 0)
5907                                         return ret;
5908                                 ins_nr = 0;
5909
5910                                 btrfs_release_path(path);
5911                                 ret = add_conflicting_inode(trans, root, path,
5912                                                             other_ino,
5913                                                             other_parent, ctx);
5914                                 if (ret)
5915                                         return ret;
5916                                 goto next_key;
5917                         }
5918                 } else if (min_key->type == BTRFS_XATTR_ITEM_KEY) {
5919                         /* Skip xattrs, logged later with btrfs_log_all_xattrs() */
5920                         if (ins_nr == 0)
5921                                 goto next_slot;
5922                         ret = copy_items(trans, inode, dst_path, path,
5923                                          ins_start_slot,
5924                                          ins_nr, inode_only, logged_isize);
5925                         if (ret < 0)
5926                                 return ret;
5927                         ins_nr = 0;
5928                         goto next_slot;
5929                 }
5930
5931                 if (ins_nr && ins_start_slot + ins_nr == path->slots[0]) {
5932                         ins_nr++;
5933                         goto next_slot;
5934                 } else if (!ins_nr) {
5935                         ins_start_slot = path->slots[0];
5936                         ins_nr = 1;
5937                         goto next_slot;
5938                 }
5939
5940                 ret = copy_items(trans, inode, dst_path, path, ins_start_slot,
5941                                  ins_nr, inode_only, logged_isize);
5942                 if (ret < 0)
5943                         return ret;
5944                 ins_nr = 1;
5945                 ins_start_slot = path->slots[0];
5946 next_slot:
5947                 path->slots[0]++;
5948                 if (path->slots[0] < btrfs_header_nritems(path->nodes[0])) {
5949                         btrfs_item_key_to_cpu(path->nodes[0], min_key,
5950                                               path->slots[0]);
5951                         goto again;
5952                 }
5953                 if (ins_nr) {
5954                         ret = copy_items(trans, inode, dst_path, path,
5955                                          ins_start_slot, ins_nr, inode_only,
5956                                          logged_isize);
5957                         if (ret < 0)
5958                                 return ret;
5959                         ins_nr = 0;
5960                 }
5961                 btrfs_release_path(path);
5962 next_key:
5963                 if (min_key->offset < (u64)-1) {
5964                         min_key->offset++;
5965                 } else if (min_key->type < max_key->type) {
5966                         min_key->type++;
5967                         min_key->offset = 0;
5968                 } else {
5969                         break;
5970                 }
5971
5972                 /*
5973                  * We may process many leaves full of items for our inode, so
5974                  * avoid monopolizing a cpu for too long by rescheduling while
5975                  * not holding locks on any tree.
5976                  */
5977                 cond_resched();
5978         }
5979         if (ins_nr) {
5980                 ret = copy_items(trans, inode, dst_path, path, ins_start_slot,
5981                                  ins_nr, inode_only, logged_isize);
5982                 if (ret)
5983                         return ret;
5984         }
5985
5986         if (inode_only == LOG_INODE_ALL && S_ISREG(inode->vfs_inode.i_mode)) {
5987                 /*
5988                  * Release the path because otherwise we might attempt to double
5989                  * lock the same leaf with btrfs_log_prealloc_extents() below.
5990                  */
5991                 btrfs_release_path(path);
5992                 ret = btrfs_log_prealloc_extents(trans, inode, dst_path);
5993         }
5994
5995         return ret;
5996 }
5997
5998 static int insert_delayed_items_batch(struct btrfs_trans_handle *trans,
5999                                       struct btrfs_root *log,
6000                                       struct btrfs_path *path,
6001                                       const struct btrfs_item_batch *batch,
6002                                       const struct btrfs_delayed_item *first_item)
6003 {
6004         const struct btrfs_delayed_item *curr = first_item;
6005         int ret;
6006
6007         ret = btrfs_insert_empty_items(trans, log, path, batch);
6008         if (ret)
6009                 return ret;
6010
6011         for (int i = 0; i < batch->nr; i++) {
6012                 char *data_ptr;
6013
6014                 data_ptr = btrfs_item_ptr(path->nodes[0], path->slots[0], char);
6015                 write_extent_buffer(path->nodes[0], &curr->data,
6016                                     (unsigned long)data_ptr, curr->data_len);
6017                 curr = list_next_entry(curr, log_list);
6018                 path->slots[0]++;
6019         }
6020
6021         btrfs_release_path(path);
6022
6023         return 0;
6024 }
6025
6026 static int log_delayed_insertion_items(struct btrfs_trans_handle *trans,
6027                                        struct btrfs_inode *inode,
6028                                        struct btrfs_path *path,
6029                                        const struct list_head *delayed_ins_list,
6030                                        struct btrfs_log_ctx *ctx)
6031 {
6032         /* 195 (4095 bytes of keys and sizes) fits in a single 4K page. */
6033         const int max_batch_size = 195;
6034         const int leaf_data_size = BTRFS_LEAF_DATA_SIZE(trans->fs_info);
6035         const u64 ino = btrfs_ino(inode);
6036         struct btrfs_root *log = inode->root->log_root;
6037         struct btrfs_item_batch batch = {
6038                 .nr = 0,
6039                 .total_data_size = 0,
6040         };
6041         const struct btrfs_delayed_item *first = NULL;
6042         const struct btrfs_delayed_item *curr;
6043         char *ins_data;
6044         struct btrfs_key *ins_keys;
6045         u32 *ins_sizes;
6046         u64 curr_batch_size = 0;
6047         int batch_idx = 0;
6048         int ret;
6049
6050         /* We are adding dir index items to the log tree. */
6051         lockdep_assert_held(&inode->log_mutex);
6052
6053         /*
6054          * We collect delayed items before copying index keys from the subvolume
6055          * to the log tree. However just after we collected them, they may have
6056          * been flushed (all of them or just some of them), and therefore we
6057          * could have copied them from the subvolume tree to the log tree.
6058          * So find the first delayed item that was not yet logged (they are
6059          * sorted by index number).
6060          */
6061         list_for_each_entry(curr, delayed_ins_list, log_list) {
6062                 if (curr->index > inode->last_dir_index_offset) {
6063                         first = curr;
6064                         break;
6065                 }
6066         }
6067
6068         /* Empty list or all delayed items were already logged. */
6069         if (!first)
6070                 return 0;
6071
6072         ins_data = kmalloc(max_batch_size * sizeof(u32) +
6073                            max_batch_size * sizeof(struct btrfs_key), GFP_NOFS);
6074         if (!ins_data)
6075                 return -ENOMEM;
6076         ins_sizes = (u32 *)ins_data;
6077         batch.data_sizes = ins_sizes;
6078         ins_keys = (struct btrfs_key *)(ins_data + max_batch_size * sizeof(u32));
6079         batch.keys = ins_keys;
6080
6081         curr = first;
6082         while (!list_entry_is_head(curr, delayed_ins_list, log_list)) {
6083                 const u32 curr_size = curr->data_len + sizeof(struct btrfs_item);
6084
6085                 if (curr_batch_size + curr_size > leaf_data_size ||
6086                     batch.nr == max_batch_size) {
6087                         ret = insert_delayed_items_batch(trans, log, path,
6088                                                          &batch, first);
6089                         if (ret)
6090                                 goto out;
6091                         batch_idx = 0;
6092                         batch.nr = 0;
6093                         batch.total_data_size = 0;
6094                         curr_batch_size = 0;
6095                         first = curr;
6096                 }
6097
6098                 ins_sizes[batch_idx] = curr->data_len;
6099                 ins_keys[batch_idx].objectid = ino;
6100                 ins_keys[batch_idx].type = BTRFS_DIR_INDEX_KEY;
6101                 ins_keys[batch_idx].offset = curr->index;
6102                 curr_batch_size += curr_size;
6103                 batch.total_data_size += curr->data_len;
6104                 batch.nr++;
6105                 batch_idx++;
6106                 curr = list_next_entry(curr, log_list);
6107         }
6108
6109         ASSERT(batch.nr >= 1);
6110         ret = insert_delayed_items_batch(trans, log, path, &batch, first);
6111
6112         curr = list_last_entry(delayed_ins_list, struct btrfs_delayed_item,
6113                                log_list);
6114         inode->last_dir_index_offset = curr->index;
6115 out:
6116         kfree(ins_data);
6117
6118         return ret;
6119 }
6120
6121 static int log_delayed_deletions_full(struct btrfs_trans_handle *trans,
6122                                       struct btrfs_inode *inode,
6123                                       struct btrfs_path *path,
6124                                       const struct list_head *delayed_del_list,
6125                                       struct btrfs_log_ctx *ctx)
6126 {
6127         const u64 ino = btrfs_ino(inode);
6128         const struct btrfs_delayed_item *curr;
6129
6130         curr = list_first_entry(delayed_del_list, struct btrfs_delayed_item,
6131                                 log_list);
6132
6133         while (!list_entry_is_head(curr, delayed_del_list, log_list)) {
6134                 u64 first_dir_index = curr->index;
6135                 u64 last_dir_index;
6136                 const struct btrfs_delayed_item *next;
6137                 int ret;
6138
6139                 /*
6140                  * Find a range of consecutive dir index items to delete. Like
6141                  * this we log a single dir range item spanning several contiguous
6142                  * dir items instead of logging one range item per dir index item.
6143                  */
6144                 next = list_next_entry(curr, log_list);
6145                 while (!list_entry_is_head(next, delayed_del_list, log_list)) {
6146                         if (next->index != curr->index + 1)
6147                                 break;
6148                         curr = next;
6149                         next = list_next_entry(next, log_list);
6150                 }
6151
6152                 last_dir_index = curr->index;
6153                 ASSERT(last_dir_index >= first_dir_index);
6154
6155                 ret = insert_dir_log_key(trans, inode->root->log_root, path,
6156                                          ino, first_dir_index, last_dir_index);
6157                 if (ret)
6158                         return ret;
6159                 curr = list_next_entry(curr, log_list);
6160         }
6161
6162         return 0;
6163 }
6164
6165 static int batch_delete_dir_index_items(struct btrfs_trans_handle *trans,
6166                                         struct btrfs_inode *inode,
6167                                         struct btrfs_path *path,
6168                                         struct btrfs_log_ctx *ctx,
6169                                         const struct list_head *delayed_del_list,
6170                                         const struct btrfs_delayed_item *first,
6171                                         const struct btrfs_delayed_item **last_ret)
6172 {
6173         const struct btrfs_delayed_item *next;
6174         struct extent_buffer *leaf = path->nodes[0];
6175         const int last_slot = btrfs_header_nritems(leaf) - 1;
6176         int slot = path->slots[0] + 1;
6177         const u64 ino = btrfs_ino(inode);
6178
6179         next = list_next_entry(first, log_list);
6180
6181         while (slot < last_slot &&
6182                !list_entry_is_head(next, delayed_del_list, log_list)) {
6183                 struct btrfs_key key;
6184
6185                 btrfs_item_key_to_cpu(leaf, &key, slot);
6186                 if (key.objectid != ino ||
6187                     key.type != BTRFS_DIR_INDEX_KEY ||
6188                     key.offset != next->index)
6189                         break;
6190
6191                 slot++;
6192                 *last_ret = next;
6193                 next = list_next_entry(next, log_list);
6194         }
6195
6196         return btrfs_del_items(trans, inode->root->log_root, path,
6197                                path->slots[0], slot - path->slots[0]);
6198 }
6199
6200 static int log_delayed_deletions_incremental(struct btrfs_trans_handle *trans,
6201                                              struct btrfs_inode *inode,
6202                                              struct btrfs_path *path,
6203                                              const struct list_head *delayed_del_list,
6204                                              struct btrfs_log_ctx *ctx)
6205 {
6206         struct btrfs_root *log = inode->root->log_root;
6207         const struct btrfs_delayed_item *curr;
6208         u64 last_range_start = 0;
6209         u64 last_range_end = 0;
6210         struct btrfs_key key;
6211
6212         key.objectid = btrfs_ino(inode);
6213         key.type = BTRFS_DIR_INDEX_KEY;
6214         curr = list_first_entry(delayed_del_list, struct btrfs_delayed_item,
6215                                 log_list);
6216
6217         while (!list_entry_is_head(curr, delayed_del_list, log_list)) {
6218                 const struct btrfs_delayed_item *last = curr;
6219                 u64 first_dir_index = curr->index;
6220                 u64 last_dir_index;
6221                 bool deleted_items = false;
6222                 int ret;
6223
6224                 key.offset = curr->index;
6225                 ret = btrfs_search_slot(trans, log, &key, path, -1, 1);
6226                 if (ret < 0) {
6227                         return ret;
6228                 } else if (ret == 0) {
6229                         ret = batch_delete_dir_index_items(trans, inode, path, ctx,
6230                                                            delayed_del_list, curr,
6231                                                            &last);
6232                         if (ret)
6233                                 return ret;
6234                         deleted_items = true;
6235                 }
6236
6237                 btrfs_release_path(path);
6238
6239                 /*
6240                  * If we deleted items from the leaf, it means we have a range
6241                  * item logging their range, so no need to add one or update an
6242                  * existing one. Otherwise we have to log a dir range item.
6243                  */
6244                 if (deleted_items)
6245                         goto next_batch;
6246
6247                 last_dir_index = last->index;
6248                 ASSERT(last_dir_index >= first_dir_index);
6249                 /*
6250                  * If this range starts right after where the previous one ends,
6251                  * then we want to reuse the previous range item and change its
6252                  * end offset to the end of this range. This is just to minimize
6253                  * leaf space usage, by avoiding adding a new range item.
6254                  */
6255                 if (last_range_end != 0 && first_dir_index == last_range_end + 1)
6256                         first_dir_index = last_range_start;
6257
6258                 ret = insert_dir_log_key(trans, log, path, key.objectid,
6259                                          first_dir_index, last_dir_index);
6260                 if (ret)
6261                         return ret;
6262
6263                 last_range_start = first_dir_index;
6264                 last_range_end = last_dir_index;
6265 next_batch:
6266                 curr = list_next_entry(last, log_list);
6267         }
6268
6269         return 0;
6270 }
6271
6272 static int log_delayed_deletion_items(struct btrfs_trans_handle *trans,
6273                                       struct btrfs_inode *inode,
6274                                       struct btrfs_path *path,
6275                                       const struct list_head *delayed_del_list,
6276                                       struct btrfs_log_ctx *ctx)
6277 {
6278         /*
6279          * We are deleting dir index items from the log tree or adding range
6280          * items to it.
6281          */
6282         lockdep_assert_held(&inode->log_mutex);
6283
6284         if (list_empty(delayed_del_list))
6285                 return 0;
6286
6287         if (ctx->logged_before)
6288                 return log_delayed_deletions_incremental(trans, inode, path,
6289                                                          delayed_del_list, ctx);
6290
6291         return log_delayed_deletions_full(trans, inode, path, delayed_del_list,
6292                                           ctx);
6293 }
6294
6295 /*
6296  * Similar logic as for log_new_dir_dentries(), but it iterates over the delayed
6297  * items instead of the subvolume tree.
6298  */
6299 static int log_new_delayed_dentries(struct btrfs_trans_handle *trans,
6300                                     struct btrfs_inode *inode,
6301                                     const struct list_head *delayed_ins_list,
6302                                     struct btrfs_log_ctx *ctx)
6303 {
6304         const bool orig_log_new_dentries = ctx->log_new_dentries;
6305         struct btrfs_fs_info *fs_info = trans->fs_info;
6306         struct btrfs_delayed_item *item;
6307         int ret = 0;
6308
6309         /*
6310          * No need for the log mutex, plus to avoid potential deadlocks or
6311          * lockdep annotations due to nesting of delayed inode mutexes and log
6312          * mutexes.
6313          */
6314         lockdep_assert_not_held(&inode->log_mutex);
6315
6316         ASSERT(!ctx->logging_new_delayed_dentries);
6317         ctx->logging_new_delayed_dentries = true;
6318
6319         list_for_each_entry(item, delayed_ins_list, log_list) {
6320                 struct btrfs_dir_item *dir_item;
6321                 struct inode *di_inode;
6322                 struct btrfs_key key;
6323                 int log_mode = LOG_INODE_EXISTS;
6324
6325                 dir_item = (struct btrfs_dir_item *)item->data;
6326                 btrfs_disk_key_to_cpu(&key, &dir_item->location);
6327
6328                 if (key.type == BTRFS_ROOT_ITEM_KEY)
6329                         continue;
6330
6331                 di_inode = btrfs_iget(fs_info->sb, key.objectid, inode->root);
6332                 if (IS_ERR(di_inode)) {
6333                         ret = PTR_ERR(di_inode);
6334                         break;
6335                 }
6336
6337                 if (!need_log_inode(trans, BTRFS_I(di_inode))) {
6338                         btrfs_add_delayed_iput(di_inode);
6339                         continue;
6340                 }
6341
6342                 if (btrfs_stack_dir_type(dir_item) == BTRFS_FT_DIR)
6343                         log_mode = LOG_INODE_ALL;
6344
6345                 ctx->log_new_dentries = false;
6346                 ret = btrfs_log_inode(trans, BTRFS_I(di_inode), log_mode, ctx);
6347
6348                 if (!ret && ctx->log_new_dentries)
6349                         ret = log_new_dir_dentries(trans, BTRFS_I(di_inode), ctx);
6350
6351                 btrfs_add_delayed_iput(di_inode);
6352
6353                 if (ret)
6354                         break;
6355         }
6356
6357         ctx->log_new_dentries = orig_log_new_dentries;
6358         ctx->logging_new_delayed_dentries = false;
6359
6360         return ret;
6361 }
6362
6363 /* log a single inode in the tree log.
6364  * At least one parent directory for this inode must exist in the tree
6365  * or be logged already.
6366  *
6367  * Any items from this inode changed by the current transaction are copied
6368  * to the log tree.  An extra reference is taken on any extents in this
6369  * file, allowing us to avoid a whole pile of corner cases around logging
6370  * blocks that have been removed from the tree.
6371  *
6372  * See LOG_INODE_ALL and related defines for a description of what inode_only
6373  * does.
6374  *
6375  * This handles both files and directories.
6376  */
6377 static int btrfs_log_inode(struct btrfs_trans_handle *trans,
6378                            struct btrfs_inode *inode,
6379                            int inode_only,
6380                            struct btrfs_log_ctx *ctx)
6381 {
6382         struct btrfs_path *path;
6383         struct btrfs_path *dst_path;
6384         struct btrfs_key min_key;
6385         struct btrfs_key max_key;
6386         struct btrfs_root *log = inode->root->log_root;
6387         int ret;
6388         bool fast_search = false;
6389         u64 ino = btrfs_ino(inode);
6390         struct extent_map_tree *em_tree = &inode->extent_tree;
6391         u64 logged_isize = 0;
6392         bool need_log_inode_item = true;
6393         bool xattrs_logged = false;
6394         bool inode_item_dropped = true;
6395         bool full_dir_logging = false;
6396         LIST_HEAD(delayed_ins_list);
6397         LIST_HEAD(delayed_del_list);
6398
6399         path = btrfs_alloc_path();
6400         if (!path)
6401                 return -ENOMEM;
6402         dst_path = btrfs_alloc_path();
6403         if (!dst_path) {
6404                 btrfs_free_path(path);
6405                 return -ENOMEM;
6406         }
6407
6408         min_key.objectid = ino;
6409         min_key.type = BTRFS_INODE_ITEM_KEY;
6410         min_key.offset = 0;
6411
6412         max_key.objectid = ino;
6413
6414
6415         /* today the code can only do partial logging of directories */
6416         if (S_ISDIR(inode->vfs_inode.i_mode) ||
6417             (!test_bit(BTRFS_INODE_NEEDS_FULL_SYNC,
6418                        &inode->runtime_flags) &&
6419              inode_only >= LOG_INODE_EXISTS))
6420                 max_key.type = BTRFS_XATTR_ITEM_KEY;
6421         else
6422                 max_key.type = (u8)-1;
6423         max_key.offset = (u64)-1;
6424
6425         if (S_ISDIR(inode->vfs_inode.i_mode) && inode_only == LOG_INODE_ALL)
6426                 full_dir_logging = true;
6427
6428         /*
6429          * If we are logging a directory while we are logging dentries of the
6430          * delayed items of some other inode, then we need to flush the delayed
6431          * items of this directory and not log the delayed items directly. This
6432          * is to prevent more than one level of recursion into btrfs_log_inode()
6433          * by having something like this:
6434          *
6435          *     $ mkdir -p a/b/c/d/e/f/g/h/...
6436          *     $ xfs_io -c "fsync" a
6437          *
6438          * Where all directories in the path did not exist before and are
6439          * created in the current transaction.
6440          * So in such a case we directly log the delayed items of the main
6441          * directory ("a") without flushing them first, while for each of its
6442          * subdirectories we flush their delayed items before logging them.
6443          * This prevents a potential unbounded recursion like this:
6444          *
6445          * btrfs_log_inode()
6446          *   log_new_delayed_dentries()
6447          *      btrfs_log_inode()
6448          *        log_new_delayed_dentries()
6449          *          btrfs_log_inode()
6450          *            log_new_delayed_dentries()
6451          *              (...)
6452          *
6453          * We have thresholds for the maximum number of delayed items to have in
6454          * memory, and once they are hit, the items are flushed asynchronously.
6455          * However the limit is quite high, so lets prevent deep levels of
6456          * recursion to happen by limiting the maximum depth to be 1.
6457          */
6458         if (full_dir_logging && ctx->logging_new_delayed_dentries) {
6459                 ret = btrfs_commit_inode_delayed_items(trans, inode);
6460                 if (ret)
6461                         goto out;
6462         }
6463
6464         mutex_lock(&inode->log_mutex);
6465
6466         /*
6467          * For symlinks, we must always log their content, which is stored in an
6468          * inline extent, otherwise we could end up with an empty symlink after
6469          * log replay, which is invalid on linux (symlink(2) returns -ENOENT if
6470          * one attempts to create an empty symlink).
6471          * We don't need to worry about flushing delalloc, because when we create
6472          * the inline extent when the symlink is created (we never have delalloc
6473          * for symlinks).
6474          */
6475         if (S_ISLNK(inode->vfs_inode.i_mode))
6476                 inode_only = LOG_INODE_ALL;
6477
6478         /*
6479          * Before logging the inode item, cache the value returned by
6480          * inode_logged(), because after that we have the need to figure out if
6481          * the inode was previously logged in this transaction.
6482          */
6483         ret = inode_logged(trans, inode, path);
6484         if (ret < 0)
6485                 goto out_unlock;
6486         ctx->logged_before = (ret == 1);
6487         ret = 0;
6488
6489         /*
6490          * This is for cases where logging a directory could result in losing a
6491          * a file after replaying the log. For example, if we move a file from a
6492          * directory A to a directory B, then fsync directory A, we have no way
6493          * to known the file was moved from A to B, so logging just A would
6494          * result in losing the file after a log replay.
6495          */
6496         if (full_dir_logging && inode->last_unlink_trans >= trans->transid) {
6497                 btrfs_set_log_full_commit(trans);
6498                 ret = BTRFS_LOG_FORCE_COMMIT;
6499                 goto out_unlock;
6500         }
6501
6502         /*
6503          * a brute force approach to making sure we get the most uptodate
6504          * copies of everything.
6505          */
6506         if (S_ISDIR(inode->vfs_inode.i_mode)) {
6507                 clear_bit(BTRFS_INODE_COPY_EVERYTHING, &inode->runtime_flags);
6508                 if (ctx->logged_before)
6509                         ret = drop_inode_items(trans, log, path, inode,
6510                                                BTRFS_XATTR_ITEM_KEY);
6511         } else {
6512                 if (inode_only == LOG_INODE_EXISTS && ctx->logged_before) {
6513                         /*
6514                          * Make sure the new inode item we write to the log has
6515                          * the same isize as the current one (if it exists).
6516                          * This is necessary to prevent data loss after log
6517                          * replay, and also to prevent doing a wrong expanding
6518                          * truncate - for e.g. create file, write 4K into offset
6519                          * 0, fsync, write 4K into offset 4096, add hard link,
6520                          * fsync some other file (to sync log), power fail - if
6521                          * we use the inode's current i_size, after log replay
6522                          * we get a 8Kb file, with the last 4Kb extent as a hole
6523                          * (zeroes), as if an expanding truncate happened,
6524                          * instead of getting a file of 4Kb only.
6525                          */
6526                         ret = logged_inode_size(log, inode, path, &logged_isize);
6527                         if (ret)
6528                                 goto out_unlock;
6529                 }
6530                 if (test_bit(BTRFS_INODE_NEEDS_FULL_SYNC,
6531                              &inode->runtime_flags)) {
6532                         if (inode_only == LOG_INODE_EXISTS) {
6533                                 max_key.type = BTRFS_XATTR_ITEM_KEY;
6534                                 if (ctx->logged_before)
6535                                         ret = drop_inode_items(trans, log, path,
6536                                                                inode, max_key.type);
6537                         } else {
6538                                 clear_bit(BTRFS_INODE_NEEDS_FULL_SYNC,
6539                                           &inode->runtime_flags);
6540                                 clear_bit(BTRFS_INODE_COPY_EVERYTHING,
6541                                           &inode->runtime_flags);
6542                                 if (ctx->logged_before)
6543                                         ret = truncate_inode_items(trans, log,
6544                                                                    inode, 0, 0);
6545                         }
6546                 } else if (test_and_clear_bit(BTRFS_INODE_COPY_EVERYTHING,
6547                                               &inode->runtime_flags) ||
6548                            inode_only == LOG_INODE_EXISTS) {
6549                         if (inode_only == LOG_INODE_ALL)
6550                                 fast_search = true;
6551                         max_key.type = BTRFS_XATTR_ITEM_KEY;
6552                         if (ctx->logged_before)
6553                                 ret = drop_inode_items(trans, log, path, inode,
6554                                                        max_key.type);
6555                 } else {
6556                         if (inode_only == LOG_INODE_ALL)
6557                                 fast_search = true;
6558                         inode_item_dropped = false;
6559                         goto log_extents;
6560                 }
6561
6562         }
6563         if (ret)
6564                 goto out_unlock;
6565
6566         /*
6567          * If we are logging a directory in full mode, collect the delayed items
6568          * before iterating the subvolume tree, so that we don't miss any new
6569          * dir index items in case they get flushed while or right after we are
6570          * iterating the subvolume tree.
6571          */
6572         if (full_dir_logging && !ctx->logging_new_delayed_dentries)
6573                 btrfs_log_get_delayed_items(inode, &delayed_ins_list,
6574                                             &delayed_del_list);
6575
6576         ret = copy_inode_items_to_log(trans, inode, &min_key, &max_key,
6577                                       path, dst_path, logged_isize,
6578                                       inode_only, ctx,
6579                                       &need_log_inode_item);
6580         if (ret)
6581                 goto out_unlock;
6582
6583         btrfs_release_path(path);
6584         btrfs_release_path(dst_path);
6585         ret = btrfs_log_all_xattrs(trans, inode, path, dst_path);
6586         if (ret)
6587                 goto out_unlock;
6588         xattrs_logged = true;
6589         if (max_key.type >= BTRFS_EXTENT_DATA_KEY && !fast_search) {
6590                 btrfs_release_path(path);
6591                 btrfs_release_path(dst_path);
6592                 ret = btrfs_log_holes(trans, inode, path);
6593                 if (ret)
6594                         goto out_unlock;
6595         }
6596 log_extents:
6597         btrfs_release_path(path);
6598         btrfs_release_path(dst_path);
6599         if (need_log_inode_item) {
6600                 ret = log_inode_item(trans, log, dst_path, inode, inode_item_dropped);
6601                 if (ret)
6602                         goto out_unlock;
6603                 /*
6604                  * If we are doing a fast fsync and the inode was logged before
6605                  * in this transaction, we don't need to log the xattrs because
6606                  * they were logged before. If xattrs were added, changed or
6607                  * deleted since the last time we logged the inode, then we have
6608                  * already logged them because the inode had the runtime flag
6609                  * BTRFS_INODE_COPY_EVERYTHING set.
6610                  */
6611                 if (!xattrs_logged && inode->logged_trans < trans->transid) {
6612                         ret = btrfs_log_all_xattrs(trans, inode, path, dst_path);
6613                         if (ret)
6614                                 goto out_unlock;
6615                         btrfs_release_path(path);
6616                 }
6617         }
6618         if (fast_search) {
6619                 ret = btrfs_log_changed_extents(trans, inode, dst_path, ctx);
6620                 if (ret)
6621                         goto out_unlock;
6622         } else if (inode_only == LOG_INODE_ALL) {
6623                 struct extent_map *em, *n;
6624
6625                 write_lock(&em_tree->lock);
6626                 list_for_each_entry_safe(em, n, &em_tree->modified_extents, list)
6627                         list_del_init(&em->list);
6628                 write_unlock(&em_tree->lock);
6629         }
6630
6631         if (full_dir_logging) {
6632                 ret = log_directory_changes(trans, inode, path, dst_path, ctx);
6633                 if (ret)
6634                         goto out_unlock;
6635                 ret = log_delayed_insertion_items(trans, inode, path,
6636                                                   &delayed_ins_list, ctx);
6637                 if (ret)
6638                         goto out_unlock;
6639                 ret = log_delayed_deletion_items(trans, inode, path,
6640                                                  &delayed_del_list, ctx);
6641                 if (ret)
6642                         goto out_unlock;
6643         }
6644
6645         spin_lock(&inode->lock);
6646         inode->logged_trans = trans->transid;
6647         /*
6648          * Don't update last_log_commit if we logged that an inode exists.
6649          * We do this for three reasons:
6650          *
6651          * 1) We might have had buffered writes to this inode that were
6652          *    flushed and had their ordered extents completed in this
6653          *    transaction, but we did not previously log the inode with
6654          *    LOG_INODE_ALL. Later the inode was evicted and after that
6655          *    it was loaded again and this LOG_INODE_EXISTS log operation
6656          *    happened. We must make sure that if an explicit fsync against
6657          *    the inode is performed later, it logs the new extents, an
6658          *    updated inode item, etc, and syncs the log. The same logic
6659          *    applies to direct IO writes instead of buffered writes.
6660          *
6661          * 2) When we log the inode with LOG_INODE_EXISTS, its inode item
6662          *    is logged with an i_size of 0 or whatever value was logged
6663          *    before. If later the i_size of the inode is increased by a
6664          *    truncate operation, the log is synced through an fsync of
6665          *    some other inode and then finally an explicit fsync against
6666          *    this inode is made, we must make sure this fsync logs the
6667          *    inode with the new i_size, the hole between old i_size and
6668          *    the new i_size, and syncs the log.
6669          *
6670          * 3) If we are logging that an ancestor inode exists as part of
6671          *    logging a new name from a link or rename operation, don't update
6672          *    its last_log_commit - otherwise if an explicit fsync is made
6673          *    against an ancestor, the fsync considers the inode in the log
6674          *    and doesn't sync the log, resulting in the ancestor missing after
6675          *    a power failure unless the log was synced as part of an fsync
6676          *    against any other unrelated inode.
6677          */
6678         if (inode_only != LOG_INODE_EXISTS)
6679                 inode->last_log_commit = inode->last_sub_trans;
6680         spin_unlock(&inode->lock);
6681
6682         /*
6683          * Reset the last_reflink_trans so that the next fsync does not need to
6684          * go through the slower path when logging extents and their checksums.
6685          */
6686         if (inode_only == LOG_INODE_ALL)
6687                 inode->last_reflink_trans = 0;
6688
6689 out_unlock:
6690         mutex_unlock(&inode->log_mutex);
6691 out:
6692         btrfs_free_path(path);
6693         btrfs_free_path(dst_path);
6694
6695         if (ret)
6696                 free_conflicting_inodes(ctx);
6697         else
6698                 ret = log_conflicting_inodes(trans, inode->root, ctx);
6699
6700         if (full_dir_logging && !ctx->logging_new_delayed_dentries) {
6701                 if (!ret)
6702                         ret = log_new_delayed_dentries(trans, inode,
6703                                                        &delayed_ins_list, ctx);
6704
6705                 btrfs_log_put_delayed_items(inode, &delayed_ins_list,
6706                                             &delayed_del_list);
6707         }
6708
6709         return ret;
6710 }
6711
6712 static int btrfs_log_all_parents(struct btrfs_trans_handle *trans,
6713                                  struct btrfs_inode *inode,
6714                                  struct btrfs_log_ctx *ctx)
6715 {
6716         struct btrfs_fs_info *fs_info = trans->fs_info;
6717         int ret;
6718         struct btrfs_path *path;
6719         struct btrfs_key key;
6720         struct btrfs_root *root = inode->root;
6721         const u64 ino = btrfs_ino(inode);
6722
6723         path = btrfs_alloc_path();
6724         if (!path)
6725                 return -ENOMEM;
6726         path->skip_locking = 1;
6727         path->search_commit_root = 1;
6728
6729         key.objectid = ino;
6730         key.type = BTRFS_INODE_REF_KEY;
6731         key.offset = 0;
6732         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
6733         if (ret < 0)
6734                 goto out;
6735
6736         while (true) {
6737                 struct extent_buffer *leaf = path->nodes[0];
6738                 int slot = path->slots[0];
6739                 u32 cur_offset = 0;
6740                 u32 item_size;
6741                 unsigned long ptr;
6742
6743                 if (slot >= btrfs_header_nritems(leaf)) {
6744                         ret = btrfs_next_leaf(root, path);
6745                         if (ret < 0)
6746                                 goto out;
6747                         else if (ret > 0)
6748                                 break;
6749                         continue;
6750                 }
6751
6752                 btrfs_item_key_to_cpu(leaf, &key, slot);
6753                 /* BTRFS_INODE_EXTREF_KEY is BTRFS_INODE_REF_KEY + 1 */
6754                 if (key.objectid != ino || key.type > BTRFS_INODE_EXTREF_KEY)
6755                         break;
6756
6757                 item_size = btrfs_item_size(leaf, slot);
6758                 ptr = btrfs_item_ptr_offset(leaf, slot);
6759                 while (cur_offset < item_size) {
6760                         struct btrfs_key inode_key;
6761                         struct inode *dir_inode;
6762
6763                         inode_key.type = BTRFS_INODE_ITEM_KEY;
6764                         inode_key.offset = 0;
6765
6766                         if (key.type == BTRFS_INODE_EXTREF_KEY) {
6767                                 struct btrfs_inode_extref *extref;
6768
6769                                 extref = (struct btrfs_inode_extref *)
6770                                         (ptr + cur_offset);
6771                                 inode_key.objectid = btrfs_inode_extref_parent(
6772                                         leaf, extref);
6773                                 cur_offset += sizeof(*extref);
6774                                 cur_offset += btrfs_inode_extref_name_len(leaf,
6775                                         extref);
6776                         } else {
6777                                 inode_key.objectid = key.offset;
6778                                 cur_offset = item_size;
6779                         }
6780
6781                         dir_inode = btrfs_iget(fs_info->sb, inode_key.objectid,
6782                                                root);
6783                         /*
6784                          * If the parent inode was deleted, return an error to
6785                          * fallback to a transaction commit. This is to prevent
6786                          * getting an inode that was moved from one parent A to
6787                          * a parent B, got its former parent A deleted and then
6788                          * it got fsync'ed, from existing at both parents after
6789                          * a log replay (and the old parent still existing).
6790                          * Example:
6791                          *
6792                          * mkdir /mnt/A
6793                          * mkdir /mnt/B
6794                          * touch /mnt/B/bar
6795                          * sync
6796                          * mv /mnt/B/bar /mnt/A/bar
6797                          * mv -T /mnt/A /mnt/B
6798                          * fsync /mnt/B/bar
6799                          * <power fail>
6800                          *
6801                          * If we ignore the old parent B which got deleted,
6802                          * after a log replay we would have file bar linked
6803                          * at both parents and the old parent B would still
6804                          * exist.
6805                          */
6806                         if (IS_ERR(dir_inode)) {
6807                                 ret = PTR_ERR(dir_inode);
6808                                 goto out;
6809                         }
6810
6811                         if (!need_log_inode(trans, BTRFS_I(dir_inode))) {
6812                                 btrfs_add_delayed_iput(dir_inode);
6813                                 continue;
6814                         }
6815
6816                         ctx->log_new_dentries = false;
6817                         ret = btrfs_log_inode(trans, BTRFS_I(dir_inode),
6818                                               LOG_INODE_ALL, ctx);
6819                         if (!ret && ctx->log_new_dentries)
6820                                 ret = log_new_dir_dentries(trans,
6821                                                    BTRFS_I(dir_inode), ctx);
6822                         btrfs_add_delayed_iput(dir_inode);
6823                         if (ret)
6824                                 goto out;
6825                 }
6826                 path->slots[0]++;
6827         }
6828         ret = 0;
6829 out:
6830         btrfs_free_path(path);
6831         return ret;
6832 }
6833
6834 static int log_new_ancestors(struct btrfs_trans_handle *trans,
6835                              struct btrfs_root *root,
6836                              struct btrfs_path *path,
6837                              struct btrfs_log_ctx *ctx)
6838 {
6839         struct btrfs_key found_key;
6840
6841         btrfs_item_key_to_cpu(path->nodes[0], &found_key, path->slots[0]);
6842
6843         while (true) {
6844                 struct btrfs_fs_info *fs_info = root->fs_info;
6845                 struct extent_buffer *leaf = path->nodes[0];
6846                 int slot = path->slots[0];
6847                 struct btrfs_key search_key;
6848                 struct inode *inode;
6849                 u64 ino;
6850                 int ret = 0;
6851
6852                 btrfs_release_path(path);
6853
6854                 ino = found_key.offset;
6855
6856                 search_key.objectid = found_key.offset;
6857                 search_key.type = BTRFS_INODE_ITEM_KEY;
6858                 search_key.offset = 0;
6859                 inode = btrfs_iget(fs_info->sb, ino, root);
6860                 if (IS_ERR(inode))
6861                         return PTR_ERR(inode);
6862
6863                 if (BTRFS_I(inode)->generation >= trans->transid &&
6864                     need_log_inode(trans, BTRFS_I(inode)))
6865                         ret = btrfs_log_inode(trans, BTRFS_I(inode),
6866                                               LOG_INODE_EXISTS, ctx);
6867                 btrfs_add_delayed_iput(inode);
6868                 if (ret)
6869                         return ret;
6870
6871                 if (search_key.objectid == BTRFS_FIRST_FREE_OBJECTID)
6872                         break;
6873
6874                 search_key.type = BTRFS_INODE_REF_KEY;
6875                 ret = btrfs_search_slot(NULL, root, &search_key, path, 0, 0);
6876                 if (ret < 0)
6877                         return ret;
6878
6879                 leaf = path->nodes[0];
6880                 slot = path->slots[0];
6881                 if (slot >= btrfs_header_nritems(leaf)) {
6882                         ret = btrfs_next_leaf(root, path);
6883                         if (ret < 0)
6884                                 return ret;
6885                         else if (ret > 0)
6886                                 return -ENOENT;
6887                         leaf = path->nodes[0];
6888                         slot = path->slots[0];
6889                 }
6890
6891                 btrfs_item_key_to_cpu(leaf, &found_key, slot);
6892                 if (found_key.objectid != search_key.objectid ||
6893                     found_key.type != BTRFS_INODE_REF_KEY)
6894                         return -ENOENT;
6895         }
6896         return 0;
6897 }
6898
6899 static int log_new_ancestors_fast(struct btrfs_trans_handle *trans,
6900                                   struct btrfs_inode *inode,
6901                                   struct dentry *parent,
6902                                   struct btrfs_log_ctx *ctx)
6903 {
6904         struct btrfs_root *root = inode->root;
6905         struct dentry *old_parent = NULL;
6906         struct super_block *sb = inode->vfs_inode.i_sb;
6907         int ret = 0;
6908
6909         while (true) {
6910                 if (!parent || d_really_is_negative(parent) ||
6911                     sb != parent->d_sb)
6912                         break;
6913
6914                 inode = BTRFS_I(d_inode(parent));
6915                 if (root != inode->root)
6916                         break;
6917
6918                 if (inode->generation >= trans->transid &&
6919                     need_log_inode(trans, inode)) {
6920                         ret = btrfs_log_inode(trans, inode,
6921                                               LOG_INODE_EXISTS, ctx);
6922                         if (ret)
6923                                 break;
6924                 }
6925                 if (IS_ROOT(parent))
6926                         break;
6927
6928                 parent = dget_parent(parent);
6929                 dput(old_parent);
6930                 old_parent = parent;
6931         }
6932         dput(old_parent);
6933
6934         return ret;
6935 }
6936
6937 static int log_all_new_ancestors(struct btrfs_trans_handle *trans,
6938                                  struct btrfs_inode *inode,
6939                                  struct dentry *parent,
6940                                  struct btrfs_log_ctx *ctx)
6941 {
6942         struct btrfs_root *root = inode->root;
6943         const u64 ino = btrfs_ino(inode);
6944         struct btrfs_path *path;
6945         struct btrfs_key search_key;
6946         int ret;
6947
6948         /*
6949          * For a single hard link case, go through a fast path that does not
6950          * need to iterate the fs/subvolume tree.
6951          */
6952         if (inode->vfs_inode.i_nlink < 2)
6953                 return log_new_ancestors_fast(trans, inode, parent, ctx);
6954
6955         path = btrfs_alloc_path();
6956         if (!path)
6957                 return -ENOMEM;
6958
6959         search_key.objectid = ino;
6960         search_key.type = BTRFS_INODE_REF_KEY;
6961         search_key.offset = 0;
6962 again:
6963         ret = btrfs_search_slot(NULL, root, &search_key, path, 0, 0);
6964         if (ret < 0)
6965                 goto out;
6966         if (ret == 0)
6967                 path->slots[0]++;
6968
6969         while (true) {
6970                 struct extent_buffer *leaf = path->nodes[0];
6971                 int slot = path->slots[0];
6972                 struct btrfs_key found_key;
6973
6974                 if (slot >= btrfs_header_nritems(leaf)) {
6975                         ret = btrfs_next_leaf(root, path);
6976                         if (ret < 0)
6977                                 goto out;
6978                         else if (ret > 0)
6979                                 break;
6980                         continue;
6981                 }
6982
6983                 btrfs_item_key_to_cpu(leaf, &found_key, slot);
6984                 if (found_key.objectid != ino ||
6985                     found_key.type > BTRFS_INODE_EXTREF_KEY)
6986                         break;
6987
6988                 /*
6989                  * Don't deal with extended references because they are rare
6990                  * cases and too complex to deal with (we would need to keep
6991                  * track of which subitem we are processing for each item in
6992                  * this loop, etc). So just return some error to fallback to
6993                  * a transaction commit.
6994                  */
6995                 if (found_key.type == BTRFS_INODE_EXTREF_KEY) {
6996                         ret = -EMLINK;
6997                         goto out;
6998                 }
6999
7000                 /*
7001                  * Logging ancestors needs to do more searches on the fs/subvol
7002                  * tree, so it releases the path as needed to avoid deadlocks.
7003                  * Keep track of the last inode ref key and resume from that key
7004                  * after logging all new ancestors for the current hard link.
7005                  */
7006                 memcpy(&search_key, &found_key, sizeof(search_key));
7007
7008                 ret = log_new_ancestors(trans, root, path, ctx);
7009                 if (ret)
7010                         goto out;
7011                 btrfs_release_path(path);
7012                 goto again;
7013         }
7014         ret = 0;
7015 out:
7016         btrfs_free_path(path);
7017         return ret;
7018 }
7019
7020 /*
7021  * helper function around btrfs_log_inode to make sure newly created
7022  * parent directories also end up in the log.  A minimal inode and backref
7023  * only logging is done of any parent directories that are older than
7024  * the last committed transaction
7025  */
7026 static int btrfs_log_inode_parent(struct btrfs_trans_handle *trans,
7027                                   struct btrfs_inode *inode,
7028                                   struct dentry *parent,
7029                                   int inode_only,
7030                                   struct btrfs_log_ctx *ctx)
7031 {
7032         struct btrfs_root *root = inode->root;
7033         struct btrfs_fs_info *fs_info = root->fs_info;
7034         int ret = 0;
7035         bool log_dentries = false;
7036
7037         if (btrfs_test_opt(fs_info, NOTREELOG)) {
7038                 ret = BTRFS_LOG_FORCE_COMMIT;
7039                 goto end_no_trans;
7040         }
7041
7042         if (btrfs_root_refs(&root->root_item) == 0) {
7043                 ret = BTRFS_LOG_FORCE_COMMIT;
7044                 goto end_no_trans;
7045         }
7046
7047         /*
7048          * Skip already logged inodes or inodes corresponding to tmpfiles
7049          * (since logging them is pointless, a link count of 0 means they
7050          * will never be accessible).
7051          */
7052         if ((btrfs_inode_in_log(inode, trans->transid) &&
7053              list_empty(&ctx->ordered_extents)) ||
7054             inode->vfs_inode.i_nlink == 0) {
7055                 ret = BTRFS_NO_LOG_SYNC;
7056                 goto end_no_trans;
7057         }
7058
7059         ret = start_log_trans(trans, root, ctx);
7060         if (ret)
7061                 goto end_no_trans;
7062
7063         ret = btrfs_log_inode(trans, inode, inode_only, ctx);
7064         if (ret)
7065                 goto end_trans;
7066
7067         /*
7068          * for regular files, if its inode is already on disk, we don't
7069          * have to worry about the parents at all.  This is because
7070          * we can use the last_unlink_trans field to record renames
7071          * and other fun in this file.
7072          */
7073         if (S_ISREG(inode->vfs_inode.i_mode) &&
7074             inode->generation < trans->transid &&
7075             inode->last_unlink_trans < trans->transid) {
7076                 ret = 0;
7077                 goto end_trans;
7078         }
7079
7080         if (S_ISDIR(inode->vfs_inode.i_mode) && ctx->log_new_dentries)
7081                 log_dentries = true;
7082
7083         /*
7084          * On unlink we must make sure all our current and old parent directory
7085          * inodes are fully logged. This is to prevent leaving dangling
7086          * directory index entries in directories that were our parents but are
7087          * not anymore. Not doing this results in old parent directory being
7088          * impossible to delete after log replay (rmdir will always fail with
7089          * error -ENOTEMPTY).
7090          *
7091          * Example 1:
7092          *
7093          * mkdir testdir
7094          * touch testdir/foo
7095          * ln testdir/foo testdir/bar
7096          * sync
7097          * unlink testdir/bar
7098          * xfs_io -c fsync testdir/foo
7099          * <power failure>
7100          * mount fs, triggers log replay
7101          *
7102          * If we don't log the parent directory (testdir), after log replay the
7103          * directory still has an entry pointing to the file inode using the bar
7104          * name, but a matching BTRFS_INODE_[REF|EXTREF]_KEY does not exist and
7105          * the file inode has a link count of 1.
7106          *
7107          * Example 2:
7108          *
7109          * mkdir testdir
7110          * touch foo
7111          * ln foo testdir/foo2
7112          * ln foo testdir/foo3
7113          * sync
7114          * unlink testdir/foo3
7115          * xfs_io -c fsync foo
7116          * <power failure>
7117          * mount fs, triggers log replay
7118          *
7119          * Similar as the first example, after log replay the parent directory
7120          * testdir still has an entry pointing to the inode file with name foo3
7121          * but the file inode does not have a matching BTRFS_INODE_REF_KEY item
7122          * and has a link count of 2.
7123          */
7124         if (inode->last_unlink_trans >= trans->transid) {
7125                 ret = btrfs_log_all_parents(trans, inode, ctx);
7126                 if (ret)
7127                         goto end_trans;
7128         }
7129
7130         ret = log_all_new_ancestors(trans, inode, parent, ctx);
7131         if (ret)
7132                 goto end_trans;
7133
7134         if (log_dentries)
7135                 ret = log_new_dir_dentries(trans, inode, ctx);
7136         else
7137                 ret = 0;
7138 end_trans:
7139         if (ret < 0) {
7140                 btrfs_set_log_full_commit(trans);
7141                 ret = BTRFS_LOG_FORCE_COMMIT;
7142         }
7143
7144         if (ret)
7145                 btrfs_remove_log_ctx(root, ctx);
7146         btrfs_end_log_trans(root);
7147 end_no_trans:
7148         return ret;
7149 }
7150
7151 /*
7152  * it is not safe to log dentry if the chunk root has added new
7153  * chunks.  This returns 0 if the dentry was logged, and 1 otherwise.
7154  * If this returns 1, you must commit the transaction to safely get your
7155  * data on disk.
7156  */
7157 int btrfs_log_dentry_safe(struct btrfs_trans_handle *trans,
7158                           struct dentry *dentry,
7159                           struct btrfs_log_ctx *ctx)
7160 {
7161         struct dentry *parent = dget_parent(dentry);
7162         int ret;
7163
7164         ret = btrfs_log_inode_parent(trans, BTRFS_I(d_inode(dentry)), parent,
7165                                      LOG_INODE_ALL, ctx);
7166         dput(parent);
7167
7168         return ret;
7169 }
7170
7171 /*
7172  * should be called during mount to recover any replay any log trees
7173  * from the FS
7174  */
7175 int btrfs_recover_log_trees(struct btrfs_root *log_root_tree)
7176 {
7177         int ret;
7178         struct btrfs_path *path;
7179         struct btrfs_trans_handle *trans;
7180         struct btrfs_key key;
7181         struct btrfs_key found_key;
7182         struct btrfs_root *log;
7183         struct btrfs_fs_info *fs_info = log_root_tree->fs_info;
7184         struct walk_control wc = {
7185                 .process_func = process_one_buffer,
7186                 .stage = LOG_WALK_PIN_ONLY,
7187         };
7188
7189         path = btrfs_alloc_path();
7190         if (!path)
7191                 return -ENOMEM;
7192
7193         set_bit(BTRFS_FS_LOG_RECOVERING, &fs_info->flags);
7194
7195         trans = btrfs_start_transaction(fs_info->tree_root, 0);
7196         if (IS_ERR(trans)) {
7197                 ret = PTR_ERR(trans);
7198                 goto error;
7199         }
7200
7201         wc.trans = trans;
7202         wc.pin = 1;
7203
7204         ret = walk_log_tree(trans, log_root_tree, &wc);
7205         if (ret) {
7206                 btrfs_abort_transaction(trans, ret);
7207                 goto error;
7208         }
7209
7210 again:
7211         key.objectid = BTRFS_TREE_LOG_OBJECTID;
7212         key.offset = (u64)-1;
7213         key.type = BTRFS_ROOT_ITEM_KEY;
7214
7215         while (1) {
7216                 ret = btrfs_search_slot(NULL, log_root_tree, &key, path, 0, 0);
7217
7218                 if (ret < 0) {
7219                         btrfs_abort_transaction(trans, ret);
7220                         goto error;
7221                 }
7222                 if (ret > 0) {
7223                         if (path->slots[0] == 0)
7224                                 break;
7225                         path->slots[0]--;
7226                 }
7227                 btrfs_item_key_to_cpu(path->nodes[0], &found_key,
7228                                       path->slots[0]);
7229                 btrfs_release_path(path);
7230                 if (found_key.objectid != BTRFS_TREE_LOG_OBJECTID)
7231                         break;
7232
7233                 log = btrfs_read_tree_root(log_root_tree, &found_key);
7234                 if (IS_ERR(log)) {
7235                         ret = PTR_ERR(log);
7236                         btrfs_abort_transaction(trans, ret);
7237                         goto error;
7238                 }
7239
7240                 wc.replay_dest = btrfs_get_fs_root(fs_info, found_key.offset,
7241                                                    true);
7242                 if (IS_ERR(wc.replay_dest)) {
7243                         ret = PTR_ERR(wc.replay_dest);
7244
7245                         /*
7246                          * We didn't find the subvol, likely because it was
7247                          * deleted.  This is ok, simply skip this log and go to
7248                          * the next one.
7249                          *
7250                          * We need to exclude the root because we can't have
7251                          * other log replays overwriting this log as we'll read
7252                          * it back in a few more times.  This will keep our
7253                          * block from being modified, and we'll just bail for
7254                          * each subsequent pass.
7255                          */
7256                         if (ret == -ENOENT)
7257                                 ret = btrfs_pin_extent_for_log_replay(trans,
7258                                                         log->node->start,
7259                                                         log->node->len);
7260                         btrfs_put_root(log);
7261
7262                         if (!ret)
7263                                 goto next;
7264                         btrfs_abort_transaction(trans, ret);
7265                         goto error;
7266                 }
7267
7268                 wc.replay_dest->log_root = log;
7269                 ret = btrfs_record_root_in_trans(trans, wc.replay_dest);
7270                 if (ret)
7271                         /* The loop needs to continue due to the root refs */
7272                         btrfs_abort_transaction(trans, ret);
7273                 else
7274                         ret = walk_log_tree(trans, log, &wc);
7275
7276                 if (!ret && wc.stage == LOG_WALK_REPLAY_ALL) {
7277                         ret = fixup_inode_link_counts(trans, wc.replay_dest,
7278                                                       path);
7279                         if (ret)
7280                                 btrfs_abort_transaction(trans, ret);
7281                 }
7282
7283                 if (!ret && wc.stage == LOG_WALK_REPLAY_ALL) {
7284                         struct btrfs_root *root = wc.replay_dest;
7285
7286                         btrfs_release_path(path);
7287
7288                         /*
7289                          * We have just replayed everything, and the highest
7290                          * objectid of fs roots probably has changed in case
7291                          * some inode_item's got replayed.
7292                          *
7293                          * root->objectid_mutex is not acquired as log replay
7294                          * could only happen during mount.
7295                          */
7296                         ret = btrfs_init_root_free_objectid(root);
7297                         if (ret)
7298                                 btrfs_abort_transaction(trans, ret);
7299                 }
7300
7301                 wc.replay_dest->log_root = NULL;
7302                 btrfs_put_root(wc.replay_dest);
7303                 btrfs_put_root(log);
7304
7305                 if (ret)
7306                         goto error;
7307 next:
7308                 if (found_key.offset == 0)
7309                         break;
7310                 key.offset = found_key.offset - 1;
7311         }
7312         btrfs_release_path(path);
7313
7314         /* step one is to pin it all, step two is to replay just inodes */
7315         if (wc.pin) {
7316                 wc.pin = 0;
7317                 wc.process_func = replay_one_buffer;
7318                 wc.stage = LOG_WALK_REPLAY_INODES;
7319                 goto again;
7320         }
7321         /* step three is to replay everything */
7322         if (wc.stage < LOG_WALK_REPLAY_ALL) {
7323                 wc.stage++;
7324                 goto again;
7325         }
7326
7327         btrfs_free_path(path);
7328
7329         /* step 4: commit the transaction, which also unpins the blocks */
7330         ret = btrfs_commit_transaction(trans);
7331         if (ret)
7332                 return ret;
7333
7334         log_root_tree->log_root = NULL;
7335         clear_bit(BTRFS_FS_LOG_RECOVERING, &fs_info->flags);
7336         btrfs_put_root(log_root_tree);
7337
7338         return 0;
7339 error:
7340         if (wc.trans)
7341                 btrfs_end_transaction(wc.trans);
7342         clear_bit(BTRFS_FS_LOG_RECOVERING, &fs_info->flags);
7343         btrfs_free_path(path);
7344         return ret;
7345 }
7346
7347 /*
7348  * there are some corner cases where we want to force a full
7349  * commit instead of allowing a directory to be logged.
7350  *
7351  * They revolve around files there were unlinked from the directory, and
7352  * this function updates the parent directory so that a full commit is
7353  * properly done if it is fsync'd later after the unlinks are done.
7354  *
7355  * Must be called before the unlink operations (updates to the subvolume tree,
7356  * inodes, etc) are done.
7357  */
7358 void btrfs_record_unlink_dir(struct btrfs_trans_handle *trans,
7359                              struct btrfs_inode *dir, struct btrfs_inode *inode,
7360                              int for_rename)
7361 {
7362         /*
7363          * when we're logging a file, if it hasn't been renamed
7364          * or unlinked, and its inode is fully committed on disk,
7365          * we don't have to worry about walking up the directory chain
7366          * to log its parents.
7367          *
7368          * So, we use the last_unlink_trans field to put this transid
7369          * into the file.  When the file is logged we check it and
7370          * don't log the parents if the file is fully on disk.
7371          */
7372         mutex_lock(&inode->log_mutex);
7373         inode->last_unlink_trans = trans->transid;
7374         mutex_unlock(&inode->log_mutex);
7375
7376         /*
7377          * if this directory was already logged any new
7378          * names for this file/dir will get recorded
7379          */
7380         if (dir->logged_trans == trans->transid)
7381                 return;
7382
7383         /*
7384          * if the inode we're about to unlink was logged,
7385          * the log will be properly updated for any new names
7386          */
7387         if (inode->logged_trans == trans->transid)
7388                 return;
7389
7390         /*
7391          * when renaming files across directories, if the directory
7392          * there we're unlinking from gets fsync'd later on, there's
7393          * no way to find the destination directory later and fsync it
7394          * properly.  So, we have to be conservative and force commits
7395          * so the new name gets discovered.
7396          */
7397         if (for_rename)
7398                 goto record;
7399
7400         /* we can safely do the unlink without any special recording */
7401         return;
7402
7403 record:
7404         mutex_lock(&dir->log_mutex);
7405         dir->last_unlink_trans = trans->transid;
7406         mutex_unlock(&dir->log_mutex);
7407 }
7408
7409 /*
7410  * Make sure that if someone attempts to fsync the parent directory of a deleted
7411  * snapshot, it ends up triggering a transaction commit. This is to guarantee
7412  * that after replaying the log tree of the parent directory's root we will not
7413  * see the snapshot anymore and at log replay time we will not see any log tree
7414  * corresponding to the deleted snapshot's root, which could lead to replaying
7415  * it after replaying the log tree of the parent directory (which would replay
7416  * the snapshot delete operation).
7417  *
7418  * Must be called before the actual snapshot destroy operation (updates to the
7419  * parent root and tree of tree roots trees, etc) are done.
7420  */
7421 void btrfs_record_snapshot_destroy(struct btrfs_trans_handle *trans,
7422                                    struct btrfs_inode *dir)
7423 {
7424         mutex_lock(&dir->log_mutex);
7425         dir->last_unlink_trans = trans->transid;
7426         mutex_unlock(&dir->log_mutex);
7427 }
7428
7429 /**
7430  * Update the log after adding a new name for an inode.
7431  *
7432  * @trans:              Transaction handle.
7433  * @old_dentry:         The dentry associated with the old name and the old
7434  *                      parent directory.
7435  * @old_dir:            The inode of the previous parent directory for the case
7436  *                      of a rename. For a link operation, it must be NULL.
7437  * @old_dir_index:      The index number associated with the old name, meaningful
7438  *                      only for rename operations (when @old_dir is not NULL).
7439  *                      Ignored for link operations.
7440  * @parent:             The dentry associated with the directory under which the
7441  *                      new name is located.
7442  *
7443  * Call this after adding a new name for an inode, as a result of a link or
7444  * rename operation, and it will properly update the log to reflect the new name.
7445  */
7446 void btrfs_log_new_name(struct btrfs_trans_handle *trans,
7447                         struct dentry *old_dentry, struct btrfs_inode *old_dir,
7448                         u64 old_dir_index, struct dentry *parent)
7449 {
7450         struct btrfs_inode *inode = BTRFS_I(d_inode(old_dentry));
7451         struct btrfs_root *root = inode->root;
7452         struct btrfs_log_ctx ctx;
7453         bool log_pinned = false;
7454         int ret;
7455
7456         /*
7457          * this will force the logging code to walk the dentry chain
7458          * up for the file
7459          */
7460         if (!S_ISDIR(inode->vfs_inode.i_mode))
7461                 inode->last_unlink_trans = trans->transid;
7462
7463         /*
7464          * if this inode hasn't been logged and directory we're renaming it
7465          * from hasn't been logged, we don't need to log it
7466          */
7467         ret = inode_logged(trans, inode, NULL);
7468         if (ret < 0) {
7469                 goto out;
7470         } else if (ret == 0) {
7471                 if (!old_dir)
7472                         return;
7473                 /*
7474                  * If the inode was not logged and we are doing a rename (old_dir is not
7475                  * NULL), check if old_dir was logged - if it was not we can return and
7476                  * do nothing.
7477                  */
7478                 ret = inode_logged(trans, old_dir, NULL);
7479                 if (ret < 0)
7480                         goto out;
7481                 else if (ret == 0)
7482                         return;
7483         }
7484         ret = 0;
7485
7486         /*
7487          * If we are doing a rename (old_dir is not NULL) from a directory that
7488          * was previously logged, make sure that on log replay we get the old
7489          * dir entry deleted. This is needed because we will also log the new
7490          * name of the renamed inode, so we need to make sure that after log
7491          * replay we don't end up with both the new and old dir entries existing.
7492          */
7493         if (old_dir && old_dir->logged_trans == trans->transid) {
7494                 struct btrfs_root *log = old_dir->root->log_root;
7495                 struct btrfs_path *path;
7496
7497                 ASSERT(old_dir_index >= BTRFS_DIR_START_INDEX);
7498
7499                 /*
7500                  * We have two inodes to update in the log, the old directory and
7501                  * the inode that got renamed, so we must pin the log to prevent
7502                  * anyone from syncing the log until we have updated both inodes
7503                  * in the log.
7504                  */
7505                 ret = join_running_log_trans(root);
7506                 /*
7507                  * At least one of the inodes was logged before, so this should
7508                  * not fail, but if it does, it's not serious, just bail out and
7509                  * mark the log for a full commit.
7510                  */
7511                 if (WARN_ON_ONCE(ret < 0))
7512                         goto out;
7513                 log_pinned = true;
7514
7515                 path = btrfs_alloc_path();
7516                 if (!path) {
7517                         ret = -ENOMEM;
7518                         goto out;
7519                 }
7520
7521                 /*
7522                  * Other concurrent task might be logging the old directory,
7523                  * as it can be triggered when logging other inode that had or
7524                  * still has a dentry in the old directory. We lock the old
7525                  * directory's log_mutex to ensure the deletion of the old
7526                  * name is persisted, because during directory logging we
7527                  * delete all BTRFS_DIR_LOG_INDEX_KEY keys and the deletion of
7528                  * the old name's dir index item is in the delayed items, so
7529                  * it could be missed by an in progress directory logging.
7530                  */
7531                 mutex_lock(&old_dir->log_mutex);
7532                 ret = del_logged_dentry(trans, log, path, btrfs_ino(old_dir),
7533                                         old_dentry->d_name.name,
7534                                         old_dentry->d_name.len, old_dir_index);
7535                 if (ret > 0) {
7536                         /*
7537                          * The dentry does not exist in the log, so record its
7538                          * deletion.
7539                          */
7540                         btrfs_release_path(path);
7541                         ret = insert_dir_log_key(trans, log, path,
7542                                                  btrfs_ino(old_dir),
7543                                                  old_dir_index, old_dir_index);
7544                 }
7545                 mutex_unlock(&old_dir->log_mutex);
7546
7547                 btrfs_free_path(path);
7548                 if (ret < 0)
7549                         goto out;
7550         }
7551
7552         btrfs_init_log_ctx(&ctx, &inode->vfs_inode);
7553         ctx.logging_new_name = true;
7554         /*
7555          * We don't care about the return value. If we fail to log the new name
7556          * then we know the next attempt to sync the log will fallback to a full
7557          * transaction commit (due to a call to btrfs_set_log_full_commit()), so
7558          * we don't need to worry about getting a log committed that has an
7559          * inconsistent state after a rename operation.
7560          */
7561         btrfs_log_inode_parent(trans, inode, parent, LOG_INODE_EXISTS, &ctx);
7562         ASSERT(list_empty(&ctx.conflict_inodes));
7563 out:
7564         /*
7565          * If an error happened mark the log for a full commit because it's not
7566          * consistent and up to date or we couldn't find out if one of the
7567          * inodes was logged before in this transaction. Do it before unpinning
7568          * the log, to avoid any races with someone else trying to commit it.
7569          */
7570         if (ret < 0)
7571                 btrfs_set_log_full_commit(trans);
7572         if (log_pinned)
7573                 btrfs_end_log_trans(root);
7574 }
7575