btrfs: fix warning during log replay when bumping inode link count
[platform/kernel/linux-rpi.git] / fs / btrfs / tree-log.c
1 // SPDX-License-Identifier: GPL-2.0
2 /*
3  * Copyright (C) 2008 Oracle.  All rights reserved.
4  */
5
6 #include <linux/sched.h>
7 #include <linux/slab.h>
8 #include <linux/blkdev.h>
9 #include <linux/list_sort.h>
10 #include <linux/iversion.h>
11 #include "misc.h"
12 #include "ctree.h"
13 #include "tree-log.h"
14 #include "disk-io.h"
15 #include "locking.h"
16 #include "print-tree.h"
17 #include "backref.h"
18 #include "compression.h"
19 #include "qgroup.h"
20 #include "block-group.h"
21 #include "space-info.h"
22 #include "zoned.h"
23
24 /* magic values for the inode_only field in btrfs_log_inode:
25  *
26  * LOG_INODE_ALL means to log everything
27  * LOG_INODE_EXISTS means to log just enough to recreate the inode
28  * during log replay
29  */
30 enum {
31         LOG_INODE_ALL,
32         LOG_INODE_EXISTS,
33         LOG_OTHER_INODE,
34         LOG_OTHER_INODE_ALL,
35 };
36
37 /*
38  * directory trouble cases
39  *
40  * 1) on rename or unlink, if the inode being unlinked isn't in the fsync
41  * log, we must force a full commit before doing an fsync of the directory
42  * where the unlink was done.
43  * ---> record transid of last unlink/rename per directory
44  *
45  * mkdir foo/some_dir
46  * normal commit
47  * rename foo/some_dir foo2/some_dir
48  * mkdir foo/some_dir
49  * fsync foo/some_dir/some_file
50  *
51  * The fsync above will unlink the original some_dir without recording
52  * it in its new location (foo2).  After a crash, some_dir will be gone
53  * unless the fsync of some_file forces a full commit
54  *
55  * 2) we must log any new names for any file or dir that is in the fsync
56  * log. ---> check inode while renaming/linking.
57  *
58  * 2a) we must log any new names for any file or dir during rename
59  * when the directory they are being removed from was logged.
60  * ---> check inode and old parent dir during rename
61  *
62  *  2a is actually the more important variant.  With the extra logging
63  *  a crash might unlink the old name without recreating the new one
64  *
65  * 3) after a crash, we must go through any directories with a link count
66  * of zero and redo the rm -rf
67  *
68  * mkdir f1/foo
69  * normal commit
70  * rm -rf f1/foo
71  * fsync(f1)
72  *
73  * The directory f1 was fully removed from the FS, but fsync was never
74  * called on f1, only its parent dir.  After a crash the rm -rf must
75  * be replayed.  This must be able to recurse down the entire
76  * directory tree.  The inode link count fixup code takes care of the
77  * ugly details.
78  */
79
80 /*
81  * stages for the tree walking.  The first
82  * stage (0) is to only pin down the blocks we find
83  * the second stage (1) is to make sure that all the inodes
84  * we find in the log are created in the subvolume.
85  *
86  * The last stage is to deal with directories and links and extents
87  * and all the other fun semantics
88  */
89 enum {
90         LOG_WALK_PIN_ONLY,
91         LOG_WALK_REPLAY_INODES,
92         LOG_WALK_REPLAY_DIR_INDEX,
93         LOG_WALK_REPLAY_ALL,
94 };
95
96 static int btrfs_log_inode(struct btrfs_trans_handle *trans,
97                            struct btrfs_root *root, struct btrfs_inode *inode,
98                            int inode_only,
99                            struct btrfs_log_ctx *ctx);
100 static int link_to_fixup_dir(struct btrfs_trans_handle *trans,
101                              struct btrfs_root *root,
102                              struct btrfs_path *path, u64 objectid);
103 static noinline int replay_dir_deletes(struct btrfs_trans_handle *trans,
104                                        struct btrfs_root *root,
105                                        struct btrfs_root *log,
106                                        struct btrfs_path *path,
107                                        u64 dirid, int del_all);
108 static void wait_log_commit(struct btrfs_root *root, int transid);
109
110 /*
111  * tree logging is a special write ahead log used to make sure that
112  * fsyncs and O_SYNCs can happen without doing full tree commits.
113  *
114  * Full tree commits are expensive because they require commonly
115  * modified blocks to be recowed, creating many dirty pages in the
116  * extent tree an 4x-6x higher write load than ext3.
117  *
118  * Instead of doing a tree commit on every fsync, we use the
119  * key ranges and transaction ids to find items for a given file or directory
120  * that have changed in this transaction.  Those items are copied into
121  * a special tree (one per subvolume root), that tree is written to disk
122  * and then the fsync is considered complete.
123  *
124  * After a crash, items are copied out of the log-tree back into the
125  * subvolume tree.  Any file data extents found are recorded in the extent
126  * allocation tree, and the log-tree freed.
127  *
128  * The log tree is read three times, once to pin down all the extents it is
129  * using in ram and once, once to create all the inodes logged in the tree
130  * and once to do all the other items.
131  */
132
133 /*
134  * start a sub transaction and setup the log tree
135  * this increments the log tree writer count to make the people
136  * syncing the tree wait for us to finish
137  */
138 static int start_log_trans(struct btrfs_trans_handle *trans,
139                            struct btrfs_root *root,
140                            struct btrfs_log_ctx *ctx)
141 {
142         struct btrfs_fs_info *fs_info = root->fs_info;
143         struct btrfs_root *tree_root = fs_info->tree_root;
144         const bool zoned = btrfs_is_zoned(fs_info);
145         int ret = 0;
146         bool created = false;
147
148         /*
149          * First check if the log root tree was already created. If not, create
150          * it before locking the root's log_mutex, just to keep lockdep happy.
151          */
152         if (!test_bit(BTRFS_ROOT_HAS_LOG_TREE, &tree_root->state)) {
153                 mutex_lock(&tree_root->log_mutex);
154                 if (!fs_info->log_root_tree) {
155                         ret = btrfs_init_log_root_tree(trans, fs_info);
156                         if (!ret) {
157                                 set_bit(BTRFS_ROOT_HAS_LOG_TREE, &tree_root->state);
158                                 created = true;
159                         }
160                 }
161                 mutex_unlock(&tree_root->log_mutex);
162                 if (ret)
163                         return ret;
164         }
165
166         mutex_lock(&root->log_mutex);
167
168 again:
169         if (root->log_root) {
170                 int index = (root->log_transid + 1) % 2;
171
172                 if (btrfs_need_log_full_commit(trans)) {
173                         ret = -EAGAIN;
174                         goto out;
175                 }
176
177                 if (zoned && atomic_read(&root->log_commit[index])) {
178                         wait_log_commit(root, root->log_transid - 1);
179                         goto again;
180                 }
181
182                 if (!root->log_start_pid) {
183                         clear_bit(BTRFS_ROOT_MULTI_LOG_TASKS, &root->state);
184                         root->log_start_pid = current->pid;
185                 } else if (root->log_start_pid != current->pid) {
186                         set_bit(BTRFS_ROOT_MULTI_LOG_TASKS, &root->state);
187                 }
188         } else {
189                 /*
190                  * This means fs_info->log_root_tree was already created
191                  * for some other FS trees. Do the full commit not to mix
192                  * nodes from multiple log transactions to do sequential
193                  * writing.
194                  */
195                 if (zoned && !created) {
196                         ret = -EAGAIN;
197                         goto out;
198                 }
199
200                 ret = btrfs_add_log_tree(trans, root);
201                 if (ret)
202                         goto out;
203
204                 set_bit(BTRFS_ROOT_HAS_LOG_TREE, &root->state);
205                 clear_bit(BTRFS_ROOT_MULTI_LOG_TASKS, &root->state);
206                 root->log_start_pid = current->pid;
207         }
208
209         atomic_inc(&root->log_writers);
210         if (ctx && !ctx->logging_new_name) {
211                 int index = root->log_transid % 2;
212                 list_add_tail(&ctx->list, &root->log_ctxs[index]);
213                 ctx->log_transid = root->log_transid;
214         }
215
216 out:
217         mutex_unlock(&root->log_mutex);
218         return ret;
219 }
220
221 /*
222  * returns 0 if there was a log transaction running and we were able
223  * to join, or returns -ENOENT if there were not transactions
224  * in progress
225  */
226 static int join_running_log_trans(struct btrfs_root *root)
227 {
228         const bool zoned = btrfs_is_zoned(root->fs_info);
229         int ret = -ENOENT;
230
231         if (!test_bit(BTRFS_ROOT_HAS_LOG_TREE, &root->state))
232                 return ret;
233
234         mutex_lock(&root->log_mutex);
235 again:
236         if (root->log_root) {
237                 int index = (root->log_transid + 1) % 2;
238
239                 ret = 0;
240                 if (zoned && atomic_read(&root->log_commit[index])) {
241                         wait_log_commit(root, root->log_transid - 1);
242                         goto again;
243                 }
244                 atomic_inc(&root->log_writers);
245         }
246         mutex_unlock(&root->log_mutex);
247         return ret;
248 }
249
250 /*
251  * This either makes the current running log transaction wait
252  * until you call btrfs_end_log_trans() or it makes any future
253  * log transactions wait until you call btrfs_end_log_trans()
254  */
255 void btrfs_pin_log_trans(struct btrfs_root *root)
256 {
257         atomic_inc(&root->log_writers);
258 }
259
260 /*
261  * indicate we're done making changes to the log tree
262  * and wake up anyone waiting to do a sync
263  */
264 void btrfs_end_log_trans(struct btrfs_root *root)
265 {
266         if (atomic_dec_and_test(&root->log_writers)) {
267                 /* atomic_dec_and_test implies a barrier */
268                 cond_wake_up_nomb(&root->log_writer_wait);
269         }
270 }
271
272 static int btrfs_write_tree_block(struct extent_buffer *buf)
273 {
274         return filemap_fdatawrite_range(buf->pages[0]->mapping, buf->start,
275                                         buf->start + buf->len - 1);
276 }
277
278 static void btrfs_wait_tree_block_writeback(struct extent_buffer *buf)
279 {
280         filemap_fdatawait_range(buf->pages[0]->mapping,
281                                 buf->start, buf->start + buf->len - 1);
282 }
283
284 /*
285  * the walk control struct is used to pass state down the chain when
286  * processing the log tree.  The stage field tells us which part
287  * of the log tree processing we are currently doing.  The others
288  * are state fields used for that specific part
289  */
290 struct walk_control {
291         /* should we free the extent on disk when done?  This is used
292          * at transaction commit time while freeing a log tree
293          */
294         int free;
295
296         /* should we write out the extent buffer?  This is used
297          * while flushing the log tree to disk during a sync
298          */
299         int write;
300
301         /* should we wait for the extent buffer io to finish?  Also used
302          * while flushing the log tree to disk for a sync
303          */
304         int wait;
305
306         /* pin only walk, we record which extents on disk belong to the
307          * log trees
308          */
309         int pin;
310
311         /* what stage of the replay code we're currently in */
312         int stage;
313
314         /*
315          * Ignore any items from the inode currently being processed. Needs
316          * to be set every time we find a BTRFS_INODE_ITEM_KEY and we are in
317          * the LOG_WALK_REPLAY_INODES stage.
318          */
319         bool ignore_cur_inode;
320
321         /* the root we are currently replaying */
322         struct btrfs_root *replay_dest;
323
324         /* the trans handle for the current replay */
325         struct btrfs_trans_handle *trans;
326
327         /* the function that gets used to process blocks we find in the
328          * tree.  Note the extent_buffer might not be up to date when it is
329          * passed in, and it must be checked or read if you need the data
330          * inside it
331          */
332         int (*process_func)(struct btrfs_root *log, struct extent_buffer *eb,
333                             struct walk_control *wc, u64 gen, int level);
334 };
335
336 /*
337  * process_func used to pin down extents, write them or wait on them
338  */
339 static int process_one_buffer(struct btrfs_root *log,
340                               struct extent_buffer *eb,
341                               struct walk_control *wc, u64 gen, int level)
342 {
343         struct btrfs_fs_info *fs_info = log->fs_info;
344         int ret = 0;
345
346         /*
347          * If this fs is mixed then we need to be able to process the leaves to
348          * pin down any logged extents, so we have to read the block.
349          */
350         if (btrfs_fs_incompat(fs_info, MIXED_GROUPS)) {
351                 ret = btrfs_read_buffer(eb, gen, level, NULL);
352                 if (ret)
353                         return ret;
354         }
355
356         if (wc->pin)
357                 ret = btrfs_pin_extent_for_log_replay(wc->trans, eb->start,
358                                                       eb->len);
359
360         if (!ret && btrfs_buffer_uptodate(eb, gen, 0)) {
361                 if (wc->pin && btrfs_header_level(eb) == 0)
362                         ret = btrfs_exclude_logged_extents(eb);
363                 if (wc->write)
364                         btrfs_write_tree_block(eb);
365                 if (wc->wait)
366                         btrfs_wait_tree_block_writeback(eb);
367         }
368         return ret;
369 }
370
371 /*
372  * Item overwrite used by replay and tree logging.  eb, slot and key all refer
373  * to the src data we are copying out.
374  *
375  * root is the tree we are copying into, and path is a scratch
376  * path for use in this function (it should be released on entry and
377  * will be released on exit).
378  *
379  * If the key is already in the destination tree the existing item is
380  * overwritten.  If the existing item isn't big enough, it is extended.
381  * If it is too large, it is truncated.
382  *
383  * If the key isn't in the destination yet, a new item is inserted.
384  */
385 static noinline int overwrite_item(struct btrfs_trans_handle *trans,
386                                    struct btrfs_root *root,
387                                    struct btrfs_path *path,
388                                    struct extent_buffer *eb, int slot,
389                                    struct btrfs_key *key)
390 {
391         int ret;
392         u32 item_size;
393         u64 saved_i_size = 0;
394         int save_old_i_size = 0;
395         unsigned long src_ptr;
396         unsigned long dst_ptr;
397         int overwrite_root = 0;
398         bool inode_item = key->type == BTRFS_INODE_ITEM_KEY;
399
400         if (root->root_key.objectid != BTRFS_TREE_LOG_OBJECTID)
401                 overwrite_root = 1;
402
403         item_size = btrfs_item_size_nr(eb, slot);
404         src_ptr = btrfs_item_ptr_offset(eb, slot);
405
406         /* look for the key in the destination tree */
407         ret = btrfs_search_slot(NULL, root, key, path, 0, 0);
408         if (ret < 0)
409                 return ret;
410
411         if (ret == 0) {
412                 char *src_copy;
413                 char *dst_copy;
414                 u32 dst_size = btrfs_item_size_nr(path->nodes[0],
415                                                   path->slots[0]);
416                 if (dst_size != item_size)
417                         goto insert;
418
419                 if (item_size == 0) {
420                         btrfs_release_path(path);
421                         return 0;
422                 }
423                 dst_copy = kmalloc(item_size, GFP_NOFS);
424                 src_copy = kmalloc(item_size, GFP_NOFS);
425                 if (!dst_copy || !src_copy) {
426                         btrfs_release_path(path);
427                         kfree(dst_copy);
428                         kfree(src_copy);
429                         return -ENOMEM;
430                 }
431
432                 read_extent_buffer(eb, src_copy, src_ptr, item_size);
433
434                 dst_ptr = btrfs_item_ptr_offset(path->nodes[0], path->slots[0]);
435                 read_extent_buffer(path->nodes[0], dst_copy, dst_ptr,
436                                    item_size);
437                 ret = memcmp(dst_copy, src_copy, item_size);
438
439                 kfree(dst_copy);
440                 kfree(src_copy);
441                 /*
442                  * they have the same contents, just return, this saves
443                  * us from cowing blocks in the destination tree and doing
444                  * extra writes that may not have been done by a previous
445                  * sync
446                  */
447                 if (ret == 0) {
448                         btrfs_release_path(path);
449                         return 0;
450                 }
451
452                 /*
453                  * We need to load the old nbytes into the inode so when we
454                  * replay the extents we've logged we get the right nbytes.
455                  */
456                 if (inode_item) {
457                         struct btrfs_inode_item *item;
458                         u64 nbytes;
459                         u32 mode;
460
461                         item = btrfs_item_ptr(path->nodes[0], path->slots[0],
462                                               struct btrfs_inode_item);
463                         nbytes = btrfs_inode_nbytes(path->nodes[0], item);
464                         item = btrfs_item_ptr(eb, slot,
465                                               struct btrfs_inode_item);
466                         btrfs_set_inode_nbytes(eb, item, nbytes);
467
468                         /*
469                          * If this is a directory we need to reset the i_size to
470                          * 0 so that we can set it up properly when replaying
471                          * the rest of the items in this log.
472                          */
473                         mode = btrfs_inode_mode(eb, item);
474                         if (S_ISDIR(mode))
475                                 btrfs_set_inode_size(eb, item, 0);
476                 }
477         } else if (inode_item) {
478                 struct btrfs_inode_item *item;
479                 u32 mode;
480
481                 /*
482                  * New inode, set nbytes to 0 so that the nbytes comes out
483                  * properly when we replay the extents.
484                  */
485                 item = btrfs_item_ptr(eb, slot, struct btrfs_inode_item);
486                 btrfs_set_inode_nbytes(eb, item, 0);
487
488                 /*
489                  * If this is a directory we need to reset the i_size to 0 so
490                  * that we can set it up properly when replaying the rest of
491                  * the items in this log.
492                  */
493                 mode = btrfs_inode_mode(eb, item);
494                 if (S_ISDIR(mode))
495                         btrfs_set_inode_size(eb, item, 0);
496         }
497 insert:
498         btrfs_release_path(path);
499         /* try to insert the key into the destination tree */
500         path->skip_release_on_error = 1;
501         ret = btrfs_insert_empty_item(trans, root, path,
502                                       key, item_size);
503         path->skip_release_on_error = 0;
504
505         /* make sure any existing item is the correct size */
506         if (ret == -EEXIST || ret == -EOVERFLOW) {
507                 u32 found_size;
508                 found_size = btrfs_item_size_nr(path->nodes[0],
509                                                 path->slots[0]);
510                 if (found_size > item_size)
511                         btrfs_truncate_item(path, item_size, 1);
512                 else if (found_size < item_size)
513                         btrfs_extend_item(path, item_size - found_size);
514         } else if (ret) {
515                 return ret;
516         }
517         dst_ptr = btrfs_item_ptr_offset(path->nodes[0],
518                                         path->slots[0]);
519
520         /* don't overwrite an existing inode if the generation number
521          * was logged as zero.  This is done when the tree logging code
522          * is just logging an inode to make sure it exists after recovery.
523          *
524          * Also, don't overwrite i_size on directories during replay.
525          * log replay inserts and removes directory items based on the
526          * state of the tree found in the subvolume, and i_size is modified
527          * as it goes
528          */
529         if (key->type == BTRFS_INODE_ITEM_KEY && ret == -EEXIST) {
530                 struct btrfs_inode_item *src_item;
531                 struct btrfs_inode_item *dst_item;
532
533                 src_item = (struct btrfs_inode_item *)src_ptr;
534                 dst_item = (struct btrfs_inode_item *)dst_ptr;
535
536                 if (btrfs_inode_generation(eb, src_item) == 0) {
537                         struct extent_buffer *dst_eb = path->nodes[0];
538                         const u64 ino_size = btrfs_inode_size(eb, src_item);
539
540                         /*
541                          * For regular files an ino_size == 0 is used only when
542                          * logging that an inode exists, as part of a directory
543                          * fsync, and the inode wasn't fsynced before. In this
544                          * case don't set the size of the inode in the fs/subvol
545                          * tree, otherwise we would be throwing valid data away.
546                          */
547                         if (S_ISREG(btrfs_inode_mode(eb, src_item)) &&
548                             S_ISREG(btrfs_inode_mode(dst_eb, dst_item)) &&
549                             ino_size != 0)
550                                 btrfs_set_inode_size(dst_eb, dst_item, ino_size);
551                         goto no_copy;
552                 }
553
554                 if (overwrite_root &&
555                     S_ISDIR(btrfs_inode_mode(eb, src_item)) &&
556                     S_ISDIR(btrfs_inode_mode(path->nodes[0], dst_item))) {
557                         save_old_i_size = 1;
558                         saved_i_size = btrfs_inode_size(path->nodes[0],
559                                                         dst_item);
560                 }
561         }
562
563         copy_extent_buffer(path->nodes[0], eb, dst_ptr,
564                            src_ptr, item_size);
565
566         if (save_old_i_size) {
567                 struct btrfs_inode_item *dst_item;
568                 dst_item = (struct btrfs_inode_item *)dst_ptr;
569                 btrfs_set_inode_size(path->nodes[0], dst_item, saved_i_size);
570         }
571
572         /* make sure the generation is filled in */
573         if (key->type == BTRFS_INODE_ITEM_KEY) {
574                 struct btrfs_inode_item *dst_item;
575                 dst_item = (struct btrfs_inode_item *)dst_ptr;
576                 if (btrfs_inode_generation(path->nodes[0], dst_item) == 0) {
577                         btrfs_set_inode_generation(path->nodes[0], dst_item,
578                                                    trans->transid);
579                 }
580         }
581 no_copy:
582         btrfs_mark_buffer_dirty(path->nodes[0]);
583         btrfs_release_path(path);
584         return 0;
585 }
586
587 /*
588  * simple helper to read an inode off the disk from a given root
589  * This can only be called for subvolume roots and not for the log
590  */
591 static noinline struct inode *read_one_inode(struct btrfs_root *root,
592                                              u64 objectid)
593 {
594         struct inode *inode;
595
596         inode = btrfs_iget(root->fs_info->sb, objectid, root);
597         if (IS_ERR(inode))
598                 inode = NULL;
599         return inode;
600 }
601
602 /* replays a single extent in 'eb' at 'slot' with 'key' into the
603  * subvolume 'root'.  path is released on entry and should be released
604  * on exit.
605  *
606  * extents in the log tree have not been allocated out of the extent
607  * tree yet.  So, this completes the allocation, taking a reference
608  * as required if the extent already exists or creating a new extent
609  * if it isn't in the extent allocation tree yet.
610  *
611  * The extent is inserted into the file, dropping any existing extents
612  * from the file that overlap the new one.
613  */
614 static noinline int replay_one_extent(struct btrfs_trans_handle *trans,
615                                       struct btrfs_root *root,
616                                       struct btrfs_path *path,
617                                       struct extent_buffer *eb, int slot,
618                                       struct btrfs_key *key)
619 {
620         struct btrfs_drop_extents_args drop_args = { 0 };
621         struct btrfs_fs_info *fs_info = root->fs_info;
622         int found_type;
623         u64 extent_end;
624         u64 start = key->offset;
625         u64 nbytes = 0;
626         struct btrfs_file_extent_item *item;
627         struct inode *inode = NULL;
628         unsigned long size;
629         int ret = 0;
630
631         item = btrfs_item_ptr(eb, slot, struct btrfs_file_extent_item);
632         found_type = btrfs_file_extent_type(eb, item);
633
634         if (found_type == BTRFS_FILE_EXTENT_REG ||
635             found_type == BTRFS_FILE_EXTENT_PREALLOC) {
636                 nbytes = btrfs_file_extent_num_bytes(eb, item);
637                 extent_end = start + nbytes;
638
639                 /*
640                  * We don't add to the inodes nbytes if we are prealloc or a
641                  * hole.
642                  */
643                 if (btrfs_file_extent_disk_bytenr(eb, item) == 0)
644                         nbytes = 0;
645         } else if (found_type == BTRFS_FILE_EXTENT_INLINE) {
646                 size = btrfs_file_extent_ram_bytes(eb, item);
647                 nbytes = btrfs_file_extent_ram_bytes(eb, item);
648                 extent_end = ALIGN(start + size,
649                                    fs_info->sectorsize);
650         } else {
651                 ret = 0;
652                 goto out;
653         }
654
655         inode = read_one_inode(root, key->objectid);
656         if (!inode) {
657                 ret = -EIO;
658                 goto out;
659         }
660
661         /*
662          * first check to see if we already have this extent in the
663          * file.  This must be done before the btrfs_drop_extents run
664          * so we don't try to drop this extent.
665          */
666         ret = btrfs_lookup_file_extent(trans, root, path,
667                         btrfs_ino(BTRFS_I(inode)), start, 0);
668
669         if (ret == 0 &&
670             (found_type == BTRFS_FILE_EXTENT_REG ||
671              found_type == BTRFS_FILE_EXTENT_PREALLOC)) {
672                 struct btrfs_file_extent_item cmp1;
673                 struct btrfs_file_extent_item cmp2;
674                 struct btrfs_file_extent_item *existing;
675                 struct extent_buffer *leaf;
676
677                 leaf = path->nodes[0];
678                 existing = btrfs_item_ptr(leaf, path->slots[0],
679                                           struct btrfs_file_extent_item);
680
681                 read_extent_buffer(eb, &cmp1, (unsigned long)item,
682                                    sizeof(cmp1));
683                 read_extent_buffer(leaf, &cmp2, (unsigned long)existing,
684                                    sizeof(cmp2));
685
686                 /*
687                  * we already have a pointer to this exact extent,
688                  * we don't have to do anything
689                  */
690                 if (memcmp(&cmp1, &cmp2, sizeof(cmp1)) == 0) {
691                         btrfs_release_path(path);
692                         goto out;
693                 }
694         }
695         btrfs_release_path(path);
696
697         /* drop any overlapping extents */
698         drop_args.start = start;
699         drop_args.end = extent_end;
700         drop_args.drop_cache = true;
701         ret = btrfs_drop_extents(trans, root, BTRFS_I(inode), &drop_args);
702         if (ret)
703                 goto out;
704
705         if (found_type == BTRFS_FILE_EXTENT_REG ||
706             found_type == BTRFS_FILE_EXTENT_PREALLOC) {
707                 u64 offset;
708                 unsigned long dest_offset;
709                 struct btrfs_key ins;
710
711                 if (btrfs_file_extent_disk_bytenr(eb, item) == 0 &&
712                     btrfs_fs_incompat(fs_info, NO_HOLES))
713                         goto update_inode;
714
715                 ret = btrfs_insert_empty_item(trans, root, path, key,
716                                               sizeof(*item));
717                 if (ret)
718                         goto out;
719                 dest_offset = btrfs_item_ptr_offset(path->nodes[0],
720                                                     path->slots[0]);
721                 copy_extent_buffer(path->nodes[0], eb, dest_offset,
722                                 (unsigned long)item,  sizeof(*item));
723
724                 ins.objectid = btrfs_file_extent_disk_bytenr(eb, item);
725                 ins.offset = btrfs_file_extent_disk_num_bytes(eb, item);
726                 ins.type = BTRFS_EXTENT_ITEM_KEY;
727                 offset = key->offset - btrfs_file_extent_offset(eb, item);
728
729                 /*
730                  * Manually record dirty extent, as here we did a shallow
731                  * file extent item copy and skip normal backref update,
732                  * but modifying extent tree all by ourselves.
733                  * So need to manually record dirty extent for qgroup,
734                  * as the owner of the file extent changed from log tree
735                  * (doesn't affect qgroup) to fs/file tree(affects qgroup)
736                  */
737                 ret = btrfs_qgroup_trace_extent(trans,
738                                 btrfs_file_extent_disk_bytenr(eb, item),
739                                 btrfs_file_extent_disk_num_bytes(eb, item),
740                                 GFP_NOFS);
741                 if (ret < 0)
742                         goto out;
743
744                 if (ins.objectid > 0) {
745                         struct btrfs_ref ref = { 0 };
746                         u64 csum_start;
747                         u64 csum_end;
748                         LIST_HEAD(ordered_sums);
749
750                         /*
751                          * is this extent already allocated in the extent
752                          * allocation tree?  If so, just add a reference
753                          */
754                         ret = btrfs_lookup_data_extent(fs_info, ins.objectid,
755                                                 ins.offset);
756                         if (ret < 0) {
757                                 goto out;
758                         } else if (ret == 0) {
759                                 btrfs_init_generic_ref(&ref,
760                                                 BTRFS_ADD_DELAYED_REF,
761                                                 ins.objectid, ins.offset, 0);
762                                 btrfs_init_data_ref(&ref,
763                                                 root->root_key.objectid,
764                                                 key->objectid, offset, 0, false);
765                                 ret = btrfs_inc_extent_ref(trans, &ref);
766                                 if (ret)
767                                         goto out;
768                         } else {
769                                 /*
770                                  * insert the extent pointer in the extent
771                                  * allocation tree
772                                  */
773                                 ret = btrfs_alloc_logged_file_extent(trans,
774                                                 root->root_key.objectid,
775                                                 key->objectid, offset, &ins);
776                                 if (ret)
777                                         goto out;
778                         }
779                         btrfs_release_path(path);
780
781                         if (btrfs_file_extent_compression(eb, item)) {
782                                 csum_start = ins.objectid;
783                                 csum_end = csum_start + ins.offset;
784                         } else {
785                                 csum_start = ins.objectid +
786                                         btrfs_file_extent_offset(eb, item);
787                                 csum_end = csum_start +
788                                         btrfs_file_extent_num_bytes(eb, item);
789                         }
790
791                         ret = btrfs_lookup_csums_range(root->log_root,
792                                                 csum_start, csum_end - 1,
793                                                 &ordered_sums, 0);
794                         if (ret)
795                                 goto out;
796                         /*
797                          * Now delete all existing cums in the csum root that
798                          * cover our range. We do this because we can have an
799                          * extent that is completely referenced by one file
800                          * extent item and partially referenced by another
801                          * file extent item (like after using the clone or
802                          * extent_same ioctls). In this case if we end up doing
803                          * the replay of the one that partially references the
804                          * extent first, and we do not do the csum deletion
805                          * below, we can get 2 csum items in the csum tree that
806                          * overlap each other. For example, imagine our log has
807                          * the two following file extent items:
808                          *
809                          * key (257 EXTENT_DATA 409600)
810                          *     extent data disk byte 12845056 nr 102400
811                          *     extent data offset 20480 nr 20480 ram 102400
812                          *
813                          * key (257 EXTENT_DATA 819200)
814                          *     extent data disk byte 12845056 nr 102400
815                          *     extent data offset 0 nr 102400 ram 102400
816                          *
817                          * Where the second one fully references the 100K extent
818                          * that starts at disk byte 12845056, and the log tree
819                          * has a single csum item that covers the entire range
820                          * of the extent:
821                          *
822                          * key (EXTENT_CSUM EXTENT_CSUM 12845056) itemsize 100
823                          *
824                          * After the first file extent item is replayed, the
825                          * csum tree gets the following csum item:
826                          *
827                          * key (EXTENT_CSUM EXTENT_CSUM 12865536) itemsize 20
828                          *
829                          * Which covers the 20K sub-range starting at offset 20K
830                          * of our extent. Now when we replay the second file
831                          * extent item, if we do not delete existing csum items
832                          * that cover any of its blocks, we end up getting two
833                          * csum items in our csum tree that overlap each other:
834                          *
835                          * key (EXTENT_CSUM EXTENT_CSUM 12845056) itemsize 100
836                          * key (EXTENT_CSUM EXTENT_CSUM 12865536) itemsize 20
837                          *
838                          * Which is a problem, because after this anyone trying
839                          * to lookup up for the checksum of any block of our
840                          * extent starting at an offset of 40K or higher, will
841                          * end up looking at the second csum item only, which
842                          * does not contain the checksum for any block starting
843                          * at offset 40K or higher of our extent.
844                          */
845                         while (!list_empty(&ordered_sums)) {
846                                 struct btrfs_ordered_sum *sums;
847                                 sums = list_entry(ordered_sums.next,
848                                                 struct btrfs_ordered_sum,
849                                                 list);
850                                 if (!ret)
851                                         ret = btrfs_del_csums(trans,
852                                                               fs_info->csum_root,
853                                                               sums->bytenr,
854                                                               sums->len);
855                                 if (!ret)
856                                         ret = btrfs_csum_file_blocks(trans,
857                                                 fs_info->csum_root, sums);
858                                 list_del(&sums->list);
859                                 kfree(sums);
860                         }
861                         if (ret)
862                                 goto out;
863                 } else {
864                         btrfs_release_path(path);
865                 }
866         } else if (found_type == BTRFS_FILE_EXTENT_INLINE) {
867                 /* inline extents are easy, we just overwrite them */
868                 ret = overwrite_item(trans, root, path, eb, slot, key);
869                 if (ret)
870                         goto out;
871         }
872
873         ret = btrfs_inode_set_file_extent_range(BTRFS_I(inode), start,
874                                                 extent_end - start);
875         if (ret)
876                 goto out;
877
878 update_inode:
879         btrfs_update_inode_bytes(BTRFS_I(inode), nbytes, drop_args.bytes_found);
880         ret = btrfs_update_inode(trans, root, BTRFS_I(inode));
881 out:
882         if (inode)
883                 iput(inode);
884         return ret;
885 }
886
887 static int unlink_inode_for_log_replay(struct btrfs_trans_handle *trans,
888                                        struct btrfs_inode *dir,
889                                        struct btrfs_inode *inode,
890                                        const char *name,
891                                        int name_len)
892 {
893         int ret;
894
895         ret = btrfs_unlink_inode(trans, dir, inode, name, name_len);
896         if (ret)
897                 return ret;
898         /*
899          * Whenever we need to check if a name exists or not, we check the
900          * fs/subvolume tree. So after an unlink we must run delayed items, so
901          * that future checks for a name during log replay see that the name
902          * does not exists anymore.
903          */
904         return btrfs_run_delayed_items(trans);
905 }
906
907 /*
908  * when cleaning up conflicts between the directory names in the
909  * subvolume, directory names in the log and directory names in the
910  * inode back references, we may have to unlink inodes from directories.
911  *
912  * This is a helper function to do the unlink of a specific directory
913  * item
914  */
915 static noinline int drop_one_dir_item(struct btrfs_trans_handle *trans,
916                                       struct btrfs_root *root,
917                                       struct btrfs_path *path,
918                                       struct btrfs_inode *dir,
919                                       struct btrfs_dir_item *di)
920 {
921         struct inode *inode;
922         char *name;
923         int name_len;
924         struct extent_buffer *leaf;
925         struct btrfs_key location;
926         int ret;
927
928         leaf = path->nodes[0];
929
930         btrfs_dir_item_key_to_cpu(leaf, di, &location);
931         name_len = btrfs_dir_name_len(leaf, di);
932         name = kmalloc(name_len, GFP_NOFS);
933         if (!name)
934                 return -ENOMEM;
935
936         read_extent_buffer(leaf, name, (unsigned long)(di + 1), name_len);
937         btrfs_release_path(path);
938
939         inode = read_one_inode(root, location.objectid);
940         if (!inode) {
941                 ret = -EIO;
942                 goto out;
943         }
944
945         ret = link_to_fixup_dir(trans, root, path, location.objectid);
946         if (ret)
947                 goto out;
948
949         ret = unlink_inode_for_log_replay(trans, dir, BTRFS_I(inode), name,
950                         name_len);
951 out:
952         kfree(name);
953         iput(inode);
954         return ret;
955 }
956
957 /*
958  * See if a given name and sequence number found in an inode back reference are
959  * already in a directory and correctly point to this inode.
960  *
961  * Returns: < 0 on error, 0 if the directory entry does not exists and 1 if it
962  * exists.
963  */
964 static noinline int inode_in_dir(struct btrfs_root *root,
965                                  struct btrfs_path *path,
966                                  u64 dirid, u64 objectid, u64 index,
967                                  const char *name, int name_len)
968 {
969         struct btrfs_dir_item *di;
970         struct btrfs_key location;
971         int ret = 0;
972
973         di = btrfs_lookup_dir_index_item(NULL, root, path, dirid,
974                                          index, name, name_len, 0);
975         if (IS_ERR(di)) {
976                 ret = PTR_ERR(di);
977                 goto out;
978         } else if (di) {
979                 btrfs_dir_item_key_to_cpu(path->nodes[0], di, &location);
980                 if (location.objectid != objectid)
981                         goto out;
982         } else {
983                 goto out;
984         }
985
986         btrfs_release_path(path);
987         di = btrfs_lookup_dir_item(NULL, root, path, dirid, name, name_len, 0);
988         if (IS_ERR(di)) {
989                 ret = PTR_ERR(di);
990                 goto out;
991         } else if (di) {
992                 btrfs_dir_item_key_to_cpu(path->nodes[0], di, &location);
993                 if (location.objectid == objectid)
994                         ret = 1;
995         }
996 out:
997         btrfs_release_path(path);
998         return ret;
999 }
1000
1001 /*
1002  * helper function to check a log tree for a named back reference in
1003  * an inode.  This is used to decide if a back reference that is
1004  * found in the subvolume conflicts with what we find in the log.
1005  *
1006  * inode backreferences may have multiple refs in a single item,
1007  * during replay we process one reference at a time, and we don't
1008  * want to delete valid links to a file from the subvolume if that
1009  * link is also in the log.
1010  */
1011 static noinline int backref_in_log(struct btrfs_root *log,
1012                                    struct btrfs_key *key,
1013                                    u64 ref_objectid,
1014                                    const char *name, int namelen)
1015 {
1016         struct btrfs_path *path;
1017         int ret;
1018
1019         path = btrfs_alloc_path();
1020         if (!path)
1021                 return -ENOMEM;
1022
1023         ret = btrfs_search_slot(NULL, log, key, path, 0, 0);
1024         if (ret < 0) {
1025                 goto out;
1026         } else if (ret == 1) {
1027                 ret = 0;
1028                 goto out;
1029         }
1030
1031         if (key->type == BTRFS_INODE_EXTREF_KEY)
1032                 ret = !!btrfs_find_name_in_ext_backref(path->nodes[0],
1033                                                        path->slots[0],
1034                                                        ref_objectid,
1035                                                        name, namelen);
1036         else
1037                 ret = !!btrfs_find_name_in_backref(path->nodes[0],
1038                                                    path->slots[0],
1039                                                    name, namelen);
1040 out:
1041         btrfs_free_path(path);
1042         return ret;
1043 }
1044
1045 static inline int __add_inode_ref(struct btrfs_trans_handle *trans,
1046                                   struct btrfs_root *root,
1047                                   struct btrfs_path *path,
1048                                   struct btrfs_root *log_root,
1049                                   struct btrfs_inode *dir,
1050                                   struct btrfs_inode *inode,
1051                                   u64 inode_objectid, u64 parent_objectid,
1052                                   u64 ref_index, char *name, int namelen,
1053                                   int *search_done)
1054 {
1055         int ret;
1056         char *victim_name;
1057         int victim_name_len;
1058         struct extent_buffer *leaf;
1059         struct btrfs_dir_item *di;
1060         struct btrfs_key search_key;
1061         struct btrfs_inode_extref *extref;
1062
1063 again:
1064         /* Search old style refs */
1065         search_key.objectid = inode_objectid;
1066         search_key.type = BTRFS_INODE_REF_KEY;
1067         search_key.offset = parent_objectid;
1068         ret = btrfs_search_slot(NULL, root, &search_key, path, 0, 0);
1069         if (ret == 0) {
1070                 struct btrfs_inode_ref *victim_ref;
1071                 unsigned long ptr;
1072                 unsigned long ptr_end;
1073
1074                 leaf = path->nodes[0];
1075
1076                 /* are we trying to overwrite a back ref for the root directory
1077                  * if so, just jump out, we're done
1078                  */
1079                 if (search_key.objectid == search_key.offset)
1080                         return 1;
1081
1082                 /* check all the names in this back reference to see
1083                  * if they are in the log.  if so, we allow them to stay
1084                  * otherwise they must be unlinked as a conflict
1085                  */
1086                 ptr = btrfs_item_ptr_offset(leaf, path->slots[0]);
1087                 ptr_end = ptr + btrfs_item_size_nr(leaf, path->slots[0]);
1088                 while (ptr < ptr_end) {
1089                         victim_ref = (struct btrfs_inode_ref *)ptr;
1090                         victim_name_len = btrfs_inode_ref_name_len(leaf,
1091                                                                    victim_ref);
1092                         victim_name = kmalloc(victim_name_len, GFP_NOFS);
1093                         if (!victim_name)
1094                                 return -ENOMEM;
1095
1096                         read_extent_buffer(leaf, victim_name,
1097                                            (unsigned long)(victim_ref + 1),
1098                                            victim_name_len);
1099
1100                         ret = backref_in_log(log_root, &search_key,
1101                                              parent_objectid, victim_name,
1102                                              victim_name_len);
1103                         if (ret < 0) {
1104                                 kfree(victim_name);
1105                                 return ret;
1106                         } else if (!ret) {
1107                                 inc_nlink(&inode->vfs_inode);
1108                                 btrfs_release_path(path);
1109
1110                                 ret = unlink_inode_for_log_replay(trans, dir, inode,
1111                                                 victim_name, victim_name_len);
1112                                 kfree(victim_name);
1113                                 if (ret)
1114                                         return ret;
1115                                 *search_done = 1;
1116                                 goto again;
1117                         }
1118                         kfree(victim_name);
1119
1120                         ptr = (unsigned long)(victim_ref + 1) + victim_name_len;
1121                 }
1122
1123                 /*
1124                  * NOTE: we have searched root tree and checked the
1125                  * corresponding ref, it does not need to check again.
1126                  */
1127                 *search_done = 1;
1128         }
1129         btrfs_release_path(path);
1130
1131         /* Same search but for extended refs */
1132         extref = btrfs_lookup_inode_extref(NULL, root, path, name, namelen,
1133                                            inode_objectid, parent_objectid, 0,
1134                                            0);
1135         if (IS_ERR(extref)) {
1136                 return PTR_ERR(extref);
1137         } else if (extref) {
1138                 u32 item_size;
1139                 u32 cur_offset = 0;
1140                 unsigned long base;
1141                 struct inode *victim_parent;
1142
1143                 leaf = path->nodes[0];
1144
1145                 item_size = btrfs_item_size_nr(leaf, path->slots[0]);
1146                 base = btrfs_item_ptr_offset(leaf, path->slots[0]);
1147
1148                 while (cur_offset < item_size) {
1149                         extref = (struct btrfs_inode_extref *)(base + cur_offset);
1150
1151                         victim_name_len = btrfs_inode_extref_name_len(leaf, extref);
1152
1153                         if (btrfs_inode_extref_parent(leaf, extref) != parent_objectid)
1154                                 goto next;
1155
1156                         victim_name = kmalloc(victim_name_len, GFP_NOFS);
1157                         if (!victim_name)
1158                                 return -ENOMEM;
1159                         read_extent_buffer(leaf, victim_name, (unsigned long)&extref->name,
1160                                            victim_name_len);
1161
1162                         search_key.objectid = inode_objectid;
1163                         search_key.type = BTRFS_INODE_EXTREF_KEY;
1164                         search_key.offset = btrfs_extref_hash(parent_objectid,
1165                                                               victim_name,
1166                                                               victim_name_len);
1167                         ret = backref_in_log(log_root, &search_key,
1168                                              parent_objectid, victim_name,
1169                                              victim_name_len);
1170                         if (ret < 0) {
1171                                 kfree(victim_name);
1172                                 return ret;
1173                         } else if (!ret) {
1174                                 ret = -ENOENT;
1175                                 victim_parent = read_one_inode(root,
1176                                                 parent_objectid);
1177                                 if (victim_parent) {
1178                                         inc_nlink(&inode->vfs_inode);
1179                                         btrfs_release_path(path);
1180
1181                                         ret = unlink_inode_for_log_replay(trans,
1182                                                         BTRFS_I(victim_parent),
1183                                                         inode,
1184                                                         victim_name,
1185                                                         victim_name_len);
1186                                 }
1187                                 iput(victim_parent);
1188                                 kfree(victim_name);
1189                                 if (ret)
1190                                         return ret;
1191                                 *search_done = 1;
1192                                 goto again;
1193                         }
1194                         kfree(victim_name);
1195 next:
1196                         cur_offset += victim_name_len + sizeof(*extref);
1197                 }
1198                 *search_done = 1;
1199         }
1200         btrfs_release_path(path);
1201
1202         /* look for a conflicting sequence number */
1203         di = btrfs_lookup_dir_index_item(trans, root, path, btrfs_ino(dir),
1204                                          ref_index, name, namelen, 0);
1205         if (IS_ERR(di)) {
1206                 return PTR_ERR(di);
1207         } else if (di) {
1208                 ret = drop_one_dir_item(trans, root, path, dir, di);
1209                 if (ret)
1210                         return ret;
1211         }
1212         btrfs_release_path(path);
1213
1214         /* look for a conflicting name */
1215         di = btrfs_lookup_dir_item(trans, root, path, btrfs_ino(dir),
1216                                    name, namelen, 0);
1217         if (IS_ERR(di)) {
1218                 return PTR_ERR(di);
1219         } else if (di) {
1220                 ret = drop_one_dir_item(trans, root, path, dir, di);
1221                 if (ret)
1222                         return ret;
1223         }
1224         btrfs_release_path(path);
1225
1226         return 0;
1227 }
1228
1229 static int extref_get_fields(struct extent_buffer *eb, unsigned long ref_ptr,
1230                              u32 *namelen, char **name, u64 *index,
1231                              u64 *parent_objectid)
1232 {
1233         struct btrfs_inode_extref *extref;
1234
1235         extref = (struct btrfs_inode_extref *)ref_ptr;
1236
1237         *namelen = btrfs_inode_extref_name_len(eb, extref);
1238         *name = kmalloc(*namelen, GFP_NOFS);
1239         if (*name == NULL)
1240                 return -ENOMEM;
1241
1242         read_extent_buffer(eb, *name, (unsigned long)&extref->name,
1243                            *namelen);
1244
1245         if (index)
1246                 *index = btrfs_inode_extref_index(eb, extref);
1247         if (parent_objectid)
1248                 *parent_objectid = btrfs_inode_extref_parent(eb, extref);
1249
1250         return 0;
1251 }
1252
1253 static int ref_get_fields(struct extent_buffer *eb, unsigned long ref_ptr,
1254                           u32 *namelen, char **name, u64 *index)
1255 {
1256         struct btrfs_inode_ref *ref;
1257
1258         ref = (struct btrfs_inode_ref *)ref_ptr;
1259
1260         *namelen = btrfs_inode_ref_name_len(eb, ref);
1261         *name = kmalloc(*namelen, GFP_NOFS);
1262         if (*name == NULL)
1263                 return -ENOMEM;
1264
1265         read_extent_buffer(eb, *name, (unsigned long)(ref + 1), *namelen);
1266
1267         if (index)
1268                 *index = btrfs_inode_ref_index(eb, ref);
1269
1270         return 0;
1271 }
1272
1273 /*
1274  * Take an inode reference item from the log tree and iterate all names from the
1275  * inode reference item in the subvolume tree with the same key (if it exists).
1276  * For any name that is not in the inode reference item from the log tree, do a
1277  * proper unlink of that name (that is, remove its entry from the inode
1278  * reference item and both dir index keys).
1279  */
1280 static int unlink_old_inode_refs(struct btrfs_trans_handle *trans,
1281                                  struct btrfs_root *root,
1282                                  struct btrfs_path *path,
1283                                  struct btrfs_inode *inode,
1284                                  struct extent_buffer *log_eb,
1285                                  int log_slot,
1286                                  struct btrfs_key *key)
1287 {
1288         int ret;
1289         unsigned long ref_ptr;
1290         unsigned long ref_end;
1291         struct extent_buffer *eb;
1292
1293 again:
1294         btrfs_release_path(path);
1295         ret = btrfs_search_slot(NULL, root, key, path, 0, 0);
1296         if (ret > 0) {
1297                 ret = 0;
1298                 goto out;
1299         }
1300         if (ret < 0)
1301                 goto out;
1302
1303         eb = path->nodes[0];
1304         ref_ptr = btrfs_item_ptr_offset(eb, path->slots[0]);
1305         ref_end = ref_ptr + btrfs_item_size_nr(eb, path->slots[0]);
1306         while (ref_ptr < ref_end) {
1307                 char *name = NULL;
1308                 int namelen;
1309                 u64 parent_id;
1310
1311                 if (key->type == BTRFS_INODE_EXTREF_KEY) {
1312                         ret = extref_get_fields(eb, ref_ptr, &namelen, &name,
1313                                                 NULL, &parent_id);
1314                 } else {
1315                         parent_id = key->offset;
1316                         ret = ref_get_fields(eb, ref_ptr, &namelen, &name,
1317                                              NULL);
1318                 }
1319                 if (ret)
1320                         goto out;
1321
1322                 if (key->type == BTRFS_INODE_EXTREF_KEY)
1323                         ret = !!btrfs_find_name_in_ext_backref(log_eb, log_slot,
1324                                                                parent_id, name,
1325                                                                namelen);
1326                 else
1327                         ret = !!btrfs_find_name_in_backref(log_eb, log_slot,
1328                                                            name, namelen);
1329
1330                 if (!ret) {
1331                         struct inode *dir;
1332
1333                         btrfs_release_path(path);
1334                         dir = read_one_inode(root, parent_id);
1335                         if (!dir) {
1336                                 ret = -ENOENT;
1337                                 kfree(name);
1338                                 goto out;
1339                         }
1340                         ret = unlink_inode_for_log_replay(trans, BTRFS_I(dir),
1341                                                  inode, name, namelen);
1342                         kfree(name);
1343                         iput(dir);
1344                         if (ret)
1345                                 goto out;
1346                         goto again;
1347                 }
1348
1349                 kfree(name);
1350                 ref_ptr += namelen;
1351                 if (key->type == BTRFS_INODE_EXTREF_KEY)
1352                         ref_ptr += sizeof(struct btrfs_inode_extref);
1353                 else
1354                         ref_ptr += sizeof(struct btrfs_inode_ref);
1355         }
1356         ret = 0;
1357  out:
1358         btrfs_release_path(path);
1359         return ret;
1360 }
1361
1362 static int btrfs_inode_ref_exists(struct inode *inode, struct inode *dir,
1363                                   const u8 ref_type, const char *name,
1364                                   const int namelen)
1365 {
1366         struct btrfs_key key;
1367         struct btrfs_path *path;
1368         const u64 parent_id = btrfs_ino(BTRFS_I(dir));
1369         int ret;
1370
1371         path = btrfs_alloc_path();
1372         if (!path)
1373                 return -ENOMEM;
1374
1375         key.objectid = btrfs_ino(BTRFS_I(inode));
1376         key.type = ref_type;
1377         if (key.type == BTRFS_INODE_REF_KEY)
1378                 key.offset = parent_id;
1379         else
1380                 key.offset = btrfs_extref_hash(parent_id, name, namelen);
1381
1382         ret = btrfs_search_slot(NULL, BTRFS_I(inode)->root, &key, path, 0, 0);
1383         if (ret < 0)
1384                 goto out;
1385         if (ret > 0) {
1386                 ret = 0;
1387                 goto out;
1388         }
1389         if (key.type == BTRFS_INODE_EXTREF_KEY)
1390                 ret = !!btrfs_find_name_in_ext_backref(path->nodes[0],
1391                                 path->slots[0], parent_id, name, namelen);
1392         else
1393                 ret = !!btrfs_find_name_in_backref(path->nodes[0], path->slots[0],
1394                                                    name, namelen);
1395
1396 out:
1397         btrfs_free_path(path);
1398         return ret;
1399 }
1400
1401 static int add_link(struct btrfs_trans_handle *trans, struct btrfs_root *root,
1402                     struct inode *dir, struct inode *inode, const char *name,
1403                     int namelen, u64 ref_index)
1404 {
1405         struct btrfs_dir_item *dir_item;
1406         struct btrfs_key key;
1407         struct btrfs_path *path;
1408         struct inode *other_inode = NULL;
1409         int ret;
1410
1411         path = btrfs_alloc_path();
1412         if (!path)
1413                 return -ENOMEM;
1414
1415         dir_item = btrfs_lookup_dir_item(NULL, root, path,
1416                                          btrfs_ino(BTRFS_I(dir)),
1417                                          name, namelen, 0);
1418         if (!dir_item) {
1419                 btrfs_release_path(path);
1420                 goto add_link;
1421         } else if (IS_ERR(dir_item)) {
1422                 ret = PTR_ERR(dir_item);
1423                 goto out;
1424         }
1425
1426         /*
1427          * Our inode's dentry collides with the dentry of another inode which is
1428          * in the log but not yet processed since it has a higher inode number.
1429          * So delete that other dentry.
1430          */
1431         btrfs_dir_item_key_to_cpu(path->nodes[0], dir_item, &key);
1432         btrfs_release_path(path);
1433         other_inode = read_one_inode(root, key.objectid);
1434         if (!other_inode) {
1435                 ret = -ENOENT;
1436                 goto out;
1437         }
1438         ret = unlink_inode_for_log_replay(trans, BTRFS_I(dir), BTRFS_I(other_inode),
1439                                           name, namelen);
1440         if (ret)
1441                 goto out;
1442         /*
1443          * If we dropped the link count to 0, bump it so that later the iput()
1444          * on the inode will not free it. We will fixup the link count later.
1445          */
1446         if (other_inode->i_nlink == 0)
1447                 set_nlink(other_inode, 1);
1448 add_link:
1449         ret = btrfs_add_link(trans, BTRFS_I(dir), BTRFS_I(inode),
1450                              name, namelen, 0, ref_index);
1451 out:
1452         iput(other_inode);
1453         btrfs_free_path(path);
1454
1455         return ret;
1456 }
1457
1458 /*
1459  * replay one inode back reference item found in the log tree.
1460  * eb, slot and key refer to the buffer and key found in the log tree.
1461  * root is the destination we are replaying into, and path is for temp
1462  * use by this function.  (it should be released on return).
1463  */
1464 static noinline int add_inode_ref(struct btrfs_trans_handle *trans,
1465                                   struct btrfs_root *root,
1466                                   struct btrfs_root *log,
1467                                   struct btrfs_path *path,
1468                                   struct extent_buffer *eb, int slot,
1469                                   struct btrfs_key *key)
1470 {
1471         struct inode *dir = NULL;
1472         struct inode *inode = NULL;
1473         unsigned long ref_ptr;
1474         unsigned long ref_end;
1475         char *name = NULL;
1476         int namelen;
1477         int ret;
1478         int search_done = 0;
1479         int log_ref_ver = 0;
1480         u64 parent_objectid;
1481         u64 inode_objectid;
1482         u64 ref_index = 0;
1483         int ref_struct_size;
1484
1485         ref_ptr = btrfs_item_ptr_offset(eb, slot);
1486         ref_end = ref_ptr + btrfs_item_size_nr(eb, slot);
1487
1488         if (key->type == BTRFS_INODE_EXTREF_KEY) {
1489                 struct btrfs_inode_extref *r;
1490
1491                 ref_struct_size = sizeof(struct btrfs_inode_extref);
1492                 log_ref_ver = 1;
1493                 r = (struct btrfs_inode_extref *)ref_ptr;
1494                 parent_objectid = btrfs_inode_extref_parent(eb, r);
1495         } else {
1496                 ref_struct_size = sizeof(struct btrfs_inode_ref);
1497                 parent_objectid = key->offset;
1498         }
1499         inode_objectid = key->objectid;
1500
1501         /*
1502          * it is possible that we didn't log all the parent directories
1503          * for a given inode.  If we don't find the dir, just don't
1504          * copy the back ref in.  The link count fixup code will take
1505          * care of the rest
1506          */
1507         dir = read_one_inode(root, parent_objectid);
1508         if (!dir) {
1509                 ret = -ENOENT;
1510                 goto out;
1511         }
1512
1513         inode = read_one_inode(root, inode_objectid);
1514         if (!inode) {
1515                 ret = -EIO;
1516                 goto out;
1517         }
1518
1519         while (ref_ptr < ref_end) {
1520                 if (log_ref_ver) {
1521                         ret = extref_get_fields(eb, ref_ptr, &namelen, &name,
1522                                                 &ref_index, &parent_objectid);
1523                         /*
1524                          * parent object can change from one array
1525                          * item to another.
1526                          */
1527                         if (!dir)
1528                                 dir = read_one_inode(root, parent_objectid);
1529                         if (!dir) {
1530                                 ret = -ENOENT;
1531                                 goto out;
1532                         }
1533                 } else {
1534                         ret = ref_get_fields(eb, ref_ptr, &namelen, &name,
1535                                              &ref_index);
1536                 }
1537                 if (ret)
1538                         goto out;
1539
1540                 ret = inode_in_dir(root, path, btrfs_ino(BTRFS_I(dir)),
1541                                    btrfs_ino(BTRFS_I(inode)), ref_index,
1542                                    name, namelen);
1543                 if (ret < 0) {
1544                         goto out;
1545                 } else if (ret == 0) {
1546                         /*
1547                          * look for a conflicting back reference in the
1548                          * metadata. if we find one we have to unlink that name
1549                          * of the file before we add our new link.  Later on, we
1550                          * overwrite any existing back reference, and we don't
1551                          * want to create dangling pointers in the directory.
1552                          */
1553
1554                         if (!search_done) {
1555                                 ret = __add_inode_ref(trans, root, path, log,
1556                                                       BTRFS_I(dir),
1557                                                       BTRFS_I(inode),
1558                                                       inode_objectid,
1559                                                       parent_objectid,
1560                                                       ref_index, name, namelen,
1561                                                       &search_done);
1562                                 if (ret) {
1563                                         if (ret == 1)
1564                                                 ret = 0;
1565                                         goto out;
1566                                 }
1567                         }
1568
1569                         /*
1570                          * If a reference item already exists for this inode
1571                          * with the same parent and name, but different index,
1572                          * drop it and the corresponding directory index entries
1573                          * from the parent before adding the new reference item
1574                          * and dir index entries, otherwise we would fail with
1575                          * -EEXIST returned from btrfs_add_link() below.
1576                          */
1577                         ret = btrfs_inode_ref_exists(inode, dir, key->type,
1578                                                      name, namelen);
1579                         if (ret > 0) {
1580                                 ret = unlink_inode_for_log_replay(trans,
1581                                                          BTRFS_I(dir),
1582                                                          BTRFS_I(inode),
1583                                                          name, namelen);
1584                                 /*
1585                                  * If we dropped the link count to 0, bump it so
1586                                  * that later the iput() on the inode will not
1587                                  * free it. We will fixup the link count later.
1588                                  */
1589                                 if (!ret && inode->i_nlink == 0)
1590                                         set_nlink(inode, 1);
1591                         }
1592                         if (ret < 0)
1593                                 goto out;
1594
1595                         /* insert our name */
1596                         ret = add_link(trans, root, dir, inode, name, namelen,
1597                                        ref_index);
1598                         if (ret)
1599                                 goto out;
1600
1601                         ret = btrfs_update_inode(trans, root, BTRFS_I(inode));
1602                         if (ret)
1603                                 goto out;
1604                 }
1605                 /* Else, ret == 1, we already have a perfect match, we're done. */
1606
1607                 ref_ptr = (unsigned long)(ref_ptr + ref_struct_size) + namelen;
1608                 kfree(name);
1609                 name = NULL;
1610                 if (log_ref_ver) {
1611                         iput(dir);
1612                         dir = NULL;
1613                 }
1614         }
1615
1616         /*
1617          * Before we overwrite the inode reference item in the subvolume tree
1618          * with the item from the log tree, we must unlink all names from the
1619          * parent directory that are in the subvolume's tree inode reference
1620          * item, otherwise we end up with an inconsistent subvolume tree where
1621          * dir index entries exist for a name but there is no inode reference
1622          * item with the same name.
1623          */
1624         ret = unlink_old_inode_refs(trans, root, path, BTRFS_I(inode), eb, slot,
1625                                     key);
1626         if (ret)
1627                 goto out;
1628
1629         /* finally write the back reference in the inode */
1630         ret = overwrite_item(trans, root, path, eb, slot, key);
1631 out:
1632         btrfs_release_path(path);
1633         kfree(name);
1634         iput(dir);
1635         iput(inode);
1636         return ret;
1637 }
1638
1639 static int count_inode_extrefs(struct btrfs_root *root,
1640                 struct btrfs_inode *inode, struct btrfs_path *path)
1641 {
1642         int ret = 0;
1643         int name_len;
1644         unsigned int nlink = 0;
1645         u32 item_size;
1646         u32 cur_offset = 0;
1647         u64 inode_objectid = btrfs_ino(inode);
1648         u64 offset = 0;
1649         unsigned long ptr;
1650         struct btrfs_inode_extref *extref;
1651         struct extent_buffer *leaf;
1652
1653         while (1) {
1654                 ret = btrfs_find_one_extref(root, inode_objectid, offset, path,
1655                                             &extref, &offset);
1656                 if (ret)
1657                         break;
1658
1659                 leaf = path->nodes[0];
1660                 item_size = btrfs_item_size_nr(leaf, path->slots[0]);
1661                 ptr = btrfs_item_ptr_offset(leaf, path->slots[0]);
1662                 cur_offset = 0;
1663
1664                 while (cur_offset < item_size) {
1665                         extref = (struct btrfs_inode_extref *) (ptr + cur_offset);
1666                         name_len = btrfs_inode_extref_name_len(leaf, extref);
1667
1668                         nlink++;
1669
1670                         cur_offset += name_len + sizeof(*extref);
1671                 }
1672
1673                 offset++;
1674                 btrfs_release_path(path);
1675         }
1676         btrfs_release_path(path);
1677
1678         if (ret < 0 && ret != -ENOENT)
1679                 return ret;
1680         return nlink;
1681 }
1682
1683 static int count_inode_refs(struct btrfs_root *root,
1684                         struct btrfs_inode *inode, struct btrfs_path *path)
1685 {
1686         int ret;
1687         struct btrfs_key key;
1688         unsigned int nlink = 0;
1689         unsigned long ptr;
1690         unsigned long ptr_end;
1691         int name_len;
1692         u64 ino = btrfs_ino(inode);
1693
1694         key.objectid = ino;
1695         key.type = BTRFS_INODE_REF_KEY;
1696         key.offset = (u64)-1;
1697
1698         while (1) {
1699                 ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
1700                 if (ret < 0)
1701                         break;
1702                 if (ret > 0) {
1703                         if (path->slots[0] == 0)
1704                                 break;
1705                         path->slots[0]--;
1706                 }
1707 process_slot:
1708                 btrfs_item_key_to_cpu(path->nodes[0], &key,
1709                                       path->slots[0]);
1710                 if (key.objectid != ino ||
1711                     key.type != BTRFS_INODE_REF_KEY)
1712                         break;
1713                 ptr = btrfs_item_ptr_offset(path->nodes[0], path->slots[0]);
1714                 ptr_end = ptr + btrfs_item_size_nr(path->nodes[0],
1715                                                    path->slots[0]);
1716                 while (ptr < ptr_end) {
1717                         struct btrfs_inode_ref *ref;
1718
1719                         ref = (struct btrfs_inode_ref *)ptr;
1720                         name_len = btrfs_inode_ref_name_len(path->nodes[0],
1721                                                             ref);
1722                         ptr = (unsigned long)(ref + 1) + name_len;
1723                         nlink++;
1724                 }
1725
1726                 if (key.offset == 0)
1727                         break;
1728                 if (path->slots[0] > 0) {
1729                         path->slots[0]--;
1730                         goto process_slot;
1731                 }
1732                 key.offset--;
1733                 btrfs_release_path(path);
1734         }
1735         btrfs_release_path(path);
1736
1737         return nlink;
1738 }
1739
1740 /*
1741  * There are a few corners where the link count of the file can't
1742  * be properly maintained during replay.  So, instead of adding
1743  * lots of complexity to the log code, we just scan the backrefs
1744  * for any file that has been through replay.
1745  *
1746  * The scan will update the link count on the inode to reflect the
1747  * number of back refs found.  If it goes down to zero, the iput
1748  * will free the inode.
1749  */
1750 static noinline int fixup_inode_link_count(struct btrfs_trans_handle *trans,
1751                                            struct btrfs_root *root,
1752                                            struct inode *inode)
1753 {
1754         struct btrfs_path *path;
1755         int ret;
1756         u64 nlink = 0;
1757         u64 ino = btrfs_ino(BTRFS_I(inode));
1758
1759         path = btrfs_alloc_path();
1760         if (!path)
1761                 return -ENOMEM;
1762
1763         ret = count_inode_refs(root, BTRFS_I(inode), path);
1764         if (ret < 0)
1765                 goto out;
1766
1767         nlink = ret;
1768
1769         ret = count_inode_extrefs(root, BTRFS_I(inode), path);
1770         if (ret < 0)
1771                 goto out;
1772
1773         nlink += ret;
1774
1775         ret = 0;
1776
1777         if (nlink != inode->i_nlink) {
1778                 set_nlink(inode, nlink);
1779                 ret = btrfs_update_inode(trans, root, BTRFS_I(inode));
1780                 if (ret)
1781                         goto out;
1782         }
1783         BTRFS_I(inode)->index_cnt = (u64)-1;
1784
1785         if (inode->i_nlink == 0) {
1786                 if (S_ISDIR(inode->i_mode)) {
1787                         ret = replay_dir_deletes(trans, root, NULL, path,
1788                                                  ino, 1);
1789                         if (ret)
1790                                 goto out;
1791                 }
1792                 ret = btrfs_insert_orphan_item(trans, root, ino);
1793                 if (ret == -EEXIST)
1794                         ret = 0;
1795         }
1796
1797 out:
1798         btrfs_free_path(path);
1799         return ret;
1800 }
1801
1802 static noinline int fixup_inode_link_counts(struct btrfs_trans_handle *trans,
1803                                             struct btrfs_root *root,
1804                                             struct btrfs_path *path)
1805 {
1806         int ret;
1807         struct btrfs_key key;
1808         struct inode *inode;
1809
1810         key.objectid = BTRFS_TREE_LOG_FIXUP_OBJECTID;
1811         key.type = BTRFS_ORPHAN_ITEM_KEY;
1812         key.offset = (u64)-1;
1813         while (1) {
1814                 ret = btrfs_search_slot(trans, root, &key, path, -1, 1);
1815                 if (ret < 0)
1816                         break;
1817
1818                 if (ret == 1) {
1819                         ret = 0;
1820                         if (path->slots[0] == 0)
1821                                 break;
1822                         path->slots[0]--;
1823                 }
1824
1825                 btrfs_item_key_to_cpu(path->nodes[0], &key, path->slots[0]);
1826                 if (key.objectid != BTRFS_TREE_LOG_FIXUP_OBJECTID ||
1827                     key.type != BTRFS_ORPHAN_ITEM_KEY)
1828                         break;
1829
1830                 ret = btrfs_del_item(trans, root, path);
1831                 if (ret)
1832                         break;
1833
1834                 btrfs_release_path(path);
1835                 inode = read_one_inode(root, key.offset);
1836                 if (!inode) {
1837                         ret = -EIO;
1838                         break;
1839                 }
1840
1841                 ret = fixup_inode_link_count(trans, root, inode);
1842                 iput(inode);
1843                 if (ret)
1844                         break;
1845
1846                 /*
1847                  * fixup on a directory may create new entries,
1848                  * make sure we always look for the highset possible
1849                  * offset
1850                  */
1851                 key.offset = (u64)-1;
1852         }
1853         btrfs_release_path(path);
1854         return ret;
1855 }
1856
1857
1858 /*
1859  * record a given inode in the fixup dir so we can check its link
1860  * count when replay is done.  The link count is incremented here
1861  * so the inode won't go away until we check it
1862  */
1863 static noinline int link_to_fixup_dir(struct btrfs_trans_handle *trans,
1864                                       struct btrfs_root *root,
1865                                       struct btrfs_path *path,
1866                                       u64 objectid)
1867 {
1868         struct btrfs_key key;
1869         int ret = 0;
1870         struct inode *inode;
1871
1872         inode = read_one_inode(root, objectid);
1873         if (!inode)
1874                 return -EIO;
1875
1876         key.objectid = BTRFS_TREE_LOG_FIXUP_OBJECTID;
1877         key.type = BTRFS_ORPHAN_ITEM_KEY;
1878         key.offset = objectid;
1879
1880         ret = btrfs_insert_empty_item(trans, root, path, &key, 0);
1881
1882         btrfs_release_path(path);
1883         if (ret == 0) {
1884                 if (!inode->i_nlink)
1885                         set_nlink(inode, 1);
1886                 else
1887                         inc_nlink(inode);
1888                 ret = btrfs_update_inode(trans, root, BTRFS_I(inode));
1889         } else if (ret == -EEXIST) {
1890                 ret = 0;
1891         }
1892         iput(inode);
1893
1894         return ret;
1895 }
1896
1897 /*
1898  * when replaying the log for a directory, we only insert names
1899  * for inodes that actually exist.  This means an fsync on a directory
1900  * does not implicitly fsync all the new files in it
1901  */
1902 static noinline int insert_one_name(struct btrfs_trans_handle *trans,
1903                                     struct btrfs_root *root,
1904                                     u64 dirid, u64 index,
1905                                     char *name, int name_len,
1906                                     struct btrfs_key *location)
1907 {
1908         struct inode *inode;
1909         struct inode *dir;
1910         int ret;
1911
1912         inode = read_one_inode(root, location->objectid);
1913         if (!inode)
1914                 return -ENOENT;
1915
1916         dir = read_one_inode(root, dirid);
1917         if (!dir) {
1918                 iput(inode);
1919                 return -EIO;
1920         }
1921
1922         ret = btrfs_add_link(trans, BTRFS_I(dir), BTRFS_I(inode), name,
1923                         name_len, 1, index);
1924
1925         /* FIXME, put inode into FIXUP list */
1926
1927         iput(inode);
1928         iput(dir);
1929         return ret;
1930 }
1931
1932 /*
1933  * take a single entry in a log directory item and replay it into
1934  * the subvolume.
1935  *
1936  * if a conflicting item exists in the subdirectory already,
1937  * the inode it points to is unlinked and put into the link count
1938  * fix up tree.
1939  *
1940  * If a name from the log points to a file or directory that does
1941  * not exist in the FS, it is skipped.  fsyncs on directories
1942  * do not force down inodes inside that directory, just changes to the
1943  * names or unlinks in a directory.
1944  *
1945  * Returns < 0 on error, 0 if the name wasn't replayed (dentry points to a
1946  * non-existing inode) and 1 if the name was replayed.
1947  */
1948 static noinline int replay_one_name(struct btrfs_trans_handle *trans,
1949                                     struct btrfs_root *root,
1950                                     struct btrfs_path *path,
1951                                     struct extent_buffer *eb,
1952                                     struct btrfs_dir_item *di,
1953                                     struct btrfs_key *key)
1954 {
1955         char *name;
1956         int name_len;
1957         struct btrfs_dir_item *dst_di;
1958         struct btrfs_key found_key;
1959         struct btrfs_key log_key;
1960         struct inode *dir;
1961         u8 log_type;
1962         bool exists;
1963         int ret;
1964         bool update_size = (key->type == BTRFS_DIR_INDEX_KEY);
1965         bool name_added = false;
1966
1967         dir = read_one_inode(root, key->objectid);
1968         if (!dir)
1969                 return -EIO;
1970
1971         name_len = btrfs_dir_name_len(eb, di);
1972         name = kmalloc(name_len, GFP_NOFS);
1973         if (!name) {
1974                 ret = -ENOMEM;
1975                 goto out;
1976         }
1977
1978         log_type = btrfs_dir_type(eb, di);
1979         read_extent_buffer(eb, name, (unsigned long)(di + 1),
1980                    name_len);
1981
1982         btrfs_dir_item_key_to_cpu(eb, di, &log_key);
1983         ret = btrfs_lookup_inode(trans, root, path, &log_key, 0);
1984         btrfs_release_path(path);
1985         if (ret < 0)
1986                 goto out;
1987         exists = (ret == 0);
1988         ret = 0;
1989
1990         if (key->type == BTRFS_DIR_ITEM_KEY) {
1991                 dst_di = btrfs_lookup_dir_item(trans, root, path, key->objectid,
1992                                        name, name_len, 1);
1993         } else if (key->type == BTRFS_DIR_INDEX_KEY) {
1994                 dst_di = btrfs_lookup_dir_index_item(trans, root, path,
1995                                                      key->objectid,
1996                                                      key->offset, name,
1997                                                      name_len, 1);
1998         } else {
1999                 /* Corruption */
2000                 ret = -EINVAL;
2001                 goto out;
2002         }
2003
2004         if (IS_ERR(dst_di)) {
2005                 ret = PTR_ERR(dst_di);
2006                 goto out;
2007         } else if (!dst_di) {
2008                 /* we need a sequence number to insert, so we only
2009                  * do inserts for the BTRFS_DIR_INDEX_KEY types
2010                  */
2011                 if (key->type != BTRFS_DIR_INDEX_KEY)
2012                         goto out;
2013                 goto insert;
2014         }
2015
2016         btrfs_dir_item_key_to_cpu(path->nodes[0], dst_di, &found_key);
2017         /* the existing item matches the logged item */
2018         if (found_key.objectid == log_key.objectid &&
2019             found_key.type == log_key.type &&
2020             found_key.offset == log_key.offset &&
2021             btrfs_dir_type(path->nodes[0], dst_di) == log_type) {
2022                 update_size = false;
2023                 goto out;
2024         }
2025
2026         /*
2027          * don't drop the conflicting directory entry if the inode
2028          * for the new entry doesn't exist
2029          */
2030         if (!exists)
2031                 goto out;
2032
2033         ret = drop_one_dir_item(trans, root, path, BTRFS_I(dir), dst_di);
2034         if (ret)
2035                 goto out;
2036
2037         if (key->type == BTRFS_DIR_INDEX_KEY)
2038                 goto insert;
2039 out:
2040         btrfs_release_path(path);
2041         if (!ret && update_size) {
2042                 btrfs_i_size_write(BTRFS_I(dir), dir->i_size + name_len * 2);
2043                 ret = btrfs_update_inode(trans, root, BTRFS_I(dir));
2044         }
2045         kfree(name);
2046         iput(dir);
2047         if (!ret && name_added)
2048                 ret = 1;
2049         return ret;
2050
2051 insert:
2052         /*
2053          * Check if the inode reference exists in the log for the given name,
2054          * inode and parent inode
2055          */
2056         found_key.objectid = log_key.objectid;
2057         found_key.type = BTRFS_INODE_REF_KEY;
2058         found_key.offset = key->objectid;
2059         ret = backref_in_log(root->log_root, &found_key, 0, name, name_len);
2060         if (ret < 0) {
2061                 goto out;
2062         } else if (ret) {
2063                 /* The dentry will be added later. */
2064                 ret = 0;
2065                 update_size = false;
2066                 goto out;
2067         }
2068
2069         found_key.objectid = log_key.objectid;
2070         found_key.type = BTRFS_INODE_EXTREF_KEY;
2071         found_key.offset = key->objectid;
2072         ret = backref_in_log(root->log_root, &found_key, key->objectid, name,
2073                              name_len);
2074         if (ret < 0) {
2075                 goto out;
2076         } else if (ret) {
2077                 /* The dentry will be added later. */
2078                 ret = 0;
2079                 update_size = false;
2080                 goto out;
2081         }
2082         btrfs_release_path(path);
2083         ret = insert_one_name(trans, root, key->objectid, key->offset,
2084                               name, name_len, &log_key);
2085         if (ret && ret != -ENOENT && ret != -EEXIST)
2086                 goto out;
2087         if (!ret)
2088                 name_added = true;
2089         update_size = false;
2090         ret = 0;
2091         goto out;
2092 }
2093
2094 /*
2095  * find all the names in a directory item and reconcile them into
2096  * the subvolume.  Only BTRFS_DIR_ITEM_KEY types will have more than
2097  * one name in a directory item, but the same code gets used for
2098  * both directory index types
2099  */
2100 static noinline int replay_one_dir_item(struct btrfs_trans_handle *trans,
2101                                         struct btrfs_root *root,
2102                                         struct btrfs_path *path,
2103                                         struct extent_buffer *eb, int slot,
2104                                         struct btrfs_key *key)
2105 {
2106         int ret = 0;
2107         u32 item_size = btrfs_item_size_nr(eb, slot);
2108         struct btrfs_dir_item *di;
2109         int name_len;
2110         unsigned long ptr;
2111         unsigned long ptr_end;
2112         struct btrfs_path *fixup_path = NULL;
2113
2114         ptr = btrfs_item_ptr_offset(eb, slot);
2115         ptr_end = ptr + item_size;
2116         while (ptr < ptr_end) {
2117                 di = (struct btrfs_dir_item *)ptr;
2118                 name_len = btrfs_dir_name_len(eb, di);
2119                 ret = replay_one_name(trans, root, path, eb, di, key);
2120                 if (ret < 0)
2121                         break;
2122                 ptr = (unsigned long)(di + 1);
2123                 ptr += name_len;
2124
2125                 /*
2126                  * If this entry refers to a non-directory (directories can not
2127                  * have a link count > 1) and it was added in the transaction
2128                  * that was not committed, make sure we fixup the link count of
2129                  * the inode it the entry points to. Otherwise something like
2130                  * the following would result in a directory pointing to an
2131                  * inode with a wrong link that does not account for this dir
2132                  * entry:
2133                  *
2134                  * mkdir testdir
2135                  * touch testdir/foo
2136                  * touch testdir/bar
2137                  * sync
2138                  *
2139                  * ln testdir/bar testdir/bar_link
2140                  * ln testdir/foo testdir/foo_link
2141                  * xfs_io -c "fsync" testdir/bar
2142                  *
2143                  * <power failure>
2144                  *
2145                  * mount fs, log replay happens
2146                  *
2147                  * File foo would remain with a link count of 1 when it has two
2148                  * entries pointing to it in the directory testdir. This would
2149                  * make it impossible to ever delete the parent directory has
2150                  * it would result in stale dentries that can never be deleted.
2151                  */
2152                 if (ret == 1 && btrfs_dir_type(eb, di) != BTRFS_FT_DIR) {
2153                         struct btrfs_key di_key;
2154
2155                         if (!fixup_path) {
2156                                 fixup_path = btrfs_alloc_path();
2157                                 if (!fixup_path) {
2158                                         ret = -ENOMEM;
2159                                         break;
2160                                 }
2161                         }
2162
2163                         btrfs_dir_item_key_to_cpu(eb, di, &di_key);
2164                         ret = link_to_fixup_dir(trans, root, fixup_path,
2165                                                 di_key.objectid);
2166                         if (ret)
2167                                 break;
2168                 }
2169                 ret = 0;
2170         }
2171         btrfs_free_path(fixup_path);
2172         return ret;
2173 }
2174
2175 /*
2176  * directory replay has two parts.  There are the standard directory
2177  * items in the log copied from the subvolume, and range items
2178  * created in the log while the subvolume was logged.
2179  *
2180  * The range items tell us which parts of the key space the log
2181  * is authoritative for.  During replay, if a key in the subvolume
2182  * directory is in a logged range item, but not actually in the log
2183  * that means it was deleted from the directory before the fsync
2184  * and should be removed.
2185  */
2186 static noinline int find_dir_range(struct btrfs_root *root,
2187                                    struct btrfs_path *path,
2188                                    u64 dirid,
2189                                    u64 *start_ret, u64 *end_ret)
2190 {
2191         struct btrfs_key key;
2192         u64 found_end;
2193         struct btrfs_dir_log_item *item;
2194         int ret;
2195         int nritems;
2196
2197         if (*start_ret == (u64)-1)
2198                 return 1;
2199
2200         key.objectid = dirid;
2201         key.type = BTRFS_DIR_LOG_INDEX_KEY;
2202         key.offset = *start_ret;
2203
2204         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
2205         if (ret < 0)
2206                 goto out;
2207         if (ret > 0) {
2208                 if (path->slots[0] == 0)
2209                         goto out;
2210                 path->slots[0]--;
2211         }
2212         if (ret != 0)
2213                 btrfs_item_key_to_cpu(path->nodes[0], &key, path->slots[0]);
2214
2215         if (key.type != BTRFS_DIR_LOG_INDEX_KEY || key.objectid != dirid) {
2216                 ret = 1;
2217                 goto next;
2218         }
2219         item = btrfs_item_ptr(path->nodes[0], path->slots[0],
2220                               struct btrfs_dir_log_item);
2221         found_end = btrfs_dir_log_end(path->nodes[0], item);
2222
2223         if (*start_ret >= key.offset && *start_ret <= found_end) {
2224                 ret = 0;
2225                 *start_ret = key.offset;
2226                 *end_ret = found_end;
2227                 goto out;
2228         }
2229         ret = 1;
2230 next:
2231         /* check the next slot in the tree to see if it is a valid item */
2232         nritems = btrfs_header_nritems(path->nodes[0]);
2233         path->slots[0]++;
2234         if (path->slots[0] >= nritems) {
2235                 ret = btrfs_next_leaf(root, path);
2236                 if (ret)
2237                         goto out;
2238         }
2239
2240         btrfs_item_key_to_cpu(path->nodes[0], &key, path->slots[0]);
2241
2242         if (key.type != BTRFS_DIR_LOG_INDEX_KEY || key.objectid != dirid) {
2243                 ret = 1;
2244                 goto out;
2245         }
2246         item = btrfs_item_ptr(path->nodes[0], path->slots[0],
2247                               struct btrfs_dir_log_item);
2248         found_end = btrfs_dir_log_end(path->nodes[0], item);
2249         *start_ret = key.offset;
2250         *end_ret = found_end;
2251         ret = 0;
2252 out:
2253         btrfs_release_path(path);
2254         return ret;
2255 }
2256
2257 /*
2258  * this looks for a given directory item in the log.  If the directory
2259  * item is not in the log, the item is removed and the inode it points
2260  * to is unlinked
2261  */
2262 static noinline int check_item_in_log(struct btrfs_trans_handle *trans,
2263                                       struct btrfs_root *root,
2264                                       struct btrfs_root *log,
2265                                       struct btrfs_path *path,
2266                                       struct btrfs_path *log_path,
2267                                       struct inode *dir,
2268                                       struct btrfs_key *dir_key)
2269 {
2270         int ret;
2271         struct extent_buffer *eb;
2272         int slot;
2273         struct btrfs_dir_item *di;
2274         int name_len;
2275         char *name;
2276         struct inode *inode = NULL;
2277         struct btrfs_key location;
2278
2279         /*
2280          * Currenly we only log dir index keys. Even if we replay a log created
2281          * by an older kernel that logged both dir index and dir item keys, all
2282          * we need to do is process the dir index keys, we (and our caller) can
2283          * safely ignore dir item keys (key type BTRFS_DIR_ITEM_KEY).
2284          */
2285         ASSERT(dir_key->type == BTRFS_DIR_INDEX_KEY);
2286
2287         eb = path->nodes[0];
2288         slot = path->slots[0];
2289         di = btrfs_item_ptr(eb, slot, struct btrfs_dir_item);
2290         name_len = btrfs_dir_name_len(eb, di);
2291         name = kmalloc(name_len, GFP_NOFS);
2292         if (!name) {
2293                 ret = -ENOMEM;
2294                 goto out;
2295         }
2296
2297         read_extent_buffer(eb, name, (unsigned long)(di + 1), name_len);
2298
2299         if (log) {
2300                 struct btrfs_dir_item *log_di;
2301
2302                 log_di = btrfs_lookup_dir_index_item(trans, log, log_path,
2303                                                      dir_key->objectid,
2304                                                      dir_key->offset,
2305                                                      name, name_len, 0);
2306                 if (IS_ERR(log_di)) {
2307                         ret = PTR_ERR(log_di);
2308                         goto out;
2309                 } else if (log_di) {
2310                         /* The dentry exists in the log, we have nothing to do. */
2311                         ret = 0;
2312                         goto out;
2313                 }
2314         }
2315
2316         btrfs_dir_item_key_to_cpu(eb, di, &location);
2317         btrfs_release_path(path);
2318         btrfs_release_path(log_path);
2319         inode = read_one_inode(root, location.objectid);
2320         if (!inode) {
2321                 ret = -EIO;
2322                 goto out;
2323         }
2324
2325         ret = link_to_fixup_dir(trans, root, path, location.objectid);
2326         if (ret)
2327                 goto out;
2328
2329         inc_nlink(inode);
2330         ret = unlink_inode_for_log_replay(trans, BTRFS_I(dir), BTRFS_I(inode),
2331                                           name, name_len);
2332         /*
2333          * Unlike dir item keys, dir index keys can only have one name (entry) in
2334          * them, as there are no key collisions since each key has a unique offset
2335          * (an index number), so we're done.
2336          */
2337 out:
2338         btrfs_release_path(path);
2339         btrfs_release_path(log_path);
2340         kfree(name);
2341         iput(inode);
2342         return ret;
2343 }
2344
2345 static int replay_xattr_deletes(struct btrfs_trans_handle *trans,
2346                               struct btrfs_root *root,
2347                               struct btrfs_root *log,
2348                               struct btrfs_path *path,
2349                               const u64 ino)
2350 {
2351         struct btrfs_key search_key;
2352         struct btrfs_path *log_path;
2353         int i;
2354         int nritems;
2355         int ret;
2356
2357         log_path = btrfs_alloc_path();
2358         if (!log_path)
2359                 return -ENOMEM;
2360
2361         search_key.objectid = ino;
2362         search_key.type = BTRFS_XATTR_ITEM_KEY;
2363         search_key.offset = 0;
2364 again:
2365         ret = btrfs_search_slot(NULL, root, &search_key, path, 0, 0);
2366         if (ret < 0)
2367                 goto out;
2368 process_leaf:
2369         nritems = btrfs_header_nritems(path->nodes[0]);
2370         for (i = path->slots[0]; i < nritems; i++) {
2371                 struct btrfs_key key;
2372                 struct btrfs_dir_item *di;
2373                 struct btrfs_dir_item *log_di;
2374                 u32 total_size;
2375                 u32 cur;
2376
2377                 btrfs_item_key_to_cpu(path->nodes[0], &key, i);
2378                 if (key.objectid != ino || key.type != BTRFS_XATTR_ITEM_KEY) {
2379                         ret = 0;
2380                         goto out;
2381                 }
2382
2383                 di = btrfs_item_ptr(path->nodes[0], i, struct btrfs_dir_item);
2384                 total_size = btrfs_item_size_nr(path->nodes[0], i);
2385                 cur = 0;
2386                 while (cur < total_size) {
2387                         u16 name_len = btrfs_dir_name_len(path->nodes[0], di);
2388                         u16 data_len = btrfs_dir_data_len(path->nodes[0], di);
2389                         u32 this_len = sizeof(*di) + name_len + data_len;
2390                         char *name;
2391
2392                         name = kmalloc(name_len, GFP_NOFS);
2393                         if (!name) {
2394                                 ret = -ENOMEM;
2395                                 goto out;
2396                         }
2397                         read_extent_buffer(path->nodes[0], name,
2398                                            (unsigned long)(di + 1), name_len);
2399
2400                         log_di = btrfs_lookup_xattr(NULL, log, log_path, ino,
2401                                                     name, name_len, 0);
2402                         btrfs_release_path(log_path);
2403                         if (!log_di) {
2404                                 /* Doesn't exist in log tree, so delete it. */
2405                                 btrfs_release_path(path);
2406                                 di = btrfs_lookup_xattr(trans, root, path, ino,
2407                                                         name, name_len, -1);
2408                                 kfree(name);
2409                                 if (IS_ERR(di)) {
2410                                         ret = PTR_ERR(di);
2411                                         goto out;
2412                                 }
2413                                 ASSERT(di);
2414                                 ret = btrfs_delete_one_dir_name(trans, root,
2415                                                                 path, di);
2416                                 if (ret)
2417                                         goto out;
2418                                 btrfs_release_path(path);
2419                                 search_key = key;
2420                                 goto again;
2421                         }
2422                         kfree(name);
2423                         if (IS_ERR(log_di)) {
2424                                 ret = PTR_ERR(log_di);
2425                                 goto out;
2426                         }
2427                         cur += this_len;
2428                         di = (struct btrfs_dir_item *)((char *)di + this_len);
2429                 }
2430         }
2431         ret = btrfs_next_leaf(root, path);
2432         if (ret > 0)
2433                 ret = 0;
2434         else if (ret == 0)
2435                 goto process_leaf;
2436 out:
2437         btrfs_free_path(log_path);
2438         btrfs_release_path(path);
2439         return ret;
2440 }
2441
2442
2443 /*
2444  * deletion replay happens before we copy any new directory items
2445  * out of the log or out of backreferences from inodes.  It
2446  * scans the log to find ranges of keys that log is authoritative for,
2447  * and then scans the directory to find items in those ranges that are
2448  * not present in the log.
2449  *
2450  * Anything we don't find in the log is unlinked and removed from the
2451  * directory.
2452  */
2453 static noinline int replay_dir_deletes(struct btrfs_trans_handle *trans,
2454                                        struct btrfs_root *root,
2455                                        struct btrfs_root *log,
2456                                        struct btrfs_path *path,
2457                                        u64 dirid, int del_all)
2458 {
2459         u64 range_start;
2460         u64 range_end;
2461         int ret = 0;
2462         struct btrfs_key dir_key;
2463         struct btrfs_key found_key;
2464         struct btrfs_path *log_path;
2465         struct inode *dir;
2466
2467         dir_key.objectid = dirid;
2468         dir_key.type = BTRFS_DIR_INDEX_KEY;
2469         log_path = btrfs_alloc_path();
2470         if (!log_path)
2471                 return -ENOMEM;
2472
2473         dir = read_one_inode(root, dirid);
2474         /* it isn't an error if the inode isn't there, that can happen
2475          * because we replay the deletes before we copy in the inode item
2476          * from the log
2477          */
2478         if (!dir) {
2479                 btrfs_free_path(log_path);
2480                 return 0;
2481         }
2482
2483         range_start = 0;
2484         range_end = 0;
2485         while (1) {
2486                 if (del_all)
2487                         range_end = (u64)-1;
2488                 else {
2489                         ret = find_dir_range(log, path, dirid,
2490                                              &range_start, &range_end);
2491                         if (ret < 0)
2492                                 goto out;
2493                         else if (ret > 0)
2494                                 break;
2495                 }
2496
2497                 dir_key.offset = range_start;
2498                 while (1) {
2499                         int nritems;
2500                         ret = btrfs_search_slot(NULL, root, &dir_key, path,
2501                                                 0, 0);
2502                         if (ret < 0)
2503                                 goto out;
2504
2505                         nritems = btrfs_header_nritems(path->nodes[0]);
2506                         if (path->slots[0] >= nritems) {
2507                                 ret = btrfs_next_leaf(root, path);
2508                                 if (ret == 1)
2509                                         break;
2510                                 else if (ret < 0)
2511                                         goto out;
2512                         }
2513                         btrfs_item_key_to_cpu(path->nodes[0], &found_key,
2514                                               path->slots[0]);
2515                         if (found_key.objectid != dirid ||
2516                             found_key.type != dir_key.type) {
2517                                 ret = 0;
2518                                 goto out;
2519                         }
2520
2521                         if (found_key.offset > range_end)
2522                                 break;
2523
2524                         ret = check_item_in_log(trans, root, log, path,
2525                                                 log_path, dir,
2526                                                 &found_key);
2527                         if (ret)
2528                                 goto out;
2529                         if (found_key.offset == (u64)-1)
2530                                 break;
2531                         dir_key.offset = found_key.offset + 1;
2532                 }
2533                 btrfs_release_path(path);
2534                 if (range_end == (u64)-1)
2535                         break;
2536                 range_start = range_end + 1;
2537         }
2538         ret = 0;
2539 out:
2540         btrfs_release_path(path);
2541         btrfs_free_path(log_path);
2542         iput(dir);
2543         return ret;
2544 }
2545
2546 /*
2547  * the process_func used to replay items from the log tree.  This
2548  * gets called in two different stages.  The first stage just looks
2549  * for inodes and makes sure they are all copied into the subvolume.
2550  *
2551  * The second stage copies all the other item types from the log into
2552  * the subvolume.  The two stage approach is slower, but gets rid of
2553  * lots of complexity around inodes referencing other inodes that exist
2554  * only in the log (references come from either directory items or inode
2555  * back refs).
2556  */
2557 static int replay_one_buffer(struct btrfs_root *log, struct extent_buffer *eb,
2558                              struct walk_control *wc, u64 gen, int level)
2559 {
2560         int nritems;
2561         struct btrfs_path *path;
2562         struct btrfs_root *root = wc->replay_dest;
2563         struct btrfs_key key;
2564         int i;
2565         int ret;
2566
2567         ret = btrfs_read_buffer(eb, gen, level, NULL);
2568         if (ret)
2569                 return ret;
2570
2571         level = btrfs_header_level(eb);
2572
2573         if (level != 0)
2574                 return 0;
2575
2576         path = btrfs_alloc_path();
2577         if (!path)
2578                 return -ENOMEM;
2579
2580         nritems = btrfs_header_nritems(eb);
2581         for (i = 0; i < nritems; i++) {
2582                 btrfs_item_key_to_cpu(eb, &key, i);
2583
2584                 /* inode keys are done during the first stage */
2585                 if (key.type == BTRFS_INODE_ITEM_KEY &&
2586                     wc->stage == LOG_WALK_REPLAY_INODES) {
2587                         struct btrfs_inode_item *inode_item;
2588                         u32 mode;
2589
2590                         inode_item = btrfs_item_ptr(eb, i,
2591                                             struct btrfs_inode_item);
2592                         /*
2593                          * If we have a tmpfile (O_TMPFILE) that got fsync'ed
2594                          * and never got linked before the fsync, skip it, as
2595                          * replaying it is pointless since it would be deleted
2596                          * later. We skip logging tmpfiles, but it's always
2597                          * possible we are replaying a log created with a kernel
2598                          * that used to log tmpfiles.
2599                          */
2600                         if (btrfs_inode_nlink(eb, inode_item) == 0) {
2601                                 wc->ignore_cur_inode = true;
2602                                 continue;
2603                         } else {
2604                                 wc->ignore_cur_inode = false;
2605                         }
2606                         ret = replay_xattr_deletes(wc->trans, root, log,
2607                                                    path, key.objectid);
2608                         if (ret)
2609                                 break;
2610                         mode = btrfs_inode_mode(eb, inode_item);
2611                         if (S_ISDIR(mode)) {
2612                                 ret = replay_dir_deletes(wc->trans,
2613                                          root, log, path, key.objectid, 0);
2614                                 if (ret)
2615                                         break;
2616                         }
2617                         ret = overwrite_item(wc->trans, root, path,
2618                                              eb, i, &key);
2619                         if (ret)
2620                                 break;
2621
2622                         /*
2623                          * Before replaying extents, truncate the inode to its
2624                          * size. We need to do it now and not after log replay
2625                          * because before an fsync we can have prealloc extents
2626                          * added beyond the inode's i_size. If we did it after,
2627                          * through orphan cleanup for example, we would drop
2628                          * those prealloc extents just after replaying them.
2629                          */
2630                         if (S_ISREG(mode)) {
2631                                 struct btrfs_drop_extents_args drop_args = { 0 };
2632                                 struct inode *inode;
2633                                 u64 from;
2634
2635                                 inode = read_one_inode(root, key.objectid);
2636                                 if (!inode) {
2637                                         ret = -EIO;
2638                                         break;
2639                                 }
2640                                 from = ALIGN(i_size_read(inode),
2641                                              root->fs_info->sectorsize);
2642                                 drop_args.start = from;
2643                                 drop_args.end = (u64)-1;
2644                                 drop_args.drop_cache = true;
2645                                 ret = btrfs_drop_extents(wc->trans, root,
2646                                                          BTRFS_I(inode),
2647                                                          &drop_args);
2648                                 if (!ret) {
2649                                         inode_sub_bytes(inode,
2650                                                         drop_args.bytes_found);
2651                                         /* Update the inode's nbytes. */
2652                                         ret = btrfs_update_inode(wc->trans,
2653                                                         root, BTRFS_I(inode));
2654                                 }
2655                                 iput(inode);
2656                                 if (ret)
2657                                         break;
2658                         }
2659
2660                         ret = link_to_fixup_dir(wc->trans, root,
2661                                                 path, key.objectid);
2662                         if (ret)
2663                                 break;
2664                 }
2665
2666                 if (wc->ignore_cur_inode)
2667                         continue;
2668
2669                 if (key.type == BTRFS_DIR_INDEX_KEY &&
2670                     wc->stage == LOG_WALK_REPLAY_DIR_INDEX) {
2671                         ret = replay_one_dir_item(wc->trans, root, path,
2672                                                   eb, i, &key);
2673                         if (ret)
2674                                 break;
2675                 }
2676
2677                 if (wc->stage < LOG_WALK_REPLAY_ALL)
2678                         continue;
2679
2680                 /* these keys are simply copied */
2681                 if (key.type == BTRFS_XATTR_ITEM_KEY) {
2682                         ret = overwrite_item(wc->trans, root, path,
2683                                              eb, i, &key);
2684                         if (ret)
2685                                 break;
2686                 } else if (key.type == BTRFS_INODE_REF_KEY ||
2687                            key.type == BTRFS_INODE_EXTREF_KEY) {
2688                         ret = add_inode_ref(wc->trans, root, log, path,
2689                                             eb, i, &key);
2690                         if (ret && ret != -ENOENT)
2691                                 break;
2692                         ret = 0;
2693                 } else if (key.type == BTRFS_EXTENT_DATA_KEY) {
2694                         ret = replay_one_extent(wc->trans, root, path,
2695                                                 eb, i, &key);
2696                         if (ret)
2697                                 break;
2698                 } else if (key.type == BTRFS_DIR_ITEM_KEY) {
2699                         ret = replay_one_dir_item(wc->trans, root, path,
2700                                                   eb, i, &key);
2701                         if (ret)
2702                                 break;
2703                 }
2704         }
2705         btrfs_free_path(path);
2706         return ret;
2707 }
2708
2709 /*
2710  * Correctly adjust the reserved bytes occupied by a log tree extent buffer
2711  */
2712 static void unaccount_log_buffer(struct btrfs_fs_info *fs_info, u64 start)
2713 {
2714         struct btrfs_block_group *cache;
2715
2716         cache = btrfs_lookup_block_group(fs_info, start);
2717         if (!cache) {
2718                 btrfs_err(fs_info, "unable to find block group for %llu", start);
2719                 return;
2720         }
2721
2722         spin_lock(&cache->space_info->lock);
2723         spin_lock(&cache->lock);
2724         cache->reserved -= fs_info->nodesize;
2725         cache->space_info->bytes_reserved -= fs_info->nodesize;
2726         spin_unlock(&cache->lock);
2727         spin_unlock(&cache->space_info->lock);
2728
2729         btrfs_put_block_group(cache);
2730 }
2731
2732 static noinline int walk_down_log_tree(struct btrfs_trans_handle *trans,
2733                                    struct btrfs_root *root,
2734                                    struct btrfs_path *path, int *level,
2735                                    struct walk_control *wc)
2736 {
2737         struct btrfs_fs_info *fs_info = root->fs_info;
2738         u64 bytenr;
2739         u64 ptr_gen;
2740         struct extent_buffer *next;
2741         struct extent_buffer *cur;
2742         u32 blocksize;
2743         int ret = 0;
2744
2745         while (*level > 0) {
2746                 struct btrfs_key first_key;
2747
2748                 cur = path->nodes[*level];
2749
2750                 WARN_ON(btrfs_header_level(cur) != *level);
2751
2752                 if (path->slots[*level] >=
2753                     btrfs_header_nritems(cur))
2754                         break;
2755
2756                 bytenr = btrfs_node_blockptr(cur, path->slots[*level]);
2757                 ptr_gen = btrfs_node_ptr_generation(cur, path->slots[*level]);
2758                 btrfs_node_key_to_cpu(cur, &first_key, path->slots[*level]);
2759                 blocksize = fs_info->nodesize;
2760
2761                 next = btrfs_find_create_tree_block(fs_info, bytenr,
2762                                                     btrfs_header_owner(cur),
2763                                                     *level - 1);
2764                 if (IS_ERR(next))
2765                         return PTR_ERR(next);
2766
2767                 if (*level == 1) {
2768                         ret = wc->process_func(root, next, wc, ptr_gen,
2769                                                *level - 1);
2770                         if (ret) {
2771                                 free_extent_buffer(next);
2772                                 return ret;
2773                         }
2774
2775                         path->slots[*level]++;
2776                         if (wc->free) {
2777                                 ret = btrfs_read_buffer(next, ptr_gen,
2778                                                         *level - 1, &first_key);
2779                                 if (ret) {
2780                                         free_extent_buffer(next);
2781                                         return ret;
2782                                 }
2783
2784                                 if (trans) {
2785                                         btrfs_tree_lock(next);
2786                                         btrfs_clean_tree_block(next);
2787                                         btrfs_wait_tree_block_writeback(next);
2788                                         btrfs_tree_unlock(next);
2789                                         ret = btrfs_pin_reserved_extent(trans,
2790                                                         bytenr, blocksize);
2791                                         if (ret) {
2792                                                 free_extent_buffer(next);
2793                                                 return ret;
2794                                         }
2795                                         btrfs_redirty_list_add(
2796                                                 trans->transaction, next);
2797                                 } else {
2798                                         if (test_and_clear_bit(EXTENT_BUFFER_DIRTY, &next->bflags))
2799                                                 clear_extent_buffer_dirty(next);
2800                                         unaccount_log_buffer(fs_info, bytenr);
2801                                 }
2802                         }
2803                         free_extent_buffer(next);
2804                         continue;
2805                 }
2806                 ret = btrfs_read_buffer(next, ptr_gen, *level - 1, &first_key);
2807                 if (ret) {
2808                         free_extent_buffer(next);
2809                         return ret;
2810                 }
2811
2812                 if (path->nodes[*level-1])
2813                         free_extent_buffer(path->nodes[*level-1]);
2814                 path->nodes[*level-1] = next;
2815                 *level = btrfs_header_level(next);
2816                 path->slots[*level] = 0;
2817                 cond_resched();
2818         }
2819         path->slots[*level] = btrfs_header_nritems(path->nodes[*level]);
2820
2821         cond_resched();
2822         return 0;
2823 }
2824
2825 static noinline int walk_up_log_tree(struct btrfs_trans_handle *trans,
2826                                  struct btrfs_root *root,
2827                                  struct btrfs_path *path, int *level,
2828                                  struct walk_control *wc)
2829 {
2830         struct btrfs_fs_info *fs_info = root->fs_info;
2831         int i;
2832         int slot;
2833         int ret;
2834
2835         for (i = *level; i < BTRFS_MAX_LEVEL - 1 && path->nodes[i]; i++) {
2836                 slot = path->slots[i];
2837                 if (slot + 1 < btrfs_header_nritems(path->nodes[i])) {
2838                         path->slots[i]++;
2839                         *level = i;
2840                         WARN_ON(*level == 0);
2841                         return 0;
2842                 } else {
2843                         ret = wc->process_func(root, path->nodes[*level], wc,
2844                                  btrfs_header_generation(path->nodes[*level]),
2845                                  *level);
2846                         if (ret)
2847                                 return ret;
2848
2849                         if (wc->free) {
2850                                 struct extent_buffer *next;
2851
2852                                 next = path->nodes[*level];
2853
2854                                 if (trans) {
2855                                         btrfs_tree_lock(next);
2856                                         btrfs_clean_tree_block(next);
2857                                         btrfs_wait_tree_block_writeback(next);
2858                                         btrfs_tree_unlock(next);
2859                                         ret = btrfs_pin_reserved_extent(trans,
2860                                                      path->nodes[*level]->start,
2861                                                      path->nodes[*level]->len);
2862                                         if (ret)
2863                                                 return ret;
2864                                         btrfs_redirty_list_add(trans->transaction,
2865                                                                next);
2866                                 } else {
2867                                         if (test_and_clear_bit(EXTENT_BUFFER_DIRTY, &next->bflags))
2868                                                 clear_extent_buffer_dirty(next);
2869
2870                                         unaccount_log_buffer(fs_info,
2871                                                 path->nodes[*level]->start);
2872                                 }
2873                         }
2874                         free_extent_buffer(path->nodes[*level]);
2875                         path->nodes[*level] = NULL;
2876                         *level = i + 1;
2877                 }
2878         }
2879         return 1;
2880 }
2881
2882 /*
2883  * drop the reference count on the tree rooted at 'snap'.  This traverses
2884  * the tree freeing any blocks that have a ref count of zero after being
2885  * decremented.
2886  */
2887 static int walk_log_tree(struct btrfs_trans_handle *trans,
2888                          struct btrfs_root *log, struct walk_control *wc)
2889 {
2890         struct btrfs_fs_info *fs_info = log->fs_info;
2891         int ret = 0;
2892         int wret;
2893         int level;
2894         struct btrfs_path *path;
2895         int orig_level;
2896
2897         path = btrfs_alloc_path();
2898         if (!path)
2899                 return -ENOMEM;
2900
2901         level = btrfs_header_level(log->node);
2902         orig_level = level;
2903         path->nodes[level] = log->node;
2904         atomic_inc(&log->node->refs);
2905         path->slots[level] = 0;
2906
2907         while (1) {
2908                 wret = walk_down_log_tree(trans, log, path, &level, wc);
2909                 if (wret > 0)
2910                         break;
2911                 if (wret < 0) {
2912                         ret = wret;
2913                         goto out;
2914                 }
2915
2916                 wret = walk_up_log_tree(trans, log, path, &level, wc);
2917                 if (wret > 0)
2918                         break;
2919                 if (wret < 0) {
2920                         ret = wret;
2921                         goto out;
2922                 }
2923         }
2924
2925         /* was the root node processed? if not, catch it here */
2926         if (path->nodes[orig_level]) {
2927                 ret = wc->process_func(log, path->nodes[orig_level], wc,
2928                          btrfs_header_generation(path->nodes[orig_level]),
2929                          orig_level);
2930                 if (ret)
2931                         goto out;
2932                 if (wc->free) {
2933                         struct extent_buffer *next;
2934
2935                         next = path->nodes[orig_level];
2936
2937                         if (trans) {
2938                                 btrfs_tree_lock(next);
2939                                 btrfs_clean_tree_block(next);
2940                                 btrfs_wait_tree_block_writeback(next);
2941                                 btrfs_tree_unlock(next);
2942                                 ret = btrfs_pin_reserved_extent(trans,
2943                                                 next->start, next->len);
2944                                 if (ret)
2945                                         goto out;
2946                                 btrfs_redirty_list_add(trans->transaction, next);
2947                         } else {
2948                                 if (test_and_clear_bit(EXTENT_BUFFER_DIRTY, &next->bflags))
2949                                         clear_extent_buffer_dirty(next);
2950                                 unaccount_log_buffer(fs_info, next->start);
2951                         }
2952                 }
2953         }
2954
2955 out:
2956         btrfs_free_path(path);
2957         return ret;
2958 }
2959
2960 /*
2961  * helper function to update the item for a given subvolumes log root
2962  * in the tree of log roots
2963  */
2964 static int update_log_root(struct btrfs_trans_handle *trans,
2965                            struct btrfs_root *log,
2966                            struct btrfs_root_item *root_item)
2967 {
2968         struct btrfs_fs_info *fs_info = log->fs_info;
2969         int ret;
2970
2971         if (log->log_transid == 1) {
2972                 /* insert root item on the first sync */
2973                 ret = btrfs_insert_root(trans, fs_info->log_root_tree,
2974                                 &log->root_key, root_item);
2975         } else {
2976                 ret = btrfs_update_root(trans, fs_info->log_root_tree,
2977                                 &log->root_key, root_item);
2978         }
2979         return ret;
2980 }
2981
2982 static void wait_log_commit(struct btrfs_root *root, int transid)
2983 {
2984         DEFINE_WAIT(wait);
2985         int index = transid % 2;
2986
2987         /*
2988          * we only allow two pending log transactions at a time,
2989          * so we know that if ours is more than 2 older than the
2990          * current transaction, we're done
2991          */
2992         for (;;) {
2993                 prepare_to_wait(&root->log_commit_wait[index],
2994                                 &wait, TASK_UNINTERRUPTIBLE);
2995
2996                 if (!(root->log_transid_committed < transid &&
2997                       atomic_read(&root->log_commit[index])))
2998                         break;
2999
3000                 mutex_unlock(&root->log_mutex);
3001                 schedule();
3002                 mutex_lock(&root->log_mutex);
3003         }
3004         finish_wait(&root->log_commit_wait[index], &wait);
3005 }
3006
3007 static void wait_for_writer(struct btrfs_root *root)
3008 {
3009         DEFINE_WAIT(wait);
3010
3011         for (;;) {
3012                 prepare_to_wait(&root->log_writer_wait, &wait,
3013                                 TASK_UNINTERRUPTIBLE);
3014                 if (!atomic_read(&root->log_writers))
3015                         break;
3016
3017                 mutex_unlock(&root->log_mutex);
3018                 schedule();
3019                 mutex_lock(&root->log_mutex);
3020         }
3021         finish_wait(&root->log_writer_wait, &wait);
3022 }
3023
3024 static inline void btrfs_remove_log_ctx(struct btrfs_root *root,
3025                                         struct btrfs_log_ctx *ctx)
3026 {
3027         if (!ctx)
3028                 return;
3029
3030         mutex_lock(&root->log_mutex);
3031         list_del_init(&ctx->list);
3032         mutex_unlock(&root->log_mutex);
3033 }
3034
3035 /* 
3036  * Invoked in log mutex context, or be sure there is no other task which
3037  * can access the list.
3038  */
3039 static inline void btrfs_remove_all_log_ctxs(struct btrfs_root *root,
3040                                              int index, int error)
3041 {
3042         struct btrfs_log_ctx *ctx;
3043         struct btrfs_log_ctx *safe;
3044
3045         list_for_each_entry_safe(ctx, safe, &root->log_ctxs[index], list) {
3046                 list_del_init(&ctx->list);
3047                 ctx->log_ret = error;
3048         }
3049 }
3050
3051 /*
3052  * btrfs_sync_log does sends a given tree log down to the disk and
3053  * updates the super blocks to record it.  When this call is done,
3054  * you know that any inodes previously logged are safely on disk only
3055  * if it returns 0.
3056  *
3057  * Any other return value means you need to call btrfs_commit_transaction.
3058  * Some of the edge cases for fsyncing directories that have had unlinks
3059  * or renames done in the past mean that sometimes the only safe
3060  * fsync is to commit the whole FS.  When btrfs_sync_log returns -EAGAIN,
3061  * that has happened.
3062  */
3063 int btrfs_sync_log(struct btrfs_trans_handle *trans,
3064                    struct btrfs_root *root, struct btrfs_log_ctx *ctx)
3065 {
3066         int index1;
3067         int index2;
3068         int mark;
3069         int ret;
3070         struct btrfs_fs_info *fs_info = root->fs_info;
3071         struct btrfs_root *log = root->log_root;
3072         struct btrfs_root *log_root_tree = fs_info->log_root_tree;
3073         struct btrfs_root_item new_root_item;
3074         int log_transid = 0;
3075         struct btrfs_log_ctx root_log_ctx;
3076         struct blk_plug plug;
3077         u64 log_root_start;
3078         u64 log_root_level;
3079
3080         mutex_lock(&root->log_mutex);
3081         log_transid = ctx->log_transid;
3082         if (root->log_transid_committed >= log_transid) {
3083                 mutex_unlock(&root->log_mutex);
3084                 return ctx->log_ret;
3085         }
3086
3087         index1 = log_transid % 2;
3088         if (atomic_read(&root->log_commit[index1])) {
3089                 wait_log_commit(root, log_transid);
3090                 mutex_unlock(&root->log_mutex);
3091                 return ctx->log_ret;
3092         }
3093         ASSERT(log_transid == root->log_transid);
3094         atomic_set(&root->log_commit[index1], 1);
3095
3096         /* wait for previous tree log sync to complete */
3097         if (atomic_read(&root->log_commit[(index1 + 1) % 2]))
3098                 wait_log_commit(root, log_transid - 1);
3099
3100         while (1) {
3101                 int batch = atomic_read(&root->log_batch);
3102                 /* when we're on an ssd, just kick the log commit out */
3103                 if (!btrfs_test_opt(fs_info, SSD) &&
3104                     test_bit(BTRFS_ROOT_MULTI_LOG_TASKS, &root->state)) {
3105                         mutex_unlock(&root->log_mutex);
3106                         schedule_timeout_uninterruptible(1);
3107                         mutex_lock(&root->log_mutex);
3108                 }
3109                 wait_for_writer(root);
3110                 if (batch == atomic_read(&root->log_batch))
3111                         break;
3112         }
3113
3114         /* bail out if we need to do a full commit */
3115         if (btrfs_need_log_full_commit(trans)) {
3116                 ret = -EAGAIN;
3117                 mutex_unlock(&root->log_mutex);
3118                 goto out;
3119         }
3120
3121         if (log_transid % 2 == 0)
3122                 mark = EXTENT_DIRTY;
3123         else
3124                 mark = EXTENT_NEW;
3125
3126         /* we start IO on  all the marked extents here, but we don't actually
3127          * wait for them until later.
3128          */
3129         blk_start_plug(&plug);
3130         ret = btrfs_write_marked_extents(fs_info, &log->dirty_log_pages, mark);
3131         /*
3132          * -EAGAIN happens when someone, e.g., a concurrent transaction
3133          *  commit, writes a dirty extent in this tree-log commit. This
3134          *  concurrent write will create a hole writing out the extents,
3135          *  and we cannot proceed on a zoned filesystem, requiring
3136          *  sequential writing. While we can bail out to a full commit
3137          *  here, but we can continue hoping the concurrent writing fills
3138          *  the hole.
3139          */
3140         if (ret == -EAGAIN && btrfs_is_zoned(fs_info))
3141                 ret = 0;
3142         if (ret) {
3143                 blk_finish_plug(&plug);
3144                 btrfs_abort_transaction(trans, ret);
3145                 btrfs_set_log_full_commit(trans);
3146                 mutex_unlock(&root->log_mutex);
3147                 goto out;
3148         }
3149
3150         /*
3151          * We _must_ update under the root->log_mutex in order to make sure we
3152          * have a consistent view of the log root we are trying to commit at
3153          * this moment.
3154          *
3155          * We _must_ copy this into a local copy, because we are not holding the
3156          * log_root_tree->log_mutex yet.  This is important because when we
3157          * commit the log_root_tree we must have a consistent view of the
3158          * log_root_tree when we update the super block to point at the
3159          * log_root_tree bytenr.  If we update the log_root_tree here we'll race
3160          * with the commit and possibly point at the new block which we may not
3161          * have written out.
3162          */
3163         btrfs_set_root_node(&log->root_item, log->node);
3164         memcpy(&new_root_item, &log->root_item, sizeof(new_root_item));
3165
3166         root->log_transid++;
3167         log->log_transid = root->log_transid;
3168         root->log_start_pid = 0;
3169         /*
3170          * IO has been started, blocks of the log tree have WRITTEN flag set
3171          * in their headers. new modifications of the log will be written to
3172          * new positions. so it's safe to allow log writers to go in.
3173          */
3174         mutex_unlock(&root->log_mutex);
3175
3176         if (btrfs_is_zoned(fs_info)) {
3177                 mutex_lock(&fs_info->tree_root->log_mutex);
3178                 if (!log_root_tree->node) {
3179                         ret = btrfs_alloc_log_tree_node(trans, log_root_tree);
3180                         if (ret) {
3181                                 mutex_unlock(&fs_info->tree_root->log_mutex);
3182                                 blk_finish_plug(&plug);
3183                                 goto out;
3184                         }
3185                 }
3186                 mutex_unlock(&fs_info->tree_root->log_mutex);
3187         }
3188
3189         btrfs_init_log_ctx(&root_log_ctx, NULL);
3190
3191         mutex_lock(&log_root_tree->log_mutex);
3192
3193         index2 = log_root_tree->log_transid % 2;
3194         list_add_tail(&root_log_ctx.list, &log_root_tree->log_ctxs[index2]);
3195         root_log_ctx.log_transid = log_root_tree->log_transid;
3196
3197         /*
3198          * Now we are safe to update the log_root_tree because we're under the
3199          * log_mutex, and we're a current writer so we're holding the commit
3200          * open until we drop the log_mutex.
3201          */
3202         ret = update_log_root(trans, log, &new_root_item);
3203         if (ret) {
3204                 if (!list_empty(&root_log_ctx.list))
3205                         list_del_init(&root_log_ctx.list);
3206
3207                 blk_finish_plug(&plug);
3208                 btrfs_set_log_full_commit(trans);
3209
3210                 if (ret != -ENOSPC) {
3211                         btrfs_abort_transaction(trans, ret);
3212                         mutex_unlock(&log_root_tree->log_mutex);
3213                         goto out;
3214                 }
3215                 btrfs_wait_tree_log_extents(log, mark);
3216                 mutex_unlock(&log_root_tree->log_mutex);
3217                 ret = -EAGAIN;
3218                 goto out;
3219         }
3220
3221         if (log_root_tree->log_transid_committed >= root_log_ctx.log_transid) {
3222                 blk_finish_plug(&plug);
3223                 list_del_init(&root_log_ctx.list);
3224                 mutex_unlock(&log_root_tree->log_mutex);
3225                 ret = root_log_ctx.log_ret;
3226                 goto out;
3227         }
3228
3229         index2 = root_log_ctx.log_transid % 2;
3230         if (atomic_read(&log_root_tree->log_commit[index2])) {
3231                 blk_finish_plug(&plug);
3232                 ret = btrfs_wait_tree_log_extents(log, mark);
3233                 wait_log_commit(log_root_tree,
3234                                 root_log_ctx.log_transid);
3235                 mutex_unlock(&log_root_tree->log_mutex);
3236                 if (!ret)
3237                         ret = root_log_ctx.log_ret;
3238                 goto out;
3239         }
3240         ASSERT(root_log_ctx.log_transid == log_root_tree->log_transid);
3241         atomic_set(&log_root_tree->log_commit[index2], 1);
3242
3243         if (atomic_read(&log_root_tree->log_commit[(index2 + 1) % 2])) {
3244                 wait_log_commit(log_root_tree,
3245                                 root_log_ctx.log_transid - 1);
3246         }
3247
3248         /*
3249          * now that we've moved on to the tree of log tree roots,
3250          * check the full commit flag again
3251          */
3252         if (btrfs_need_log_full_commit(trans)) {
3253                 blk_finish_plug(&plug);
3254                 btrfs_wait_tree_log_extents(log, mark);
3255                 mutex_unlock(&log_root_tree->log_mutex);
3256                 ret = -EAGAIN;
3257                 goto out_wake_log_root;
3258         }
3259
3260         ret = btrfs_write_marked_extents(fs_info,
3261                                          &log_root_tree->dirty_log_pages,
3262                                          EXTENT_DIRTY | EXTENT_NEW);
3263         blk_finish_plug(&plug);
3264         /*
3265          * As described above, -EAGAIN indicates a hole in the extents. We
3266          * cannot wait for these write outs since the waiting cause a
3267          * deadlock. Bail out to the full commit instead.
3268          */
3269         if (ret == -EAGAIN && btrfs_is_zoned(fs_info)) {
3270                 btrfs_set_log_full_commit(trans);
3271                 btrfs_wait_tree_log_extents(log, mark);
3272                 mutex_unlock(&log_root_tree->log_mutex);
3273                 goto out_wake_log_root;
3274         } else if (ret) {
3275                 btrfs_set_log_full_commit(trans);
3276                 btrfs_abort_transaction(trans, ret);
3277                 mutex_unlock(&log_root_tree->log_mutex);
3278                 goto out_wake_log_root;
3279         }
3280         ret = btrfs_wait_tree_log_extents(log, mark);
3281         if (!ret)
3282                 ret = btrfs_wait_tree_log_extents(log_root_tree,
3283                                                   EXTENT_NEW | EXTENT_DIRTY);
3284         if (ret) {
3285                 btrfs_set_log_full_commit(trans);
3286                 mutex_unlock(&log_root_tree->log_mutex);
3287                 goto out_wake_log_root;
3288         }
3289
3290         log_root_start = log_root_tree->node->start;
3291         log_root_level = btrfs_header_level(log_root_tree->node);
3292         log_root_tree->log_transid++;
3293         mutex_unlock(&log_root_tree->log_mutex);
3294
3295         /*
3296          * Here we are guaranteed that nobody is going to write the superblock
3297          * for the current transaction before us and that neither we do write
3298          * our superblock before the previous transaction finishes its commit
3299          * and writes its superblock, because:
3300          *
3301          * 1) We are holding a handle on the current transaction, so no body
3302          *    can commit it until we release the handle;
3303          *
3304          * 2) Before writing our superblock we acquire the tree_log_mutex, so
3305          *    if the previous transaction is still committing, and hasn't yet
3306          *    written its superblock, we wait for it to do it, because a
3307          *    transaction commit acquires the tree_log_mutex when the commit
3308          *    begins and releases it only after writing its superblock.
3309          */
3310         mutex_lock(&fs_info->tree_log_mutex);
3311
3312         /*
3313          * The previous transaction writeout phase could have failed, and thus
3314          * marked the fs in an error state.  We must not commit here, as we
3315          * could have updated our generation in the super_for_commit and
3316          * writing the super here would result in transid mismatches.  If there
3317          * is an error here just bail.
3318          */
3319         if (test_bit(BTRFS_FS_STATE_ERROR, &fs_info->fs_state)) {
3320                 ret = -EIO;
3321                 btrfs_set_log_full_commit(trans);
3322                 btrfs_abort_transaction(trans, ret);
3323                 mutex_unlock(&fs_info->tree_log_mutex);
3324                 goto out_wake_log_root;
3325         }
3326
3327         btrfs_set_super_log_root(fs_info->super_for_commit, log_root_start);
3328         btrfs_set_super_log_root_level(fs_info->super_for_commit, log_root_level);
3329         ret = write_all_supers(fs_info, 1);
3330         mutex_unlock(&fs_info->tree_log_mutex);
3331         if (ret) {
3332                 btrfs_set_log_full_commit(trans);
3333                 btrfs_abort_transaction(trans, ret);
3334                 goto out_wake_log_root;
3335         }
3336
3337         /*
3338          * We know there can only be one task here, since we have not yet set
3339          * root->log_commit[index1] to 0 and any task attempting to sync the
3340          * log must wait for the previous log transaction to commit if it's
3341          * still in progress or wait for the current log transaction commit if
3342          * someone else already started it. We use <= and not < because the
3343          * first log transaction has an ID of 0.
3344          */
3345         ASSERT(root->last_log_commit <= log_transid);
3346         root->last_log_commit = log_transid;
3347
3348 out_wake_log_root:
3349         mutex_lock(&log_root_tree->log_mutex);
3350         btrfs_remove_all_log_ctxs(log_root_tree, index2, ret);
3351
3352         log_root_tree->log_transid_committed++;
3353         atomic_set(&log_root_tree->log_commit[index2], 0);
3354         mutex_unlock(&log_root_tree->log_mutex);
3355
3356         /*
3357          * The barrier before waitqueue_active (in cond_wake_up) is needed so
3358          * all the updates above are seen by the woken threads. It might not be
3359          * necessary, but proving that seems to be hard.
3360          */
3361         cond_wake_up(&log_root_tree->log_commit_wait[index2]);
3362 out:
3363         mutex_lock(&root->log_mutex);
3364         btrfs_remove_all_log_ctxs(root, index1, ret);
3365         root->log_transid_committed++;
3366         atomic_set(&root->log_commit[index1], 0);
3367         mutex_unlock(&root->log_mutex);
3368
3369         /*
3370          * The barrier before waitqueue_active (in cond_wake_up) is needed so
3371          * all the updates above are seen by the woken threads. It might not be
3372          * necessary, but proving that seems to be hard.
3373          */
3374         cond_wake_up(&root->log_commit_wait[index1]);
3375         return ret;
3376 }
3377
3378 static void free_log_tree(struct btrfs_trans_handle *trans,
3379                           struct btrfs_root *log)
3380 {
3381         int ret;
3382         struct walk_control wc = {
3383                 .free = 1,
3384                 .process_func = process_one_buffer
3385         };
3386
3387         if (log->node) {
3388                 ret = walk_log_tree(trans, log, &wc);
3389                 if (ret) {
3390                         /*
3391                          * We weren't able to traverse the entire log tree, the
3392                          * typical scenario is getting an -EIO when reading an
3393                          * extent buffer of the tree, due to a previous writeback
3394                          * failure of it.
3395                          */
3396                         set_bit(BTRFS_FS_STATE_LOG_CLEANUP_ERROR,
3397                                 &log->fs_info->fs_state);
3398
3399                         /*
3400                          * Some extent buffers of the log tree may still be dirty
3401                          * and not yet written back to storage, because we may
3402                          * have updates to a log tree without syncing a log tree,
3403                          * such as during rename and link operations. So flush
3404                          * them out and wait for their writeback to complete, so
3405                          * that we properly cleanup their state and pages.
3406                          */
3407                         btrfs_write_marked_extents(log->fs_info,
3408                                                    &log->dirty_log_pages,
3409                                                    EXTENT_DIRTY | EXTENT_NEW);
3410                         btrfs_wait_tree_log_extents(log,
3411                                                     EXTENT_DIRTY | EXTENT_NEW);
3412
3413                         if (trans)
3414                                 btrfs_abort_transaction(trans, ret);
3415                         else
3416                                 btrfs_handle_fs_error(log->fs_info, ret, NULL);
3417                 }
3418         }
3419
3420         clear_extent_bits(&log->dirty_log_pages, 0, (u64)-1,
3421                           EXTENT_DIRTY | EXTENT_NEW | EXTENT_NEED_WAIT);
3422         extent_io_tree_release(&log->log_csum_range);
3423
3424         btrfs_put_root(log);
3425 }
3426
3427 /*
3428  * free all the extents used by the tree log.  This should be called
3429  * at commit time of the full transaction
3430  */
3431 int btrfs_free_log(struct btrfs_trans_handle *trans, struct btrfs_root *root)
3432 {
3433         if (root->log_root) {
3434                 free_log_tree(trans, root->log_root);
3435                 root->log_root = NULL;
3436                 clear_bit(BTRFS_ROOT_HAS_LOG_TREE, &root->state);
3437         }
3438         return 0;
3439 }
3440
3441 int btrfs_free_log_root_tree(struct btrfs_trans_handle *trans,
3442                              struct btrfs_fs_info *fs_info)
3443 {
3444         if (fs_info->log_root_tree) {
3445                 free_log_tree(trans, fs_info->log_root_tree);
3446                 fs_info->log_root_tree = NULL;
3447                 clear_bit(BTRFS_ROOT_HAS_LOG_TREE, &fs_info->tree_root->state);
3448         }
3449         return 0;
3450 }
3451
3452 /*
3453  * Check if an inode was logged in the current transaction. This may often
3454  * return some false positives, because logged_trans is an in memory only field,
3455  * not persisted anywhere. This is meant to be used in contexts where a false
3456  * positive has no functional consequences.
3457  */
3458 static bool inode_logged(struct btrfs_trans_handle *trans,
3459                          struct btrfs_inode *inode)
3460 {
3461         if (inode->logged_trans == trans->transid)
3462                 return true;
3463
3464         /*
3465          * The inode's logged_trans is always 0 when we load it (because it is
3466          * not persisted in the inode item or elsewhere). So if it is 0, the
3467          * inode was last modified in the current transaction then the inode may
3468          * have been logged before in the current transaction, then evicted and
3469          * loaded again in the current transaction - or may have never been logged
3470          * in the current transaction, but since we can not be sure, we have to
3471          * assume it was, otherwise our callers can leave an inconsistent log.
3472          */
3473         if (inode->logged_trans == 0 &&
3474             inode->last_trans == trans->transid &&
3475             !test_bit(BTRFS_FS_LOG_RECOVERING, &trans->fs_info->flags))
3476                 return true;
3477
3478         return false;
3479 }
3480
3481 /*
3482  * If both a file and directory are logged, and unlinks or renames are
3483  * mixed in, we have a few interesting corners:
3484  *
3485  * create file X in dir Y
3486  * link file X to X.link in dir Y
3487  * fsync file X
3488  * unlink file X but leave X.link
3489  * fsync dir Y
3490  *
3491  * After a crash we would expect only X.link to exist.  But file X
3492  * didn't get fsync'd again so the log has back refs for X and X.link.
3493  *
3494  * We solve this by removing directory entries and inode backrefs from the
3495  * log when a file that was logged in the current transaction is
3496  * unlinked.  Any later fsync will include the updated log entries, and
3497  * we'll be able to reconstruct the proper directory items from backrefs.
3498  *
3499  * This optimizations allows us to avoid relogging the entire inode
3500  * or the entire directory.
3501  */
3502 int btrfs_del_dir_entries_in_log(struct btrfs_trans_handle *trans,
3503                                  struct btrfs_root *root,
3504                                  const char *name, int name_len,
3505                                  struct btrfs_inode *dir, u64 index)
3506 {
3507         struct btrfs_root *log;
3508         struct btrfs_dir_item *di;
3509         struct btrfs_path *path;
3510         int ret;
3511         int err = 0;
3512         u64 dir_ino = btrfs_ino(dir);
3513
3514         if (!inode_logged(trans, dir))
3515                 return 0;
3516
3517         ret = join_running_log_trans(root);
3518         if (ret)
3519                 return 0;
3520
3521         mutex_lock(&dir->log_mutex);
3522
3523         log = root->log_root;
3524         path = btrfs_alloc_path();
3525         if (!path) {
3526                 err = -ENOMEM;
3527                 goto out_unlock;
3528         }
3529
3530         di = btrfs_lookup_dir_item(trans, log, path, dir_ino,
3531                                    name, name_len, -1);
3532         if (IS_ERR(di)) {
3533                 err = PTR_ERR(di);
3534                 goto fail;
3535         }
3536         if (di) {
3537                 ret = btrfs_delete_one_dir_name(trans, log, path, di);
3538                 if (ret) {
3539                         err = ret;
3540                         goto fail;
3541                 }
3542         }
3543         btrfs_release_path(path);
3544         di = btrfs_lookup_dir_index_item(trans, log, path, dir_ino,
3545                                          index, name, name_len, -1);
3546         if (IS_ERR(di)) {
3547                 err = PTR_ERR(di);
3548                 goto fail;
3549         }
3550         if (di) {
3551                 ret = btrfs_delete_one_dir_name(trans, log, path, di);
3552                 if (ret) {
3553                         err = ret;
3554                         goto fail;
3555                 }
3556         }
3557
3558         /*
3559          * We do not need to update the size field of the directory's inode item
3560          * because on log replay we update the field to reflect all existing
3561          * entries in the directory (see overwrite_item()).
3562          */
3563 fail:
3564         btrfs_free_path(path);
3565 out_unlock:
3566         mutex_unlock(&dir->log_mutex);
3567         if (err == -ENOSPC) {
3568                 btrfs_set_log_full_commit(trans);
3569                 err = 0;
3570         } else if (err < 0) {
3571                 btrfs_abort_transaction(trans, err);
3572         }
3573
3574         btrfs_end_log_trans(root);
3575
3576         return err;
3577 }
3578
3579 /* see comments for btrfs_del_dir_entries_in_log */
3580 int btrfs_del_inode_ref_in_log(struct btrfs_trans_handle *trans,
3581                                struct btrfs_root *root,
3582                                const char *name, int name_len,
3583                                struct btrfs_inode *inode, u64 dirid)
3584 {
3585         struct btrfs_root *log;
3586         u64 index;
3587         int ret;
3588
3589         if (!inode_logged(trans, inode))
3590                 return 0;
3591
3592         ret = join_running_log_trans(root);
3593         if (ret)
3594                 return 0;
3595         log = root->log_root;
3596         mutex_lock(&inode->log_mutex);
3597
3598         ret = btrfs_del_inode_ref(trans, log, name, name_len, btrfs_ino(inode),
3599                                   dirid, &index);
3600         mutex_unlock(&inode->log_mutex);
3601         if (ret == -ENOSPC) {
3602                 btrfs_set_log_full_commit(trans);
3603                 ret = 0;
3604         } else if (ret < 0 && ret != -ENOENT)
3605                 btrfs_abort_transaction(trans, ret);
3606         btrfs_end_log_trans(root);
3607
3608         return ret;
3609 }
3610
3611 /*
3612  * creates a range item in the log for 'dirid'.  first_offset and
3613  * last_offset tell us which parts of the key space the log should
3614  * be considered authoritative for.
3615  */
3616 static noinline int insert_dir_log_key(struct btrfs_trans_handle *trans,
3617                                        struct btrfs_root *log,
3618                                        struct btrfs_path *path,
3619                                        int key_type, u64 dirid,
3620                                        u64 first_offset, u64 last_offset)
3621 {
3622         int ret;
3623         struct btrfs_key key;
3624         struct btrfs_dir_log_item *item;
3625
3626         key.objectid = dirid;
3627         key.offset = first_offset;
3628         if (key_type == BTRFS_DIR_ITEM_KEY)
3629                 key.type = BTRFS_DIR_LOG_ITEM_KEY;
3630         else
3631                 key.type = BTRFS_DIR_LOG_INDEX_KEY;
3632         ret = btrfs_insert_empty_item(trans, log, path, &key, sizeof(*item));
3633         if (ret)
3634                 return ret;
3635
3636         item = btrfs_item_ptr(path->nodes[0], path->slots[0],
3637                               struct btrfs_dir_log_item);
3638         btrfs_set_dir_log_end(path->nodes[0], item, last_offset);
3639         btrfs_mark_buffer_dirty(path->nodes[0]);
3640         btrfs_release_path(path);
3641         return 0;
3642 }
3643
3644 /*
3645  * log all the items included in the current transaction for a given
3646  * directory.  This also creates the range items in the log tree required
3647  * to replay anything deleted before the fsync
3648  */
3649 static noinline int log_dir_items(struct btrfs_trans_handle *trans,
3650                           struct btrfs_root *root, struct btrfs_inode *inode,
3651                           struct btrfs_path *path,
3652                           struct btrfs_path *dst_path, int key_type,
3653                           struct btrfs_log_ctx *ctx,
3654                           u64 min_offset, u64 *last_offset_ret)
3655 {
3656         struct btrfs_key min_key;
3657         struct btrfs_root *log = root->log_root;
3658         struct extent_buffer *src;
3659         int err = 0;
3660         int ret;
3661         int i;
3662         int nritems;
3663         u64 first_offset = min_offset;
3664         u64 last_offset = (u64)-1;
3665         u64 ino = btrfs_ino(inode);
3666
3667         log = root->log_root;
3668
3669         min_key.objectid = ino;
3670         min_key.type = key_type;
3671         min_key.offset = min_offset;
3672
3673         ret = btrfs_search_forward(root, &min_key, path, trans->transid);
3674
3675         /*
3676          * we didn't find anything from this transaction, see if there
3677          * is anything at all
3678          */
3679         if (ret != 0 || min_key.objectid != ino || min_key.type != key_type) {
3680                 min_key.objectid = ino;
3681                 min_key.type = key_type;
3682                 min_key.offset = (u64)-1;
3683                 btrfs_release_path(path);
3684                 ret = btrfs_search_slot(NULL, root, &min_key, path, 0, 0);
3685                 if (ret < 0) {
3686                         btrfs_release_path(path);
3687                         return ret;
3688                 }
3689                 ret = btrfs_previous_item(root, path, ino, key_type);
3690
3691                 /* if ret == 0 there are items for this type,
3692                  * create a range to tell us the last key of this type.
3693                  * otherwise, there are no items in this directory after
3694                  * *min_offset, and we create a range to indicate that.
3695                  */
3696                 if (ret == 0) {
3697                         struct btrfs_key tmp;
3698                         btrfs_item_key_to_cpu(path->nodes[0], &tmp,
3699                                               path->slots[0]);
3700                         if (key_type == tmp.type)
3701                                 first_offset = max(min_offset, tmp.offset) + 1;
3702                 }
3703                 goto done;
3704         }
3705
3706         /* go backward to find any previous key */
3707         ret = btrfs_previous_item(root, path, ino, key_type);
3708         if (ret == 0) {
3709                 struct btrfs_key tmp;
3710                 btrfs_item_key_to_cpu(path->nodes[0], &tmp, path->slots[0]);
3711                 if (key_type == tmp.type) {
3712                         first_offset = tmp.offset;
3713                         ret = overwrite_item(trans, log, dst_path,
3714                                              path->nodes[0], path->slots[0],
3715                                              &tmp);
3716                         if (ret) {
3717                                 err = ret;
3718                                 goto done;
3719                         }
3720                 }
3721         }
3722         btrfs_release_path(path);
3723
3724         /*
3725          * Find the first key from this transaction again.  See the note for
3726          * log_new_dir_dentries, if we're logging a directory recursively we
3727          * won't be holding its i_mutex, which means we can modify the directory
3728          * while we're logging it.  If we remove an entry between our first
3729          * search and this search we'll not find the key again and can just
3730          * bail.
3731          */
3732 search:
3733         ret = btrfs_search_slot(NULL, root, &min_key, path, 0, 0);
3734         if (ret != 0)
3735                 goto done;
3736
3737         /*
3738          * we have a block from this transaction, log every item in it
3739          * from our directory
3740          */
3741         while (1) {
3742                 struct btrfs_key tmp;
3743                 src = path->nodes[0];
3744                 nritems = btrfs_header_nritems(src);
3745                 for (i = path->slots[0]; i < nritems; i++) {
3746                         struct btrfs_dir_item *di;
3747
3748                         btrfs_item_key_to_cpu(src, &min_key, i);
3749
3750                         if (min_key.objectid != ino || min_key.type != key_type)
3751                                 goto done;
3752
3753                         if (need_resched()) {
3754                                 btrfs_release_path(path);
3755                                 cond_resched();
3756                                 goto search;
3757                         }
3758
3759                         ret = overwrite_item(trans, log, dst_path, src, i,
3760                                              &min_key);
3761                         if (ret) {
3762                                 err = ret;
3763                                 goto done;
3764                         }
3765
3766                         /*
3767                          * We must make sure that when we log a directory entry,
3768                          * the corresponding inode, after log replay, has a
3769                          * matching link count. For example:
3770                          *
3771                          * touch foo
3772                          * mkdir mydir
3773                          * sync
3774                          * ln foo mydir/bar
3775                          * xfs_io -c "fsync" mydir
3776                          * <crash>
3777                          * <mount fs and log replay>
3778                          *
3779                          * Would result in a fsync log that when replayed, our
3780                          * file inode would have a link count of 1, but we get
3781                          * two directory entries pointing to the same inode.
3782                          * After removing one of the names, it would not be
3783                          * possible to remove the other name, which resulted
3784                          * always in stale file handle errors, and would not
3785                          * be possible to rmdir the parent directory, since
3786                          * its i_size could never decrement to the value
3787                          * BTRFS_EMPTY_DIR_SIZE, resulting in -ENOTEMPTY errors.
3788                          */
3789                         di = btrfs_item_ptr(src, i, struct btrfs_dir_item);
3790                         btrfs_dir_item_key_to_cpu(src, di, &tmp);
3791                         if (ctx &&
3792                             (btrfs_dir_transid(src, di) == trans->transid ||
3793                              btrfs_dir_type(src, di) == BTRFS_FT_DIR) &&
3794                             tmp.type != BTRFS_ROOT_ITEM_KEY)
3795                                 ctx->log_new_dentries = true;
3796                 }
3797                 path->slots[0] = nritems;
3798
3799                 /*
3800                  * look ahead to the next item and see if it is also
3801                  * from this directory and from this transaction
3802                  */
3803                 ret = btrfs_next_leaf(root, path);
3804                 if (ret) {
3805                         if (ret == 1)
3806                                 last_offset = (u64)-1;
3807                         else
3808                                 err = ret;
3809                         goto done;
3810                 }
3811                 btrfs_item_key_to_cpu(path->nodes[0], &tmp, path->slots[0]);
3812                 if (tmp.objectid != ino || tmp.type != key_type) {
3813                         last_offset = (u64)-1;
3814                         goto done;
3815                 }
3816                 if (btrfs_header_generation(path->nodes[0]) != trans->transid) {
3817                         ret = overwrite_item(trans, log, dst_path,
3818                                              path->nodes[0], path->slots[0],
3819                                              &tmp);
3820                         if (ret)
3821                                 err = ret;
3822                         else
3823                                 last_offset = tmp.offset;
3824                         goto done;
3825                 }
3826         }
3827 done:
3828         btrfs_release_path(path);
3829         btrfs_release_path(dst_path);
3830
3831         if (err == 0) {
3832                 *last_offset_ret = last_offset;
3833                 /*
3834                  * insert the log range keys to indicate where the log
3835                  * is valid
3836                  */
3837                 ret = insert_dir_log_key(trans, log, path, key_type,
3838                                          ino, first_offset, last_offset);
3839                 if (ret)
3840                         err = ret;
3841         }
3842         return err;
3843 }
3844
3845 /*
3846  * logging directories is very similar to logging inodes, We find all the items
3847  * from the current transaction and write them to the log.
3848  *
3849  * The recovery code scans the directory in the subvolume, and if it finds a
3850  * key in the range logged that is not present in the log tree, then it means
3851  * that dir entry was unlinked during the transaction.
3852  *
3853  * In order for that scan to work, we must include one key smaller than
3854  * the smallest logged by this transaction and one key larger than the largest
3855  * key logged by this transaction.
3856  */
3857 static noinline int log_directory_changes(struct btrfs_trans_handle *trans,
3858                           struct btrfs_root *root, struct btrfs_inode *inode,
3859                           struct btrfs_path *path,
3860                           struct btrfs_path *dst_path,
3861                           struct btrfs_log_ctx *ctx)
3862 {
3863         u64 min_key;
3864         u64 max_key;
3865         int ret;
3866         int key_type = BTRFS_DIR_ITEM_KEY;
3867
3868 again:
3869         min_key = 0;
3870         max_key = 0;
3871         while (1) {
3872                 ret = log_dir_items(trans, root, inode, path, dst_path, key_type,
3873                                 ctx, min_key, &max_key);
3874                 if (ret)
3875                         return ret;
3876                 if (max_key == (u64)-1)
3877                         break;
3878                 min_key = max_key + 1;
3879         }
3880
3881         if (key_type == BTRFS_DIR_ITEM_KEY) {
3882                 key_type = BTRFS_DIR_INDEX_KEY;
3883                 goto again;
3884         }
3885         return 0;
3886 }
3887
3888 /*
3889  * a helper function to drop items from the log before we relog an
3890  * inode.  max_key_type indicates the highest item type to remove.
3891  * This cannot be run for file data extents because it does not
3892  * free the extents they point to.
3893  */
3894 static int drop_objectid_items(struct btrfs_trans_handle *trans,
3895                                   struct btrfs_root *log,
3896                                   struct btrfs_path *path,
3897                                   u64 objectid, int max_key_type)
3898 {
3899         int ret;
3900         struct btrfs_key key;
3901         struct btrfs_key found_key;
3902         int start_slot;
3903
3904         key.objectid = objectid;
3905         key.type = max_key_type;
3906         key.offset = (u64)-1;
3907
3908         while (1) {
3909                 ret = btrfs_search_slot(trans, log, &key, path, -1, 1);
3910                 BUG_ON(ret == 0); /* Logic error */
3911                 if (ret < 0)
3912                         break;
3913
3914                 if (path->slots[0] == 0)
3915                         break;
3916
3917                 path->slots[0]--;
3918                 btrfs_item_key_to_cpu(path->nodes[0], &found_key,
3919                                       path->slots[0]);
3920
3921                 if (found_key.objectid != objectid)
3922                         break;
3923
3924                 found_key.offset = 0;
3925                 found_key.type = 0;
3926                 ret = btrfs_bin_search(path->nodes[0], &found_key, &start_slot);
3927                 if (ret < 0)
3928                         break;
3929
3930                 ret = btrfs_del_items(trans, log, path, start_slot,
3931                                       path->slots[0] - start_slot + 1);
3932                 /*
3933                  * If start slot isn't 0 then we don't need to re-search, we've
3934                  * found the last guy with the objectid in this tree.
3935                  */
3936                 if (ret || start_slot != 0)
3937                         break;
3938                 btrfs_release_path(path);
3939         }
3940         btrfs_release_path(path);
3941         if (ret > 0)
3942                 ret = 0;
3943         return ret;
3944 }
3945
3946 static void fill_inode_item(struct btrfs_trans_handle *trans,
3947                             struct extent_buffer *leaf,
3948                             struct btrfs_inode_item *item,
3949                             struct inode *inode, int log_inode_only,
3950                             u64 logged_isize)
3951 {
3952         struct btrfs_map_token token;
3953         u64 flags;
3954
3955         btrfs_init_map_token(&token, leaf);
3956
3957         if (log_inode_only) {
3958                 /* set the generation to zero so the recover code
3959                  * can tell the difference between an logging
3960                  * just to say 'this inode exists' and a logging
3961                  * to say 'update this inode with these values'
3962                  */
3963                 btrfs_set_token_inode_generation(&token, item, 0);
3964                 btrfs_set_token_inode_size(&token, item, logged_isize);
3965         } else {
3966                 btrfs_set_token_inode_generation(&token, item,
3967                                                  BTRFS_I(inode)->generation);
3968                 btrfs_set_token_inode_size(&token, item, inode->i_size);
3969         }
3970
3971         btrfs_set_token_inode_uid(&token, item, i_uid_read(inode));
3972         btrfs_set_token_inode_gid(&token, item, i_gid_read(inode));
3973         btrfs_set_token_inode_mode(&token, item, inode->i_mode);
3974         btrfs_set_token_inode_nlink(&token, item, inode->i_nlink);
3975
3976         btrfs_set_token_timespec_sec(&token, &item->atime,
3977                                      inode->i_atime.tv_sec);
3978         btrfs_set_token_timespec_nsec(&token, &item->atime,
3979                                       inode->i_atime.tv_nsec);
3980
3981         btrfs_set_token_timespec_sec(&token, &item->mtime,
3982                                      inode->i_mtime.tv_sec);
3983         btrfs_set_token_timespec_nsec(&token, &item->mtime,
3984                                       inode->i_mtime.tv_nsec);
3985
3986         btrfs_set_token_timespec_sec(&token, &item->ctime,
3987                                      inode->i_ctime.tv_sec);
3988         btrfs_set_token_timespec_nsec(&token, &item->ctime,
3989                                       inode->i_ctime.tv_nsec);
3990
3991         /*
3992          * We do not need to set the nbytes field, in fact during a fast fsync
3993          * its value may not even be correct, since a fast fsync does not wait
3994          * for ordered extent completion, which is where we update nbytes, it
3995          * only waits for writeback to complete. During log replay as we find
3996          * file extent items and replay them, we adjust the nbytes field of the
3997          * inode item in subvolume tree as needed (see overwrite_item()).
3998          */
3999
4000         btrfs_set_token_inode_sequence(&token, item, inode_peek_iversion(inode));
4001         btrfs_set_token_inode_transid(&token, item, trans->transid);
4002         btrfs_set_token_inode_rdev(&token, item, inode->i_rdev);
4003         flags = btrfs_inode_combine_flags(BTRFS_I(inode)->flags,
4004                                           BTRFS_I(inode)->ro_flags);
4005         btrfs_set_token_inode_flags(&token, item, flags);
4006         btrfs_set_token_inode_block_group(&token, item, 0);
4007 }
4008
4009 static int log_inode_item(struct btrfs_trans_handle *trans,
4010                           struct btrfs_root *log, struct btrfs_path *path,
4011                           struct btrfs_inode *inode, bool inode_item_dropped)
4012 {
4013         struct btrfs_inode_item *inode_item;
4014         int ret;
4015
4016         /*
4017          * If we are doing a fast fsync and the inode was logged before in the
4018          * current transaction, then we know the inode was previously logged and
4019          * it exists in the log tree. For performance reasons, in this case use
4020          * btrfs_search_slot() directly with ins_len set to 0 so that we never
4021          * attempt a write lock on the leaf's parent, which adds unnecessary lock
4022          * contention in case there are concurrent fsyncs for other inodes of the
4023          * same subvolume. Using btrfs_insert_empty_item() when the inode item
4024          * already exists can also result in unnecessarily splitting a leaf.
4025          */
4026         if (!inode_item_dropped && inode->logged_trans == trans->transid) {
4027                 ret = btrfs_search_slot(trans, log, &inode->location, path, 0, 1);
4028                 ASSERT(ret <= 0);
4029                 if (ret > 0)
4030                         ret = -ENOENT;
4031         } else {
4032                 /*
4033                  * This means it is the first fsync in the current transaction,
4034                  * so the inode item is not in the log and we need to insert it.
4035                  * We can never get -EEXIST because we are only called for a fast
4036                  * fsync and in case an inode eviction happens after the inode was
4037                  * logged before in the current transaction, when we load again
4038                  * the inode, we set BTRFS_INODE_NEEDS_FULL_SYNC on its runtime
4039                  * flags and set ->logged_trans to 0.
4040                  */
4041                 ret = btrfs_insert_empty_item(trans, log, path, &inode->location,
4042                                               sizeof(*inode_item));
4043                 ASSERT(ret != -EEXIST);
4044         }
4045         if (ret)
4046                 return ret;
4047         inode_item = btrfs_item_ptr(path->nodes[0], path->slots[0],
4048                                     struct btrfs_inode_item);
4049         fill_inode_item(trans, path->nodes[0], inode_item, &inode->vfs_inode,
4050                         0, 0);
4051         btrfs_release_path(path);
4052         return 0;
4053 }
4054
4055 static int log_csums(struct btrfs_trans_handle *trans,
4056                      struct btrfs_inode *inode,
4057                      struct btrfs_root *log_root,
4058                      struct btrfs_ordered_sum *sums)
4059 {
4060         const u64 lock_end = sums->bytenr + sums->len - 1;
4061         struct extent_state *cached_state = NULL;
4062         int ret;
4063
4064         /*
4065          * If this inode was not used for reflink operations in the current
4066          * transaction with new extents, then do the fast path, no need to
4067          * worry about logging checksum items with overlapping ranges.
4068          */
4069         if (inode->last_reflink_trans < trans->transid)
4070                 return btrfs_csum_file_blocks(trans, log_root, sums);
4071
4072         /*
4073          * Serialize logging for checksums. This is to avoid racing with the
4074          * same checksum being logged by another task that is logging another
4075          * file which happens to refer to the same extent as well. Such races
4076          * can leave checksum items in the log with overlapping ranges.
4077          */
4078         ret = lock_extent_bits(&log_root->log_csum_range, sums->bytenr,
4079                                lock_end, &cached_state);
4080         if (ret)
4081                 return ret;
4082         /*
4083          * Due to extent cloning, we might have logged a csum item that covers a
4084          * subrange of a cloned extent, and later we can end up logging a csum
4085          * item for a larger subrange of the same extent or the entire range.
4086          * This would leave csum items in the log tree that cover the same range
4087          * and break the searches for checksums in the log tree, resulting in
4088          * some checksums missing in the fs/subvolume tree. So just delete (or
4089          * trim and adjust) any existing csum items in the log for this range.
4090          */
4091         ret = btrfs_del_csums(trans, log_root, sums->bytenr, sums->len);
4092         if (!ret)
4093                 ret = btrfs_csum_file_blocks(trans, log_root, sums);
4094
4095         unlock_extent_cached(&log_root->log_csum_range, sums->bytenr, lock_end,
4096                              &cached_state);
4097
4098         return ret;
4099 }
4100
4101 static noinline int copy_items(struct btrfs_trans_handle *trans,
4102                                struct btrfs_inode *inode,
4103                                struct btrfs_path *dst_path,
4104                                struct btrfs_path *src_path,
4105                                int start_slot, int nr, int inode_only,
4106                                u64 logged_isize)
4107 {
4108         struct btrfs_fs_info *fs_info = trans->fs_info;
4109         unsigned long src_offset;
4110         unsigned long dst_offset;
4111         struct btrfs_root *log = inode->root->log_root;
4112         struct btrfs_file_extent_item *extent;
4113         struct btrfs_inode_item *inode_item;
4114         struct extent_buffer *src = src_path->nodes[0];
4115         int ret;
4116         struct btrfs_key *ins_keys;
4117         u32 *ins_sizes;
4118         char *ins_data;
4119         int i;
4120         struct list_head ordered_sums;
4121         int skip_csum = inode->flags & BTRFS_INODE_NODATASUM;
4122
4123         INIT_LIST_HEAD(&ordered_sums);
4124
4125         ins_data = kmalloc(nr * sizeof(struct btrfs_key) +
4126                            nr * sizeof(u32), GFP_NOFS);
4127         if (!ins_data)
4128                 return -ENOMEM;
4129
4130         ins_sizes = (u32 *)ins_data;
4131         ins_keys = (struct btrfs_key *)(ins_data + nr * sizeof(u32));
4132
4133         for (i = 0; i < nr; i++) {
4134                 ins_sizes[i] = btrfs_item_size_nr(src, i + start_slot);
4135                 btrfs_item_key_to_cpu(src, ins_keys + i, i + start_slot);
4136         }
4137         ret = btrfs_insert_empty_items(trans, log, dst_path,
4138                                        ins_keys, ins_sizes, nr);
4139         if (ret) {
4140                 kfree(ins_data);
4141                 return ret;
4142         }
4143
4144         for (i = 0; i < nr; i++, dst_path->slots[0]++) {
4145                 dst_offset = btrfs_item_ptr_offset(dst_path->nodes[0],
4146                                                    dst_path->slots[0]);
4147
4148                 src_offset = btrfs_item_ptr_offset(src, start_slot + i);
4149
4150                 if (ins_keys[i].type == BTRFS_INODE_ITEM_KEY) {
4151                         inode_item = btrfs_item_ptr(dst_path->nodes[0],
4152                                                     dst_path->slots[0],
4153                                                     struct btrfs_inode_item);
4154                         fill_inode_item(trans, dst_path->nodes[0], inode_item,
4155                                         &inode->vfs_inode,
4156                                         inode_only == LOG_INODE_EXISTS,
4157                                         logged_isize);
4158                 } else {
4159                         copy_extent_buffer(dst_path->nodes[0], src, dst_offset,
4160                                            src_offset, ins_sizes[i]);
4161                 }
4162
4163                 /* take a reference on file data extents so that truncates
4164                  * or deletes of this inode don't have to relog the inode
4165                  * again
4166                  */
4167                 if (ins_keys[i].type == BTRFS_EXTENT_DATA_KEY &&
4168                     !skip_csum) {
4169                         int found_type;
4170                         extent = btrfs_item_ptr(src, start_slot + i,
4171                                                 struct btrfs_file_extent_item);
4172
4173                         if (btrfs_file_extent_generation(src, extent) < trans->transid)
4174                                 continue;
4175
4176                         found_type = btrfs_file_extent_type(src, extent);
4177                         if (found_type == BTRFS_FILE_EXTENT_REG) {
4178                                 u64 ds, dl, cs, cl;
4179                                 ds = btrfs_file_extent_disk_bytenr(src,
4180                                                                 extent);
4181                                 /* ds == 0 is a hole */
4182                                 if (ds == 0)
4183                                         continue;
4184
4185                                 dl = btrfs_file_extent_disk_num_bytes(src,
4186                                                                 extent);
4187                                 cs = btrfs_file_extent_offset(src, extent);
4188                                 cl = btrfs_file_extent_num_bytes(src,
4189                                                                 extent);
4190                                 if (btrfs_file_extent_compression(src,
4191                                                                   extent)) {
4192                                         cs = 0;
4193                                         cl = dl;
4194                                 }
4195
4196                                 ret = btrfs_lookup_csums_range(
4197                                                 fs_info->csum_root,
4198                                                 ds + cs, ds + cs + cl - 1,
4199                                                 &ordered_sums, 0);
4200                                 if (ret)
4201                                         break;
4202                         }
4203                 }
4204         }
4205
4206         btrfs_mark_buffer_dirty(dst_path->nodes[0]);
4207         btrfs_release_path(dst_path);
4208         kfree(ins_data);
4209
4210         /*
4211          * we have to do this after the loop above to avoid changing the
4212          * log tree while trying to change the log tree.
4213          */
4214         while (!list_empty(&ordered_sums)) {
4215                 struct btrfs_ordered_sum *sums = list_entry(ordered_sums.next,
4216                                                    struct btrfs_ordered_sum,
4217                                                    list);
4218                 if (!ret)
4219                         ret = log_csums(trans, inode, log, sums);
4220                 list_del(&sums->list);
4221                 kfree(sums);
4222         }
4223
4224         return ret;
4225 }
4226
4227 static int extent_cmp(void *priv, const struct list_head *a,
4228                       const struct list_head *b)
4229 {
4230         const struct extent_map *em1, *em2;
4231
4232         em1 = list_entry(a, struct extent_map, list);
4233         em2 = list_entry(b, struct extent_map, list);
4234
4235         if (em1->start < em2->start)
4236                 return -1;
4237         else if (em1->start > em2->start)
4238                 return 1;
4239         return 0;
4240 }
4241
4242 static int log_extent_csums(struct btrfs_trans_handle *trans,
4243                             struct btrfs_inode *inode,
4244                             struct btrfs_root *log_root,
4245                             const struct extent_map *em,
4246                             struct btrfs_log_ctx *ctx)
4247 {
4248         struct btrfs_ordered_extent *ordered;
4249         u64 csum_offset;
4250         u64 csum_len;
4251         u64 mod_start = em->mod_start;
4252         u64 mod_len = em->mod_len;
4253         LIST_HEAD(ordered_sums);
4254         int ret = 0;
4255
4256         if (inode->flags & BTRFS_INODE_NODATASUM ||
4257             test_bit(EXTENT_FLAG_PREALLOC, &em->flags) ||
4258             em->block_start == EXTENT_MAP_HOLE)
4259                 return 0;
4260
4261         list_for_each_entry(ordered, &ctx->ordered_extents, log_list) {
4262                 const u64 ordered_end = ordered->file_offset + ordered->num_bytes;
4263                 const u64 mod_end = mod_start + mod_len;
4264                 struct btrfs_ordered_sum *sums;
4265
4266                 if (mod_len == 0)
4267                         break;
4268
4269                 if (ordered_end <= mod_start)
4270                         continue;
4271                 if (mod_end <= ordered->file_offset)
4272                         break;
4273
4274                 /*
4275                  * We are going to copy all the csums on this ordered extent, so
4276                  * go ahead and adjust mod_start and mod_len in case this ordered
4277                  * extent has already been logged.
4278                  */
4279                 if (ordered->file_offset > mod_start) {
4280                         if (ordered_end >= mod_end)
4281                                 mod_len = ordered->file_offset - mod_start;
4282                         /*
4283                          * If we have this case
4284                          *
4285                          * |--------- logged extent ---------|
4286                          *       |----- ordered extent ----|
4287                          *
4288                          * Just don't mess with mod_start and mod_len, we'll
4289                          * just end up logging more csums than we need and it
4290                          * will be ok.
4291                          */
4292                 } else {
4293                         if (ordered_end < mod_end) {
4294                                 mod_len = mod_end - ordered_end;
4295                                 mod_start = ordered_end;
4296                         } else {
4297                                 mod_len = 0;
4298                         }
4299                 }
4300
4301                 /*
4302                  * To keep us from looping for the above case of an ordered
4303                  * extent that falls inside of the logged extent.
4304                  */
4305                 if (test_and_set_bit(BTRFS_ORDERED_LOGGED_CSUM, &ordered->flags))
4306                         continue;
4307
4308                 list_for_each_entry(sums, &ordered->list, list) {
4309                         ret = log_csums(trans, inode, log_root, sums);
4310                         if (ret)
4311                                 return ret;
4312                 }
4313         }
4314
4315         /* We're done, found all csums in the ordered extents. */
4316         if (mod_len == 0)
4317                 return 0;
4318
4319         /* If we're compressed we have to save the entire range of csums. */
4320         if (em->compress_type) {
4321                 csum_offset = 0;
4322                 csum_len = max(em->block_len, em->orig_block_len);
4323         } else {
4324                 csum_offset = mod_start - em->start;
4325                 csum_len = mod_len;
4326         }
4327
4328         /* block start is already adjusted for the file extent offset. */
4329         ret = btrfs_lookup_csums_range(trans->fs_info->csum_root,
4330                                        em->block_start + csum_offset,
4331                                        em->block_start + csum_offset +
4332                                        csum_len - 1, &ordered_sums, 0);
4333         if (ret)
4334                 return ret;
4335
4336         while (!list_empty(&ordered_sums)) {
4337                 struct btrfs_ordered_sum *sums = list_entry(ordered_sums.next,
4338                                                    struct btrfs_ordered_sum,
4339                                                    list);
4340                 if (!ret)
4341                         ret = log_csums(trans, inode, log_root, sums);
4342                 list_del(&sums->list);
4343                 kfree(sums);
4344         }
4345
4346         return ret;
4347 }
4348
4349 static int log_one_extent(struct btrfs_trans_handle *trans,
4350                           struct btrfs_inode *inode, struct btrfs_root *root,
4351                           const struct extent_map *em,
4352                           struct btrfs_path *path,
4353                           struct btrfs_log_ctx *ctx)
4354 {
4355         struct btrfs_drop_extents_args drop_args = { 0 };
4356         struct btrfs_root *log = root->log_root;
4357         struct btrfs_file_extent_item *fi;
4358         struct extent_buffer *leaf;
4359         struct btrfs_map_token token;
4360         struct btrfs_key key;
4361         u64 extent_offset = em->start - em->orig_start;
4362         u64 block_len;
4363         int ret;
4364
4365         ret = log_extent_csums(trans, inode, log, em, ctx);
4366         if (ret)
4367                 return ret;
4368
4369         drop_args.path = path;
4370         drop_args.start = em->start;
4371         drop_args.end = em->start + em->len;
4372         drop_args.replace_extent = true;
4373         drop_args.extent_item_size = sizeof(*fi);
4374         ret = btrfs_drop_extents(trans, log, inode, &drop_args);
4375         if (ret)
4376                 return ret;
4377
4378         if (!drop_args.extent_inserted) {
4379                 key.objectid = btrfs_ino(inode);
4380                 key.type = BTRFS_EXTENT_DATA_KEY;
4381                 key.offset = em->start;
4382
4383                 ret = btrfs_insert_empty_item(trans, log, path, &key,
4384                                               sizeof(*fi));
4385                 if (ret)
4386                         return ret;
4387         }
4388         leaf = path->nodes[0];
4389         btrfs_init_map_token(&token, leaf);
4390         fi = btrfs_item_ptr(leaf, path->slots[0],
4391                             struct btrfs_file_extent_item);
4392
4393         btrfs_set_token_file_extent_generation(&token, fi, trans->transid);
4394         if (test_bit(EXTENT_FLAG_PREALLOC, &em->flags))
4395                 btrfs_set_token_file_extent_type(&token, fi,
4396                                                  BTRFS_FILE_EXTENT_PREALLOC);
4397         else
4398                 btrfs_set_token_file_extent_type(&token, fi,
4399                                                  BTRFS_FILE_EXTENT_REG);
4400
4401         block_len = max(em->block_len, em->orig_block_len);
4402         if (em->compress_type != BTRFS_COMPRESS_NONE) {
4403                 btrfs_set_token_file_extent_disk_bytenr(&token, fi,
4404                                                         em->block_start);
4405                 btrfs_set_token_file_extent_disk_num_bytes(&token, fi, block_len);
4406         } else if (em->block_start < EXTENT_MAP_LAST_BYTE) {
4407                 btrfs_set_token_file_extent_disk_bytenr(&token, fi,
4408                                                         em->block_start -
4409                                                         extent_offset);
4410                 btrfs_set_token_file_extent_disk_num_bytes(&token, fi, block_len);
4411         } else {
4412                 btrfs_set_token_file_extent_disk_bytenr(&token, fi, 0);
4413                 btrfs_set_token_file_extent_disk_num_bytes(&token, fi, 0);
4414         }
4415
4416         btrfs_set_token_file_extent_offset(&token, fi, extent_offset);
4417         btrfs_set_token_file_extent_num_bytes(&token, fi, em->len);
4418         btrfs_set_token_file_extent_ram_bytes(&token, fi, em->ram_bytes);
4419         btrfs_set_token_file_extent_compression(&token, fi, em->compress_type);
4420         btrfs_set_token_file_extent_encryption(&token, fi, 0);
4421         btrfs_set_token_file_extent_other_encoding(&token, fi, 0);
4422         btrfs_mark_buffer_dirty(leaf);
4423
4424         btrfs_release_path(path);
4425
4426         return ret;
4427 }
4428
4429 /*
4430  * Log all prealloc extents beyond the inode's i_size to make sure we do not
4431  * lose them after doing a full/fast fsync and replaying the log. We scan the
4432  * subvolume's root instead of iterating the inode's extent map tree because
4433  * otherwise we can log incorrect extent items based on extent map conversion.
4434  * That can happen due to the fact that extent maps are merged when they
4435  * are not in the extent map tree's list of modified extents.
4436  */
4437 static int btrfs_log_prealloc_extents(struct btrfs_trans_handle *trans,
4438                                       struct btrfs_inode *inode,
4439                                       struct btrfs_path *path)
4440 {
4441         struct btrfs_root *root = inode->root;
4442         struct btrfs_key key;
4443         const u64 i_size = i_size_read(&inode->vfs_inode);
4444         const u64 ino = btrfs_ino(inode);
4445         struct btrfs_path *dst_path = NULL;
4446         bool dropped_extents = false;
4447         u64 truncate_offset = i_size;
4448         struct extent_buffer *leaf;
4449         int slot;
4450         int ins_nr = 0;
4451         int start_slot;
4452         int ret;
4453
4454         if (!(inode->flags & BTRFS_INODE_PREALLOC))
4455                 return 0;
4456
4457         key.objectid = ino;
4458         key.type = BTRFS_EXTENT_DATA_KEY;
4459         key.offset = i_size;
4460         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
4461         if (ret < 0)
4462                 goto out;
4463
4464         /*
4465          * We must check if there is a prealloc extent that starts before the
4466          * i_size and crosses the i_size boundary. This is to ensure later we
4467          * truncate down to the end of that extent and not to the i_size, as
4468          * otherwise we end up losing part of the prealloc extent after a log
4469          * replay and with an implicit hole if there is another prealloc extent
4470          * that starts at an offset beyond i_size.
4471          */
4472         ret = btrfs_previous_item(root, path, ino, BTRFS_EXTENT_DATA_KEY);
4473         if (ret < 0)
4474                 goto out;
4475
4476         if (ret == 0) {
4477                 struct btrfs_file_extent_item *ei;
4478
4479                 leaf = path->nodes[0];
4480                 slot = path->slots[0];
4481                 ei = btrfs_item_ptr(leaf, slot, struct btrfs_file_extent_item);
4482
4483                 if (btrfs_file_extent_type(leaf, ei) ==
4484                     BTRFS_FILE_EXTENT_PREALLOC) {
4485                         u64 extent_end;
4486
4487                         btrfs_item_key_to_cpu(leaf, &key, slot);
4488                         extent_end = key.offset +
4489                                 btrfs_file_extent_num_bytes(leaf, ei);
4490
4491                         if (extent_end > i_size)
4492                                 truncate_offset = extent_end;
4493                 }
4494         } else {
4495                 ret = 0;
4496         }
4497
4498         while (true) {
4499                 leaf = path->nodes[0];
4500                 slot = path->slots[0];
4501
4502                 if (slot >= btrfs_header_nritems(leaf)) {
4503                         if (ins_nr > 0) {
4504                                 ret = copy_items(trans, inode, dst_path, path,
4505                                                  start_slot, ins_nr, 1, 0);
4506                                 if (ret < 0)
4507                                         goto out;
4508                                 ins_nr = 0;
4509                         }
4510                         ret = btrfs_next_leaf(root, path);
4511                         if (ret < 0)
4512                                 goto out;
4513                         if (ret > 0) {
4514                                 ret = 0;
4515                                 break;
4516                         }
4517                         continue;
4518                 }
4519
4520                 btrfs_item_key_to_cpu(leaf, &key, slot);
4521                 if (key.objectid > ino)
4522                         break;
4523                 if (WARN_ON_ONCE(key.objectid < ino) ||
4524                     key.type < BTRFS_EXTENT_DATA_KEY ||
4525                     key.offset < i_size) {
4526                         path->slots[0]++;
4527                         continue;
4528                 }
4529                 if (!dropped_extents) {
4530                         /*
4531                          * Avoid logging extent items logged in past fsync calls
4532                          * and leading to duplicate keys in the log tree.
4533                          */
4534                         do {
4535                                 ret = btrfs_truncate_inode_items(trans,
4536                                                          root->log_root,
4537                                                          inode, truncate_offset,
4538                                                          BTRFS_EXTENT_DATA_KEY,
4539                                                          NULL);
4540                         } while (ret == -EAGAIN);
4541                         if (ret)
4542                                 goto out;
4543                         dropped_extents = true;
4544                 }
4545                 if (ins_nr == 0)
4546                         start_slot = slot;
4547                 ins_nr++;
4548                 path->slots[0]++;
4549                 if (!dst_path) {
4550                         dst_path = btrfs_alloc_path();
4551                         if (!dst_path) {
4552                                 ret = -ENOMEM;
4553                                 goto out;
4554                         }
4555                 }
4556         }
4557         if (ins_nr > 0)
4558                 ret = copy_items(trans, inode, dst_path, path,
4559                                  start_slot, ins_nr, 1, 0);
4560 out:
4561         btrfs_release_path(path);
4562         btrfs_free_path(dst_path);
4563         return ret;
4564 }
4565
4566 static int btrfs_log_changed_extents(struct btrfs_trans_handle *trans,
4567                                      struct btrfs_root *root,
4568                                      struct btrfs_inode *inode,
4569                                      struct btrfs_path *path,
4570                                      struct btrfs_log_ctx *ctx)
4571 {
4572         struct btrfs_ordered_extent *ordered;
4573         struct btrfs_ordered_extent *tmp;
4574         struct extent_map *em, *n;
4575         struct list_head extents;
4576         struct extent_map_tree *tree = &inode->extent_tree;
4577         int ret = 0;
4578         int num = 0;
4579
4580         INIT_LIST_HEAD(&extents);
4581
4582         write_lock(&tree->lock);
4583
4584         list_for_each_entry_safe(em, n, &tree->modified_extents, list) {
4585                 list_del_init(&em->list);
4586                 /*
4587                  * Just an arbitrary number, this can be really CPU intensive
4588                  * once we start getting a lot of extents, and really once we
4589                  * have a bunch of extents we just want to commit since it will
4590                  * be faster.
4591                  */
4592                 if (++num > 32768) {
4593                         list_del_init(&tree->modified_extents);
4594                         ret = -EFBIG;
4595                         goto process;
4596                 }
4597
4598                 if (em->generation < trans->transid)
4599                         continue;
4600
4601                 /* We log prealloc extents beyond eof later. */
4602                 if (test_bit(EXTENT_FLAG_PREALLOC, &em->flags) &&
4603                     em->start >= i_size_read(&inode->vfs_inode))
4604                         continue;
4605
4606                 /* Need a ref to keep it from getting evicted from cache */
4607                 refcount_inc(&em->refs);
4608                 set_bit(EXTENT_FLAG_LOGGING, &em->flags);
4609                 list_add_tail(&em->list, &extents);
4610                 num++;
4611         }
4612
4613         list_sort(NULL, &extents, extent_cmp);
4614 process:
4615         while (!list_empty(&extents)) {
4616                 em = list_entry(extents.next, struct extent_map, list);
4617
4618                 list_del_init(&em->list);
4619
4620                 /*
4621                  * If we had an error we just need to delete everybody from our
4622                  * private list.
4623                  */
4624                 if (ret) {
4625                         clear_em_logging(tree, em);
4626                         free_extent_map(em);
4627                         continue;
4628                 }
4629
4630                 write_unlock(&tree->lock);
4631
4632                 ret = log_one_extent(trans, inode, root, em, path, ctx);
4633                 write_lock(&tree->lock);
4634                 clear_em_logging(tree, em);
4635                 free_extent_map(em);
4636         }
4637         WARN_ON(!list_empty(&extents));
4638         write_unlock(&tree->lock);
4639
4640         btrfs_release_path(path);
4641         if (!ret)
4642                 ret = btrfs_log_prealloc_extents(trans, inode, path);
4643         if (ret)
4644                 return ret;
4645
4646         /*
4647          * We have logged all extents successfully, now make sure the commit of
4648          * the current transaction waits for the ordered extents to complete
4649          * before it commits and wipes out the log trees, otherwise we would
4650          * lose data if an ordered extents completes after the transaction
4651          * commits and a power failure happens after the transaction commit.
4652          */
4653         list_for_each_entry_safe(ordered, tmp, &ctx->ordered_extents, log_list) {
4654                 list_del_init(&ordered->log_list);
4655                 set_bit(BTRFS_ORDERED_LOGGED, &ordered->flags);
4656
4657                 if (!test_bit(BTRFS_ORDERED_COMPLETE, &ordered->flags)) {
4658                         spin_lock_irq(&inode->ordered_tree.lock);
4659                         if (!test_bit(BTRFS_ORDERED_COMPLETE, &ordered->flags)) {
4660                                 set_bit(BTRFS_ORDERED_PENDING, &ordered->flags);
4661                                 atomic_inc(&trans->transaction->pending_ordered);
4662                         }
4663                         spin_unlock_irq(&inode->ordered_tree.lock);
4664                 }
4665                 btrfs_put_ordered_extent(ordered);
4666         }
4667
4668         return 0;
4669 }
4670
4671 static int logged_inode_size(struct btrfs_root *log, struct btrfs_inode *inode,
4672                              struct btrfs_path *path, u64 *size_ret)
4673 {
4674         struct btrfs_key key;
4675         int ret;
4676
4677         key.objectid = btrfs_ino(inode);
4678         key.type = BTRFS_INODE_ITEM_KEY;
4679         key.offset = 0;
4680
4681         ret = btrfs_search_slot(NULL, log, &key, path, 0, 0);
4682         if (ret < 0) {
4683                 return ret;
4684         } else if (ret > 0) {
4685                 *size_ret = 0;
4686         } else {
4687                 struct btrfs_inode_item *item;
4688
4689                 item = btrfs_item_ptr(path->nodes[0], path->slots[0],
4690                                       struct btrfs_inode_item);
4691                 *size_ret = btrfs_inode_size(path->nodes[0], item);
4692                 /*
4693                  * If the in-memory inode's i_size is smaller then the inode
4694                  * size stored in the btree, return the inode's i_size, so
4695                  * that we get a correct inode size after replaying the log
4696                  * when before a power failure we had a shrinking truncate
4697                  * followed by addition of a new name (rename / new hard link).
4698                  * Otherwise return the inode size from the btree, to avoid
4699                  * data loss when replaying a log due to previously doing a
4700                  * write that expands the inode's size and logging a new name
4701                  * immediately after.
4702                  */
4703                 if (*size_ret > inode->vfs_inode.i_size)
4704                         *size_ret = inode->vfs_inode.i_size;
4705         }
4706
4707         btrfs_release_path(path);
4708         return 0;
4709 }
4710
4711 /*
4712  * At the moment we always log all xattrs. This is to figure out at log replay
4713  * time which xattrs must have their deletion replayed. If a xattr is missing
4714  * in the log tree and exists in the fs/subvol tree, we delete it. This is
4715  * because if a xattr is deleted, the inode is fsynced and a power failure
4716  * happens, causing the log to be replayed the next time the fs is mounted,
4717  * we want the xattr to not exist anymore (same behaviour as other filesystems
4718  * with a journal, ext3/4, xfs, f2fs, etc).
4719  */
4720 static int btrfs_log_all_xattrs(struct btrfs_trans_handle *trans,
4721                                 struct btrfs_root *root,
4722                                 struct btrfs_inode *inode,
4723                                 struct btrfs_path *path,
4724                                 struct btrfs_path *dst_path)
4725 {
4726         int ret;
4727         struct btrfs_key key;
4728         const u64 ino = btrfs_ino(inode);
4729         int ins_nr = 0;
4730         int start_slot = 0;
4731         bool found_xattrs = false;
4732
4733         if (test_bit(BTRFS_INODE_NO_XATTRS, &inode->runtime_flags))
4734                 return 0;
4735
4736         key.objectid = ino;
4737         key.type = BTRFS_XATTR_ITEM_KEY;
4738         key.offset = 0;
4739
4740         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
4741         if (ret < 0)
4742                 return ret;
4743
4744         while (true) {
4745                 int slot = path->slots[0];
4746                 struct extent_buffer *leaf = path->nodes[0];
4747                 int nritems = btrfs_header_nritems(leaf);
4748
4749                 if (slot >= nritems) {
4750                         if (ins_nr > 0) {
4751                                 ret = copy_items(trans, inode, dst_path, path,
4752                                                  start_slot, ins_nr, 1, 0);
4753                                 if (ret < 0)
4754                                         return ret;
4755                                 ins_nr = 0;
4756                         }
4757                         ret = btrfs_next_leaf(root, path);
4758                         if (ret < 0)
4759                                 return ret;
4760                         else if (ret > 0)
4761                                 break;
4762                         continue;
4763                 }
4764
4765                 btrfs_item_key_to_cpu(leaf, &key, slot);
4766                 if (key.objectid != ino || key.type != BTRFS_XATTR_ITEM_KEY)
4767                         break;
4768
4769                 if (ins_nr == 0)
4770                         start_slot = slot;
4771                 ins_nr++;
4772                 path->slots[0]++;
4773                 found_xattrs = true;
4774                 cond_resched();
4775         }
4776         if (ins_nr > 0) {
4777                 ret = copy_items(trans, inode, dst_path, path,
4778                                  start_slot, ins_nr, 1, 0);
4779                 if (ret < 0)
4780                         return ret;
4781         }
4782
4783         if (!found_xattrs)
4784                 set_bit(BTRFS_INODE_NO_XATTRS, &inode->runtime_flags);
4785
4786         return 0;
4787 }
4788
4789 /*
4790  * When using the NO_HOLES feature if we punched a hole that causes the
4791  * deletion of entire leafs or all the extent items of the first leaf (the one
4792  * that contains the inode item and references) we may end up not processing
4793  * any extents, because there are no leafs with a generation matching the
4794  * current transaction that have extent items for our inode. So we need to find
4795  * if any holes exist and then log them. We also need to log holes after any
4796  * truncate operation that changes the inode's size.
4797  */
4798 static int btrfs_log_holes(struct btrfs_trans_handle *trans,
4799                            struct btrfs_root *root,
4800                            struct btrfs_inode *inode,
4801                            struct btrfs_path *path)
4802 {
4803         struct btrfs_fs_info *fs_info = root->fs_info;
4804         struct btrfs_key key;
4805         const u64 ino = btrfs_ino(inode);
4806         const u64 i_size = i_size_read(&inode->vfs_inode);
4807         u64 prev_extent_end = 0;
4808         int ret;
4809
4810         if (!btrfs_fs_incompat(fs_info, NO_HOLES) || i_size == 0)
4811                 return 0;
4812
4813         key.objectid = ino;
4814         key.type = BTRFS_EXTENT_DATA_KEY;
4815         key.offset = 0;
4816
4817         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
4818         if (ret < 0)
4819                 return ret;
4820
4821         while (true) {
4822                 struct extent_buffer *leaf = path->nodes[0];
4823
4824                 if (path->slots[0] >= btrfs_header_nritems(path->nodes[0])) {
4825                         ret = btrfs_next_leaf(root, path);
4826                         if (ret < 0)
4827                                 return ret;
4828                         if (ret > 0) {
4829                                 ret = 0;
4830                                 break;
4831                         }
4832                         leaf = path->nodes[0];
4833                 }
4834
4835                 btrfs_item_key_to_cpu(leaf, &key, path->slots[0]);
4836                 if (key.objectid != ino || key.type != BTRFS_EXTENT_DATA_KEY)
4837                         break;
4838
4839                 /* We have a hole, log it. */
4840                 if (prev_extent_end < key.offset) {
4841                         const u64 hole_len = key.offset - prev_extent_end;
4842
4843                         /*
4844                          * Release the path to avoid deadlocks with other code
4845                          * paths that search the root while holding locks on
4846                          * leafs from the log root.
4847                          */
4848                         btrfs_release_path(path);
4849                         ret = btrfs_insert_file_extent(trans, root->log_root,
4850                                                        ino, prev_extent_end, 0,
4851                                                        0, hole_len, 0, hole_len,
4852                                                        0, 0, 0);
4853                         if (ret < 0)
4854                                 return ret;
4855
4856                         /*
4857                          * Search for the same key again in the root. Since it's
4858                          * an extent item and we are holding the inode lock, the
4859                          * key must still exist. If it doesn't just emit warning
4860                          * and return an error to fall back to a transaction
4861                          * commit.
4862                          */
4863                         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
4864                         if (ret < 0)
4865                                 return ret;
4866                         if (WARN_ON(ret > 0))
4867                                 return -ENOENT;
4868                         leaf = path->nodes[0];
4869                 }
4870
4871                 prev_extent_end = btrfs_file_extent_end(path);
4872                 path->slots[0]++;
4873                 cond_resched();
4874         }
4875
4876         if (prev_extent_end < i_size) {
4877                 u64 hole_len;
4878
4879                 btrfs_release_path(path);
4880                 hole_len = ALIGN(i_size - prev_extent_end, fs_info->sectorsize);
4881                 ret = btrfs_insert_file_extent(trans, root->log_root,
4882                                                ino, prev_extent_end, 0, 0,
4883                                                hole_len, 0, hole_len,
4884                                                0, 0, 0);
4885                 if (ret < 0)
4886                         return ret;
4887         }
4888
4889         return 0;
4890 }
4891
4892 /*
4893  * When we are logging a new inode X, check if it doesn't have a reference that
4894  * matches the reference from some other inode Y created in a past transaction
4895  * and that was renamed in the current transaction. If we don't do this, then at
4896  * log replay time we can lose inode Y (and all its files if it's a directory):
4897  *
4898  * mkdir /mnt/x
4899  * echo "hello world" > /mnt/x/foobar
4900  * sync
4901  * mv /mnt/x /mnt/y
4902  * mkdir /mnt/x                 # or touch /mnt/x
4903  * xfs_io -c fsync /mnt/x
4904  * <power fail>
4905  * mount fs, trigger log replay
4906  *
4907  * After the log replay procedure, we would lose the first directory and all its
4908  * files (file foobar).
4909  * For the case where inode Y is not a directory we simply end up losing it:
4910  *
4911  * echo "123" > /mnt/foo
4912  * sync
4913  * mv /mnt/foo /mnt/bar
4914  * echo "abc" > /mnt/foo
4915  * xfs_io -c fsync /mnt/foo
4916  * <power fail>
4917  *
4918  * We also need this for cases where a snapshot entry is replaced by some other
4919  * entry (file or directory) otherwise we end up with an unreplayable log due to
4920  * attempts to delete the snapshot entry (entry of type BTRFS_ROOT_ITEM_KEY) as
4921  * if it were a regular entry:
4922  *
4923  * mkdir /mnt/x
4924  * btrfs subvolume snapshot /mnt /mnt/x/snap
4925  * btrfs subvolume delete /mnt/x/snap
4926  * rmdir /mnt/x
4927  * mkdir /mnt/x
4928  * fsync /mnt/x or fsync some new file inside it
4929  * <power fail>
4930  *
4931  * The snapshot delete, rmdir of x, mkdir of a new x and the fsync all happen in
4932  * the same transaction.
4933  */
4934 static int btrfs_check_ref_name_override(struct extent_buffer *eb,
4935                                          const int slot,
4936                                          const struct btrfs_key *key,
4937                                          struct btrfs_inode *inode,
4938                                          u64 *other_ino, u64 *other_parent)
4939 {
4940         int ret;
4941         struct btrfs_path *search_path;
4942         char *name = NULL;
4943         u32 name_len = 0;
4944         u32 item_size = btrfs_item_size_nr(eb, slot);
4945         u32 cur_offset = 0;
4946         unsigned long ptr = btrfs_item_ptr_offset(eb, slot);
4947
4948         search_path = btrfs_alloc_path();
4949         if (!search_path)
4950                 return -ENOMEM;
4951         search_path->search_commit_root = 1;
4952         search_path->skip_locking = 1;
4953
4954         while (cur_offset < item_size) {
4955                 u64 parent;
4956                 u32 this_name_len;
4957                 u32 this_len;
4958                 unsigned long name_ptr;
4959                 struct btrfs_dir_item *di;
4960
4961                 if (key->type == BTRFS_INODE_REF_KEY) {
4962                         struct btrfs_inode_ref *iref;
4963
4964                         iref = (struct btrfs_inode_ref *)(ptr + cur_offset);
4965                         parent = key->offset;
4966                         this_name_len = btrfs_inode_ref_name_len(eb, iref);
4967                         name_ptr = (unsigned long)(iref + 1);
4968                         this_len = sizeof(*iref) + this_name_len;
4969                 } else {
4970                         struct btrfs_inode_extref *extref;
4971
4972                         extref = (struct btrfs_inode_extref *)(ptr +
4973                                                                cur_offset);
4974                         parent = btrfs_inode_extref_parent(eb, extref);
4975                         this_name_len = btrfs_inode_extref_name_len(eb, extref);
4976                         name_ptr = (unsigned long)&extref->name;
4977                         this_len = sizeof(*extref) + this_name_len;
4978                 }
4979
4980                 if (this_name_len > name_len) {
4981                         char *new_name;
4982
4983                         new_name = krealloc(name, this_name_len, GFP_NOFS);
4984                         if (!new_name) {
4985                                 ret = -ENOMEM;
4986                                 goto out;
4987                         }
4988                         name_len = this_name_len;
4989                         name = new_name;
4990                 }
4991
4992                 read_extent_buffer(eb, name, name_ptr, this_name_len);
4993                 di = btrfs_lookup_dir_item(NULL, inode->root, search_path,
4994                                 parent, name, this_name_len, 0);
4995                 if (di && !IS_ERR(di)) {
4996                         struct btrfs_key di_key;
4997
4998                         btrfs_dir_item_key_to_cpu(search_path->nodes[0],
4999                                                   di, &di_key);
5000                         if (di_key.type == BTRFS_INODE_ITEM_KEY) {
5001                                 if (di_key.objectid != key->objectid) {
5002                                         ret = 1;
5003                                         *other_ino = di_key.objectid;
5004                                         *other_parent = parent;
5005                                 } else {
5006                                         ret = 0;
5007                                 }
5008                         } else {
5009                                 ret = -EAGAIN;
5010                         }
5011                         goto out;
5012                 } else if (IS_ERR(di)) {
5013                         ret = PTR_ERR(di);
5014                         goto out;
5015                 }
5016                 btrfs_release_path(search_path);
5017
5018                 cur_offset += this_len;
5019         }
5020         ret = 0;
5021 out:
5022         btrfs_free_path(search_path);
5023         kfree(name);
5024         return ret;
5025 }
5026
5027 struct btrfs_ino_list {
5028         u64 ino;
5029         u64 parent;
5030         struct list_head list;
5031 };
5032
5033 static int log_conflicting_inodes(struct btrfs_trans_handle *trans,
5034                                   struct btrfs_root *root,
5035                                   struct btrfs_path *path,
5036                                   struct btrfs_log_ctx *ctx,
5037                                   u64 ino, u64 parent)
5038 {
5039         struct btrfs_ino_list *ino_elem;
5040         LIST_HEAD(inode_list);
5041         int ret = 0;
5042
5043         ino_elem = kmalloc(sizeof(*ino_elem), GFP_NOFS);
5044         if (!ino_elem)
5045                 return -ENOMEM;
5046         ino_elem->ino = ino;
5047         ino_elem->parent = parent;
5048         list_add_tail(&ino_elem->list, &inode_list);
5049
5050         while (!list_empty(&inode_list)) {
5051                 struct btrfs_fs_info *fs_info = root->fs_info;
5052                 struct btrfs_key key;
5053                 struct inode *inode;
5054
5055                 ino_elem = list_first_entry(&inode_list, struct btrfs_ino_list,
5056                                             list);
5057                 ino = ino_elem->ino;
5058                 parent = ino_elem->parent;
5059                 list_del(&ino_elem->list);
5060                 kfree(ino_elem);
5061                 if (ret)
5062                         continue;
5063
5064                 btrfs_release_path(path);
5065
5066                 inode = btrfs_iget(fs_info->sb, ino, root);
5067                 /*
5068                  * If the other inode that had a conflicting dir entry was
5069                  * deleted in the current transaction, we need to log its parent
5070                  * directory.
5071                  */
5072                 if (IS_ERR(inode)) {
5073                         ret = PTR_ERR(inode);
5074                         if (ret == -ENOENT) {
5075                                 inode = btrfs_iget(fs_info->sb, parent, root);
5076                                 if (IS_ERR(inode)) {
5077                                         ret = PTR_ERR(inode);
5078                                 } else {
5079                                         ret = btrfs_log_inode(trans, root,
5080                                                       BTRFS_I(inode),
5081                                                       LOG_OTHER_INODE_ALL,
5082                                                       ctx);
5083                                         btrfs_add_delayed_iput(inode);
5084                                 }
5085                         }
5086                         continue;
5087                 }
5088                 /*
5089                  * If the inode was already logged skip it - otherwise we can
5090                  * hit an infinite loop. Example:
5091                  *
5092                  * From the commit root (previous transaction) we have the
5093                  * following inodes:
5094                  *
5095                  * inode 257 a directory
5096                  * inode 258 with references "zz" and "zz_link" on inode 257
5097                  * inode 259 with reference "a" on inode 257
5098                  *
5099                  * And in the current (uncommitted) transaction we have:
5100                  *
5101                  * inode 257 a directory, unchanged
5102                  * inode 258 with references "a" and "a2" on inode 257
5103                  * inode 259 with reference "zz_link" on inode 257
5104                  * inode 261 with reference "zz" on inode 257
5105                  *
5106                  * When logging inode 261 the following infinite loop could
5107                  * happen if we don't skip already logged inodes:
5108                  *
5109                  * - we detect inode 258 as a conflicting inode, with inode 261
5110                  *   on reference "zz", and log it;
5111                  *
5112                  * - we detect inode 259 as a conflicting inode, with inode 258
5113                  *   on reference "a", and log it;
5114                  *
5115                  * - we detect inode 258 as a conflicting inode, with inode 259
5116                  *   on reference "zz_link", and log it - again! After this we
5117                  *   repeat the above steps forever.
5118                  */
5119                 spin_lock(&BTRFS_I(inode)->lock);
5120                 /*
5121                  * Check the inode's logged_trans only instead of
5122                  * btrfs_inode_in_log(). This is because the last_log_commit of
5123                  * the inode is not updated when we only log that it exists (see
5124                  * btrfs_log_inode()).
5125                  */
5126                 if (BTRFS_I(inode)->logged_trans == trans->transid) {
5127                         spin_unlock(&BTRFS_I(inode)->lock);
5128                         btrfs_add_delayed_iput(inode);
5129                         continue;
5130                 }
5131                 spin_unlock(&BTRFS_I(inode)->lock);
5132                 /*
5133                  * We are safe logging the other inode without acquiring its
5134                  * lock as long as we log with the LOG_INODE_EXISTS mode. We
5135                  * are safe against concurrent renames of the other inode as
5136                  * well because during a rename we pin the log and update the
5137                  * log with the new name before we unpin it.
5138                  */
5139                 ret = btrfs_log_inode(trans, root, BTRFS_I(inode),
5140                                       LOG_OTHER_INODE, ctx);
5141                 if (ret) {
5142                         btrfs_add_delayed_iput(inode);
5143                         continue;
5144                 }
5145
5146                 key.objectid = ino;
5147                 key.type = BTRFS_INODE_REF_KEY;
5148                 key.offset = 0;
5149                 ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
5150                 if (ret < 0) {
5151                         btrfs_add_delayed_iput(inode);
5152                         continue;
5153                 }
5154
5155                 while (true) {
5156                         struct extent_buffer *leaf = path->nodes[0];
5157                         int slot = path->slots[0];
5158                         u64 other_ino = 0;
5159                         u64 other_parent = 0;
5160
5161                         if (slot >= btrfs_header_nritems(leaf)) {
5162                                 ret = btrfs_next_leaf(root, path);
5163                                 if (ret < 0) {
5164                                         break;
5165                                 } else if (ret > 0) {
5166                                         ret = 0;
5167                                         break;
5168                                 }
5169                                 continue;
5170                         }
5171
5172                         btrfs_item_key_to_cpu(leaf, &key, slot);
5173                         if (key.objectid != ino ||
5174                             (key.type != BTRFS_INODE_REF_KEY &&
5175                              key.type != BTRFS_INODE_EXTREF_KEY)) {
5176                                 ret = 0;
5177                                 break;
5178                         }
5179
5180                         ret = btrfs_check_ref_name_override(leaf, slot, &key,
5181                                         BTRFS_I(inode), &other_ino,
5182                                         &other_parent);
5183                         if (ret < 0)
5184                                 break;
5185                         if (ret > 0) {
5186                                 ino_elem = kmalloc(sizeof(*ino_elem), GFP_NOFS);
5187                                 if (!ino_elem) {
5188                                         ret = -ENOMEM;
5189                                         break;
5190                                 }
5191                                 ino_elem->ino = other_ino;
5192                                 ino_elem->parent = other_parent;
5193                                 list_add_tail(&ino_elem->list, &inode_list);
5194                                 ret = 0;
5195                         }
5196                         path->slots[0]++;
5197                 }
5198                 btrfs_add_delayed_iput(inode);
5199         }
5200
5201         return ret;
5202 }
5203
5204 static int copy_inode_items_to_log(struct btrfs_trans_handle *trans,
5205                                    struct btrfs_inode *inode,
5206                                    struct btrfs_key *min_key,
5207                                    const struct btrfs_key *max_key,
5208                                    struct btrfs_path *path,
5209                                    struct btrfs_path *dst_path,
5210                                    const u64 logged_isize,
5211                                    const bool recursive_logging,
5212                                    const int inode_only,
5213                                    struct btrfs_log_ctx *ctx,
5214                                    bool *need_log_inode_item)
5215 {
5216         const u64 i_size = i_size_read(&inode->vfs_inode);
5217         struct btrfs_root *root = inode->root;
5218         int ins_start_slot = 0;
5219         int ins_nr = 0;
5220         int ret;
5221
5222         while (1) {
5223                 ret = btrfs_search_forward(root, min_key, path, trans->transid);
5224                 if (ret < 0)
5225                         return ret;
5226                 if (ret > 0) {
5227                         ret = 0;
5228                         break;
5229                 }
5230 again:
5231                 /* Note, ins_nr might be > 0 here, cleanup outside the loop */
5232                 if (min_key->objectid != max_key->objectid)
5233                         break;
5234                 if (min_key->type > max_key->type)
5235                         break;
5236
5237                 if (min_key->type == BTRFS_INODE_ITEM_KEY) {
5238                         *need_log_inode_item = false;
5239                 } else if (min_key->type == BTRFS_EXTENT_DATA_KEY &&
5240                            min_key->offset >= i_size) {
5241                         /*
5242                          * Extents at and beyond eof are logged with
5243                          * btrfs_log_prealloc_extents().
5244                          * Only regular files have BTRFS_EXTENT_DATA_KEY keys,
5245                          * and no keys greater than that, so bail out.
5246                          */
5247                         break;
5248                 } else if ((min_key->type == BTRFS_INODE_REF_KEY ||
5249                             min_key->type == BTRFS_INODE_EXTREF_KEY) &&
5250                            inode->generation == trans->transid &&
5251                            !recursive_logging) {
5252                         u64 other_ino = 0;
5253                         u64 other_parent = 0;
5254
5255                         ret = btrfs_check_ref_name_override(path->nodes[0],
5256                                         path->slots[0], min_key, inode,
5257                                         &other_ino, &other_parent);
5258                         if (ret < 0) {
5259                                 return ret;
5260                         } else if (ret > 0 && ctx &&
5261                                    other_ino != btrfs_ino(BTRFS_I(ctx->inode))) {
5262                                 if (ins_nr > 0) {
5263                                         ins_nr++;
5264                                 } else {
5265                                         ins_nr = 1;
5266                                         ins_start_slot = path->slots[0];
5267                                 }
5268                                 ret = copy_items(trans, inode, dst_path, path,
5269                                                  ins_start_slot, ins_nr,
5270                                                  inode_only, logged_isize);
5271                                 if (ret < 0)
5272                                         return ret;
5273                                 ins_nr = 0;
5274
5275                                 ret = log_conflicting_inodes(trans, root, path,
5276                                                 ctx, other_ino, other_parent);
5277                                 if (ret)
5278                                         return ret;
5279                                 btrfs_release_path(path);
5280                                 goto next_key;
5281                         }
5282                 } else if (min_key->type == BTRFS_XATTR_ITEM_KEY) {
5283                         /* Skip xattrs, logged later with btrfs_log_all_xattrs() */
5284                         if (ins_nr == 0)
5285                                 goto next_slot;
5286                         ret = copy_items(trans, inode, dst_path, path,
5287                                          ins_start_slot,
5288                                          ins_nr, inode_only, logged_isize);
5289                         if (ret < 0)
5290                                 return ret;
5291                         ins_nr = 0;
5292                         goto next_slot;
5293                 }
5294
5295                 if (ins_nr && ins_start_slot + ins_nr == path->slots[0]) {
5296                         ins_nr++;
5297                         goto next_slot;
5298                 } else if (!ins_nr) {
5299                         ins_start_slot = path->slots[0];
5300                         ins_nr = 1;
5301                         goto next_slot;
5302                 }
5303
5304                 ret = copy_items(trans, inode, dst_path, path, ins_start_slot,
5305                                  ins_nr, inode_only, logged_isize);
5306                 if (ret < 0)
5307                         return ret;
5308                 ins_nr = 1;
5309                 ins_start_slot = path->slots[0];
5310 next_slot:
5311                 path->slots[0]++;
5312                 if (path->slots[0] < btrfs_header_nritems(path->nodes[0])) {
5313                         btrfs_item_key_to_cpu(path->nodes[0], min_key,
5314                                               path->slots[0]);
5315                         goto again;
5316                 }
5317                 if (ins_nr) {
5318                         ret = copy_items(trans, inode, dst_path, path,
5319                                          ins_start_slot, ins_nr, inode_only,
5320                                          logged_isize);
5321                         if (ret < 0)
5322                                 return ret;
5323                         ins_nr = 0;
5324                 }
5325                 btrfs_release_path(path);
5326 next_key:
5327                 if (min_key->offset < (u64)-1) {
5328                         min_key->offset++;
5329                 } else if (min_key->type < max_key->type) {
5330                         min_key->type++;
5331                         min_key->offset = 0;
5332                 } else {
5333                         break;
5334                 }
5335         }
5336         if (ins_nr) {
5337                 ret = copy_items(trans, inode, dst_path, path, ins_start_slot,
5338                                  ins_nr, inode_only, logged_isize);
5339                 if (ret)
5340                         return ret;
5341         }
5342
5343         if (inode_only == LOG_INODE_ALL && S_ISREG(inode->vfs_inode.i_mode)) {
5344                 /*
5345                  * Release the path because otherwise we might attempt to double
5346                  * lock the same leaf with btrfs_log_prealloc_extents() below.
5347                  */
5348                 btrfs_release_path(path);
5349                 ret = btrfs_log_prealloc_extents(trans, inode, dst_path);
5350         }
5351
5352         return ret;
5353 }
5354
5355 /* log a single inode in the tree log.
5356  * At least one parent directory for this inode must exist in the tree
5357  * or be logged already.
5358  *
5359  * Any items from this inode changed by the current transaction are copied
5360  * to the log tree.  An extra reference is taken on any extents in this
5361  * file, allowing us to avoid a whole pile of corner cases around logging
5362  * blocks that have been removed from the tree.
5363  *
5364  * See LOG_INODE_ALL and related defines for a description of what inode_only
5365  * does.
5366  *
5367  * This handles both files and directories.
5368  */
5369 static int btrfs_log_inode(struct btrfs_trans_handle *trans,
5370                            struct btrfs_root *root, struct btrfs_inode *inode,
5371                            int inode_only,
5372                            struct btrfs_log_ctx *ctx)
5373 {
5374         struct btrfs_path *path;
5375         struct btrfs_path *dst_path;
5376         struct btrfs_key min_key;
5377         struct btrfs_key max_key;
5378         struct btrfs_root *log = root->log_root;
5379         int err = 0;
5380         int ret = 0;
5381         bool fast_search = false;
5382         u64 ino = btrfs_ino(inode);
5383         struct extent_map_tree *em_tree = &inode->extent_tree;
5384         u64 logged_isize = 0;
5385         bool need_log_inode_item = true;
5386         bool xattrs_logged = false;
5387         bool recursive_logging = false;
5388         bool inode_item_dropped = true;
5389
5390         path = btrfs_alloc_path();
5391         if (!path)
5392                 return -ENOMEM;
5393         dst_path = btrfs_alloc_path();
5394         if (!dst_path) {
5395                 btrfs_free_path(path);
5396                 return -ENOMEM;
5397         }
5398
5399         min_key.objectid = ino;
5400         min_key.type = BTRFS_INODE_ITEM_KEY;
5401         min_key.offset = 0;
5402
5403         max_key.objectid = ino;
5404
5405
5406         /* today the code can only do partial logging of directories */
5407         if (S_ISDIR(inode->vfs_inode.i_mode) ||
5408             (!test_bit(BTRFS_INODE_NEEDS_FULL_SYNC,
5409                        &inode->runtime_flags) &&
5410              inode_only >= LOG_INODE_EXISTS))
5411                 max_key.type = BTRFS_XATTR_ITEM_KEY;
5412         else
5413                 max_key.type = (u8)-1;
5414         max_key.offset = (u64)-1;
5415
5416         /*
5417          * Only run delayed items if we are a directory. We want to make sure
5418          * all directory indexes hit the fs/subvolume tree so we can find them
5419          * and figure out which index ranges have to be logged.
5420          *
5421          * Otherwise commit the delayed inode only if the full sync flag is set,
5422          * as we want to make sure an up to date version is in the subvolume
5423          * tree so copy_inode_items_to_log() / copy_items() can find it and copy
5424          * it to the log tree. For a non full sync, we always log the inode item
5425          * based on the in-memory struct btrfs_inode which is always up to date.
5426          */
5427         if (S_ISDIR(inode->vfs_inode.i_mode))
5428                 ret = btrfs_commit_inode_delayed_items(trans, inode);
5429         else if (test_bit(BTRFS_INODE_NEEDS_FULL_SYNC, &inode->runtime_flags))
5430                 ret = btrfs_commit_inode_delayed_inode(inode);
5431
5432         if (ret) {
5433                 btrfs_free_path(path);
5434                 btrfs_free_path(dst_path);
5435                 return ret;
5436         }
5437
5438         if (inode_only == LOG_OTHER_INODE || inode_only == LOG_OTHER_INODE_ALL) {
5439                 recursive_logging = true;
5440                 if (inode_only == LOG_OTHER_INODE)
5441                         inode_only = LOG_INODE_EXISTS;
5442                 else
5443                         inode_only = LOG_INODE_ALL;
5444                 mutex_lock_nested(&inode->log_mutex, SINGLE_DEPTH_NESTING);
5445         } else {
5446                 mutex_lock(&inode->log_mutex);
5447         }
5448
5449         /*
5450          * For symlinks, we must always log their content, which is stored in an
5451          * inline extent, otherwise we could end up with an empty symlink after
5452          * log replay, which is invalid on linux (symlink(2) returns -ENOENT if
5453          * one attempts to create an empty symlink).
5454          * We don't need to worry about flushing delalloc, because when we create
5455          * the inline extent when the symlink is created (we never have delalloc
5456          * for symlinks).
5457          */
5458         if (S_ISLNK(inode->vfs_inode.i_mode))
5459                 inode_only = LOG_INODE_ALL;
5460
5461         /*
5462          * This is for cases where logging a directory could result in losing a
5463          * a file after replaying the log. For example, if we move a file from a
5464          * directory A to a directory B, then fsync directory A, we have no way
5465          * to known the file was moved from A to B, so logging just A would
5466          * result in losing the file after a log replay.
5467          */
5468         if (S_ISDIR(inode->vfs_inode.i_mode) &&
5469             inode_only == LOG_INODE_ALL &&
5470             inode->last_unlink_trans >= trans->transid) {
5471                 btrfs_set_log_full_commit(trans);
5472                 err = 1;
5473                 goto out_unlock;
5474         }
5475
5476         /*
5477          * a brute force approach to making sure we get the most uptodate
5478          * copies of everything.
5479          */
5480         if (S_ISDIR(inode->vfs_inode.i_mode)) {
5481                 int max_key_type = BTRFS_DIR_LOG_INDEX_KEY;
5482
5483                 clear_bit(BTRFS_INODE_COPY_EVERYTHING, &inode->runtime_flags);
5484                 if (inode_only == LOG_INODE_EXISTS)
5485                         max_key_type = BTRFS_XATTR_ITEM_KEY;
5486                 ret = drop_objectid_items(trans, log, path, ino, max_key_type);
5487         } else {
5488                 if (inode_only == LOG_INODE_EXISTS) {
5489                         /*
5490                          * Make sure the new inode item we write to the log has
5491                          * the same isize as the current one (if it exists).
5492                          * This is necessary to prevent data loss after log
5493                          * replay, and also to prevent doing a wrong expanding
5494                          * truncate - for e.g. create file, write 4K into offset
5495                          * 0, fsync, write 4K into offset 4096, add hard link,
5496                          * fsync some other file (to sync log), power fail - if
5497                          * we use the inode's current i_size, after log replay
5498                          * we get a 8Kb file, with the last 4Kb extent as a hole
5499                          * (zeroes), as if an expanding truncate happened,
5500                          * instead of getting a file of 4Kb only.
5501                          */
5502                         err = logged_inode_size(log, inode, path, &logged_isize);
5503                         if (err)
5504                                 goto out_unlock;
5505                 }
5506                 if (test_bit(BTRFS_INODE_NEEDS_FULL_SYNC,
5507                              &inode->runtime_flags)) {
5508                         if (inode_only == LOG_INODE_EXISTS) {
5509                                 max_key.type = BTRFS_XATTR_ITEM_KEY;
5510                                 ret = drop_objectid_items(trans, log, path, ino,
5511                                                           max_key.type);
5512                         } else {
5513                                 clear_bit(BTRFS_INODE_NEEDS_FULL_SYNC,
5514                                           &inode->runtime_flags);
5515                                 clear_bit(BTRFS_INODE_COPY_EVERYTHING,
5516                                           &inode->runtime_flags);
5517                                 while(1) {
5518                                         ret = btrfs_truncate_inode_items(trans,
5519                                                 log, inode, 0, 0, NULL);
5520                                         if (ret != -EAGAIN)
5521                                                 break;
5522                                 }
5523                         }
5524                 } else if (test_and_clear_bit(BTRFS_INODE_COPY_EVERYTHING,
5525                                               &inode->runtime_flags) ||
5526                            inode_only == LOG_INODE_EXISTS) {
5527                         if (inode_only == LOG_INODE_ALL)
5528                                 fast_search = true;
5529                         max_key.type = BTRFS_XATTR_ITEM_KEY;
5530                         ret = drop_objectid_items(trans, log, path, ino,
5531                                                   max_key.type);
5532                 } else {
5533                         if (inode_only == LOG_INODE_ALL)
5534                                 fast_search = true;
5535                         inode_item_dropped = false;
5536                         goto log_extents;
5537                 }
5538
5539         }
5540         if (ret) {
5541                 err = ret;
5542                 goto out_unlock;
5543         }
5544
5545         err = copy_inode_items_to_log(trans, inode, &min_key, &max_key,
5546                                       path, dst_path, logged_isize,
5547                                       recursive_logging, inode_only, ctx,
5548                                       &need_log_inode_item);
5549         if (err)
5550                 goto out_unlock;
5551
5552         btrfs_release_path(path);
5553         btrfs_release_path(dst_path);
5554         err = btrfs_log_all_xattrs(trans, root, inode, path, dst_path);
5555         if (err)
5556                 goto out_unlock;
5557         xattrs_logged = true;
5558         if (max_key.type >= BTRFS_EXTENT_DATA_KEY && !fast_search) {
5559                 btrfs_release_path(path);
5560                 btrfs_release_path(dst_path);
5561                 err = btrfs_log_holes(trans, root, inode, path);
5562                 if (err)
5563                         goto out_unlock;
5564         }
5565 log_extents:
5566         btrfs_release_path(path);
5567         btrfs_release_path(dst_path);
5568         if (need_log_inode_item) {
5569                 err = log_inode_item(trans, log, dst_path, inode, inode_item_dropped);
5570                 if (err)
5571                         goto out_unlock;
5572                 /*
5573                  * If we are doing a fast fsync and the inode was logged before
5574                  * in this transaction, we don't need to log the xattrs because
5575                  * they were logged before. If xattrs were added, changed or
5576                  * deleted since the last time we logged the inode, then we have
5577                  * already logged them because the inode had the runtime flag
5578                  * BTRFS_INODE_COPY_EVERYTHING set.
5579                  */
5580                 if (!xattrs_logged && inode->logged_trans < trans->transid) {
5581                         err = btrfs_log_all_xattrs(trans, root, inode, path,
5582                                                    dst_path);
5583                         if (err)
5584                                 goto out_unlock;
5585                         btrfs_release_path(path);
5586                 }
5587         }
5588         if (fast_search) {
5589                 ret = btrfs_log_changed_extents(trans, root, inode, dst_path,
5590                                                 ctx);
5591                 if (ret) {
5592                         err = ret;
5593                         goto out_unlock;
5594                 }
5595         } else if (inode_only == LOG_INODE_ALL) {
5596                 struct extent_map *em, *n;
5597
5598                 write_lock(&em_tree->lock);
5599                 list_for_each_entry_safe(em, n, &em_tree->modified_extents, list)
5600                         list_del_init(&em->list);
5601                 write_unlock(&em_tree->lock);
5602         }
5603
5604         if (inode_only == LOG_INODE_ALL && S_ISDIR(inode->vfs_inode.i_mode)) {
5605                 ret = log_directory_changes(trans, root, inode, path, dst_path,
5606                                         ctx);
5607                 if (ret) {
5608                         err = ret;
5609                         goto out_unlock;
5610                 }
5611         }
5612
5613         /*
5614          * If we are logging that an ancestor inode exists as part of logging a
5615          * new name from a link or rename operation, don't mark the inode as
5616          * logged - otherwise if an explicit fsync is made against an ancestor,
5617          * the fsync considers the inode in the log and doesn't sync the log,
5618          * resulting in the ancestor missing after a power failure unless the
5619          * log was synced as part of an fsync against any other unrelated inode.
5620          * So keep it simple for this case and just don't flag the ancestors as
5621          * logged.
5622          */
5623         if (!ctx ||
5624             !(S_ISDIR(inode->vfs_inode.i_mode) && ctx->logging_new_name &&
5625               &inode->vfs_inode != ctx->inode)) {
5626                 spin_lock(&inode->lock);
5627                 inode->logged_trans = trans->transid;
5628                 /*
5629                  * Don't update last_log_commit if we logged that an inode exists.
5630                  * We do this for two reasons:
5631                  *
5632                  * 1) We might have had buffered writes to this inode that were
5633                  *    flushed and had their ordered extents completed in this
5634                  *    transaction, but we did not previously log the inode with
5635                  *    LOG_INODE_ALL. Later the inode was evicted and after that
5636                  *    it was loaded again and this LOG_INODE_EXISTS log operation
5637                  *    happened. We must make sure that if an explicit fsync against
5638                  *    the inode is performed later, it logs the new extents, an
5639                  *    updated inode item, etc, and syncs the log. The same logic
5640                  *    applies to direct IO writes instead of buffered writes.
5641                  *
5642                  * 2) When we log the inode with LOG_INODE_EXISTS, its inode item
5643                  *    is logged with an i_size of 0 or whatever value was logged
5644                  *    before. If later the i_size of the inode is increased by a
5645                  *    truncate operation, the log is synced through an fsync of
5646                  *    some other inode and then finally an explicit fsync against
5647                  *    this inode is made, we must make sure this fsync logs the
5648                  *    inode with the new i_size, the hole between old i_size and
5649                  *    the new i_size, and syncs the log.
5650                  */
5651                 if (inode_only != LOG_INODE_EXISTS)
5652                         inode->last_log_commit = inode->last_sub_trans;
5653                 spin_unlock(&inode->lock);
5654         }
5655 out_unlock:
5656         mutex_unlock(&inode->log_mutex);
5657
5658         btrfs_free_path(path);
5659         btrfs_free_path(dst_path);
5660         return err;
5661 }
5662
5663 /*
5664  * Check if we need to log an inode. This is used in contexts where while
5665  * logging an inode we need to log another inode (either that it exists or in
5666  * full mode). This is used instead of btrfs_inode_in_log() because the later
5667  * requires the inode to be in the log and have the log transaction committed,
5668  * while here we do not care if the log transaction was already committed - our
5669  * caller will commit the log later - and we want to avoid logging an inode
5670  * multiple times when multiple tasks have joined the same log transaction.
5671  */
5672 static bool need_log_inode(struct btrfs_trans_handle *trans,
5673                            struct btrfs_inode *inode)
5674 {
5675         /*
5676          * If a directory was not modified, no dentries added or removed, we can
5677          * and should avoid logging it.
5678          */
5679         if (S_ISDIR(inode->vfs_inode.i_mode) && inode->last_trans < trans->transid)
5680                 return false;
5681
5682         /*
5683          * If this inode does not have new/updated/deleted xattrs since the last
5684          * time it was logged and is flagged as logged in the current transaction,
5685          * we can skip logging it. As for new/deleted names, those are updated in
5686          * the log by link/unlink/rename operations.
5687          * In case the inode was logged and then evicted and reloaded, its
5688          * logged_trans will be 0, in which case we have to fully log it since
5689          * logged_trans is a transient field, not persisted.
5690          */
5691         if (inode->logged_trans == trans->transid &&
5692             !test_bit(BTRFS_INODE_COPY_EVERYTHING, &inode->runtime_flags))
5693                 return false;
5694
5695         return true;
5696 }
5697
5698 struct btrfs_dir_list {
5699         u64 ino;
5700         struct list_head list;
5701 };
5702
5703 /*
5704  * Log the inodes of the new dentries of a directory. See log_dir_items() for
5705  * details about the why it is needed.
5706  * This is a recursive operation - if an existing dentry corresponds to a
5707  * directory, that directory's new entries are logged too (same behaviour as
5708  * ext3/4, xfs, f2fs, reiserfs, nilfs2). Note that when logging the inodes
5709  * the dentries point to we do not lock their i_mutex, otherwise lockdep
5710  * complains about the following circular lock dependency / possible deadlock:
5711  *
5712  *        CPU0                                        CPU1
5713  *        ----                                        ----
5714  * lock(&type->i_mutex_dir_key#3/2);
5715  *                                            lock(sb_internal#2);
5716  *                                            lock(&type->i_mutex_dir_key#3/2);
5717  * lock(&sb->s_type->i_mutex_key#14);
5718  *
5719  * Where sb_internal is the lock (a counter that works as a lock) acquired by
5720  * sb_start_intwrite() in btrfs_start_transaction().
5721  * Not locking i_mutex of the inodes is still safe because:
5722  *
5723  * 1) For regular files we log with a mode of LOG_INODE_EXISTS. It's possible
5724  *    that while logging the inode new references (names) are added or removed
5725  *    from the inode, leaving the logged inode item with a link count that does
5726  *    not match the number of logged inode reference items. This is fine because
5727  *    at log replay time we compute the real number of links and correct the
5728  *    link count in the inode item (see replay_one_buffer() and
5729  *    link_to_fixup_dir());
5730  *
5731  * 2) For directories we log with a mode of LOG_INODE_ALL. It's possible that
5732  *    while logging the inode's items new items with keys BTRFS_DIR_ITEM_KEY and
5733  *    BTRFS_DIR_INDEX_KEY are added to fs/subvol tree and the logged inode item
5734  *    has a size that doesn't match the sum of the lengths of all the logged
5735  *    names. This does not result in a problem because if a dir_item key is
5736  *    logged but its matching dir_index key is not logged, at log replay time we
5737  *    don't use it to replay the respective name (see replay_one_name()). On the
5738  *    other hand if only the dir_index key ends up being logged, the respective
5739  *    name is added to the fs/subvol tree with both the dir_item and dir_index
5740  *    keys created (see replay_one_name()).
5741  *    The directory's inode item with a wrong i_size is not a problem as well,
5742  *    since we don't use it at log replay time to set the i_size in the inode
5743  *    item of the fs/subvol tree (see overwrite_item()).
5744  */
5745 static int log_new_dir_dentries(struct btrfs_trans_handle *trans,
5746                                 struct btrfs_root *root,
5747                                 struct btrfs_inode *start_inode,
5748                                 struct btrfs_log_ctx *ctx)
5749 {
5750         struct btrfs_fs_info *fs_info = root->fs_info;
5751         struct btrfs_root *log = root->log_root;
5752         struct btrfs_path *path;
5753         LIST_HEAD(dir_list);
5754         struct btrfs_dir_list *dir_elem;
5755         int ret = 0;
5756
5757         path = btrfs_alloc_path();
5758         if (!path)
5759                 return -ENOMEM;
5760
5761         dir_elem = kmalloc(sizeof(*dir_elem), GFP_NOFS);
5762         if (!dir_elem) {
5763                 btrfs_free_path(path);
5764                 return -ENOMEM;
5765         }
5766         dir_elem->ino = btrfs_ino(start_inode);
5767         list_add_tail(&dir_elem->list, &dir_list);
5768
5769         while (!list_empty(&dir_list)) {
5770                 struct extent_buffer *leaf;
5771                 struct btrfs_key min_key;
5772                 int nritems;
5773                 int i;
5774
5775                 dir_elem = list_first_entry(&dir_list, struct btrfs_dir_list,
5776                                             list);
5777                 if (ret)
5778                         goto next_dir_inode;
5779
5780                 min_key.objectid = dir_elem->ino;
5781                 min_key.type = BTRFS_DIR_ITEM_KEY;
5782                 min_key.offset = 0;
5783 again:
5784                 btrfs_release_path(path);
5785                 ret = btrfs_search_forward(log, &min_key, path, trans->transid);
5786                 if (ret < 0) {
5787                         goto next_dir_inode;
5788                 } else if (ret > 0) {
5789                         ret = 0;
5790                         goto next_dir_inode;
5791                 }
5792
5793 process_leaf:
5794                 leaf = path->nodes[0];
5795                 nritems = btrfs_header_nritems(leaf);
5796                 for (i = path->slots[0]; i < nritems; i++) {
5797                         struct btrfs_dir_item *di;
5798                         struct btrfs_key di_key;
5799                         struct inode *di_inode;
5800                         struct btrfs_dir_list *new_dir_elem;
5801                         int log_mode = LOG_INODE_EXISTS;
5802                         int type;
5803
5804                         btrfs_item_key_to_cpu(leaf, &min_key, i);
5805                         if (min_key.objectid != dir_elem->ino ||
5806                             min_key.type != BTRFS_DIR_ITEM_KEY)
5807                                 goto next_dir_inode;
5808
5809                         di = btrfs_item_ptr(leaf, i, struct btrfs_dir_item);
5810                         type = btrfs_dir_type(leaf, di);
5811                         if (btrfs_dir_transid(leaf, di) < trans->transid &&
5812                             type != BTRFS_FT_DIR)
5813                                 continue;
5814                         btrfs_dir_item_key_to_cpu(leaf, di, &di_key);
5815                         if (di_key.type == BTRFS_ROOT_ITEM_KEY)
5816                                 continue;
5817
5818                         btrfs_release_path(path);
5819                         di_inode = btrfs_iget(fs_info->sb, di_key.objectid, root);
5820                         if (IS_ERR(di_inode)) {
5821                                 ret = PTR_ERR(di_inode);
5822                                 goto next_dir_inode;
5823                         }
5824
5825                         if (!need_log_inode(trans, BTRFS_I(di_inode))) {
5826                                 btrfs_add_delayed_iput(di_inode);
5827                                 break;
5828                         }
5829
5830                         ctx->log_new_dentries = false;
5831                         if (type == BTRFS_FT_DIR)
5832                                 log_mode = LOG_INODE_ALL;
5833                         ret = btrfs_log_inode(trans, root, BTRFS_I(di_inode),
5834                                               log_mode, ctx);
5835                         btrfs_add_delayed_iput(di_inode);
5836                         if (ret)
5837                                 goto next_dir_inode;
5838                         if (ctx->log_new_dentries) {
5839                                 new_dir_elem = kmalloc(sizeof(*new_dir_elem),
5840                                                        GFP_NOFS);
5841                                 if (!new_dir_elem) {
5842                                         ret = -ENOMEM;
5843                                         goto next_dir_inode;
5844                                 }
5845                                 new_dir_elem->ino = di_key.objectid;
5846                                 list_add_tail(&new_dir_elem->list, &dir_list);
5847                         }
5848                         break;
5849                 }
5850                 if (i == nritems) {
5851                         ret = btrfs_next_leaf(log, path);
5852                         if (ret < 0) {
5853                                 goto next_dir_inode;
5854                         } else if (ret > 0) {
5855                                 ret = 0;
5856                                 goto next_dir_inode;
5857                         }
5858                         goto process_leaf;
5859                 }
5860                 if (min_key.offset < (u64)-1) {
5861                         min_key.offset++;
5862                         goto again;
5863                 }
5864 next_dir_inode:
5865                 list_del(&dir_elem->list);
5866                 kfree(dir_elem);
5867         }
5868
5869         btrfs_free_path(path);
5870         return ret;
5871 }
5872
5873 static int btrfs_log_all_parents(struct btrfs_trans_handle *trans,
5874                                  struct btrfs_inode *inode,
5875                                  struct btrfs_log_ctx *ctx)
5876 {
5877         struct btrfs_fs_info *fs_info = trans->fs_info;
5878         int ret;
5879         struct btrfs_path *path;
5880         struct btrfs_key key;
5881         struct btrfs_root *root = inode->root;
5882         const u64 ino = btrfs_ino(inode);
5883
5884         path = btrfs_alloc_path();
5885         if (!path)
5886                 return -ENOMEM;
5887         path->skip_locking = 1;
5888         path->search_commit_root = 1;
5889
5890         key.objectid = ino;
5891         key.type = BTRFS_INODE_REF_KEY;
5892         key.offset = 0;
5893         ret = btrfs_search_slot(NULL, root, &key, path, 0, 0);
5894         if (ret < 0)
5895                 goto out;
5896
5897         while (true) {
5898                 struct extent_buffer *leaf = path->nodes[0];
5899                 int slot = path->slots[0];
5900                 u32 cur_offset = 0;
5901                 u32 item_size;
5902                 unsigned long ptr;
5903
5904                 if (slot >= btrfs_header_nritems(leaf)) {
5905                         ret = btrfs_next_leaf(root, path);
5906                         if (ret < 0)
5907                                 goto out;
5908                         else if (ret > 0)
5909                                 break;
5910                         continue;
5911                 }
5912
5913                 btrfs_item_key_to_cpu(leaf, &key, slot);
5914                 /* BTRFS_INODE_EXTREF_KEY is BTRFS_INODE_REF_KEY + 1 */
5915                 if (key.objectid != ino || key.type > BTRFS_INODE_EXTREF_KEY)
5916                         break;
5917
5918                 item_size = btrfs_item_size_nr(leaf, slot);
5919                 ptr = btrfs_item_ptr_offset(leaf, slot);
5920                 while (cur_offset < item_size) {
5921                         struct btrfs_key inode_key;
5922                         struct inode *dir_inode;
5923
5924                         inode_key.type = BTRFS_INODE_ITEM_KEY;
5925                         inode_key.offset = 0;
5926
5927                         if (key.type == BTRFS_INODE_EXTREF_KEY) {
5928                                 struct btrfs_inode_extref *extref;
5929
5930                                 extref = (struct btrfs_inode_extref *)
5931                                         (ptr + cur_offset);
5932                                 inode_key.objectid = btrfs_inode_extref_parent(
5933                                         leaf, extref);
5934                                 cur_offset += sizeof(*extref);
5935                                 cur_offset += btrfs_inode_extref_name_len(leaf,
5936                                         extref);
5937                         } else {
5938                                 inode_key.objectid = key.offset;
5939                                 cur_offset = item_size;
5940                         }
5941
5942                         dir_inode = btrfs_iget(fs_info->sb, inode_key.objectid,
5943                                                root);
5944                         /*
5945                          * If the parent inode was deleted, return an error to
5946                          * fallback to a transaction commit. This is to prevent
5947                          * getting an inode that was moved from one parent A to
5948                          * a parent B, got its former parent A deleted and then
5949                          * it got fsync'ed, from existing at both parents after
5950                          * a log replay (and the old parent still existing).
5951                          * Example:
5952                          *
5953                          * mkdir /mnt/A
5954                          * mkdir /mnt/B
5955                          * touch /mnt/B/bar
5956                          * sync
5957                          * mv /mnt/B/bar /mnt/A/bar
5958                          * mv -T /mnt/A /mnt/B
5959                          * fsync /mnt/B/bar
5960                          * <power fail>
5961                          *
5962                          * If we ignore the old parent B which got deleted,
5963                          * after a log replay we would have file bar linked
5964                          * at both parents and the old parent B would still
5965                          * exist.
5966                          */
5967                         if (IS_ERR(dir_inode)) {
5968                                 ret = PTR_ERR(dir_inode);
5969                                 goto out;
5970                         }
5971
5972                         if (!need_log_inode(trans, BTRFS_I(dir_inode))) {
5973                                 btrfs_add_delayed_iput(dir_inode);
5974                                 continue;
5975                         }
5976
5977                         if (ctx)
5978                                 ctx->log_new_dentries = false;
5979                         ret = btrfs_log_inode(trans, root, BTRFS_I(dir_inode),
5980                                               LOG_INODE_ALL, ctx);
5981                         if (!ret && ctx && ctx->log_new_dentries)
5982                                 ret = log_new_dir_dentries(trans, root,
5983                                                    BTRFS_I(dir_inode), ctx);
5984                         btrfs_add_delayed_iput(dir_inode);
5985                         if (ret)
5986                                 goto out;
5987                 }
5988                 path->slots[0]++;
5989         }
5990         ret = 0;
5991 out:
5992         btrfs_free_path(path);
5993         return ret;
5994 }
5995
5996 static int log_new_ancestors(struct btrfs_trans_handle *trans,
5997                              struct btrfs_root *root,
5998                              struct btrfs_path *path,
5999                              struct btrfs_log_ctx *ctx)
6000 {
6001         struct btrfs_key found_key;
6002
6003         btrfs_item_key_to_cpu(path->nodes[0], &found_key, path->slots[0]);
6004
6005         while (true) {
6006                 struct btrfs_fs_info *fs_info = root->fs_info;
6007                 struct extent_buffer *leaf = path->nodes[0];
6008                 int slot = path->slots[0];
6009                 struct btrfs_key search_key;
6010                 struct inode *inode;
6011                 u64 ino;
6012                 int ret = 0;
6013
6014                 btrfs_release_path(path);
6015
6016                 ino = found_key.offset;
6017
6018                 search_key.objectid = found_key.offset;
6019                 search_key.type = BTRFS_INODE_ITEM_KEY;
6020                 search_key.offset = 0;
6021                 inode = btrfs_iget(fs_info->sb, ino, root);
6022                 if (IS_ERR(inode))
6023                         return PTR_ERR(inode);
6024
6025                 if (BTRFS_I(inode)->generation >= trans->transid &&
6026                     need_log_inode(trans, BTRFS_I(inode)))
6027                         ret = btrfs_log_inode(trans, root, BTRFS_I(inode),
6028                                               LOG_INODE_EXISTS, ctx);
6029                 btrfs_add_delayed_iput(inode);
6030                 if (ret)
6031                         return ret;
6032
6033                 if (search_key.objectid == BTRFS_FIRST_FREE_OBJECTID)
6034                         break;
6035
6036                 search_key.type = BTRFS_INODE_REF_KEY;
6037                 ret = btrfs_search_slot(NULL, root, &search_key, path, 0, 0);
6038                 if (ret < 0)
6039                         return ret;
6040
6041                 leaf = path->nodes[0];
6042                 slot = path->slots[0];
6043                 if (slot >= btrfs_header_nritems(leaf)) {
6044                         ret = btrfs_next_leaf(root, path);
6045                         if (ret < 0)
6046                                 return ret;
6047                         else if (ret > 0)
6048                                 return -ENOENT;
6049                         leaf = path->nodes[0];
6050                         slot = path->slots[0];
6051                 }
6052
6053                 btrfs_item_key_to_cpu(leaf, &found_key, slot);
6054                 if (found_key.objectid != search_key.objectid ||
6055                     found_key.type != BTRFS_INODE_REF_KEY)
6056                         return -ENOENT;
6057         }
6058         return 0;
6059 }
6060
6061 static int log_new_ancestors_fast(struct btrfs_trans_handle *trans,
6062                                   struct btrfs_inode *inode,
6063                                   struct dentry *parent,
6064                                   struct btrfs_log_ctx *ctx)
6065 {
6066         struct btrfs_root *root = inode->root;
6067         struct dentry *old_parent = NULL;
6068         struct super_block *sb = inode->vfs_inode.i_sb;
6069         int ret = 0;
6070
6071         while (true) {
6072                 if (!parent || d_really_is_negative(parent) ||
6073                     sb != parent->d_sb)
6074                         break;
6075
6076                 inode = BTRFS_I(d_inode(parent));
6077                 if (root != inode->root)
6078                         break;
6079
6080                 if (inode->generation >= trans->transid &&
6081                     need_log_inode(trans, inode)) {
6082                         ret = btrfs_log_inode(trans, root, inode,
6083                                               LOG_INODE_EXISTS, ctx);
6084                         if (ret)
6085                                 break;
6086                 }
6087                 if (IS_ROOT(parent))
6088                         break;
6089
6090                 parent = dget_parent(parent);
6091                 dput(old_parent);
6092                 old_parent = parent;
6093         }
6094         dput(old_parent);
6095
6096         return ret;
6097 }
6098
6099 static int log_all_new_ancestors(struct btrfs_trans_handle *trans,
6100                                  struct btrfs_inode *inode,
6101                                  struct dentry *parent,
6102                                  struct btrfs_log_ctx *ctx)
6103 {
6104         struct btrfs_root *root = inode->root;
6105         const u64 ino = btrfs_ino(inode);
6106         struct btrfs_path *path;
6107         struct btrfs_key search_key;
6108         int ret;
6109
6110         /*
6111          * For a single hard link case, go through a fast path that does not
6112          * need to iterate the fs/subvolume tree.
6113          */
6114         if (inode->vfs_inode.i_nlink < 2)
6115                 return log_new_ancestors_fast(trans, inode, parent, ctx);
6116
6117         path = btrfs_alloc_path();
6118         if (!path)
6119                 return -ENOMEM;
6120
6121         search_key.objectid = ino;
6122         search_key.type = BTRFS_INODE_REF_KEY;
6123         search_key.offset = 0;
6124 again:
6125         ret = btrfs_search_slot(NULL, root, &search_key, path, 0, 0);
6126         if (ret < 0)
6127                 goto out;
6128         if (ret == 0)
6129                 path->slots[0]++;
6130
6131         while (true) {
6132                 struct extent_buffer *leaf = path->nodes[0];
6133                 int slot = path->slots[0];
6134                 struct btrfs_key found_key;
6135
6136                 if (slot >= btrfs_header_nritems(leaf)) {
6137                         ret = btrfs_next_leaf(root, path);
6138                         if (ret < 0)
6139                                 goto out;
6140                         else if (ret > 0)
6141                                 break;
6142                         continue;
6143                 }
6144
6145                 btrfs_item_key_to_cpu(leaf, &found_key, slot);
6146                 if (found_key.objectid != ino ||
6147                     found_key.type > BTRFS_INODE_EXTREF_KEY)
6148                         break;
6149
6150                 /*
6151                  * Don't deal with extended references because they are rare
6152                  * cases and too complex to deal with (we would need to keep
6153                  * track of which subitem we are processing for each item in
6154                  * this loop, etc). So just return some error to fallback to
6155                  * a transaction commit.
6156                  */
6157                 if (found_key.type == BTRFS_INODE_EXTREF_KEY) {
6158                         ret = -EMLINK;
6159                         goto out;
6160                 }
6161
6162                 /*
6163                  * Logging ancestors needs to do more searches on the fs/subvol
6164                  * tree, so it releases the path as needed to avoid deadlocks.
6165                  * Keep track of the last inode ref key and resume from that key
6166                  * after logging all new ancestors for the current hard link.
6167                  */
6168                 memcpy(&search_key, &found_key, sizeof(search_key));
6169
6170                 ret = log_new_ancestors(trans, root, path, ctx);
6171                 if (ret)
6172                         goto out;
6173                 btrfs_release_path(path);
6174                 goto again;
6175         }
6176         ret = 0;
6177 out:
6178         btrfs_free_path(path);
6179         return ret;
6180 }
6181
6182 /*
6183  * helper function around btrfs_log_inode to make sure newly created
6184  * parent directories also end up in the log.  A minimal inode and backref
6185  * only logging is done of any parent directories that are older than
6186  * the last committed transaction
6187  */
6188 static int btrfs_log_inode_parent(struct btrfs_trans_handle *trans,
6189                                   struct btrfs_inode *inode,
6190                                   struct dentry *parent,
6191                                   int inode_only,
6192                                   struct btrfs_log_ctx *ctx)
6193 {
6194         struct btrfs_root *root = inode->root;
6195         struct btrfs_fs_info *fs_info = root->fs_info;
6196         int ret = 0;
6197         bool log_dentries = false;
6198
6199         if (btrfs_test_opt(fs_info, NOTREELOG)) {
6200                 ret = 1;
6201                 goto end_no_trans;
6202         }
6203
6204         if (btrfs_root_refs(&root->root_item) == 0) {
6205                 ret = 1;
6206                 goto end_no_trans;
6207         }
6208
6209         /*
6210          * Skip already logged inodes or inodes corresponding to tmpfiles
6211          * (since logging them is pointless, a link count of 0 means they
6212          * will never be accessible).
6213          */
6214         if ((btrfs_inode_in_log(inode, trans->transid) &&
6215              list_empty(&ctx->ordered_extents)) ||
6216             inode->vfs_inode.i_nlink == 0) {
6217                 ret = BTRFS_NO_LOG_SYNC;
6218                 goto end_no_trans;
6219         }
6220
6221         ret = start_log_trans(trans, root, ctx);
6222         if (ret)
6223                 goto end_no_trans;
6224
6225         ret = btrfs_log_inode(trans, root, inode, inode_only, ctx);
6226         if (ret)
6227                 goto end_trans;
6228
6229         /*
6230          * for regular files, if its inode is already on disk, we don't
6231          * have to worry about the parents at all.  This is because
6232          * we can use the last_unlink_trans field to record renames
6233          * and other fun in this file.
6234          */
6235         if (S_ISREG(inode->vfs_inode.i_mode) &&
6236             inode->generation < trans->transid &&
6237             inode->last_unlink_trans < trans->transid) {
6238                 ret = 0;
6239                 goto end_trans;
6240         }
6241
6242         if (S_ISDIR(inode->vfs_inode.i_mode) && ctx && ctx->log_new_dentries)
6243                 log_dentries = true;
6244
6245         /*
6246          * On unlink we must make sure all our current and old parent directory
6247          * inodes are fully logged. This is to prevent leaving dangling
6248          * directory index entries in directories that were our parents but are
6249          * not anymore. Not doing this results in old parent directory being
6250          * impossible to delete after log replay (rmdir will always fail with
6251          * error -ENOTEMPTY).
6252          *
6253          * Example 1:
6254          *
6255          * mkdir testdir
6256          * touch testdir/foo
6257          * ln testdir/foo testdir/bar
6258          * sync
6259          * unlink testdir/bar
6260          * xfs_io -c fsync testdir/foo
6261          * <power failure>
6262          * mount fs, triggers log replay
6263          *
6264          * If we don't log the parent directory (testdir), after log replay the
6265          * directory still has an entry pointing to the file inode using the bar
6266          * name, but a matching BTRFS_INODE_[REF|EXTREF]_KEY does not exist and
6267          * the file inode has a link count of 1.
6268          *
6269          * Example 2:
6270          *
6271          * mkdir testdir
6272          * touch foo
6273          * ln foo testdir/foo2
6274          * ln foo testdir/foo3
6275          * sync
6276          * unlink testdir/foo3
6277          * xfs_io -c fsync foo
6278          * <power failure>
6279          * mount fs, triggers log replay
6280          *
6281          * Similar as the first example, after log replay the parent directory
6282          * testdir still has an entry pointing to the inode file with name foo3
6283          * but the file inode does not have a matching BTRFS_INODE_REF_KEY item
6284          * and has a link count of 2.
6285          */
6286         if (inode->last_unlink_trans >= trans->transid) {
6287                 ret = btrfs_log_all_parents(trans, inode, ctx);
6288                 if (ret)
6289                         goto end_trans;
6290         }
6291
6292         ret = log_all_new_ancestors(trans, inode, parent, ctx);
6293         if (ret)
6294                 goto end_trans;
6295
6296         if (log_dentries)
6297                 ret = log_new_dir_dentries(trans, root, inode, ctx);
6298         else
6299                 ret = 0;
6300 end_trans:
6301         if (ret < 0) {
6302                 btrfs_set_log_full_commit(trans);
6303                 ret = 1;
6304         }
6305
6306         if (ret)
6307                 btrfs_remove_log_ctx(root, ctx);
6308         btrfs_end_log_trans(root);
6309 end_no_trans:
6310         return ret;
6311 }
6312
6313 /*
6314  * it is not safe to log dentry if the chunk root has added new
6315  * chunks.  This returns 0 if the dentry was logged, and 1 otherwise.
6316  * If this returns 1, you must commit the transaction to safely get your
6317  * data on disk.
6318  */
6319 int btrfs_log_dentry_safe(struct btrfs_trans_handle *trans,
6320                           struct dentry *dentry,
6321                           struct btrfs_log_ctx *ctx)
6322 {
6323         struct dentry *parent = dget_parent(dentry);
6324         int ret;
6325
6326         ret = btrfs_log_inode_parent(trans, BTRFS_I(d_inode(dentry)), parent,
6327                                      LOG_INODE_ALL, ctx);
6328         dput(parent);
6329
6330         return ret;
6331 }
6332
6333 /*
6334  * should be called during mount to recover any replay any log trees
6335  * from the FS
6336  */
6337 int btrfs_recover_log_trees(struct btrfs_root *log_root_tree)
6338 {
6339         int ret;
6340         struct btrfs_path *path;
6341         struct btrfs_trans_handle *trans;
6342         struct btrfs_key key;
6343         struct btrfs_key found_key;
6344         struct btrfs_root *log;
6345         struct btrfs_fs_info *fs_info = log_root_tree->fs_info;
6346         struct walk_control wc = {
6347                 .process_func = process_one_buffer,
6348                 .stage = LOG_WALK_PIN_ONLY,
6349         };
6350
6351         path = btrfs_alloc_path();
6352         if (!path)
6353                 return -ENOMEM;
6354
6355         set_bit(BTRFS_FS_LOG_RECOVERING, &fs_info->flags);
6356
6357         trans = btrfs_start_transaction(fs_info->tree_root, 0);
6358         if (IS_ERR(trans)) {
6359                 ret = PTR_ERR(trans);
6360                 goto error;
6361         }
6362
6363         wc.trans = trans;
6364         wc.pin = 1;
6365
6366         ret = walk_log_tree(trans, log_root_tree, &wc);
6367         if (ret) {
6368                 btrfs_handle_fs_error(fs_info, ret,
6369                         "Failed to pin buffers while recovering log root tree.");
6370                 goto error;
6371         }
6372
6373 again:
6374         key.objectid = BTRFS_TREE_LOG_OBJECTID;
6375         key.offset = (u64)-1;
6376         key.type = BTRFS_ROOT_ITEM_KEY;
6377
6378         while (1) {
6379                 ret = btrfs_search_slot(NULL, log_root_tree, &key, path, 0, 0);
6380
6381                 if (ret < 0) {
6382                         btrfs_handle_fs_error(fs_info, ret,
6383                                     "Couldn't find tree log root.");
6384                         goto error;
6385                 }
6386                 if (ret > 0) {
6387                         if (path->slots[0] == 0)
6388                                 break;
6389                         path->slots[0]--;
6390                 }
6391                 btrfs_item_key_to_cpu(path->nodes[0], &found_key,
6392                                       path->slots[0]);
6393                 btrfs_release_path(path);
6394                 if (found_key.objectid != BTRFS_TREE_LOG_OBJECTID)
6395                         break;
6396
6397                 log = btrfs_read_tree_root(log_root_tree, &found_key);
6398                 if (IS_ERR(log)) {
6399                         ret = PTR_ERR(log);
6400                         btrfs_handle_fs_error(fs_info, ret,
6401                                     "Couldn't read tree log root.");
6402                         goto error;
6403                 }
6404
6405                 wc.replay_dest = btrfs_get_fs_root(fs_info, found_key.offset,
6406                                                    true);
6407                 if (IS_ERR(wc.replay_dest)) {
6408                         ret = PTR_ERR(wc.replay_dest);
6409
6410                         /*
6411                          * We didn't find the subvol, likely because it was
6412                          * deleted.  This is ok, simply skip this log and go to
6413                          * the next one.
6414                          *
6415                          * We need to exclude the root because we can't have
6416                          * other log replays overwriting this log as we'll read
6417                          * it back in a few more times.  This will keep our
6418                          * block from being modified, and we'll just bail for
6419                          * each subsequent pass.
6420                          */
6421                         if (ret == -ENOENT)
6422                                 ret = btrfs_pin_extent_for_log_replay(trans,
6423                                                         log->node->start,
6424                                                         log->node->len);
6425                         btrfs_put_root(log);
6426
6427                         if (!ret)
6428                                 goto next;
6429                         btrfs_handle_fs_error(fs_info, ret,
6430                                 "Couldn't read target root for tree log recovery.");
6431                         goto error;
6432                 }
6433
6434                 wc.replay_dest->log_root = log;
6435                 ret = btrfs_record_root_in_trans(trans, wc.replay_dest);
6436                 if (ret)
6437                         /* The loop needs to continue due to the root refs */
6438                         btrfs_handle_fs_error(fs_info, ret,
6439                                 "failed to record the log root in transaction");
6440                 else
6441                         ret = walk_log_tree(trans, log, &wc);
6442
6443                 if (!ret && wc.stage == LOG_WALK_REPLAY_ALL) {
6444                         ret = fixup_inode_link_counts(trans, wc.replay_dest,
6445                                                       path);
6446                 }
6447
6448                 if (!ret && wc.stage == LOG_WALK_REPLAY_ALL) {
6449                         struct btrfs_root *root = wc.replay_dest;
6450
6451                         btrfs_release_path(path);
6452
6453                         /*
6454                          * We have just replayed everything, and the highest
6455                          * objectid of fs roots probably has changed in case
6456                          * some inode_item's got replayed.
6457                          *
6458                          * root->objectid_mutex is not acquired as log replay
6459                          * could only happen during mount.
6460                          */
6461                         ret = btrfs_init_root_free_objectid(root);
6462                 }
6463
6464                 wc.replay_dest->log_root = NULL;
6465                 btrfs_put_root(wc.replay_dest);
6466                 btrfs_put_root(log);
6467
6468                 if (ret)
6469                         goto error;
6470 next:
6471                 if (found_key.offset == 0)
6472                         break;
6473                 key.offset = found_key.offset - 1;
6474         }
6475         btrfs_release_path(path);
6476
6477         /* step one is to pin it all, step two is to replay just inodes */
6478         if (wc.pin) {
6479                 wc.pin = 0;
6480                 wc.process_func = replay_one_buffer;
6481                 wc.stage = LOG_WALK_REPLAY_INODES;
6482                 goto again;
6483         }
6484         /* step three is to replay everything */
6485         if (wc.stage < LOG_WALK_REPLAY_ALL) {
6486                 wc.stage++;
6487                 goto again;
6488         }
6489
6490         btrfs_free_path(path);
6491
6492         /* step 4: commit the transaction, which also unpins the blocks */
6493         ret = btrfs_commit_transaction(trans);
6494         if (ret)
6495                 return ret;
6496
6497         log_root_tree->log_root = NULL;
6498         clear_bit(BTRFS_FS_LOG_RECOVERING, &fs_info->flags);
6499         btrfs_put_root(log_root_tree);
6500
6501         return 0;
6502 error:
6503         if (wc.trans)
6504                 btrfs_end_transaction(wc.trans);
6505         clear_bit(BTRFS_FS_LOG_RECOVERING, &fs_info->flags);
6506         btrfs_free_path(path);
6507         return ret;
6508 }
6509
6510 /*
6511  * there are some corner cases where we want to force a full
6512  * commit instead of allowing a directory to be logged.
6513  *
6514  * They revolve around files there were unlinked from the directory, and
6515  * this function updates the parent directory so that a full commit is
6516  * properly done if it is fsync'd later after the unlinks are done.
6517  *
6518  * Must be called before the unlink operations (updates to the subvolume tree,
6519  * inodes, etc) are done.
6520  */
6521 void btrfs_record_unlink_dir(struct btrfs_trans_handle *trans,
6522                              struct btrfs_inode *dir, struct btrfs_inode *inode,
6523                              int for_rename)
6524 {
6525         /*
6526          * when we're logging a file, if it hasn't been renamed
6527          * or unlinked, and its inode is fully committed on disk,
6528          * we don't have to worry about walking up the directory chain
6529          * to log its parents.
6530          *
6531          * So, we use the last_unlink_trans field to put this transid
6532          * into the file.  When the file is logged we check it and
6533          * don't log the parents if the file is fully on disk.
6534          */
6535         mutex_lock(&inode->log_mutex);
6536         inode->last_unlink_trans = trans->transid;
6537         mutex_unlock(&inode->log_mutex);
6538
6539         /*
6540          * if this directory was already logged any new
6541          * names for this file/dir will get recorded
6542          */
6543         if (dir->logged_trans == trans->transid)
6544                 return;
6545
6546         /*
6547          * if the inode we're about to unlink was logged,
6548          * the log will be properly updated for any new names
6549          */
6550         if (inode->logged_trans == trans->transid)
6551                 return;
6552
6553         /*
6554          * when renaming files across directories, if the directory
6555          * there we're unlinking from gets fsync'd later on, there's
6556          * no way to find the destination directory later and fsync it
6557          * properly.  So, we have to be conservative and force commits
6558          * so the new name gets discovered.
6559          */
6560         if (for_rename)
6561                 goto record;
6562
6563         /* we can safely do the unlink without any special recording */
6564         return;
6565
6566 record:
6567         mutex_lock(&dir->log_mutex);
6568         dir->last_unlink_trans = trans->transid;
6569         mutex_unlock(&dir->log_mutex);
6570 }
6571
6572 /*
6573  * Make sure that if someone attempts to fsync the parent directory of a deleted
6574  * snapshot, it ends up triggering a transaction commit. This is to guarantee
6575  * that after replaying the log tree of the parent directory's root we will not
6576  * see the snapshot anymore and at log replay time we will not see any log tree
6577  * corresponding to the deleted snapshot's root, which could lead to replaying
6578  * it after replaying the log tree of the parent directory (which would replay
6579  * the snapshot delete operation).
6580  *
6581  * Must be called before the actual snapshot destroy operation (updates to the
6582  * parent root and tree of tree roots trees, etc) are done.
6583  */
6584 void btrfs_record_snapshot_destroy(struct btrfs_trans_handle *trans,
6585                                    struct btrfs_inode *dir)
6586 {
6587         mutex_lock(&dir->log_mutex);
6588         dir->last_unlink_trans = trans->transid;
6589         mutex_unlock(&dir->log_mutex);
6590 }
6591
6592 /**
6593  * Update the log after adding a new name for an inode.
6594  *
6595  * @trans:              Transaction handle.
6596  * @old_dentry:         The dentry associated with the old name and the old
6597  *                      parent directory.
6598  * @old_dir:            The inode of the previous parent directory for the case
6599  *                      of a rename. For a link operation, it must be NULL.
6600  * @parent:             The dentry associated with the directory under which the
6601  *                      new name is located.
6602  *
6603  * Call this after adding a new name for an inode, as a result of a link or
6604  * rename operation, and it will properly update the log to reflect the new name.
6605  */
6606 void btrfs_log_new_name(struct btrfs_trans_handle *trans,
6607                         struct dentry *old_dentry, struct btrfs_inode *old_dir,
6608                         struct dentry *parent)
6609 {
6610         struct btrfs_inode *inode = BTRFS_I(d_inode(old_dentry));
6611         struct btrfs_log_ctx ctx;
6612
6613         /*
6614          * this will force the logging code to walk the dentry chain
6615          * up for the file
6616          */
6617         if (!S_ISDIR(inode->vfs_inode.i_mode))
6618                 inode->last_unlink_trans = trans->transid;
6619
6620         /*
6621          * if this inode hasn't been logged and directory we're renaming it
6622          * from hasn't been logged, we don't need to log it
6623          */
6624         if (!inode_logged(trans, inode) &&
6625             (!old_dir || !inode_logged(trans, old_dir)))
6626                 return;
6627
6628         /*
6629          * If we are doing a rename (old_dir is not NULL) from a directory that
6630          * was previously logged, make sure the next log attempt on the directory
6631          * is not skipped and logs the inode again. This is because the log may
6632          * not currently be authoritative for a range including the old
6633          * BTRFS_DIR_ITEM_KEY and BTRFS_DIR_INDEX_KEY keys, so we want to make
6634          * sure after a log replay we do not end up with both the new and old
6635          * dentries around (in case the inode is a directory we would have a
6636          * directory with two hard links and 2 inode references for different
6637          * parents). The next log attempt of old_dir will happen at
6638          * btrfs_log_all_parents(), called through btrfs_log_inode_parent()
6639          * below, because we have previously set inode->last_unlink_trans to the
6640          * current transaction ID, either here or at btrfs_record_unlink_dir() in
6641          * case inode is a directory.
6642          */
6643         if (old_dir)
6644                 old_dir->logged_trans = 0;
6645
6646         btrfs_init_log_ctx(&ctx, &inode->vfs_inode);
6647         ctx.logging_new_name = true;
6648         /*
6649          * We don't care about the return value. If we fail to log the new name
6650          * then we know the next attempt to sync the log will fallback to a full
6651          * transaction commit (due to a call to btrfs_set_log_full_commit()), so
6652          * we don't need to worry about getting a log committed that has an
6653          * inconsistent state after a rename operation.
6654          */
6655         btrfs_log_inode_parent(trans, inode, parent, LOG_INODE_EXISTS, &ctx);
6656 }
6657