btrfs-progs: Refactor write_and_map_eb to use btrfs_fs_info
[platform/upstream/btrfs-progs.git] / convert / main.c
1 /*
2  * Copyright (C) 2007 Oracle.  All rights reserved.
3  *
4  * This program is free software; you can redistribute it and/or
5  * modify it under the terms of the GNU General Public
6  * License v2 as published by the Free Software Foundation.
7  *
8  * This program is distributed in the hope that it will be useful,
9  * but WITHOUT ANY WARRANTY; without even the implied warranty of
10  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
11  * General Public License for more details.
12  *
13  * You should have received a copy of the GNU General Public
14  * License along with this program; if not, write to the
15  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
16  * Boston, MA 021110-1307, USA.
17  */
18
19 /*
20  * Btrfs convert design:
21  *
22  * The overall design of btrfs convert is like the following:
23  *
24  * |<------------------Old fs----------------------------->|
25  * |<- used ->| |<- used ->|                    |<- used ->|
26  *                           ||
27  *                           \/
28  * |<---------------Btrfs fs------------------------------>|
29  * |<-   Old data chunk  ->|< new chunk (D/M/S)>|<- ODC  ->|
30  * |<-Old-FE->| |<-Old-FE->|<- Btrfs extents  ->|<-Old-FE->|
31  *
32  * ODC    = Old data chunk, btrfs chunks containing old fs data
33  *          Mapped 1:1 (logical address == device offset)
34  * Old-FE = file extents pointing to old fs.
35  *
36  * So old fs used space is (mostly) kept as is, while btrfs will insert
37  * its chunk (Data/Meta/Sys) into large enough free space.
38  * In this way, we can create different profiles for metadata/data for
39  * converted fs.
40  *
41  * We must reserve and relocate 3 ranges for btrfs:
42  * * [0, 1M)                    - area never used for any data except the first
43  *                                superblock
44  * * [btrfs_sb_offset(1), +64K) - 1st superblock backup copy
45  * * [btrfs_sb_offset(2), +64K) - 2nd, dtto
46  *
47  * Most work is spent handling corner cases around these reserved ranges.
48  *
49  * Detailed workflow is:
50  * 1)   Scan old fs used space and calculate data chunk layout
51  * 1.1) Scan old fs
52  *      We can a map used space of old fs
53  *
54  * 1.2) Calculate data chunk layout - this is the hard part
55  *      New data chunks must meet 3 conditions using result fomr 1.1
56  *      a. Large enough to be a chunk
57  *      b. Doesn't intersect reserved ranges
58  *      c. Covers all the remaining old fs used space
59  *
60  *      NOTE: This can be simplified if we don't need to handle backup supers
61  *
62  * 1.3) Calculate usable space for new btrfs chunks
63  *      Btrfs chunk usable space must meet 3 conditions using result from 1.2
64  *      a. Large enough to be a chunk
65  *      b. Doesn't intersect reserved ranges
66  *      c. Doesn't cover any data chunks in 1.1
67  *
68  * 2)   Create basic btrfs filesystem structure
69  *      Initial metadata and sys chunks are inserted in the first availabe
70  *      space found in step 1.3
71  *      Then insert all data chunks into the basic btrfs
72  *
73  * 3)   Create convert image
74  *      We need to relocate reserved ranges here.
75  *      After this step, the convert image is done, and we can use the image
76  *      as reflink source to create old files
77  *
78  * 4)   Iterate old fs to create files
79  *      We just reflink file extents from old fs to newly created files on
80  *      btrfs.
81  */
82
83 #include "kerncompat.h"
84
85 #include <stdio.h>
86 #include <stdlib.h>
87 #include <sys/types.h>
88 #include <fcntl.h>
89 #include <unistd.h>
90 #include <getopt.h>
91 #include <stdbool.h>
92
93 #include "ctree.h"
94 #include "disk-io.h"
95 #include "volumes.h"
96 #include "transaction.h"
97 #include "utils.h"
98 #include "task-utils.h"
99 #include "help.h"
100 #include "mkfs/common.h"
101 #include "convert/common.h"
102 #include "convert/source-fs.h"
103 #include "fsfeatures.h"
104
105 const struct btrfs_convert_operations ext2_convert_ops;
106
107 static const struct btrfs_convert_operations *convert_operations[] = {
108 #if BTRFSCONVERT_EXT2
109         &ext2_convert_ops,
110 #endif
111 };
112
113 static void *print_copied_inodes(void *p)
114 {
115         struct task_ctx *priv = p;
116         const char work_indicator[] = { '.', 'o', 'O', 'o' };
117         u64 count = 0;
118
119         task_period_start(priv->info, 1000 /* 1s */);
120         while (1) {
121                 count++;
122                 printf("copy inodes [%c] [%10llu/%10llu]\r",
123                        work_indicator[count % 4],
124                        (unsigned long long)priv->cur_copy_inodes,
125                        (unsigned long long)priv->max_copy_inodes);
126                 fflush(stdout);
127                 task_period_wait(priv->info);
128         }
129
130         return NULL;
131 }
132
133 static int after_copied_inodes(void *p)
134 {
135         printf("\n");
136         fflush(stdout);
137
138         return 0;
139 }
140
141 static inline int copy_inodes(struct btrfs_convert_context *cctx,
142                               struct btrfs_root *root, u32 convert_flags,
143                               struct task_ctx *p)
144 {
145         return cctx->convert_ops->copy_inodes(cctx, root, convert_flags, p);
146 }
147
148 static inline void convert_close_fs(struct btrfs_convert_context *cctx)
149 {
150         cctx->convert_ops->close_fs(cctx);
151 }
152
153 static inline int convert_check_state(struct btrfs_convert_context *cctx)
154 {
155         return cctx->convert_ops->check_state(cctx);
156 }
157
158 static int csum_disk_extent(struct btrfs_trans_handle *trans,
159                             struct btrfs_root *root,
160                             u64 disk_bytenr, u64 num_bytes)
161 {
162         u32 blocksize = root->fs_info->sectorsize;
163         u64 offset;
164         char *buffer;
165         int ret = 0;
166
167         buffer = malloc(blocksize);
168         if (!buffer)
169                 return -ENOMEM;
170         for (offset = 0; offset < num_bytes; offset += blocksize) {
171                 ret = read_disk_extent(root, disk_bytenr + offset,
172                                         blocksize, buffer);
173                 if (ret)
174                         break;
175                 ret = btrfs_csum_file_block(trans,
176                                             root->fs_info->csum_root,
177                                             disk_bytenr + num_bytes,
178                                             disk_bytenr + offset,
179                                             buffer, blocksize);
180                 if (ret)
181                         break;
182         }
183         free(buffer);
184         return ret;
185 }
186
187 static int create_image_file_range(struct btrfs_trans_handle *trans,
188                                       struct btrfs_root *root,
189                                       struct cache_tree *used,
190                                       struct btrfs_inode_item *inode,
191                                       u64 ino, u64 bytenr, u64 *ret_len,
192                                       u32 convert_flags)
193 {
194         struct cache_extent *cache;
195         struct btrfs_block_group_cache *bg_cache;
196         u64 len = *ret_len;
197         u64 disk_bytenr;
198         int i;
199         int ret;
200         u32 datacsum = convert_flags & CONVERT_FLAG_DATACSUM;
201
202         if (bytenr != round_down(bytenr, root->fs_info->sectorsize)) {
203                 error("bytenr not sectorsize aligned: %llu",
204                                 (unsigned long long)bytenr);
205                 return -EINVAL;
206         }
207         if (len != round_down(len, root->fs_info->sectorsize)) {
208                 error("length not sectorsize aligned: %llu",
209                                 (unsigned long long)len);
210                 return -EINVAL;
211         }
212         len = min_t(u64, len, BTRFS_MAX_EXTENT_SIZE);
213
214         /*
215          * Skip reserved ranges first
216          *
217          * Or we will insert a hole into current image file, and later
218          * migrate block will fail as there is already a file extent.
219          */
220         for (i = 0; i < ARRAY_SIZE(btrfs_reserved_ranges); i++) {
221                 const struct simple_range *reserved = &btrfs_reserved_ranges[i];
222
223                 /*
224                  * |-- reserved --|
225                  *         |--range---|
226                  * or
227                  * |---- reserved ----|
228                  *    |-- range --|
229                  * Skip to reserved range end
230                  */
231                 if (bytenr >= reserved->start && bytenr < range_end(reserved)) {
232                         *ret_len = range_end(reserved) - bytenr;
233                         return 0;
234                 }
235
236                 /*
237                  *      |---reserved---|
238                  * |----range-------|
239                  * Leading part may still create a file extent
240                  */
241                 if (bytenr < reserved->start &&
242                     bytenr + len >= range_end(reserved)) {
243                         len = min_t(u64, len, reserved->start - bytenr);
244                         break;
245                 }
246         }
247
248         /* Check if we are going to insert regular file extent, or hole */
249         cache = search_cache_extent(used, bytenr);
250         if (cache) {
251                 if (cache->start <= bytenr) {
252                         /*
253                          * |///////Used///////|
254                          *      |<--insert--->|
255                          *      bytenr
256                          * Insert one real file extent
257                          */
258                         len = min_t(u64, len, cache->start + cache->size -
259                                     bytenr);
260                         disk_bytenr = bytenr;
261                 } else {
262                         /*
263                          *              |//Used//|
264                          *  |<-insert-->|
265                          *  bytenr
266                          *  Insert one hole
267                          */
268                         len = min(len, cache->start - bytenr);
269                         disk_bytenr = 0;
270                         datacsum = 0;
271                 }
272         } else {
273                 /*
274                  * |//Used//|           |EOF
275                  *          |<-insert-->|
276                  *          bytenr
277                  * Insert one hole
278                  */
279                 disk_bytenr = 0;
280                 datacsum = 0;
281         }
282
283         if (disk_bytenr) {
284                 /* Check if the range is in a data block group */
285                 bg_cache = btrfs_lookup_block_group(root->fs_info, bytenr);
286                 if (!bg_cache)
287                         return -ENOENT;
288                 if (!(bg_cache->flags & BTRFS_BLOCK_GROUP_DATA))
289                         return -EINVAL;
290
291                 /* The extent should never cross block group boundary */
292                 len = min_t(u64, len, bg_cache->key.objectid +
293                             bg_cache->key.offset - bytenr);
294         }
295
296         if (len != round_down(len, root->fs_info->sectorsize)) {
297                 error("remaining length not sectorsize aligned: %llu",
298                                 (unsigned long long)len);
299                 return -EINVAL;
300         }
301         ret = btrfs_record_file_extent(trans, root, ino, inode, bytenr,
302                                        disk_bytenr, len);
303         if (ret < 0)
304                 return ret;
305
306         if (datacsum)
307                 ret = csum_disk_extent(trans, root, bytenr, len);
308         *ret_len = len;
309         return ret;
310 }
311
312 /*
313  * Relocate old fs data in one reserved ranges
314  *
315  * Since all old fs data in reserved range is not covered by any chunk nor
316  * data extent, we don't need to handle any reference but add new
317  * extent/reference, which makes codes more clear
318  */
319 static int migrate_one_reserved_range(struct btrfs_trans_handle *trans,
320                                       struct btrfs_root *root,
321                                       struct cache_tree *used,
322                                       struct btrfs_inode_item *inode, int fd,
323                                       u64 ino, const struct simple_range *range,
324                                       u32 convert_flags)
325 {
326         u64 cur_off = range->start;
327         u64 cur_len = range->len;
328         u64 hole_start = range->start;
329         u64 hole_len;
330         struct cache_extent *cache;
331         struct btrfs_key key;
332         struct extent_buffer *eb;
333         int ret = 0;
334
335         /*
336          * It's possible that there are holes in reserved range:
337          * |<---------------- Reserved range ---------------------->|
338          *      |<- Old fs data ->|   |<- Old fs data ->|
339          * So here we need to iterate through old fs used space and only
340          * migrate ranges that covered by old fs data.
341          */
342         while (cur_off < range_end(range)) {
343                 cache = lookup_cache_extent(used, cur_off, cur_len);
344                 if (!cache)
345                         break;
346                 cur_off = max(cache->start, cur_off);
347                 cur_len = min(cache->start + cache->size, range_end(range)) -
348                           cur_off;
349                 BUG_ON(cur_len < root->fs_info->sectorsize);
350
351                 /* reserve extent for the data */
352                 ret = btrfs_reserve_extent(trans, root, cur_len, 0, 0, (u64)-1,
353                                            &key, 1);
354                 if (ret < 0)
355                         break;
356
357                 eb = malloc(sizeof(*eb) + cur_len);
358                 if (!eb) {
359                         ret = -ENOMEM;
360                         break;
361                 }
362
363                 ret = pread(fd, eb->data, cur_len, cur_off);
364                 if (ret < cur_len) {
365                         ret = (ret < 0 ? ret : -EIO);
366                         free(eb);
367                         break;
368                 }
369                 eb->start = key.objectid;
370                 eb->len = key.offset;
371
372                 /* Write the data */
373                 ret = write_and_map_eb(root->fs_info, eb);
374                 free(eb);
375                 if (ret < 0)
376                         break;
377
378                 /* Now handle extent item and file extent things */
379                 ret = btrfs_record_file_extent(trans, root, ino, inode, cur_off,
380                                                key.objectid, key.offset);
381                 if (ret < 0)
382                         break;
383                 /* Finally, insert csum items */
384                 if (convert_flags & CONVERT_FLAG_DATACSUM)
385                         ret = csum_disk_extent(trans, root, key.objectid,
386                                                key.offset);
387
388                 /* Don't forget to insert hole */
389                 hole_len = cur_off - hole_start;
390                 if (hole_len) {
391                         ret = btrfs_record_file_extent(trans, root, ino, inode,
392                                         hole_start, 0, hole_len);
393                         if (ret < 0)
394                                 break;
395                 }
396
397                 cur_off += key.offset;
398                 hole_start = cur_off;
399                 cur_len = range_end(range) - cur_off;
400         }
401         /*
402          * Last hole
403          * |<---- reserved -------->|
404          * |<- Old fs data ->|      |
405          *                   | Hole |
406          */
407         if (range_end(range) - hole_start > 0)
408                 ret = btrfs_record_file_extent(trans, root, ino, inode,
409                                 hole_start, 0, range_end(range) - hole_start);
410         return ret;
411 }
412
413 /*
414  * Relocate the used ext2 data in reserved ranges
415  */
416 static int migrate_reserved_ranges(struct btrfs_trans_handle *trans,
417                                    struct btrfs_root *root,
418                                    struct cache_tree *used,
419                                    struct btrfs_inode_item *inode, int fd,
420                                    u64 ino, u64 total_bytes, u32 convert_flags)
421 {
422         int i;
423         int ret = 0;
424
425         for (i = 0; i < ARRAY_SIZE(btrfs_reserved_ranges); i++) {
426                 const struct simple_range *range = &btrfs_reserved_ranges[i];
427
428                 if (range->start > total_bytes)
429                         return ret;
430                 ret = migrate_one_reserved_range(trans, root, used, inode, fd,
431                                                  ino, range, convert_flags);
432                 if (ret < 0)
433                         return ret;
434         }
435
436         return ret;
437 }
438
439 /*
440  * Helper for expand and merge extent_cache for wipe_one_reserved_range() to
441  * handle wiping a range that exists in cache.
442  */
443 static int _expand_extent_cache(struct cache_tree *tree,
444                                 struct cache_extent *entry,
445                                 u64 min_stripe_size, int backward)
446 {
447         struct cache_extent *ce;
448         int diff;
449
450         if (entry->size >= min_stripe_size)
451                 return 0;
452         diff = min_stripe_size - entry->size;
453
454         if (backward) {
455                 ce = prev_cache_extent(entry);
456                 if (!ce)
457                         goto expand_back;
458                 if (ce->start + ce->size >= entry->start - diff) {
459                         /* Directly merge with previous extent */
460                         ce->size = entry->start + entry->size - ce->start;
461                         remove_cache_extent(tree, entry);
462                         free(entry);
463                         return 0;
464                 }
465 expand_back:
466                 /* No overlap, normal extent */
467                 if (entry->start < diff) {
468                         error("cannot find space for data chunk layout");
469                         return -ENOSPC;
470                 }
471                 entry->start -= diff;
472                 entry->size += diff;
473                 return 0;
474         }
475         ce = next_cache_extent(entry);
476         if (!ce)
477                 goto expand_after;
478         if (entry->start + entry->size + diff >= ce->start) {
479                 /* Directly merge with next extent */
480                 entry->size = ce->start + ce->size - entry->start;
481                 remove_cache_extent(tree, ce);
482                 free(ce);
483                 return 0;
484         }
485 expand_after:
486         entry->size += diff;
487         return 0;
488 }
489
490 /*
491  * Remove one reserve range from given cache tree
492  * if min_stripe_size is non-zero, it will ensure for split case,
493  * all its split cache extent is no smaller than @min_strip_size / 2.
494  */
495 static int wipe_one_reserved_range(struct cache_tree *tree,
496                                    u64 start, u64 len, u64 min_stripe_size,
497                                    int ensure_size)
498 {
499         struct cache_extent *cache;
500         int ret;
501
502         BUG_ON(ensure_size && min_stripe_size == 0);
503         /*
504          * The logical here is simplified to handle special cases only
505          * So we don't need to consider merge case for ensure_size
506          */
507         BUG_ON(min_stripe_size && (min_stripe_size < len * 2 ||
508                min_stripe_size / 2 < BTRFS_STRIPE_LEN));
509
510         /* Also, wipe range should already be aligned */
511         BUG_ON(start != round_down(start, BTRFS_STRIPE_LEN) ||
512                start + len != round_up(start + len, BTRFS_STRIPE_LEN));
513
514         min_stripe_size /= 2;
515
516         cache = lookup_cache_extent(tree, start, len);
517         if (!cache)
518                 return 0;
519
520         if (start <= cache->start) {
521                 /*
522                  *      |--------cache---------|
523                  * |-wipe-|
524                  */
525                 BUG_ON(start + len <= cache->start);
526
527                 /*
528                  * The wipe size is smaller than min_stripe_size / 2,
529                  * so the result length should still meet min_stripe_size
530                  * And no need to do alignment
531                  */
532                 cache->size -= (start + len - cache->start);
533                 if (cache->size == 0) {
534                         remove_cache_extent(tree, cache);
535                         free(cache);
536                         return 0;
537                 }
538
539                 BUG_ON(ensure_size && cache->size < min_stripe_size);
540
541                 cache->start = start + len;
542                 return 0;
543         } else if (start > cache->start && start + len < cache->start +
544                    cache->size) {
545                 /*
546                  * |-------cache-----|
547                  *      |-wipe-|
548                  */
549                 u64 old_start = cache->start;
550                 u64 old_len = cache->size;
551                 u64 insert_start = start + len;
552                 u64 insert_len;
553
554                 cache->size = start - cache->start;
555                 /* Expand the leading half part if needed */
556                 if (ensure_size && cache->size < min_stripe_size) {
557                         ret = _expand_extent_cache(tree, cache,
558                                         min_stripe_size, 1);
559                         if (ret < 0)
560                                 return ret;
561                 }
562
563                 /* And insert the new one */
564                 insert_len = old_start + old_len - start - len;
565                 ret = add_merge_cache_extent(tree, insert_start, insert_len);
566                 if (ret < 0)
567                         return ret;
568
569                 /* Expand the last half part if needed */
570                 if (ensure_size && insert_len < min_stripe_size) {
571                         cache = lookup_cache_extent(tree, insert_start,
572                                                     insert_len);
573                         if (!cache || cache->start != insert_start ||
574                             cache->size != insert_len)
575                                 return -ENOENT;
576                         ret = _expand_extent_cache(tree, cache,
577                                         min_stripe_size, 0);
578                 }
579
580                 return ret;
581         }
582         /*
583          * |----cache-----|
584          *              |--wipe-|
585          * Wipe len should be small enough and no need to expand the
586          * remaining extent
587          */
588         cache->size = start - cache->start;
589         BUG_ON(ensure_size && cache->size < min_stripe_size);
590         return 0;
591 }
592
593 /*
594  * Remove reserved ranges from given cache_tree
595  *
596  * It will remove the following ranges
597  * 1) 0~1M
598  * 2) 2nd superblock, +64K (make sure chunks are 64K aligned)
599  * 3) 3rd superblock, +64K
600  *
601  * @min_stripe must be given for safety check
602  * and if @ensure_size is given, it will ensure affected cache_extent will be
603  * larger than min_stripe_size
604  */
605 static int wipe_reserved_ranges(struct cache_tree *tree, u64 min_stripe_size,
606                                 int ensure_size)
607 {
608         int i;
609         int ret;
610
611         for (i = 0; i < ARRAY_SIZE(btrfs_reserved_ranges); i++) {
612                 const struct simple_range *range = &btrfs_reserved_ranges[i];
613
614                 ret = wipe_one_reserved_range(tree, range->start, range->len,
615                                               min_stripe_size, ensure_size);
616                 if (ret < 0)
617                         return ret;
618         }
619         return ret;
620 }
621
622 static int calculate_available_space(struct btrfs_convert_context *cctx)
623 {
624         struct cache_tree *used = &cctx->used_space;
625         struct cache_tree *data_chunks = &cctx->data_chunks;
626         struct cache_tree *free = &cctx->free_space;
627         struct cache_extent *cache;
628         u64 cur_off = 0;
629         /*
630          * Twice the minimal chunk size, to allow later wipe_reserved_ranges()
631          * works without need to consider overlap
632          */
633         u64 min_stripe_size = 2 * 16 * 1024 * 1024;
634         int ret;
635
636         /* Calculate data_chunks */
637         for (cache = first_cache_extent(used); cache;
638              cache = next_cache_extent(cache)) {
639                 u64 cur_len;
640
641                 if (cache->start + cache->size < cur_off)
642                         continue;
643                 if (cache->start > cur_off + min_stripe_size)
644                         cur_off = cache->start;
645                 cur_len = max(cache->start + cache->size - cur_off,
646                               min_stripe_size);
647                 ret = add_merge_cache_extent(data_chunks, cur_off, cur_len);
648                 if (ret < 0)
649                         goto out;
650                 cur_off += cur_len;
651         }
652         /*
653          * remove reserved ranges, so we won't ever bother relocating an old
654          * filesystem extent to other place.
655          */
656         ret = wipe_reserved_ranges(data_chunks, min_stripe_size, 1);
657         if (ret < 0)
658                 goto out;
659
660         cur_off = 0;
661         /*
662          * Calculate free space
663          * Always round up the start bytenr, to avoid metadata extent corss
664          * stripe boundary, as later mkfs_convert() won't have all the extent
665          * allocation check
666          */
667         for (cache = first_cache_extent(data_chunks); cache;
668              cache = next_cache_extent(cache)) {
669                 if (cache->start < cur_off)
670                         continue;
671                 if (cache->start > cur_off) {
672                         u64 insert_start;
673                         u64 len;
674
675                         len = cache->start - round_up(cur_off,
676                                                       BTRFS_STRIPE_LEN);
677                         insert_start = round_up(cur_off, BTRFS_STRIPE_LEN);
678
679                         ret = add_merge_cache_extent(free, insert_start, len);
680                         if (ret < 0)
681                                 goto out;
682                 }
683                 cur_off = cache->start + cache->size;
684         }
685         /* Don't forget the last range */
686         if (cctx->total_bytes > cur_off) {
687                 u64 len = cctx->total_bytes - cur_off;
688                 u64 insert_start;
689
690                 insert_start = round_up(cur_off, BTRFS_STRIPE_LEN);
691
692                 ret = add_merge_cache_extent(free, insert_start, len);
693                 if (ret < 0)
694                         goto out;
695         }
696
697         /* Remove reserved bytes */
698         ret = wipe_reserved_ranges(free, min_stripe_size, 0);
699 out:
700         return ret;
701 }
702
703 /*
704  * Read used space, and since we have the used space,
705  * calcuate data_chunks and free for later mkfs
706  */
707 static int convert_read_used_space(struct btrfs_convert_context *cctx)
708 {
709         int ret;
710
711         ret = cctx->convert_ops->read_used_space(cctx);
712         if (ret)
713                 return ret;
714
715         ret = calculate_available_space(cctx);
716         return ret;
717 }
718
719 /*
720  * Create the fs image file of old filesystem.
721  *
722  * This is completely fs independent as we have cctx->used, only
723  * need to create file extents pointing to all the positions.
724  */
725 static int create_image(struct btrfs_root *root,
726                            struct btrfs_mkfs_config *cfg,
727                            struct btrfs_convert_context *cctx, int fd,
728                            u64 size, char *name, u32 convert_flags)
729 {
730         struct btrfs_inode_item buf;
731         struct btrfs_trans_handle *trans;
732         struct btrfs_path path;
733         struct btrfs_key key;
734         struct cache_extent *cache;
735         struct cache_tree used_tmp;
736         u64 cur;
737         u64 ino;
738         u64 flags = BTRFS_INODE_READONLY;
739         int ret;
740
741         if (!(convert_flags & CONVERT_FLAG_DATACSUM))
742                 flags |= BTRFS_INODE_NODATASUM;
743
744         trans = btrfs_start_transaction(root, 1);
745         if (!trans)
746                 return -ENOMEM;
747
748         cache_tree_init(&used_tmp);
749         btrfs_init_path(&path);
750
751         ret = btrfs_find_free_objectid(trans, root, BTRFS_FIRST_FREE_OBJECTID,
752                                        &ino);
753         if (ret < 0)
754                 goto out;
755         ret = btrfs_new_inode(trans, root, ino, 0400 | S_IFREG);
756         if (ret < 0)
757                 goto out;
758         ret = btrfs_change_inode_flags(trans, root, ino, flags);
759         if (ret < 0)
760                 goto out;
761         ret = btrfs_add_link(trans, root, ino, BTRFS_FIRST_FREE_OBJECTID, name,
762                              strlen(name), BTRFS_FT_REG_FILE, NULL, 1);
763         if (ret < 0)
764                 goto out;
765
766         key.objectid = ino;
767         key.type = BTRFS_INODE_ITEM_KEY;
768         key.offset = 0;
769
770         ret = btrfs_search_slot(trans, root, &key, &path, 0, 1);
771         if (ret) {
772                 ret = (ret > 0 ? -ENOENT : ret);
773                 goto out;
774         }
775         read_extent_buffer(path.nodes[0], &buf,
776                         btrfs_item_ptr_offset(path.nodes[0], path.slots[0]),
777                         sizeof(buf));
778         btrfs_release_path(&path);
779
780         /*
781          * Create a new used space cache, which doesn't contain the reserved
782          * range
783          */
784         for (cache = first_cache_extent(&cctx->used_space); cache;
785              cache = next_cache_extent(cache)) {
786                 ret = add_cache_extent(&used_tmp, cache->start, cache->size);
787                 if (ret < 0)
788                         goto out;
789         }
790         ret = wipe_reserved_ranges(&used_tmp, 0, 0);
791         if (ret < 0)
792                 goto out;
793
794         /*
795          * Start from 1M, as 0~1M is reserved, and create_image_file_range()
796          * can't handle bytenr 0(will consider it as a hole)
797          */
798         cur = 1024 * 1024;
799         while (cur < size) {
800                 u64 len = size - cur;
801
802                 ret = create_image_file_range(trans, root, &used_tmp,
803                                                 &buf, ino, cur, &len,
804                                                 convert_flags);
805                 if (ret < 0)
806                         goto out;
807                 cur += len;
808         }
809         /* Handle the reserved ranges */
810         ret = migrate_reserved_ranges(trans, root, &cctx->used_space, &buf, fd,
811                         ino, cfg->num_bytes, convert_flags);
812
813         key.objectid = ino;
814         key.type = BTRFS_INODE_ITEM_KEY;
815         key.offset = 0;
816         ret = btrfs_search_slot(trans, root, &key, &path, 0, 1);
817         if (ret) {
818                 ret = (ret > 0 ? -ENOENT : ret);
819                 goto out;
820         }
821         btrfs_set_stack_inode_size(&buf, cfg->num_bytes);
822         write_extent_buffer(path.nodes[0], &buf,
823                         btrfs_item_ptr_offset(path.nodes[0], path.slots[0]),
824                         sizeof(buf));
825 out:
826         free_extent_cache_tree(&used_tmp);
827         btrfs_release_path(&path);
828         btrfs_commit_transaction(trans, root);
829         return ret;
830 }
831
832 static struct btrfs_root* link_subvol(struct btrfs_root *root,
833                 const char *base, u64 root_objectid)
834 {
835         struct btrfs_trans_handle *trans;
836         struct btrfs_fs_info *fs_info = root->fs_info;
837         struct btrfs_root *tree_root = fs_info->tree_root;
838         struct btrfs_root *new_root = NULL;
839         struct btrfs_path path;
840         struct btrfs_inode_item *inode_item;
841         struct extent_buffer *leaf;
842         struct btrfs_key key;
843         u64 dirid = btrfs_root_dirid(&root->root_item);
844         u64 index = 2;
845         char buf[BTRFS_NAME_LEN + 1]; /* for snprintf null */
846         int len;
847         int i;
848         int ret;
849
850         len = strlen(base);
851         if (len == 0 || len > BTRFS_NAME_LEN)
852                 return NULL;
853
854         btrfs_init_path(&path);
855         key.objectid = dirid;
856         key.type = BTRFS_DIR_INDEX_KEY;
857         key.offset = (u64)-1;
858
859         ret = btrfs_search_slot(NULL, root, &key, &path, 0, 0);
860         if (ret <= 0) {
861                 error("search for DIR_INDEX dirid %llu failed: %d",
862                                 (unsigned long long)dirid, ret);
863                 goto fail;
864         }
865
866         if (path.slots[0] > 0) {
867                 path.slots[0]--;
868                 btrfs_item_key_to_cpu(path.nodes[0], &key, path.slots[0]);
869                 if (key.objectid == dirid && key.type == BTRFS_DIR_INDEX_KEY)
870                         index = key.offset + 1;
871         }
872         btrfs_release_path(&path);
873
874         trans = btrfs_start_transaction(root, 1);
875         if (!trans) {
876                 error("unable to start transaction");
877                 goto fail;
878         }
879
880         key.objectid = dirid;
881         key.offset = 0;
882         key.type =  BTRFS_INODE_ITEM_KEY;
883
884         ret = btrfs_lookup_inode(trans, root, &path, &key, 1);
885         if (ret) {
886                 error("search for INODE_ITEM %llu failed: %d",
887                                 (unsigned long long)dirid, ret);
888                 goto fail;
889         }
890         leaf = path.nodes[0];
891         inode_item = btrfs_item_ptr(leaf, path.slots[0],
892                                     struct btrfs_inode_item);
893
894         key.objectid = root_objectid;
895         key.offset = (u64)-1;
896         key.type = BTRFS_ROOT_ITEM_KEY;
897
898         memcpy(buf, base, len);
899         for (i = 0; i < 1024; i++) {
900                 ret = btrfs_insert_dir_item(trans, root, buf, len,
901                                             dirid, &key, BTRFS_FT_DIR, index);
902                 if (ret != -EEXIST)
903                         break;
904                 len = snprintf(buf, ARRAY_SIZE(buf), "%s%d", base, i);
905                 if (len < 1 || len > BTRFS_NAME_LEN) {
906                         ret = -EINVAL;
907                         break;
908                 }
909         }
910         if (ret)
911                 goto fail;
912
913         btrfs_set_inode_size(leaf, inode_item, len * 2 +
914                              btrfs_inode_size(leaf, inode_item));
915         btrfs_mark_buffer_dirty(leaf);
916         btrfs_release_path(&path);
917
918         /* add the backref first */
919         ret = btrfs_add_root_ref(trans, tree_root, root_objectid,
920                                  BTRFS_ROOT_BACKREF_KEY,
921                                  root->root_key.objectid,
922                                  dirid, index, buf, len);
923         if (ret) {
924                 error("unable to add root backref for %llu: %d",
925                                 root->root_key.objectid, ret);
926                 goto fail;
927         }
928
929         /* now add the forward ref */
930         ret = btrfs_add_root_ref(trans, tree_root, root->root_key.objectid,
931                                  BTRFS_ROOT_REF_KEY, root_objectid,
932                                  dirid, index, buf, len);
933         if (ret) {
934                 error("unable to add root ref for %llu: %d",
935                                 root->root_key.objectid, ret);
936                 goto fail;
937         }
938
939         ret = btrfs_commit_transaction(trans, root);
940         if (ret) {
941                 error("transaction commit failed: %d", ret);
942                 goto fail;
943         }
944
945         new_root = btrfs_read_fs_root(fs_info, &key);
946         if (IS_ERR(new_root)) {
947                 error("unable to fs read root: %lu", PTR_ERR(new_root));
948                 new_root = NULL;
949         }
950 fail:
951         btrfs_init_path(&path);
952         return new_root;
953 }
954
955 static int create_subvol(struct btrfs_trans_handle *trans,
956                          struct btrfs_root *root, u64 root_objectid)
957 {
958         struct extent_buffer *tmp;
959         struct btrfs_root *new_root;
960         struct btrfs_key key;
961         struct btrfs_root_item root_item;
962         int ret;
963
964         ret = btrfs_copy_root(trans, root, root->node, &tmp,
965                               root_objectid);
966         if (ret)
967                 return ret;
968
969         memcpy(&root_item, &root->root_item, sizeof(root_item));
970         btrfs_set_root_bytenr(&root_item, tmp->start);
971         btrfs_set_root_level(&root_item, btrfs_header_level(tmp));
972         btrfs_set_root_generation(&root_item, trans->transid);
973         free_extent_buffer(tmp);
974
975         key.objectid = root_objectid;
976         key.type = BTRFS_ROOT_ITEM_KEY;
977         key.offset = trans->transid;
978         ret = btrfs_insert_root(trans, root->fs_info->tree_root,
979                                 &key, &root_item);
980
981         key.offset = (u64)-1;
982         new_root = btrfs_read_fs_root(root->fs_info, &key);
983         if (!new_root || IS_ERR(new_root)) {
984                 error("unable to fs read root: %lu", PTR_ERR(new_root));
985                 return PTR_ERR(new_root);
986         }
987
988         ret = btrfs_make_root_dir(trans, new_root, BTRFS_FIRST_FREE_OBJECTID);
989
990         return ret;
991 }
992
993 /*
994  * New make_btrfs() has handle system and meta chunks quite well.
995  * So only need to add remaining data chunks.
996  */
997 static int make_convert_data_block_groups(struct btrfs_trans_handle *trans,
998                                           struct btrfs_fs_info *fs_info,
999                                           struct btrfs_mkfs_config *cfg,
1000                                           struct btrfs_convert_context *cctx)
1001 {
1002         struct btrfs_root *extent_root = fs_info->extent_root;
1003         struct cache_tree *data_chunks = &cctx->data_chunks;
1004         struct cache_extent *cache;
1005         u64 max_chunk_size;
1006         int ret = 0;
1007
1008         /*
1009          * Don't create data chunk over 10% of the convert device
1010          * And for single chunk, don't create chunk larger than 1G.
1011          */
1012         max_chunk_size = cfg->num_bytes / 10;
1013         max_chunk_size = min((u64)(1024 * 1024 * 1024), max_chunk_size);
1014         max_chunk_size = round_down(max_chunk_size,
1015                                     extent_root->fs_info->sectorsize);
1016
1017         for (cache = first_cache_extent(data_chunks); cache;
1018              cache = next_cache_extent(cache)) {
1019                 u64 cur = cache->start;
1020
1021                 while (cur < cache->start + cache->size) {
1022                         u64 len;
1023                         u64 cur_backup = cur;
1024
1025                         len = min(max_chunk_size,
1026                                   cache->start + cache->size - cur);
1027                         ret = btrfs_alloc_data_chunk(trans, extent_root,
1028                                         &cur_backup, len,
1029                                         BTRFS_BLOCK_GROUP_DATA, 1);
1030                         if (ret < 0)
1031                                 break;
1032                         ret = btrfs_make_block_group(trans, extent_root, 0,
1033                                         BTRFS_BLOCK_GROUP_DATA,
1034                                         BTRFS_FIRST_CHUNK_TREE_OBJECTID,
1035                                         cur, len);
1036                         if (ret < 0)
1037                                 break;
1038                         cur += len;
1039                 }
1040         }
1041         return ret;
1042 }
1043
1044 /*
1045  * Init the temp btrfs to a operational status.
1046  *
1047  * It will fix the extent usage accounting(XXX: Do we really need?) and
1048  * insert needed data chunks, to ensure all old fs data extents are covered
1049  * by DATA chunks, preventing wrong chunks are allocated.
1050  *
1051  * And also create convert image subvolume and relocation tree.
1052  * (XXX: Not need again?)
1053  * But the convert image subvolume is *NOT* linked to fs tree yet.
1054  */
1055 static int init_btrfs(struct btrfs_mkfs_config *cfg, struct btrfs_root *root,
1056                          struct btrfs_convert_context *cctx, u32 convert_flags)
1057 {
1058         struct btrfs_key location;
1059         struct btrfs_trans_handle *trans;
1060         struct btrfs_fs_info *fs_info = root->fs_info;
1061         int ret;
1062
1063         /*
1064          * Don't alloc any metadata/system chunk, as we don't want
1065          * any meta/sys chunk allcated before all data chunks are inserted.
1066          * Or we screw up the chunk layout just like the old implement.
1067          */
1068         fs_info->avoid_sys_chunk_alloc = 1;
1069         fs_info->avoid_meta_chunk_alloc = 1;
1070         trans = btrfs_start_transaction(root, 1);
1071         if (!trans) {
1072                 error("unable to start transaction");
1073                 ret = -EINVAL;
1074                 goto err;
1075         }
1076         ret = btrfs_fix_block_accounting(trans, root);
1077         if (ret)
1078                 goto err;
1079         ret = make_convert_data_block_groups(trans, fs_info, cfg, cctx);
1080         if (ret)
1081                 goto err;
1082         ret = btrfs_make_root_dir(trans, fs_info->tree_root,
1083                                   BTRFS_ROOT_TREE_DIR_OBJECTID);
1084         if (ret)
1085                 goto err;
1086         memcpy(&location, &root->root_key, sizeof(location));
1087         location.offset = (u64)-1;
1088         ret = btrfs_insert_dir_item(trans, fs_info->tree_root, "default", 7,
1089                                 btrfs_super_root_dir(fs_info->super_copy),
1090                                 &location, BTRFS_FT_DIR, 0);
1091         if (ret)
1092                 goto err;
1093         ret = btrfs_insert_inode_ref(trans, fs_info->tree_root, "default", 7,
1094                                 location.objectid,
1095                                 btrfs_super_root_dir(fs_info->super_copy), 0);
1096         if (ret)
1097                 goto err;
1098         btrfs_set_root_dirid(&fs_info->fs_root->root_item,
1099                              BTRFS_FIRST_FREE_OBJECTID);
1100
1101         /* subvol for fs image file */
1102         ret = create_subvol(trans, root, CONV_IMAGE_SUBVOL_OBJECTID);
1103         if (ret < 0) {
1104                 error("failed to create subvolume image root: %d", ret);
1105                 goto err;
1106         }
1107         /* subvol for data relocation tree */
1108         ret = create_subvol(trans, root, BTRFS_DATA_RELOC_TREE_OBJECTID);
1109         if (ret < 0) {
1110                 error("failed to create DATA_RELOC root: %d", ret);
1111                 goto err;
1112         }
1113
1114         ret = btrfs_commit_transaction(trans, root);
1115         fs_info->avoid_sys_chunk_alloc = 0;
1116         fs_info->avoid_meta_chunk_alloc = 0;
1117 err:
1118         return ret;
1119 }
1120
1121 /*
1122  * Migrate super block to its default position and zero 0 ~ 16k
1123  */
1124 static int migrate_super_block(int fd, u64 old_bytenr)
1125 {
1126         int ret;
1127         struct extent_buffer *buf;
1128         struct btrfs_super_block *super;
1129         u32 len;
1130         u32 bytenr;
1131
1132         buf = malloc(sizeof(*buf) + BTRFS_SUPER_INFO_SIZE);
1133         if (!buf)
1134                 return -ENOMEM;
1135
1136         buf->len = BTRFS_SUPER_INFO_SIZE;
1137         ret = pread(fd, buf->data, BTRFS_SUPER_INFO_SIZE, old_bytenr);
1138         if (ret != BTRFS_SUPER_INFO_SIZE)
1139                 goto fail;
1140
1141         super = (struct btrfs_super_block *)buf->data;
1142         BUG_ON(btrfs_super_bytenr(super) != old_bytenr);
1143         btrfs_set_super_bytenr(super, BTRFS_SUPER_INFO_OFFSET);
1144
1145         csum_tree_block_size(buf, BTRFS_CRC32_SIZE, 0);
1146         ret = pwrite(fd, buf->data, BTRFS_SUPER_INFO_SIZE,
1147                 BTRFS_SUPER_INFO_OFFSET);
1148         if (ret != BTRFS_SUPER_INFO_SIZE)
1149                 goto fail;
1150
1151         ret = fsync(fd);
1152         if (ret)
1153                 goto fail;
1154
1155         memset(buf->data, 0, BTRFS_SUPER_INFO_SIZE);
1156         for (bytenr = 0; bytenr < BTRFS_SUPER_INFO_OFFSET; ) {
1157                 len = BTRFS_SUPER_INFO_OFFSET - bytenr;
1158                 if (len > BTRFS_SUPER_INFO_SIZE)
1159                         len = BTRFS_SUPER_INFO_SIZE;
1160                 ret = pwrite(fd, buf->data, len, bytenr);
1161                 if (ret != len) {
1162                         fprintf(stderr, "unable to zero fill device\n");
1163                         break;
1164                 }
1165                 bytenr += len;
1166         }
1167         ret = 0;
1168         fsync(fd);
1169 fail:
1170         free(buf);
1171         if (ret > 0)
1172                 ret = -1;
1173         return ret;
1174 }
1175
1176 static int convert_open_fs(const char *devname,
1177                            struct btrfs_convert_context *cctx)
1178 {
1179         int i;
1180
1181         for (i = 0; i < ARRAY_SIZE(convert_operations); i++) {
1182                 int ret = convert_operations[i]->open_fs(cctx, devname);
1183
1184                 if (ret == 0) {
1185                         cctx->convert_ops = convert_operations[i];
1186                         return ret;
1187                 }
1188         }
1189
1190         error("no file system found to convert");
1191         return -1;
1192 }
1193
1194 static int do_convert(const char *devname, u32 convert_flags, u32 nodesize,
1195                 const char *fslabel, int progress, u64 features)
1196 {
1197         int ret;
1198         int fd = -1;
1199         u32 blocksize;
1200         u64 total_bytes;
1201         struct btrfs_root *root;
1202         struct btrfs_root *image_root;
1203         struct btrfs_convert_context cctx;
1204         struct btrfs_key key;
1205         char subvol_name[SOURCE_FS_NAME_LEN + 8];
1206         struct task_ctx ctx;
1207         char features_buf[64];
1208         struct btrfs_mkfs_config mkfs_cfg;
1209
1210         init_convert_context(&cctx);
1211         ret = convert_open_fs(devname, &cctx);
1212         if (ret)
1213                 goto fail;
1214         ret = convert_check_state(&cctx);
1215         if (ret)
1216                 warning(
1217                 "source filesystem is not clean, running filesystem check is recommended");
1218         ret = convert_read_used_space(&cctx);
1219         if (ret)
1220                 goto fail;
1221
1222         blocksize = cctx.blocksize;
1223         total_bytes = (u64)blocksize * (u64)cctx.block_count;
1224         if (blocksize < 4096) {
1225                 error("block size is too small: %u < 4096", blocksize);
1226                 goto fail;
1227         }
1228         if (btrfs_check_nodesize(nodesize, blocksize, features))
1229                 goto fail;
1230         fd = open(devname, O_RDWR);
1231         if (fd < 0) {
1232                 error("unable to open %s: %s", devname, strerror(errno));
1233                 goto fail;
1234         }
1235         btrfs_parse_features_to_string(features_buf, features);
1236         if (features == BTRFS_MKFS_DEFAULT_FEATURES)
1237                 strcat(features_buf, " (default)");
1238
1239         printf("create btrfs filesystem:\n");
1240         printf("\tblocksize: %u\n", blocksize);
1241         printf("\tnodesize:  %u\n", nodesize);
1242         printf("\tfeatures:  %s\n", features_buf);
1243
1244         memset(&mkfs_cfg, 0, sizeof(mkfs_cfg));
1245         mkfs_cfg.label = cctx.volume_name;
1246         mkfs_cfg.num_bytes = total_bytes;
1247         mkfs_cfg.nodesize = nodesize;
1248         mkfs_cfg.sectorsize = blocksize;
1249         mkfs_cfg.stripesize = blocksize;
1250         mkfs_cfg.features = features;
1251
1252         ret = make_convert_btrfs(fd, &mkfs_cfg, &cctx);
1253         if (ret) {
1254                 error("unable to create initial ctree: %s", strerror(-ret));
1255                 goto fail;
1256         }
1257
1258         root = open_ctree_fd(fd, devname, mkfs_cfg.super_bytenr,
1259                              OPEN_CTREE_WRITES | OPEN_CTREE_FS_PARTIAL);
1260         if (!root) {
1261                 error("unable to open ctree");
1262                 goto fail;
1263         }
1264         ret = init_btrfs(&mkfs_cfg, root, &cctx, convert_flags);
1265         if (ret) {
1266                 error("unable to setup the root tree: %d", ret);
1267                 goto fail;
1268         }
1269
1270         printf("creating %s image file\n", cctx.convert_ops->name);
1271         snprintf(subvol_name, sizeof(subvol_name), "%s_saved",
1272                         cctx.convert_ops->name);
1273         key.objectid = CONV_IMAGE_SUBVOL_OBJECTID;
1274         key.offset = (u64)-1;
1275         key.type = BTRFS_ROOT_ITEM_KEY;
1276         image_root = btrfs_read_fs_root(root->fs_info, &key);
1277         if (!image_root) {
1278                 error("unable to create image subvolume");
1279                 goto fail;
1280         }
1281         ret = create_image(image_root, &mkfs_cfg, &cctx, fd,
1282                               mkfs_cfg.num_bytes, "image",
1283                               convert_flags);
1284         if (ret) {
1285                 error("failed to create %s/image: %d", subvol_name, ret);
1286                 goto fail;
1287         }
1288
1289         printf("creating btrfs metadata");
1290         ctx.max_copy_inodes = (cctx.inodes_count - cctx.free_inodes_count);
1291         ctx.cur_copy_inodes = 0;
1292
1293         if (progress) {
1294                 ctx.info = task_init(print_copied_inodes, after_copied_inodes,
1295                                      &ctx);
1296                 task_start(ctx.info);
1297         }
1298         ret = copy_inodes(&cctx, root, convert_flags, &ctx);
1299         if (ret) {
1300                 error("error during copy_inodes %d", ret);
1301                 goto fail;
1302         }
1303         if (progress) {
1304                 task_stop(ctx.info);
1305                 task_deinit(ctx.info);
1306         }
1307
1308         image_root = link_subvol(root, subvol_name, CONV_IMAGE_SUBVOL_OBJECTID);
1309         if (!image_root) {
1310                 error("unable to link subvolume %s", subvol_name);
1311                 goto fail;
1312         }
1313
1314         memset(root->fs_info->super_copy->label, 0, BTRFS_LABEL_SIZE);
1315         if (convert_flags & CONVERT_FLAG_COPY_LABEL) {
1316                 __strncpy_null(root->fs_info->super_copy->label,
1317                                 cctx.volume_name, BTRFS_LABEL_SIZE - 1);
1318                 printf("copy label '%s'\n", root->fs_info->super_copy->label);
1319         } else if (convert_flags & CONVERT_FLAG_SET_LABEL) {
1320                 strcpy(root->fs_info->super_copy->label, fslabel);
1321                 printf("set label to '%s'\n", fslabel);
1322         }
1323
1324         ret = close_ctree(root);
1325         if (ret) {
1326                 error("close_ctree failed: %d", ret);
1327                 goto fail;
1328         }
1329         convert_close_fs(&cctx);
1330         clean_convert_context(&cctx);
1331
1332         /*
1333          * If this step succeed, we get a mountable btrfs. Otherwise
1334          * the source fs is left unchanged.
1335          */
1336         ret = migrate_super_block(fd, mkfs_cfg.super_bytenr);
1337         if (ret) {
1338                 error("unable to migrate super block: %d", ret);
1339                 goto fail;
1340         }
1341
1342         root = open_ctree_fd(fd, devname, 0,
1343                         OPEN_CTREE_WRITES | OPEN_CTREE_FS_PARTIAL);
1344         if (!root) {
1345                 error("unable to open ctree for finalization");
1346                 goto fail;
1347         }
1348         root->fs_info->finalize_on_close = 1;
1349         close_ctree(root);
1350         close(fd);
1351
1352         printf("conversion complete");
1353         return 0;
1354 fail:
1355         clean_convert_context(&cctx);
1356         if (fd != -1)
1357                 close(fd);
1358         warning(
1359 "an error occurred during conversion, filesystem is partially created but not finalized and not mountable");
1360         return -1;
1361 }
1362
1363 /*
1364  * Read out data of convert image which is in btrfs reserved ranges so we can
1365  * use them to overwrite the ranges during rollback.
1366  */
1367 static int read_reserved_ranges(struct btrfs_root *root, u64 ino,
1368                                 u64 total_bytes, char *reserved_ranges[])
1369 {
1370         int i;
1371         int ret = 0;
1372
1373         for (i = 0; i < ARRAY_SIZE(btrfs_reserved_ranges); i++) {
1374                 const struct simple_range *range = &btrfs_reserved_ranges[i];
1375
1376                 if (range->start + range->len >= total_bytes)
1377                         break;
1378                 ret = btrfs_read_file(root, ino, range->start, range->len,
1379                                       reserved_ranges[i]);
1380                 if (ret < range->len) {
1381                         error(
1382         "failed to read data of convert image, offset=%llu len=%llu ret=%d",
1383                               range->start, range->len, ret);
1384                         if (ret >= 0)
1385                                 ret = -EIO;
1386                         break;
1387                 }
1388                 ret = 0;
1389         }
1390         return ret;
1391 }
1392
1393 static bool is_subset_of_reserved_ranges(u64 start, u64 len)
1394 {
1395         int i;
1396         bool ret = false;
1397
1398         for (i = 0; i < ARRAY_SIZE(btrfs_reserved_ranges); i++) {
1399                 const struct simple_range *range = &btrfs_reserved_ranges[i];
1400
1401                 if (start >= range->start && start + len <= range_end(range)) {
1402                         ret = true;
1403                         break;
1404                 }
1405         }
1406         return ret;
1407 }
1408
1409 static bool is_chunk_direct_mapped(struct btrfs_fs_info *fs_info, u64 start)
1410 {
1411         struct cache_extent *ce;
1412         struct map_lookup *map;
1413         bool ret = false;
1414
1415         ce = search_cache_extent(&fs_info->mapping_tree.cache_tree, start);
1416         if (!ce)
1417                 goto out;
1418         if (ce->start > start || ce->start + ce->size < start)
1419                 goto out;
1420
1421         map = container_of(ce, struct map_lookup, ce);
1422
1423         /* Not SINGLE chunk */
1424         if (map->num_stripes != 1)
1425                 goto out;
1426
1427         /* Chunk's logical doesn't match with phisical, not 1:1 mapped */
1428         if (map->ce.start != map->stripes[0].physical)
1429                 goto out;
1430         ret = true;
1431 out:
1432         return ret;
1433 }
1434
1435 /*
1436  * Iterate all file extents of the convert image.
1437  *
1438  * All file extents except ones in btrfs_reserved_ranges must be mapped 1:1
1439  * on disk. (Means thier file_offset must match their on disk bytenr)
1440  *
1441  * File extents in reserved ranges can be relocated to other place, and in
1442  * that case we will read them out for later use.
1443  */
1444 static int check_convert_image(struct btrfs_root *image_root, u64 ino,
1445                                u64 total_size, char *reserved_ranges[])
1446 {
1447         struct btrfs_key key;
1448         struct btrfs_path path;
1449         struct btrfs_fs_info *fs_info = image_root->fs_info;
1450         u64 checked_bytes = 0;
1451         int ret;
1452
1453         key.objectid = ino;
1454         key.offset = 0;
1455         key.type = BTRFS_EXTENT_DATA_KEY;
1456
1457         btrfs_init_path(&path);
1458         ret = btrfs_search_slot(NULL, image_root, &key, &path, 0, 0);
1459         /*
1460          * It's possible that some fs doesn't store any (including sb)
1461          * data into 0~1M range, and NO_HOLES is enabled.
1462          *
1463          * So we only need to check if ret < 0
1464          */
1465         if (ret < 0) {
1466                 error("failed to iterate file extents at offset 0: %s",
1467                         strerror(-ret));
1468                 btrfs_release_path(&path);
1469                 return ret;
1470         }
1471
1472         /* Loop from the first file extents */
1473         while (1) {
1474                 struct btrfs_file_extent_item *fi;
1475                 struct extent_buffer *leaf = path.nodes[0];
1476                 u64 disk_bytenr;
1477                 u64 file_offset;
1478                 u64 ram_bytes;
1479                 int slot = path.slots[0];
1480
1481                 if (slot >= btrfs_header_nritems(leaf))
1482                         goto next;
1483                 btrfs_item_key_to_cpu(leaf, &key, slot);
1484
1485                 /*
1486                  * Iteration is done, exit normally, we have extra check out of
1487                  * the loop
1488                  */
1489                 if (key.objectid != ino || key.type != BTRFS_EXTENT_DATA_KEY) {
1490                         ret = 0;
1491                         break;
1492                 }
1493                 file_offset = key.offset;
1494                 fi = btrfs_item_ptr(leaf, slot, struct btrfs_file_extent_item);
1495                 if (btrfs_file_extent_type(leaf, fi) != BTRFS_FILE_EXTENT_REG) {
1496                         ret = -EINVAL;
1497                         error(
1498                 "ino %llu offset %llu doesn't have a regular file extent",
1499                                 ino, file_offset);
1500                         break;
1501                 }
1502                 if (btrfs_file_extent_compression(leaf, fi) ||
1503                     btrfs_file_extent_encryption(leaf, fi) ||
1504                     btrfs_file_extent_other_encoding(leaf, fi)) {
1505                         ret = -EINVAL;
1506                         error(
1507                         "ino %llu offset %llu doesn't have a plain file extent",
1508                                 ino, file_offset);
1509                         break;
1510                 }
1511
1512                 disk_bytenr = btrfs_file_extent_disk_bytenr(leaf, fi);
1513                 ram_bytes = btrfs_file_extent_ram_bytes(leaf, fi);
1514
1515                 checked_bytes += ram_bytes;
1516                 /* Skip hole */
1517                 if (disk_bytenr == 0)
1518                         goto next;
1519
1520                 /*
1521                  * Most file extents must be 1:1 mapped, which means 2 things:
1522                  * 1) File extent file offset == disk_bytenr
1523                  * 2) That data chunk's logical == chunk's physical
1524                  *
1525                  * So file extent's file offset == physical position on disk.
1526                  *
1527                  * And after rolling back btrfs reserved range, other part
1528                  * remains what old fs used to be.
1529                  */
1530                 if (file_offset != disk_bytenr ||
1531                     !is_chunk_direct_mapped(fs_info, disk_bytenr)) {
1532                         /*
1533                          * Only file extent in btrfs reserved ranges are
1534                          * allowed to be non-1:1 mapped
1535                          */
1536                         if (!is_subset_of_reserved_ranges(file_offset,
1537                                                         ram_bytes)) {
1538                                 ret = -EINVAL;
1539                                 error(
1540                 "ino %llu offset %llu file extent should not be relocated",
1541                                         ino, file_offset);
1542                                 break;
1543                         }
1544                 }
1545 next:
1546                 ret = btrfs_next_item(image_root, &path);
1547                 if (ret) {
1548                         if (ret > 0)
1549                                 ret = 0;
1550                         break;
1551                 }
1552         }
1553         btrfs_release_path(&path);
1554         /*
1555          * For HOLES mode (without NO_HOLES), we must ensure file extents
1556          * cover the whole range of the image
1557          */
1558         if (!ret && !btrfs_fs_incompat(fs_info, NO_HOLES)) {
1559                 if (checked_bytes != total_size) {
1560                         ret = -EINVAL;
1561                         error("inode %llu has some file extents not checked",
1562                                 ino);
1563                         return ret;
1564                 }
1565         }
1566
1567         /* So far so good, read old data located in btrfs reserved ranges */
1568         ret = read_reserved_ranges(image_root, ino, total_size,
1569                                    reserved_ranges);
1570         return ret;
1571 }
1572
1573 /*
1574  * btrfs rollback is just reverted convert:
1575  * |<---------------Btrfs fs------------------------------>|
1576  * |<-   Old data chunk  ->|< new chunk (D/M/S)>|<- ODC  ->|
1577  * |<-Old-FE->| |<-Old-FE->|<- Btrfs extents  ->|<-Old-FE->|
1578  *                           ||
1579  *                           \/
1580  * |<------------------Old fs----------------------------->|
1581  * |<- used ->| |<- used ->|                    |<- used ->|
1582  *
1583  * However things are much easier than convert, we don't really need to
1584  * do the complex space calculation, but only to handle btrfs reserved space
1585  *
1586  * |<---------------------------Btrfs fs----------------------------->|
1587  * |   RSV 1   |  | Old  |   |    RSV 2  | | Old  | |   RSV 3   |
1588  * |   0~1M    |  | Fs   |   | SB2 + 64K | | Fs   | | SB3 + 64K |
1589  *
1590  * On the other hande, the converted fs image in btrfs is a completely 
1591  * valid old fs.
1592  *
1593  * |<-----------------Converted fs image in btrfs-------------------->|
1594  * |   RSV 1   |  | Old  |   |    RSV 2  | | Old  | |   RSV 3   |
1595  * | Relocated |  | Fs   |   | Relocated | | Fs   | | Relocated |
1596  *
1597  * Used space in fs image should be at the same physical position on disk.
1598  * We only need to recover the data in reserved ranges, so the whole
1599  * old fs is back.
1600  *
1601  * The idea to rollback is also straightforward, we just "read" out the data
1602  * of reserved ranges, and write them back to there they should be.
1603  * Then the old fs is back.
1604  */
1605 static int do_rollback(const char *devname)
1606 {
1607         struct btrfs_root *root;
1608         struct btrfs_root *image_root;
1609         struct btrfs_fs_info *fs_info;
1610         struct btrfs_key key;
1611         struct btrfs_path path;
1612         struct btrfs_dir_item *dir;
1613         struct btrfs_inode_item *inode_item;
1614         char *image_name = "image";
1615         char *reserved_ranges[ARRAY_SIZE(btrfs_reserved_ranges)] = { NULL };
1616         u64 total_bytes;
1617         u64 fsize;
1618         u64 root_dir;
1619         u64 ino;
1620         int fd = -1;
1621         int ret;
1622         int i;
1623
1624         for (i = 0; i < ARRAY_SIZE(btrfs_reserved_ranges); i++) {
1625                 const struct simple_range *range = &btrfs_reserved_ranges[i];
1626
1627                 reserved_ranges[i] = calloc(1, range->len);
1628                 if (!reserved_ranges[i]) {
1629                         ret = -ENOMEM;
1630                         goto free_mem;
1631                 }
1632         }
1633         fd = open(devname, O_RDWR);
1634         if (fd < 0) {
1635                 error("unable to open %s: %s", devname, strerror(errno));
1636                 ret = -EIO;
1637                 goto free_mem;
1638         }
1639         fsize = lseek(fd, 0, SEEK_END);
1640         root = open_ctree_fd(fd, devname, 0, OPEN_CTREE_WRITES);
1641         if (!root) {
1642                 error("unable to open ctree");
1643                 ret = -EIO;
1644                 goto free_mem;
1645         }
1646         fs_info = root->fs_info;
1647
1648         /*
1649          * Search root backref first, or after subvolume deletion (orphan),
1650          * we can still rollback the image.
1651          */
1652         key.objectid = CONV_IMAGE_SUBVOL_OBJECTID;
1653         key.type = BTRFS_ROOT_BACKREF_KEY;
1654         key.offset = BTRFS_FS_TREE_OBJECTID;
1655         btrfs_init_path(&path);
1656         ret = btrfs_search_slot(NULL, fs_info->tree_root, &key, &path, 0, 0);
1657         btrfs_release_path(&path);
1658         if (ret > 0) {
1659                 error("unable to find ext2 image subvolume, is it deleted?");
1660                 ret = -ENOENT;
1661                 goto close_fs;
1662         } else if (ret < 0) {
1663                 error("failed to find ext2 image subvolume: %s",
1664                         strerror(-ret));
1665                 goto close_fs;
1666         }
1667
1668         /* Search convert subvolume */
1669         key.objectid = CONV_IMAGE_SUBVOL_OBJECTID;
1670         key.type = BTRFS_ROOT_ITEM_KEY;
1671         key.offset = (u64)-1;
1672         image_root = btrfs_read_fs_root(fs_info, &key);
1673         if (IS_ERR(image_root)) {
1674                 ret = PTR_ERR(image_root);
1675                 error("failed to open convert image subvolume: %s",
1676                         strerror(-ret));
1677                 goto close_fs;
1678         }
1679
1680         /* Search the image file */
1681         root_dir = btrfs_root_dirid(&image_root->root_item);
1682         dir = btrfs_lookup_dir_item(NULL, image_root, &path, root_dir,
1683                         image_name, strlen(image_name), 0);
1684
1685         if (!dir || IS_ERR(dir)) {
1686                 btrfs_release_path(&path);
1687                 if (dir)
1688                         ret = PTR_ERR(dir);
1689                 else
1690                         ret = -ENOENT;
1691                 error("failed to locate file %s: %s", image_name,
1692                         strerror(-ret));
1693                 goto close_fs;
1694         }
1695         btrfs_dir_item_key_to_cpu(path.nodes[0], dir, &key);
1696         btrfs_release_path(&path);
1697
1698         /* Get total size of the original image */
1699         ino = key.objectid;
1700
1701         ret = btrfs_lookup_inode(NULL, image_root, &path, &key, 0);
1702
1703         if (ret < 0) {
1704                 btrfs_release_path(&path);
1705                 error("unable to find inode %llu: %s", ino, strerror(-ret));
1706                 goto close_fs;
1707         }
1708         inode_item = btrfs_item_ptr(path.nodes[0], path.slots[0],
1709                                     struct btrfs_inode_item);
1710         total_bytes = btrfs_inode_size(path.nodes[0], inode_item);
1711         btrfs_release_path(&path);
1712
1713         /* Check if we can rollback the image */
1714         ret = check_convert_image(image_root, ino, total_bytes, reserved_ranges);
1715         if (ret < 0) {
1716                 error("old fs image can't be rolled back");
1717                 goto close_fs;
1718         }
1719 close_fs:
1720         btrfs_release_path(&path);
1721         close_ctree_fs_info(fs_info);
1722         if (ret)
1723                 goto free_mem;
1724
1725         /*
1726          * Everything is OK, just write back old fs data into btrfs reserved
1727          * ranges
1728          *
1729          * Here, we starts from the backup blocks first, so if something goes
1730          * wrong, the fs is still mountable
1731          */
1732
1733         for (i = ARRAY_SIZE(btrfs_reserved_ranges) - 1; i >= 0; i--) {
1734                 u64 real_size;
1735                 const struct simple_range *range = &btrfs_reserved_ranges[i];
1736
1737                 if (range_end(range) >= fsize)
1738                         continue;
1739
1740                 real_size = min(range_end(range), fsize) - range->start;
1741                 ret = pwrite(fd, reserved_ranges[i], real_size, range->start);
1742                 if (ret < real_size) {
1743                         if (ret < 0)
1744                                 ret = -errno;
1745                         else
1746                                 ret = -EIO;
1747                         error("failed to recover range [%llu, %llu): %s",
1748                               range->start, real_size, strerror(-ret));
1749                         goto free_mem;
1750                 }
1751                 ret = 0;
1752         }
1753
1754 free_mem:
1755         for (i = 0; i < ARRAY_SIZE(btrfs_reserved_ranges); i++)
1756                 free(reserved_ranges[i]);
1757         if (ret)
1758                 error("rollback failed");
1759         else
1760                 printf("rollback succeeded\n");
1761         return ret;
1762 }
1763
1764 static void print_usage(void)
1765 {
1766         printf("usage: btrfs-convert [options] device\n");
1767         printf("options:\n");
1768         printf("\t-d|--no-datasum        disable data checksum, sets NODATASUM\n");
1769         printf("\t-i|--no-xattr          ignore xattrs and ACLs\n");
1770         printf("\t-n|--no-inline         disable inlining of small files to metadata\n");
1771         printf("\t-N|--nodesize SIZE     set filesystem metadata nodesize\n");
1772         printf("\t-r|--rollback          roll back to the original filesystem\n");
1773         printf("\t-l|--label LABEL       set filesystem label\n");
1774         printf("\t-L|--copy-label        use label from converted filesystem\n");
1775         printf("\t-p|--progress          show converting progress (default)\n");
1776         printf("\t-O|--features LIST     comma separated list of filesystem features\n");
1777         printf("\t--no-progress          show only overview, not the detailed progress\n");
1778         printf("\n");
1779         printf("Supported filesystems:\n");
1780         printf("\text2/3/4: %s\n", BTRFSCONVERT_EXT2 ? "yes" : "no");
1781 }
1782
1783 int main(int argc, char *argv[])
1784 {
1785         int ret;
1786         int packing = 1;
1787         int noxattr = 0;
1788         int datacsum = 1;
1789         u32 nodesize = max_t(u32, sysconf(_SC_PAGESIZE),
1790                         BTRFS_MKFS_DEFAULT_NODE_SIZE);
1791         int rollback = 0;
1792         int copylabel = 0;
1793         int usage_error = 0;
1794         int progress = 1;
1795         char *file;
1796         char fslabel[BTRFS_LABEL_SIZE];
1797         u64 features = BTRFS_MKFS_DEFAULT_FEATURES;
1798
1799         while(1) {
1800                 enum { GETOPT_VAL_NO_PROGRESS = 256 };
1801                 static const struct option long_options[] = {
1802                         { "no-progress", no_argument, NULL,
1803                                 GETOPT_VAL_NO_PROGRESS },
1804                         { "no-datasum", no_argument, NULL, 'd' },
1805                         { "no-inline", no_argument, NULL, 'n' },
1806                         { "no-xattr", no_argument, NULL, 'i' },
1807                         { "rollback", no_argument, NULL, 'r' },
1808                         { "features", required_argument, NULL, 'O' },
1809                         { "progress", no_argument, NULL, 'p' },
1810                         { "label", required_argument, NULL, 'l' },
1811                         { "copy-label", no_argument, NULL, 'L' },
1812                         { "nodesize", required_argument, NULL, 'N' },
1813                         { "help", no_argument, NULL, GETOPT_VAL_HELP},
1814                         { NULL, 0, NULL, 0 }
1815                 };
1816                 int c = getopt_long(argc, argv, "dinN:rl:LpO:", long_options, NULL);
1817
1818                 if (c < 0)
1819                         break;
1820                 switch(c) {
1821                         case 'd':
1822                                 datacsum = 0;
1823                                 break;
1824                         case 'i':
1825                                 noxattr = 1;
1826                                 break;
1827                         case 'n':
1828                                 packing = 0;
1829                                 break;
1830                         case 'N':
1831                                 nodesize = parse_size(optarg);
1832                                 break;
1833                         case 'r':
1834                                 rollback = 1;
1835                                 break;
1836                         case 'l':
1837                                 copylabel = CONVERT_FLAG_SET_LABEL;
1838                                 if (strlen(optarg) >= BTRFS_LABEL_SIZE) {
1839                                         warning(
1840                                         "label too long, trimmed to %d bytes",
1841                                                 BTRFS_LABEL_SIZE - 1);
1842                                 }
1843                                 __strncpy_null(fslabel, optarg, BTRFS_LABEL_SIZE - 1);
1844                                 break;
1845                         case 'L':
1846                                 copylabel = CONVERT_FLAG_COPY_LABEL;
1847                                 break;
1848                         case 'p':
1849                                 progress = 1;
1850                                 break;
1851                         case 'O': {
1852                                 char *orig = strdup(optarg);
1853                                 char *tmp = orig;
1854
1855                                 tmp = btrfs_parse_fs_features(tmp, &features);
1856                                 if (tmp) {
1857                                         error("unrecognized filesystem feature: %s",
1858                                                         tmp);
1859                                         free(orig);
1860                                         exit(1);
1861                                 }
1862                                 free(orig);
1863                                 if (features & BTRFS_FEATURE_LIST_ALL) {
1864                                         btrfs_list_all_fs_features(
1865                                                 ~BTRFS_CONVERT_ALLOWED_FEATURES);
1866                                         exit(0);
1867                                 }
1868                                 if (features & ~BTRFS_CONVERT_ALLOWED_FEATURES) {
1869                                         char buf[64];
1870
1871                                         btrfs_parse_features_to_string(buf,
1872                                                 features & ~BTRFS_CONVERT_ALLOWED_FEATURES);
1873                                         error("features not allowed for convert: %s",
1874                                                 buf);
1875                                         exit(1);
1876                                 }
1877
1878                                 break;
1879                                 }
1880                         case GETOPT_VAL_NO_PROGRESS:
1881                                 progress = 0;
1882                                 break;
1883                         case GETOPT_VAL_HELP:
1884                         default:
1885                                 print_usage();
1886                                 return c != GETOPT_VAL_HELP;
1887                 }
1888         }
1889         set_argv0(argv);
1890         if (check_argc_exact(argc - optind, 1)) {
1891                 print_usage();
1892                 return 1;
1893         }
1894
1895         if (rollback && (!datacsum || noxattr || !packing)) {
1896                 fprintf(stderr,
1897                         "Usage error: -d, -i, -n options do not apply to rollback\n");
1898                 usage_error++;
1899         }
1900
1901         if (usage_error) {
1902                 print_usage();
1903                 return 1;
1904         }
1905
1906         file = argv[optind];
1907         ret = check_mounted(file);
1908         if (ret < 0) {
1909                 error("could not check mount status: %s", strerror(-ret));
1910                 return 1;
1911         } else if (ret) {
1912                 error("%s is mounted", file);
1913                 return 1;
1914         }
1915
1916         if (rollback) {
1917                 ret = do_rollback(file);
1918         } else {
1919                 u32 cf = 0;
1920
1921                 cf |= datacsum ? CONVERT_FLAG_DATACSUM : 0;
1922                 cf |= packing ? CONVERT_FLAG_INLINE_DATA : 0;
1923                 cf |= noxattr ? 0 : CONVERT_FLAG_XATTR;
1924                 cf |= copylabel;
1925                 ret = do_convert(file, cf, nodesize, fslabel, progress, features);
1926         }
1927         if (ret)
1928                 return 1;
1929         return 0;
1930 }