btrfs-progs: check: introduce traversal function for fsck
[platform/upstream/btrfs-progs.git] / volumes.c
index 492dcd2..a356d74 100644 (file)
--- a/volumes.c
+++ b/volumes.c
@@ -227,6 +227,8 @@ int btrfs_open_devices(struct btrfs_fs_devices *fs_devices, int flags)
                fd = open(device->name, flags);
                if (fd < 0) {
                        ret = -errno;
+                       error("cannot open device '%s': %s", device->name,
+                                       strerror(errno));
                        goto fail;
                }
 
@@ -399,7 +401,7 @@ static int btrfs_alloc_dev_extent(struct btrfs_trans_handle *trans,
                                  struct btrfs_device *device,
                                  u64 chunk_tree, u64 chunk_objectid,
                                  u64 chunk_offset,
-                                 u64 num_bytes, u64 *start)
+                                 u64 num_bytes, u64 *start, int convert)
 {
        int ret;
        struct btrfs_path *path;
@@ -412,9 +414,15 @@ static int btrfs_alloc_dev_extent(struct btrfs_trans_handle *trans,
        if (!path)
                return -ENOMEM;
 
-       ret = find_free_dev_extent(trans, device, path, num_bytes, start);
-       if (ret) {
-               goto err;
+       /*
+        * For convert case, just skip search free dev_extent, as caller
+        * is responsible to make sure it's free.
+        */
+       if (!convert) {
+               ret = find_free_dev_extent(trans, device, path, num_bytes,
+                                          start);
+               if (ret)
+                       goto err;
        }
 
        key.objectid = device->devid;
@@ -973,7 +981,7 @@ again:
                ret = btrfs_alloc_dev_extent(trans, device,
                             info->chunk_root->root_key.objectid,
                             BTRFS_FIRST_CHUNK_TREE_OBJECTID, key.offset,
-                            calc_size, &dev_offset);
+                            calc_size, &dev_offset, 0);
                BUG_ON(ret);
 
                device->bytes_used += calc_size;
@@ -1029,9 +1037,17 @@ again:
        return ret;
 }
 
+/*
+ * Alloc a DATA chunk with SINGLE profile.
+ *
+ * If 'convert' is set, it will alloc a chunk with 1:1 mapping
+ * (btrfs logical bytenr == on-disk bytenr)
+ * For that case, caller must make sure the chunk and dev_extent are not
+ * occupied.
+ */
 int btrfs_alloc_data_chunk(struct btrfs_trans_handle *trans,
                           struct btrfs_root *extent_root, u64 *start,
-                          u64 num_bytes, u64 type)
+                          u64 num_bytes, u64 type, int convert)
 {
        u64 dev_offset;
        struct btrfs_fs_info *info = extent_root->fs_info;
@@ -1052,10 +1068,17 @@ int btrfs_alloc_data_chunk(struct btrfs_trans_handle *trans,
 
        key.objectid = BTRFS_FIRST_CHUNK_TREE_OBJECTID;
        key.type = BTRFS_CHUNK_ITEM_KEY;
-       ret = find_next_chunk(chunk_root, BTRFS_FIRST_CHUNK_TREE_OBJECTID,
-                             &key.offset);
-       if (ret)
-               return ret;
+       if (convert) {
+               BUG_ON(*start != round_down(*start, extent_root->sectorsize));
+               key.offset = *start;
+               dev_offset = *start;
+       } else {
+               ret = find_next_chunk(chunk_root,
+                                     BTRFS_FIRST_CHUNK_TREE_OBJECTID,
+                                     &key.offset);
+               if (ret)
+                       return ret;
+       }
 
        chunk = kmalloc(btrfs_chunk_item_size(num_stripes), GFP_NOFS);
        if (!chunk)
@@ -1080,7 +1103,7 @@ int btrfs_alloc_data_chunk(struct btrfs_trans_handle *trans,
                ret = btrfs_alloc_dev_extent(trans, device,
                             info->chunk_root->root_key.objectid,
                             BTRFS_FIRST_CHUNK_TREE_OBJECTID, key.offset,
-                            calc_size, &dev_offset);
+                            calc_size, &dev_offset, convert);
                BUG_ON(ret);
 
                device->bytes_used += calc_size;
@@ -1117,7 +1140,8 @@ int btrfs_alloc_data_chunk(struct btrfs_trans_handle *trans,
        ret = btrfs_insert_item(trans, chunk_root, &key, chunk,
                                btrfs_chunk_item_size(num_stripes));
        BUG_ON(ret);
-       *start = key.offset;
+       if (!convert)
+               *start = key.offset;
 
        map->ce.start = key.offset;
        map->ce.size = num_bytes;
@@ -1170,14 +1194,23 @@ int btrfs_next_bg(struct btrfs_mapping_tree *map_tree, u64 *logical,
 {
        struct cache_extent *ce;
        struct map_lookup *map;
+       u64 cur = *logical;
 
-       ce = search_cache_extent(&map_tree->cache_tree, *logical);
+       ce = search_cache_extent(&map_tree->cache_tree, cur);
 
        while (ce) {
-               ce = next_cache_extent(ce);
-               if (!ce)
-                       return -ENOENT;
+               /*
+                * only jump to next bg if our cur is not 0
+                * As the initial logical for btrfs_next_bg() is 0, and
+                * if we jump to next bg, we skipped a valid bg.
+                */
+               if (cur) {
+                       ce = next_cache_extent(ce);
+                       if (!ce)
+                               return -ENOENT;
+               }
 
+               cur = ce->start;
                map = container_of(ce, struct map_lookup, ce);
                if (map->type & type) {
                        *logical = ce->start;
@@ -1578,7 +1611,92 @@ static struct btrfs_device *fill_missing_device(u64 devid)
 }
 
 /*
- * Slot is used to verfy the chunk item is valid
+ * slot == -1: SYSTEM chunk
+ * return -EIO on error, otherwise return 0
+ */
+static int btrfs_check_chunk_valid(struct btrfs_root *root,
+                                  struct extent_buffer *leaf,
+                                  struct btrfs_chunk *chunk,
+                                  int slot, u64 logical)
+{
+       u64 length;
+       u64 stripe_len;
+       u16 num_stripes;
+       u16 sub_stripes;
+       u64 type;
+
+       length = btrfs_chunk_length(leaf, chunk);
+       stripe_len = btrfs_chunk_stripe_len(leaf, chunk);
+       num_stripes = btrfs_chunk_num_stripes(leaf, chunk);
+       sub_stripes = btrfs_chunk_sub_stripes(leaf, chunk);
+       type = btrfs_chunk_type(leaf, chunk);
+
+       /*
+        * These valid checks may be insufficient to cover every corner cases.
+        */
+       if (!IS_ALIGNED(logical, root->sectorsize)) {
+               error("invalid chunk logical %llu",  logical);
+               return -EIO;
+       }
+       if (btrfs_chunk_sector_size(leaf, chunk) != root->sectorsize) {
+               error("invalid chunk sectorsize %llu", 
+                     (unsigned long long)btrfs_chunk_sector_size(leaf, chunk));
+               return -EIO;
+       }
+       if (!length || !IS_ALIGNED(length, root->sectorsize)) {
+               error("invalid chunk length %llu",  length);
+               return -EIO;
+       }
+       if (stripe_len != BTRFS_STRIPE_LEN) {
+               error("invalid chunk stripe length: %llu", stripe_len);
+               return -EIO;
+       }
+       /* Check on chunk item type */
+       if (slot == -1 && (type & BTRFS_BLOCK_GROUP_SYSTEM) == 0) {
+               error("invalid chunk type %llu", type);
+               return -EIO;
+       }
+       if (type & ~(BTRFS_BLOCK_GROUP_TYPE_MASK |
+                    BTRFS_BLOCK_GROUP_PROFILE_MASK)) {
+               error("unrecognized chunk type: %llu",
+                     ~(BTRFS_BLOCK_GROUP_TYPE_MASK |
+                       BTRFS_BLOCK_GROUP_PROFILE_MASK) & type);
+               return -EIO;
+       }
+       /*
+        * Btrfs_chunk contains at least one stripe, and for sys_chunk
+        * it can't exceed the system chunk array size
+        * For normal chunk, it should match its chunk item size.
+        */
+       if (num_stripes < 1 ||
+           (slot == -1 && sizeof(struct btrfs_stripe) * num_stripes >
+            BTRFS_SYSTEM_CHUNK_ARRAY_SIZE) ||
+           (slot >= 0 && sizeof(struct btrfs_stripe) * (num_stripes - 1) >
+            btrfs_item_size_nr(leaf, slot))) {
+               error("invalid num_stripes: %u", num_stripes);
+               return -EIO;
+       }
+       /*
+        * Device number check against profile
+        */
+       if ((type & BTRFS_BLOCK_GROUP_RAID10 && sub_stripes == 0) ||
+           (type & BTRFS_BLOCK_GROUP_RAID1 && num_stripes < 1) ||
+           (type & BTRFS_BLOCK_GROUP_RAID5 && num_stripes < 2) ||
+           (type & BTRFS_BLOCK_GROUP_RAID6 && num_stripes < 3) ||
+           (type & BTRFS_BLOCK_GROUP_DUP && num_stripes > 2) ||
+           ((type & BTRFS_BLOCK_GROUP_PROFILE_MASK) == 0 &&
+            num_stripes != 1)) {
+               error("Invalid num_stripes:sub_stripes %u:%u for profile %llu",
+                     num_stripes, sub_stripes,
+                     type & BTRFS_BLOCK_GROUP_PROFILE_MASK);
+               return -EIO;
+       }
+
+       return 0;
+}
+
+/*
+ * Slot is used to verify the chunk item is valid
  *
  * For sys chunk in superblock, pass -1 to indicate sys chunk.
  */
@@ -1599,6 +1717,15 @@ static int read_one_chunk(struct btrfs_root *root, struct btrfs_key *key,
 
        logical = key->offset;
        length = btrfs_chunk_length(leaf, chunk);
+       num_stripes = btrfs_chunk_num_stripes(leaf, chunk);
+       /* Validation check */
+       ret = btrfs_check_chunk_valid(root, leaf, chunk, slot, logical);
+       if (ret) {
+               error("%s checksums match, but it has an invalid chunk, %s",
+                     (slot == -1) ? "Superblock" : "Metadata",
+                     (slot == -1) ? "try btrfsck --repair -s <superblock> ie, 0,1,2" : "");
+               return ret;
+       }
 
        ce = search_cache_extent(&map_tree->cache_tree, logical);
 
@@ -1607,7 +1734,6 @@ static int read_one_chunk(struct btrfs_root *root, struct btrfs_key *key,
                return 0;
        }
 
-       num_stripes = btrfs_chunk_num_stripes(leaf, chunk);
        map = kmalloc(btrfs_map_lookup_size(num_stripes), GFP_NOFS);
        if (!map)
                return -ENOMEM;
@@ -1622,50 +1748,6 @@ static int read_one_chunk(struct btrfs_root *root, struct btrfs_key *key,
        map->type = btrfs_chunk_type(leaf, chunk);
        map->sub_stripes = btrfs_chunk_sub_stripes(leaf, chunk);
 
-       /* Check on chunk item type */
-       if (map->type & ~(BTRFS_BLOCK_GROUP_TYPE_MASK |
-                         BTRFS_BLOCK_GROUP_PROFILE_MASK)) {
-               fprintf(stderr, "Unknown chunk type bits: %llu\n",
-                       map->type & ~(BTRFS_BLOCK_GROUP_TYPE_MASK |
-                                     BTRFS_BLOCK_GROUP_PROFILE_MASK));
-               ret = -EIO;
-               goto out;
-       }
-
-       /*
-        * Btrfs_chunk contains at least one stripe, and for sys_chunk
-        * it can't exceed the system chunk array size
-        * For normal chunk, it should match its chunk item size.
-        */
-       if (num_stripes < 1 ||
-           (slot == -1 && sizeof(struct btrfs_stripe) * num_stripes >
-            BTRFS_SYSTEM_CHUNK_ARRAY_SIZE) ||
-           (slot >= 0 && sizeof(struct btrfs_stripe) * (num_stripes - 1) >
-            btrfs_item_size_nr(leaf, slot))) {
-               fprintf(stderr, "Invalid num_stripes: %u\n",
-                       num_stripes);
-               ret = -EIO;
-               goto out;
-       }
-
-       /*
-        * Device number check against profile
-        */
-       if ((map->type & BTRFS_BLOCK_GROUP_RAID10 && map->sub_stripes == 0) ||
-           (map->type & BTRFS_BLOCK_GROUP_RAID1 && num_stripes < 1) ||
-           (map->type & BTRFS_BLOCK_GROUP_RAID5 && num_stripes < 2) ||
-           (map->type & BTRFS_BLOCK_GROUP_RAID6 && num_stripes < 3) ||
-           (map->type & BTRFS_BLOCK_GROUP_DUP && num_stripes > 2) ||
-           ((map->type & BTRFS_BLOCK_GROUP_PROFILE_MASK) == 0 &&
-            num_stripes != 1)) {
-               fprintf(stderr,
-                       "Invalid num_stripes:sub_stripes %u:%u for profile %llu\n",
-                       num_stripes, map->sub_stripes,
-                       map->type & BTRFS_BLOCK_GROUP_PROFILE_MASK);
-               ret = -EIO;
-               goto out;
-       }
-
        for (i = 0; i < num_stripes; i++) {
                map->stripes[i].physical =
                        btrfs_stripe_offset_nr(leaf, chunk, i);
@@ -1679,6 +1761,8 @@ static int read_one_chunk(struct btrfs_root *root, struct btrfs_key *key,
                        map->stripes[i].dev = fill_missing_device(devid);
                        printf("warning, device %llu is missing\n",
                               (unsigned long long)devid);
+                       list_add(&map->stripes[i].dev->dev_list,
+                                &root->fs_info->fs_devices->devices);
                }
 
        }
@@ -1686,9 +1770,6 @@ static int read_one_chunk(struct btrfs_root *root, struct btrfs_key *key,
        BUG_ON(ret);
 
        return 0;
-out:
-       free(map);
-       return ret;
 }
 
 static int fill_device_from_item(struct extent_buffer *leaf,
@@ -1774,8 +1855,6 @@ static int read_one_dev(struct btrfs_root *root,
 
        device = btrfs_find_device(root, devid, dev_uuid, fs_uuid);
        if (!device) {
-               printk("warning devid %llu not found already\n",
-                       (unsigned long long)devid);
                device = kzalloc(sizeof(*device), GFP_NOFS);
                if (!device)
                        return -ENOMEM;
@@ -1804,7 +1883,8 @@ int btrfs_read_sys_array(struct btrfs_root *root)
        u32 cur_offset;
        struct btrfs_key key;
 
-       sb = btrfs_find_create_tree_block(root, BTRFS_SUPER_INFO_OFFSET,
+       sb = btrfs_find_create_tree_block(root->fs_info,
+                                         BTRFS_SUPER_INFO_OFFSET,
                                          BTRFS_SUPER_INFO_SIZE);
        if (!sb)
                return -ENOMEM;
@@ -2076,9 +2156,14 @@ int write_raid56_with_parity(struct btrfs_fs_info *info,
                ebs[multi->num_stripes - 1] = p_eb;
                memcpy(p_eb->data, ebs[0]->data, stripe_len);
                for (j = 1; j < multi->num_stripes - 1; j++) {
-                       for (i = 0; i < stripe_len; i += sizeof(unsigned long)) {
-                               *(unsigned long *)(p_eb->data + i) ^=
-                                       *(unsigned long *)(ebs[j]->data + i);
+                       for (i = 0; i < stripe_len; i += sizeof(u64)) {
+                               u64 p_eb_data;
+                               u64 ebs_data;
+
+                               p_eb_data = get_unaligned_64(p_eb->data + i);
+                               ebs_data = get_unaligned_64(ebs[j]->data + i);
+                               p_eb_data ^= ebs_data;
+                               put_unaligned_64(p_eb_data, p_eb->data + i);
                        }
                }
        }