Keep more pointers free in the nodes for double splits

Drop quick-test from the list of programs built by default

Update the Ext3 converter

The main changes in this patch are adding chunk handing and data relocation
ability. In the last step of conversion, the converter relocates data in system
chunk and move chunk tree into system chunk. In the rollback process, the
converter remove chunk tree from system chunk and copy data back.

Regards
YZ
---

Add a command to show all of the btrfs filesystems on the box (btrfs-show)

Fix chunk allocation when some devices don't have enough room for the stripe

Add checks to avoid adding the same device twice during mkfs

Use better chunk sizes for small and large filesystems

Add support for filesystem labels via mkfs.btrfs -L

Use device uuids when scanning devices

Add raid10 support

Add chunk uuids and update multi-device back references

Block headers now store the chunk tree uuid

Chunk items records the device uuid for each stripes

Device extent items record better back refs to the chunk tree

Block groups record better back refs to the chunk tree

The chunk tree format has also changed.  The objectid of BTRFS_CHUNK_ITEM_KEY
used to be the logical offset of the chunk.  Now it is a chunk tree id,
with the logical offset being stored in the offset field of the key.

This allows a single chunk tree to record multiple logical address spaces,
upping the number of bytes indexed by a chunk tree from 2^64 to
2^128.

Fix up the quick btree code test program

Fix a few casts for 32 bit compile

Write all super blocks during commit

Retry metadata reads in the face of checksum failures

Change btrfs_map_block to return a structure with mappings for all stripes

Don't allow written blocks from this transaction to be reallocated

When a block is freed, it can be immediately reused if it is from
the current transaction.  But, an extra check is required to make sure
the block had not been written yet.  If it were reused after being written,
the transid in the block header might match the transid of the
next time the block was allocated.

The parent node records the transaction ID of the block it is pointing to,
and this is used as part of validating the block on reads.  So, there
can only be one version of a block per transaction.

Use leafsize and nodesize == pagesize for now

Recow all roots at the end of mkfs

The mkfs code bootstraps the filesystem on a single device.  Once
the raid block groups are setup, it needs to recow all of the blocks so
that each tree is properly allocated.

Add mkfs options for data and metadata mirroring modes

mkfs.btrfs --data {raid0,raid1,single}
mkfs.btrfs --metadata {raid0,raid1,single}

In single mode, no extra duplication or striping is done.
In raid0 mode, blocks are spread across all of the available devices
In raid1 mode, blocks are mirrored across two devices.

For metadata, if raid1 is used and there is only one device, the
metadata is duplicated on that single spindle.

The defaults are raid0 for data and raid1 for metadata

Add support for single single duplication of metadata

Add mirroring support across multiple drives

Use getopt_long and introduce long mkfs options.  -s now means --sectorsize

btrfs-progs: Fix printf format casting errors

We get lots of warnings of the flavor:

utils.c:441: warning: format '%Lu' expects type 'long long unsigned int' but argument 2 has type 'u64'

And thanks to -Werror, the build fails. Clean up these printfs
by properly casting the arg to the format specified.

Signed-off-by: Alex Chiang <achiang@hp.com>

btrfs-progs: Stop stomping on 'name' input parameter

In btrfs_name_hash, Local variable 'buf' is declared as

__u32 buf[2];

but we then try to do this:

buf[0] = 0x67452301;
buf[1] = 0xefcdab89;
buf[2] = 0x98badcfe;
buf[3] = 0x10325476;

Oops. Fix buf to be the proper size.

Signed-off-by: Alex Chiang <achiang@hp.com>

check if partition is mounted before mkfs

This saves from the blunder of formatting a live mounted filesystem.
This can be extended to get the mount flags of the filesystem
mounted.

Signed-off-by: Goldwyn Rodrigues <rgoldwyn@gmail.com>

Update struct btrfs_header flags, and use it to indicate buffers are written

Implement raid0 when multiple devices are present

This defaults to striping across all devices

Walk all block devices looking for btrfs

ioctls to scan for btrfs filesystems

Btrfsck updates for multi-device filesystems

Dynamic chunk allocation

Add support for multiple devices per filesystem

Remove extent back refs in batches, and avoid duplicate searches

Add debugging for block group update failure

Call btrfs_cow_block while lowering tree level.

When freeing root block of a tree,  btrfs_free_extent' parameter
'ref_generation' is from root block itseft.  When freeing non-root
block,  'ref_generation' is from its parent. so when converting a
non-root block to root block, we must guarantee its generation is
equal to its parent's generation.

Insert extent record and the first backref in a single balance

Copy correct tree when inserting into slot 0

Add inode item and backref in one insert, reducing cpu usage

During deletes and truncate, remove many items at once from the tree

Add some extra debugging around file data checksum failures

Tune readahead during defrag to avoid reading too much at once

Rename the extent_map code to extent_io

This mirrors the changes in the kernel code.

Add debug-tree -e to print all allocated extents, and show-blocks to graph them

Added tag v0.13 for changeset 58b803dc9fae

CRC32C big endian bugs...

The CRC32C implementation in the btrfs progs is different from the one
in the kernel, so obviously nothing can possibly work on big-endian.

Unaligned access fixes

The first problem is that these SETGET macros lose typing information,
and therefore can't see the 'packed' attribute and therefore take
unaligned access SIGBUS signals on sparc64 when trying to derefernce
the member.

The next problem is a similar issue in btrfs_name_hash().  This gets
passed things like &key.offset which is a member of a packed
structure, losing this packed'ness information btrfs_name_hash()
performs a potentially unaligned memory access, again resulting in a
SIGBUS.

mkfs: Zero 2MB at the start and end of the device

But, on sparc, don't zero the first 1k.

Added tag v0.12 for changeset 5e8f040cdf7c

Update magic

Hash in the owner and offset for file extent backref keys

Fix for test_range_bit

test_range_bit doesn't properly handle the case: there's a hole at the
end of the range and there's no other extent_state after the range.

Fix btrfsck args checking

btrfsck fails to check if it actually received a dev argument though, so if you
don't pass a device, we get a nice segfault.

btrfs-progs: build with -D_FORTIFY_SOURCE=2

Add -D_FORTIFY_SOURCE=2 to the makeflags. It has been very helpful
in finding problems.

Signed-off-by: Jan Engelhardt <jengelh@computergmbh.de>
---
 Makefile |    2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

btrfs-progs: fix a buffer overflow during mkfs

Using strncpy avoids a 1 byte overflow into the next field
of the struct.  The overflow is harmless, but does
trip automated tools.

Signed-off-by: Jan Engelhardt <jengelh@computergmbh.de>
---
 utils.c |    2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

Fix for btrfs_find_free_objectid

btrfs_find_free_objectid may return a used objectid due to arithmetic
underflow. This bug may happen when parameter 'root' is tree root,  so
it may cause serious problems when creating snapshot or sub-volume.

Fixes for the converter

Hello,

This patch fixes two newly found bugs in the converter.  The important
one is in create_ext2_image, sub-volume root directory's size not
properly updated after creating the ext2 image file. The other one is
a small bug in xattr support codes.  In addition to the fixes,  this
patch moves the 'if mounted' check to main() function.

Regards
YZ
---

Added tag v0.11 for changeset b3e59089dab6

Remove kernel-space header in btrfs-progs

When porting ctree.c in btrfs kernel module to btrfs-progs, I forgot
to remove a kernel-space header.  This may cause compile error on some
system.

Added tag v0.10 for changeset 548ea8d7514b

Install btrfs-convert during make install

Change the magic to rev the disk format

Add readonly inode flag

This patch adds readonly inode flag support.  A file with this flag
can't be modified, but can be deleted.

xattr support for the ext3->btrfs converter

Fix a typo in btrfs-progs/extent_map.c

Hello,

update_extent_state is called with wrong parameter in merge_state.

Add rollback support for the converter

This patch adds rollback support for the converter,  the converter can
roll back a conversion if the image file haven't been modified.  In
addition,  I rearrange some codes in convert.c and add a few comments.

A few update for btrfs-progs

Hello,

This patch adds inode flags definition to btrfs-progs and updates
extent-tree.c to match the kernel.

btrfs_print_node: don't use btrfs_item_key_to_cpu on nodes

Add Yan Zheng's ext3->btrfs conversion program

run make convert to build it, the program is named btrfs-convert and is
not installed by default.

Update find_free_extent for the ext3 conversion tool

This patch adds customized find_free_extent support to btrfs-progs,
the conversion program requires this.

Update btrfs-progs to match kernel sources

Port extent buffer to btrfs-progs

This patch ports extent buffer to btrfs-progs. extent_map.c contains a
simplified extent map tree and functions that manipulate/manage extent
buffer. extent state related codes are based on corresponding codes in
kernel module, codes that manage extent buffer are from disk-io.c.

Add online resizing ioctls

btrfsctl -r size mount_point

Verify extent back references in btrfsck

Reorder extent back refs to differentiate file data from btree blocks

Create macros to generation set/get funcs for on disk structures

Add back pointers from the inode to the directory that referenced it

Makefile: CFLAGS, LDFLAGS

Split CFLAGS into CFLAGS (user part) and AM_CFLAGS (not-so-user part;
variable name taken from automake, but otherwise no relation).
Also add LDFLAGS.
This allows me to use `make CFLAGS="-O2 -fPIE" LDFLAGS="-pie"` without
dropping the other important (AM_CFLAGS) flags.

Signed-off-by: Jan Engelhardt <jengelh@computergmbh.de>
---
 btrfs-progs/Makefile |   17 +++++++++--------
 1 file changed, 9 insertions(+), 8 deletions(-)

Add back pointers from extents to the file or btree referencing them

Add generation numbers to block pointers

Update btrfs-progs to better match the kernel

Added tag v0.9 for changeset 99eb8cf2ca51

Add simple stripe size parameter

xattr support for btrfs-progs

properly init block group cache structs

Remove the last radix tree (block_group_cache)

Make the crc32c code match what the kernel modules are currently doing

Create a slightly more generic extent-caching structure

Switch to byte granular allocations

Stop using radix trees to record pending allocations

Allow large blocks

Add per-file dependency tracking

The dependency archive ".depend" is only created once.
Changing a C file's dependencies does not remake .depend,
so make will recompile either too few or too many things.
Use of per-.c file dependencies that are created and update
during compile solve this.

Make btrfs-progs compile with -fstrict-aliasing (included in -O2) again.

This is done by doing a two-step conversion (rather than a one-step).
First, the variable goes from type * to void *, and then to
implicitly to void **.
(Not sure if this is "good practice", but it shuts up the compiler,
so it seems the compiler takes into account that we are actually punning
it this way.)

extra stats for btrfsck, link count in print-tree.c

Added tag v0.8 for changeset f4810b8d5822

btrfs-progs support for root block accounting

This adds support for keeping track of the number of blocks used by
root_item's.  This makes it so that mkfs lays down the "default" subvol with
the correct block accounting in place.  Thank you,

Added tag v0.6 for changeset 75b9a16fff1a

add defrag ioctl

Added tag v0.5 for changeset 85bf73175772

calculate checksums during IO