Added tag v0.16 for changeset 2b26e4f8c71e

Update version.sh to v0.16

btrfs-convert: Iterate correctly using libext2fs functions

This patch corrects open-coded inode_map iteration, which happens to be
illegal in new libext2fs due to inode_map being private, causing warning,
which becomes a compile error.

Cleanup btrfsctl help message

Many options were not mentioned in the usage message, fix that and
cleaning up the brackets

Signed-Off-By: Ahmed Kamal <email.ahmedkamal@googlemail.com>

Fix: btrfsctl arguments handling

btrfsctl -A
in the current -unstable branch, does not result in the error message
designated for it, namely "-A requires an arg\n"

btrfs-convert new dir index support

This patch updates btrfs-convert for the new dir index format.

btrfs-progs: add orphan support to print-tree

This adds orphan support to print-tree so when debug_tree hits an orphan item it
will print out "orphan item" under it so you know what it is

Rev the disk format

btrfs-progs new dir index support

Print the version string in a few programs

Add version strings

Add .hgignore file to ignore verison.h

Add sync and transaction ioctl defs

btrfsctl -c forces a single FS sync

The transaction ioctls are unsafe for general use because they can lead
to deadlocks if the application is not very careful.  But, ceph is
experimenting with btrfs as a backing store, and these ioctls are required
for testing.

btrfsctl: print usage when called with bad args

Added tag v0.15 for changeset e6571e2ce0c8

Verify parent generation number on btree reads

Pass down the expected generation number when reading tree blocks

Fix the pretty print code for num_bytes == 0

Add a readonly flag open_ctree to force RO opens

bcp updates for single file copies

Add bcp to test the clone file ioctl

Fix compiler warning in volumes.c

Add the clone ioctl number

Fix uninitialized variables, and use -O so gcc starts checking for them

Gcc only sends warnings for uninitialized variables when you compile with -O,
and there were a couple of bugs sprinkled in the code.  The biggest was the
alloc_start variable for mkfs, which can cause strange things to happen.

(thanks to Gabor Micsko for helping to find this)

Added tag v0.14 for changeset 969099968b60

Fix btrfs-convert's large file support.

This patch add ext2_inode.i_size_high into account when calculating regular
file's size in btrfs-convert,  which makes it deal with large files bigger than
4GB properly.

Add btrfs-vol command to balance, add and (eventually) remove devices

Add mkfs.btrfs -A offset to control allocation start on devices

This is a utility option for the resizer, it makes sure to allocate
at offset bytes in the disk or higher.  It ensures the resizer will have
something to move when testing it.

Speed improvement and bug fixes for ext3 converter

This patch improves converter's allocator and fixes a bug in data relocation
function. The new allocator caches free blocks as Btrfs's default allocator.
In testing here, the user CPU time reduced to half of the original when
checksum and small file packing was disabled. This patch also enlarges the
size of block groups created by the converter.

Fix balance_level to free the middle block if there is room in the left one

balance level starts by trying to empty the middle block, and then
pushes from the right to the middle.  This might empty the right block
and leave a small number of pointers in the middle.

Don't empty the middle buffer in push_nodes_for_insert

Keep more pointers free in the nodes for double splits

Drop quick-test from the list of programs built by default

Update the Ext3 converter

The main changes in this patch are adding chunk handing and data relocation
ability. In the last step of conversion, the converter relocates data in system
chunk and move chunk tree into system chunk. In the rollback process, the
converter remove chunk tree from system chunk and copy data back.

Regards
YZ
---

Add a command to show all of the btrfs filesystems on the box (btrfs-show)

Fix chunk allocation when some devices don't have enough room for the stripe

Add checks to avoid adding the same device twice during mkfs

Use better chunk sizes for small and large filesystems

Add support for filesystem labels via mkfs.btrfs -L

Use device uuids when scanning devices

Add raid10 support

Add chunk uuids and update multi-device back references

Block headers now store the chunk tree uuid

Chunk items records the device uuid for each stripes

Device extent items record better back refs to the chunk tree

Block groups record better back refs to the chunk tree

The chunk tree format has also changed.  The objectid of BTRFS_CHUNK_ITEM_KEY
used to be the logical offset of the chunk.  Now it is a chunk tree id,
with the logical offset being stored in the offset field of the key.

This allows a single chunk tree to record multiple logical address spaces,
upping the number of bytes indexed by a chunk tree from 2^64 to
2^128.

Fix up the quick btree code test program

Fix a few casts for 32 bit compile

Write all super blocks during commit

Retry metadata reads in the face of checksum failures

Change btrfs_map_block to return a structure with mappings for all stripes

Don't allow written blocks from this transaction to be reallocated

When a block is freed, it can be immediately reused if it is from
the current transaction.  But, an extra check is required to make sure
the block had not been written yet.  If it were reused after being written,
the transid in the block header might match the transid of the
next time the block was allocated.

The parent node records the transaction ID of the block it is pointing to,
and this is used as part of validating the block on reads.  So, there
can only be one version of a block per transaction.

Use leafsize and nodesize == pagesize for now

Recow all roots at the end of mkfs

The mkfs code bootstraps the filesystem on a single device.  Once
the raid block groups are setup, it needs to recow all of the blocks so
that each tree is properly allocated.

Add mkfs options for data and metadata mirroring modes

mkfs.btrfs --data {raid0,raid1,single}
mkfs.btrfs --metadata {raid0,raid1,single}

In single mode, no extra duplication or striping is done.
In raid0 mode, blocks are spread across all of the available devices
In raid1 mode, blocks are mirrored across two devices.

For metadata, if raid1 is used and there is only one device, the
metadata is duplicated on that single spindle.

The defaults are raid0 for data and raid1 for metadata

Add support for single single duplication of metadata

Add mirroring support across multiple drives

Use getopt_long and introduce long mkfs options.  -s now means --sectorsize

btrfs-progs: Fix printf format casting errors

We get lots of warnings of the flavor:

utils.c:441: warning: format '%Lu' expects type 'long long unsigned int' but argument 2 has type 'u64'

And thanks to -Werror, the build fails. Clean up these printfs
by properly casting the arg to the format specified.

Signed-off-by: Alex Chiang <achiang@hp.com>

btrfs-progs: Stop stomping on 'name' input parameter

In btrfs_name_hash, Local variable 'buf' is declared as

__u32 buf[2];

but we then try to do this:

buf[0] = 0x67452301;
buf[1] = 0xefcdab89;
buf[2] = 0x98badcfe;
buf[3] = 0x10325476;

Oops. Fix buf to be the proper size.

Signed-off-by: Alex Chiang <achiang@hp.com>

check if partition is mounted before mkfs

This saves from the blunder of formatting a live mounted filesystem.
This can be extended to get the mount flags of the filesystem
mounted.

Signed-off-by: Goldwyn Rodrigues <rgoldwyn@gmail.com>

Update struct btrfs_header flags, and use it to indicate buffers are written

Implement raid0 when multiple devices are present

This defaults to striping across all devices

Walk all block devices looking for btrfs

ioctls to scan for btrfs filesystems

Btrfsck updates for multi-device filesystems

Dynamic chunk allocation

Add support for multiple devices per filesystem

Remove extent back refs in batches, and avoid duplicate searches

Add debugging for block group update failure

Call btrfs_cow_block while lowering tree level.

When freeing root block of a tree,  btrfs_free_extent' parameter
'ref_generation' is from root block itseft.  When freeing non-root
block,  'ref_generation' is from its parent. so when converting a
non-root block to root block, we must guarantee its generation is
equal to its parent's generation.

Insert extent record and the first backref in a single balance

Copy correct tree when inserting into slot 0

Add inode item and backref in one insert, reducing cpu usage

During deletes and truncate, remove many items at once from the tree

Add some extra debugging around file data checksum failures

Tune readahead during defrag to avoid reading too much at once

Rename the extent_map code to extent_io

This mirrors the changes in the kernel code.

Add debug-tree -e to print all allocated extents, and show-blocks to graph them

Added tag v0.13 for changeset 58b803dc9fae

CRC32C big endian bugs...

The CRC32C implementation in the btrfs progs is different from the one
in the kernel, so obviously nothing can possibly work on big-endian.

Unaligned access fixes

The first problem is that these SETGET macros lose typing information,
and therefore can't see the 'packed' attribute and therefore take
unaligned access SIGBUS signals on sparc64 when trying to derefernce
the member.

The next problem is a similar issue in btrfs_name_hash().  This gets
passed things like &key.offset which is a member of a packed
structure, losing this packed'ness information btrfs_name_hash()
performs a potentially unaligned memory access, again resulting in a
SIGBUS.

mkfs: Zero 2MB at the start and end of the device

But, on sparc, don't zero the first 1k.

Added tag v0.12 for changeset 5e8f040cdf7c

Update magic

Hash in the owner and offset for file extent backref keys

Fix for test_range_bit

test_range_bit doesn't properly handle the case: there's a hole at the
end of the range and there's no other extent_state after the range.

Fix btrfsck args checking

btrfsck fails to check if it actually received a dev argument though, so if you
don't pass a device, we get a nice segfault.

btrfs-progs: build with -D_FORTIFY_SOURCE=2

Add -D_FORTIFY_SOURCE=2 to the makeflags. It has been very helpful
in finding problems.

Signed-off-by: Jan Engelhardt <jengelh@computergmbh.de>
---
 Makefile |    2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

btrfs-progs: fix a buffer overflow during mkfs

Using strncpy avoids a 1 byte overflow into the next field
of the struct.  The overflow is harmless, but does
trip automated tools.

Signed-off-by: Jan Engelhardt <jengelh@computergmbh.de>
---
 utils.c |    2 +-
 1 file changed, 1 insertion(+), 1 deletion(-)

Fix for btrfs_find_free_objectid

btrfs_find_free_objectid may return a used objectid due to arithmetic
underflow. This bug may happen when parameter 'root' is tree root,  so
it may cause serious problems when creating snapshot or sub-volume.

Fixes for the converter

Hello,

This patch fixes two newly found bugs in the converter.  The important
one is in create_ext2_image, sub-volume root directory's size not
properly updated after creating the ext2 image file. The other one is
a small bug in xattr support codes.  In addition to the fixes,  this
patch moves the 'if mounted' check to main() function.

Regards
YZ
---

Added tag v0.11 for changeset b3e59089dab6

Remove kernel-space header in btrfs-progs

When porting ctree.c in btrfs kernel module to btrfs-progs, I forgot
to remove a kernel-space header.  This may cause compile error on some
system.

Added tag v0.10 for changeset 548ea8d7514b

Install btrfs-convert during make install

Change the magic to rev the disk format

Add readonly inode flag

This patch adds readonly inode flag support.  A file with this flag
can't be modified, but can be deleted.

xattr support for the ext3->btrfs converter

Fix a typo in btrfs-progs/extent_map.c

Hello,

update_extent_state is called with wrong parameter in merge_state.

Add rollback support for the converter

This patch adds rollback support for the converter,  the converter can
roll back a conversion if the image file haven't been modified.  In
addition,  I rearrange some codes in convert.c and add a few comments.

A few update for btrfs-progs

Hello,

This patch adds inode flags definition to btrfs-progs and updates
extent-tree.c to match the kernel.

btrfs_print_node: don't use btrfs_item_key_to_cpu on nodes

Add Yan Zheng's ext3->btrfs conversion program

run make convert to build it, the program is named btrfs-convert and is
not installed by default.