btrfs-progs: chunk-recover: handle duplicate cache entries

Triggered by fuzzed image bko-155621-bad-block-group-offset.raw .

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: print value when assertion fails

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: drop useless bug_on

The callers touch 'target', no point checking it inside restore_metadump
again.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: return negativer error from all paths in mdrestore_init

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: catch zero length extents, avoid endless loop

If an extent is found to have length 0, we'd loop endlessly in
copy_from_extent_tree. Reproduced by fuzzed image
bko-166361-blocksize-zero.raw within test 002-simple-image .

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add fuzzed image with bad parent refs, qgroup-verify

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: better error handling in find_parent_roots

Fix use-before-sanity-check leading to undefined behaviour and handle
errors more gracefully.

Reported-by: Lukas Lueg <lukas.lueg@gmail.com>
Bugzilla: https://bugzilla.kernel.org/show_bug.cgi?id=156811
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add fuzzed images with bad blocksize/lengh of eb

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: more sanity checks in read_tree_block_fs_info

If blocksize is 0, it passes the IS_ALIGNED check but fails later as the
length of ebs will be zero.

Reported-by: Lukas Lueg <lukas.lueg@gmail.com>
Bugzilla: https://bugzilla.kernel.org/show_bug.cgi?id=169311
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: btrfstune: use common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: use common message helpers

Usage errors are turned to normal errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Remove unnecessary parameter to clear_extent_uptodate

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: qgroup: Fix regression leads to corrupted qgroup status

Commit 93dabf211d74daf6e3de642bdd887a90a00f7b49
Author: Mark Fasheh <mfasheh@suse.de>
Date:   Fri Jun 17 13:37:48 2016 -0700

    btrfs-progs: check: verify qgroups above level 0

This commit introduced a new regression which corrupts
read_qgroup_status, since it iterate leaf with manually specified slot,
not correct path->slot[0].

This leads to wrong slot[0] and read_qgroup_status() will read out wrong
flags, leading to regression.

Fix read_qgroup_status() by using eb and slot instread of wrong path
strucutre.

Reported-by: Tsutomu Itoh <t-itoh@jp.fujitsu.com>
Cc: Mark Fasheh <mfasheh@suse.de>
Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: constify string arguments where appropriate

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: don't write to optarg in btrfs_qgroup_parse_sort_string

Dup the string that gets passed to strtok so we don't destroy callers
buffer.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: remove stray function declaration

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: restore: update help text

Make it clear that --xattr restores the xattrs. Fix some whitespace
damage and add an enum for the long-only option.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: super-recover: Reuse btrfs_read_dev_super function

We have enhanced super block validation check in disk_io.c, while
super-recover doesn't use that function and use a custom one.

That is duplicated, so reuse btrfs_read_dev_super to handle it, which
not only enhanced super check, but also reduce the code length.

Reported-by: hawken <hawken@thehawken.org>
Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Return more meaningful value for btrfs_read_deve_super

btrfs_read_dev_super() only returns 0 or -1, which doesn't really help,
caller won't know if it's caused by bad superblock or superblock out of
range.

Return -errno if pread64() return -1, and return -EOF if none or part of
the super is read out, and return what check_super() returned.

So caller can get -EIO to catch real corrupted super blocks.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fix user-facing typos in docs and help strings

Signed-off-by: Nicholas D Steeves <nsteeves@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: document exit codes from scrub

Signed-off-by: Adam Borowski <kilobyte@angband.pl>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: move 3rd party kernel library modules to own directory

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: build: add basic support for subdirectory build

Add explicit target file names and set the top source directory.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add script to scan results for some known runtime errors

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: iterate over fuzzed images and test various tools

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: change btrfs_csum_final result param type to u8

Signed-off-by: Domagoj Tršan <domagoj.trsan@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert: check source file system state

Signed-off-by: Lakshmipathi.G <Lakshmipathi.G@giis.co.in>
[ add doc note ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: remove useless helper

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: use PATH_MAX in cmd_inspect_logical_resolve

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: remove unused variable in add_inode_items

It hasn't been used since the first commit.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cleanup, kill trivial btrfs_key_type helper

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cleanup, kill trivial btrfs_set_key_type helper

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: improve error handling in clone_inode_rec

Cleanup the rb_tree.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: corrupt-block: fix assertion condition

The ->data is no longer a pointer but an embedded array.

Resolves-coverity-id: 1372671
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: switch some messages to common helpers

Switch the messages that do not come from the actual image checking,
more like the parameter verification.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: switch to common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert: improve error handling in do_rollback

Handle transaction errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: improve error handling in add_extent_rec_nolookup

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: handle errors returned by add_extent_rec_nolookup

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: use standard allocation functions in non-kenrel code

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: improve error handling in btrfs_add_to_fsid

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: corrupt-block: improved error handling in corrupt_item_nocow

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: dump-super: switch to common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: improve error handling in btrfs_alloc_data_chunk

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: remove redundant check in btrfs_add_to_fsid

The callers do the sanity checks.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: prop: simplify help printing code

Remove a trivial helper.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tree-stats: switch to common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fi du: improved error handling in mark_inode_seen

The callchain handles errors, don't crash on unexpected condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fi du: catch bogus extent lengths

If we get a zero-length from the ioctl for whatever reason, we should
not crash.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: inspect: improved error handling

Two remaining BUG_ON, be more specific what's wrong.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: improved error handling in btrfs_print_tree

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: qgroup: switch to common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: remove trivial helpers for filtering functions

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: catch invalid flags in open_ctree_fd

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert: improve error handling in create_image_file_range

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: handle block ordering errors in make_btrfs

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: chunk-recover: improve error handling in insert_stripe

Switch to negative errnos, the callchain handles errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: switch column values to asserts

This is checking correct usage, not runtime errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: improved error handling in calc_extent_flag

All callers handle errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: receive: improved error handling in process_snapshot

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: handle errors from btrfs_alloc_path

All functions already return an error condition, so the callers should
expect that.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: check for sane sectorsize earlier

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: more verbose error handling in creation helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: switch BUG_ON to ASSERT in reserve_free_space

That's not a real error condition, catch bad function usge.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: dump-tree: improved error handling in cmd_inspect_dump_tree

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: dump-tree: improved error handling in print_extents

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fi usage: improved error handling in load_device_info

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: scrub: improved error handling in scrub_read_file

Signed-off-by: David Sterba <dsterba@suse.com>

Btrfs progs v4.7.3

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: update CHANGES for 4.7.3

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: use preallocated buffers for config uuids

No need for dynamic allocation, the buffers are small, remove the
now-useless error conditions.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: fix reading rotational status value

ASAN reports that we're reading beyond the bounds, and is right. The
variable is too short to store a nonempty string for atoi.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: defrag: set errno correctly in the callback

In case defrag fails, the errno is not properly reported everywhere but
rather the last value of 'e', which could be 0. Then we get confusing
error messages like:

ERROR: defrag failed on /path/to/file: Success

Reported-by: Adam Mizerski <adam@mizerski.pl>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: subvol create: remove v from getopt

The option 'v' was mistakenly added in
2ed161bd281beca29feebebbc8c4227cc6e918c3 but there's no such option for
create at the moment, remove it.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: subvol delete: add missing verbose option

There was already the logic for verbose output, but the flag parsing did
not include it.

Signed-off-by: Vincent Batts <vbatts@hashbangbash.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: fix typos in btrfs-subvolume

[ Documentation fix, github pull request 16 ]
Signed-off-by: David Sterba <dsterba@suse.com>

Revert "btrfs-progs: fix compat_ro mask for free space tree"

btrfs-progs can't mount space_cache=v2 filesystems read-write, which is
why the compat bit wasn't added to the supported mask in the first
place. Remove it.

Signed-off-by: Omar Sandoval <osandov@fb.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: reorganize extent_buffer and fix alignment of data

Reported by UBSAN, the checksum code tries to access unaligned data that
come from the extent_buffer.

struct extent_buffer {
        struct cache_extent        cache_node;           /*     0    48 */
        u64                        start;                /*    48     8 */
        u64                        dev_bytenr;           /*    56     8 */
        /* --- cacheline 1 boundary (64 bytes) --- */
        u32                        len;                  /*    64     4 */

        /* XXX 4 bytes hole, try to pack */

        struct extent_io_tree *    tree;                 /*    72     8 */
        struct list_head           lru;                  /*    80    16 */
        struct list_head           recow;                /*    96    16 */
        int                        refs;                 /*   112     4 */
        u32                        flags;                /*   116     4 */
        int                        fd;                   /*   120     4 */
        char                       data[0];              /*   124     0 */

        /* size: 128, cachelines: 2, members: 11 */
        /* sum members: 120, holes: 1, sum holes: 4 */
        /* padding: 4 */
};

Add explicit alignment to data.

Reported-by: Lukas Lueg <lukas.lueg@gmail.com>
Bugzilla: https://bugzilla.kernel.org/show_bug.cgi?id=156471
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add 021-partially-dropped-snapshot-case

Signed-off-by: Wang Xiaoguang <wangxg.fnst@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: make low memory mode support partially dropped snapshots

Signed-off-by: Wang Xiaoguang <wangxg.fnst@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: better error report in btrfs_scan_fs_devices

Print the found sizes.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add fuzzed images for bad block group offset

Reported-by: Lukas Lueg <lukas.lueg@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: avoid looping forever when a bad blockgroup key is found

If we discover a bad BLOCK_GROUP_ITEM_KEY with offset = 0, we'll end up looping
forever when we read the block groups in.  This is due to the search for the
next block group starting at the current object + the offset.  If offset is 0,
we'll just get the same key over and over and never advance.  This patch
ensures that we'll advance at least one objectid per iteration.

Signed-off-by: Jeff Mahoney <jeffm@suse.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: remove stray newline from message in check_super

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: run check with various options on the fuzzed images

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add fuzz test to try btrfs-image on all images

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: rename test 001 to mention check

Make it more clear that the test does 'btrfs check'.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add fuzzed image for a bad backref

Reported-by: Lukas Lueg <lukas.lueg@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tree-stats: check and report mount status

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: update flushoncommit default value

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: Add warning for build RAID btrfs on partions from the same device

Quite a common sense for any RAID-like multi-device setup, just in case.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: Warn user for minimal RAID5/6 devices setup

For RAID5, 2 devices setup is just RAID1 with more overhead.
For RAID6, 3 devices setup is RAID1 with 3 copies, not what most user
want.

So warn user at mkfs time for such case, and add explain in man pages.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: post btrfs-convert verify permissions and ACLs

Signed-off-by: Lakshmipathi.G <Lakshmipathi.G@giis.co.in>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: build: add UBSAN to debugging features

usage: make D=ubsan

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: dump-super: changes in options to specify superblocks

Some tools (check, select-super, dump-super) can use the alternate
superblocks, but the options are not consistent. To make it less
confusing, change the meaning of option -s in 'dump-super' to specify
the superblock copy, instead of taking the offset.

Though this is a change in UI, the old usage is detected and the result
would be the same, no breakage in existing scripts.

Signed-off-by: David Sterba <dsterba@suse.com>

Btrfs progs v4.7.2

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: update CHANGES for 4.7.2

Signed-off-by: David Sterba <dsterba@suse.com>

Revert "btrfs-progs: check: supplement extent backref list with rbtree"

This reverts commit 31d8235410985e0b64487354c9ba67d40c4bdfe3.

False report of backref mismatches, lots of messages similar to:

Incorrect local backref count on 12713984 root 5 owner 257 offset 12845056 found 1 wanted 0 back 0x7b3ed0
backpointer mismatch on [12713984 131072]

Repairing will make things worse. A fix has been proposed, but is not
finalized so we go with a revert.

Reported-by: Chris Murphy <bugzilla@colorremedies.com>
References: https://bugzilla.kernel.org/show_bug.cgi?id=155791
Signed-off-by: David Sterba <dsterba@suse.com>

Revert "btrfs-progs: check: switch to iterating over the backref_tree"

This reverts commit bbebe814c0e335745cfa773df966418e754b50e3.

btrfs-progs: build: add ASAN to debugging features

usage: make D=asan

Signed-off-by: David Sterba <dsterba@suse.com>