btrfs-progs: move btrfs_extref_hash() to hash.h

Move btrfs_extref_hash() from inode-item.c to hash.h,
so that the function can be called elsewhere.

Signed-off-by: Lu Fengqi <lufq.fnst@cn.fujitsu.com>
Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>

btrfs-progs: send: remove unnecessary code

Some unnecessary codes are deleted.

 - the setting of subvol is duplicated
 - read only check was already done by the previous loop

Signed-off-by: Tsutomu Itoh <t-itoh@jp.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: dump-tree: fix crash on unrecognized tree id

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: rename btrfs_scan_lblkid() to btrfs_scan_devices()

It seems like bad idea to use a library name (lblkid) within generic
function name. The currently used scanning library is implementation
detail and this detail should be hidden for rest of the code.

Signed-off-by: Karel Zak <kzak@redhat.com>
Signed-off-by: David Sterba <dsterba@suse.cz>

btrfs-progs: build: detect fiemap shared flag but don't fail build

The FIEMAP_EXTENT_SHARED fiemap flag was introduced in 2.6.33. If the
headers do not provide the definition, the build will fail. The support
of the fiemap sharing depends on the running kernel. There are still
systems with 2.6.32 kernel headers but running newer versions.

To support such environment, don't fail build, provide own defintion of
the structure and detect if there's an old kernel in use in the relevant
command (btrfs fi du).

Reported-by: Abhay Sachan <lkp.abhay@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: detect version of running kernel

Use the uname syscall and parse the string.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: volumes: Remove BUG_ON in raid56 write routine

Remove various BUG_ON in raid56 write routine, including:
1) Memory allocation error
   Old codes allocates memory when code needs new memory in a loop, and
   catch the error using BUG_ON().
   New codes allocates memory in a allocation loop first, if any failure
   is caught, freeing already allocated memories then throw -ENOMEM.

2) Write error
   Change BUG_ON() to correct return value.

3) Validation check
   Same as write error.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: rename raid6.c to raid56.c

This allows us to put raid5 codes into that file other than creating a
new raid5.c.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: test: Add image for quota verify stack overflow

For image with tree reloc tree, if its height is over level 2, the root
node's backref will point to itself.  It's valid for kernel, but quota
verify code can't handle it and cause a infinite call, overflowing the
stack.

Add minimal image to reproduce the bug, as regression test.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
[ minor cleanups in test.sh ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: test: Add test image for btrfsck qgroup rescan detection

Fixed by commit 7c646c538e74 btrfs-progs: qgroup: Fix regression leads
to corrupted qgroup status.

Add minimal test image for that fix.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
[ minor cleanups in test.sh ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Fix stack overflow for checking qgroup on tree reloc tree

For tree reloc tree whose level is >= 2, the root node's parent will
point to itself.
In this case it will make btrfsck overflow its stack and cause segfault.

While for tree reloc tree, it doesn't affect qgroup and kernel can
handle it well.

So add tree reloc tree check for qgroup-verify.c and fix the bug.

Test case will follow soon after I make a minimal image for it.
Current xz ziped image is still over 10M for a 512M fs.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: fix compiler warning

In v4.8-rc1, gcc 5.3.1 gives following warning. Fixed it.

    [CC]     btrfs-image.o
btrfs-image.c: In function 'flush_pending':
btrfs-image.c:708:17: warning: 'start' may be used uninitialized in this function [-Wmaybe-uninitialized]
  header->bytenr = cpu_to_le64(start);
                 ^
btrfs-image.c:927:6: note: 'start' was declared here
  u64 start;
      ^

Signed-off-by: Tsutomu Itoh <t-itoh@jp.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert-test: Add test case for common inode flags

Add a new test case to check if btrfs-convert copies common inode flags
like append(a), immutable(i).

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
[ minor fixes ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert: Convert ext inode flags to btrfs inode flags

Before this patch, btrfs-convert never copy ext* inode flags to
corresponding btrfs inode flags.

This makes common flags like APPEND/SYNC/SYNCDIR/IMMUTABLE not copied to
btrfs inode.

This patch introduces ext2_convert_inode_flags() function to handle the
convert, so btrfs-convert can copy as many inode flags as possible.

Reported-by: Lakshmipathi.G <lakshmipathi.g@gmail.com>
Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Make btrfs-debug-tree print all readable strings for inode flags

Before this patch, only 3 inode flags have readable string: NODATACOW,
NODATASUM, READONLY.

This patch will output all readable strings for remaining inode flags,
making debug-tree tool more handy.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
[ minor adjustments ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Copy btrfs inode flags from kernel header

Btrfs-progs header lacks quite a lot inode flags.
Copy them from kernel for later use.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Add fast,slow symlinks, fifo types to convert test

Signed-off-by: Lakshmipathi.G <Lakshmipathi.G@giis.co.in>
[ fix root helper use in fast_symlink ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: btrfs-debugfs: cleanup unused variables reported by pylint

Signed-off-by: Lakshmipathi.G <Lakshmipathi.G@giis.co.in>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: test: add default ioctl-test build

Add another target that'll use default compiler options, eg. if we don't
know the bitness of the architecture or gcc does not recognize the
-m32/-m64 options.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: make the ioctl-test actually useful

Enhance the test to verify ioctl uniqueness, compare the defined values
against the hardcoded expected values, and take care of the 32bit/64bit
compatibility workarounds.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: ioctl: add 64bit compat for SEND

The ioctl value of SEND will be different on 32bit userspace and 64bit
kernel due to different pointer type width, that unfortunatelly made it
into the structure definition.

To maintain backward compatibility, we must do it in the 64bit->32bit
way, because we don't have the kernel side workardound like
SET_RECEIVED_SUBVOL has.  Changing value of SEND would then break
existing users of the raw ioctl.

The compatibility structure and ioctl should not be used, exists for
documentation, and testing.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: ioctl: add 32bit compat for SET_RECEIVED_SUBVOL

The ioctl value of SET_RECEIVED_SUBVOL will be different on 32bit
userspace and 64bit kernel. This is transparently handled on the kernel
side. We now define the same structure so we can verify the ioctl value.

The defined structure and ioctl should not be used. It is exists only
for testing purposes, documenting the mess and as a warning for the
future.

Signed-off-by: David Sterba <dsterba@suse.com>

Btrfs progs v4.8.1

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: update CHANGES for v4.8.1

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: ioctl: make build-time structure size checks optional

Temporarily make the build checks optional. The structure sizes could
change on arches due to alignment requirements or padding inserted into
the structures. We need more extensive tests to make sure we'd not break
ioctls.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fix printf format of sizeof on 32bit build

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add script to help build coverage

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Fix warning_trace compile error if backtrace is disabled

If we disable backtrace, btrfs-progs can't be compiled since we don't
have warning_trace defined.

Fix by move it out of #ifndef BTRFS_DISABLE_BACKTRACE block.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
[ move warning_trace to the right place ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: build: add explicit option separator to rm commands

Signed-off-by: David Sterba <dsterba@suse.com>

Btrfs progs v4.8

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: update CHANGES for v4.8

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: add build-time checks for size of ioctl structures

All structures that become part of ioctl definition must never change
size. Add the build time checks for that.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: fix warning for printf format on 32bit

Compiler complains about nlink_t and %ld format on 32bit build. Add
typecast and fix the format.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: kerncompat: add build-time assertion support

Macro to verify compile-time conditions, like sie of structures or
types.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: build: add alias for check tests

$ make test-check"

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: kerncompat: call abort at the end of assert_trace

The assert* helpers should not exit normally, mimick the behaviour of
the std library assert.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: kerncompat: make WARN_ON more verbose

Curretnly WARN_ON would crash but that's not it's purpose. Add helper
that prints the warning, optionally with trace.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: teach run_mayfail about sigabrt

Mayfail helper should stop when we encoutner an abort.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: dump-super: print chunks after validation

The fuzz test 005-simple-dump-super hits a crash, because we print the
chunks too early.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert: add new callback to check state

Make the hardcoded ext2 call to a generic per-fs callback.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: rename __setup_root and change to return void

Exported function should use a prefix.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: don't treat segfault as ignorable error

Some fuzzed images cause various tools to crash but the mayfail helper
would not recognize that. We don't mind if the utility failes but it
must not crash.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: split test 004 to separate tests

Makes testing specific tool easier.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: don't access freed memory in btrfs_close_devices

Caught by ASAN, as we don't access fs_devices directly, there's no null
deref but 0x30 is still wrong.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: chunk-recover: handle duplicate cache entries

Triggered by fuzzed image bko-155621-bad-block-group-offset.raw .

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: print value when assertion fails

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: drop useless bug_on

The callers touch 'target', no point checking it inside restore_metadump
again.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: return negativer error from all paths in mdrestore_init

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: catch zero length extents, avoid endless loop

If an extent is found to have length 0, we'd loop endlessly in
copy_from_extent_tree. Reproduced by fuzzed image
bko-166361-blocksize-zero.raw within test 002-simple-image .

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add fuzzed image with bad parent refs, qgroup-verify

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: better error handling in find_parent_roots

Fix use-before-sanity-check leading to undefined behaviour and handle
errors more gracefully.

Reported-by: Lukas Lueg <lukas.lueg@gmail.com>
Bugzilla: https://bugzilla.kernel.org/show_bug.cgi?id=156811
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add fuzzed images with bad blocksize/lengh of eb

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: more sanity checks in read_tree_block_fs_info

If blocksize is 0, it passes the IS_ALIGNED check but fails later as the
length of ebs will be zero.

Reported-by: Lukas Lueg <lukas.lueg@gmail.com>
Bugzilla: https://bugzilla.kernel.org/show_bug.cgi?id=169311
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: btrfstune: use common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: use common message helpers

Usage errors are turned to normal errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Remove unnecessary parameter to clear_extent_uptodate

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: qgroup: Fix regression leads to corrupted qgroup status

Commit 93dabf211d74daf6e3de642bdd887a90a00f7b49
Author: Mark Fasheh <mfasheh@suse.de>
Date:   Fri Jun 17 13:37:48 2016 -0700

    btrfs-progs: check: verify qgroups above level 0

This commit introduced a new regression which corrupts
read_qgroup_status, since it iterate leaf with manually specified slot,
not correct path->slot[0].

This leads to wrong slot[0] and read_qgroup_status() will read out wrong
flags, leading to regression.

Fix read_qgroup_status() by using eb and slot instread of wrong path
strucutre.

Reported-by: Tsutomu Itoh <t-itoh@jp.fujitsu.com>
Cc: Mark Fasheh <mfasheh@suse.de>
Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: constify string arguments where appropriate

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: don't write to optarg in btrfs_qgroup_parse_sort_string

Dup the string that gets passed to strtok so we don't destroy callers
buffer.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: remove stray function declaration

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: restore: update help text

Make it clear that --xattr restores the xattrs. Fix some whitespace
damage and add an enum for the long-only option.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: super-recover: Reuse btrfs_read_dev_super function

We have enhanced super block validation check in disk_io.c, while
super-recover doesn't use that function and use a custom one.

That is duplicated, so reuse btrfs_read_dev_super to handle it, which
not only enhanced super check, but also reduce the code length.

Reported-by: hawken <hawken@thehawken.org>
Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Return more meaningful value for btrfs_read_deve_super

btrfs_read_dev_super() only returns 0 or -1, which doesn't really help,
caller won't know if it's caused by bad superblock or superblock out of
range.

Return -errno if pread64() return -1, and return -EOF if none or part of
the super is read out, and return what check_super() returned.

So caller can get -EIO to catch real corrupted super blocks.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fix user-facing typos in docs and help strings

Signed-off-by: Nicholas D Steeves <nsteeves@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: document exit codes from scrub

Signed-off-by: Adam Borowski <kilobyte@angband.pl>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: move 3rd party kernel library modules to own directory

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: build: add basic support for subdirectory build

Add explicit target file names and set the top source directory.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add script to scan results for some known runtime errors

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: iterate over fuzzed images and test various tools

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: change btrfs_csum_final result param type to u8

Signed-off-by: Domagoj Tršan <domagoj.trsan@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert: check source file system state

Signed-off-by: Lakshmipathi.G <Lakshmipathi.G@giis.co.in>
[ add doc note ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: remove useless helper

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: use PATH_MAX in cmd_inspect_logical_resolve

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: remove unused variable in add_inode_items

It hasn't been used since the first commit.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cleanup, kill trivial btrfs_key_type helper

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cleanup, kill trivial btrfs_set_key_type helper

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: improve error handling in clone_inode_rec

Cleanup the rb_tree.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: corrupt-block: fix assertion condition

The ->data is no longer a pointer but an embedded array.

Resolves-coverity-id: 1372671
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: switch some messages to common helpers

Switch the messages that do not come from the actual image checking,
more like the parameter verification.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: switch to common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert: improve error handling in do_rollback

Handle transaction errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: improve error handling in add_extent_rec_nolookup

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: handle errors returned by add_extent_rec_nolookup

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: use standard allocation functions in non-kenrel code

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: improve error handling in btrfs_add_to_fsid

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: corrupt-block: improved error handling in corrupt_item_nocow

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: dump-super: switch to common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: improve error handling in btrfs_alloc_data_chunk

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: remove redundant check in btrfs_add_to_fsid

The callers do the sanity checks.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: prop: simplify help printing code

Remove a trivial helper.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tree-stats: switch to common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fi du: improved error handling in mark_inode_seen

The callchain handles errors, don't crash on unexpected condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fi du: catch bogus extent lengths

If we get a zero-length from the ioctl for whatever reason, we should
not crash.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: inspect: improved error handling

Two remaining BUG_ON, be more specific what's wrong.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: improved error handling in btrfs_print_tree

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: qgroup: switch to common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: remove trivial helpers for filtering functions

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: catch invalid flags in open_ctree_fd

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert: improve error handling in create_image_file_range

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: handle block ordering errors in make_btrfs

Signed-off-by: David Sterba <dsterba@suse.com>