btrfs-progs: add OPEN_CTREE_INVALIDATE_FST flag

If this flag is passed to open_ctree(), we'll clear the
FREE_SPACE_TREE_VALID compat_ro bit. The kernel will then reconstruct
the free space tree the next time the filesystem is mounted.

Reviewed-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: Omar Sandoval <osandov@fb.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: format FREE_SPACE_TREE{,_VALID} nicely in dump-super

Signed-off-by: Omar Sandoval <osandov@fb.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: add the FREE_SPACE_TREE_VALID compat_ro bit definition

This is just the definition; we don't support it yet.

Signed-off-by: Omar Sandoval <osandov@fb.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send: fix failure of fstests btrfs/038

The following patch was imperfect, so xfstests btrfs/038 was failed.

  6d4fb3d  btrfs-progs: send: fix handling of multiple snapshots (-p option)

[before]
| # ./check btrfs/038
| FSTYP         -- btrfs
| PLATFORM      -- Linux/x86_64 luna 4.9.0-rc5
| MKFS_OPTIONS  -- /dev/sdb3
| MOUNT_OPTIONS -- /dev/sdb3 /test6
|
| btrfs/038 1s ... [failed, exit status 1] - output mismatch (see /For_RT/xfstests2/results//btrfs/038.out.bad)
|     --- tests/btrfs/038.out     2015-08-04 16:09:38.000000000 +0900
|     +++ /For_RT/xfstests2/results//btrfs/038.out.bad    2016-11-15 13:39:48.589435290 +0900
|     @@ -7,3 +7,5 @@
|      XXX Bytes, X ops; XX:XX:XX.X (XXX YYY/sec and XXX ops/sec)
|      wrote 10000/10000 bytes at offset 300000
|      XXX Bytes, X ops; XX:XX:XX.X (XXX YYY/sec and XXX ops/sec)
|     +failed: '/usr/local/bin/btrfs send -p /test6/mysnap1 -c /test6/clones_snap /test6/mysnap2 -f /tmp/tmp.aLpvAC7lsx/2.snap'
|     +(see /For_RT/xfstests2/results//btrfs/038.full for details)
|     ...
|     (Run 'diff -u tests/btrfs/038.out /For_RT/xfstests2/results//btrfs/038.out.bad'  to see the entire diff)
| Ran: btrfs/038
| Failures: btrfs/038

[after]
| # ./check btrfs/038
| FSTYP         -- btrfs
| PLATFORM      -- Linux/x86_64 luna 4.9.0-rc5
| MKFS_OPTIONS  -- /dev/sdb3
| MOUNT_OPTIONS -- /dev/sdb3 /test6
|
| btrfs/038 1s ... 1s
| Ran: btrfs/038
| Passed all 1 tests

Signed-off-by: Tsutomu Itoh <t-itoh@jp.fujitsu.com>
[ Verified that this fixes both btrfs/038 and btrfs/117 ]
Tested-by: Omar Sandoval <osandov@fb.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add more tests to the CI build

Run more tests in the travis build environment. The mkfs tests are still
left out due to missing capabilities of losetup.

Other minor travis adjustments.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: enhance TEST_LOG features

Add new keyword to dump the log file after any test fails. Can be useful
for remote analysis of test failures.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: check for TEST_LOG values by a regex

The set of possible values will be extended so check for existence of
the keyword.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: change options to list all loop devices

The option --list might not be available on older versions, the
equvalent is --all. Discovered via failed travis build.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: use the root helper for various info retrieval commands

The current user might not be able to peek into the loop files directly,
use the helper. Discovered by running tests in travis.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: fix typo in btrfs-scrub manual page

Reported on IRC.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: track the read position in the stream

Can be later used for more precise error reporting.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add basic checks for bad stream on the receive side

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: check number of read bytes from stream

The read_buf does not verify that we've read the expected number of
bytes.  A corrupted of malformated stream will not be detdcted.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: document return values of some functions

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: use proper type for cmd in read_cmd

We just read and assign the value, there's no reason to use different
types.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: don't use single letter variable in tlv_get

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: use proper types for tlv header values

Switch types to unsigned and adjust the checks.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: use proper type for read return value

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: change length type to unsigned

The command length is unsigned, use the right type, also to make the
length checks work.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: check command length before reading from stream

The command + header length could not fit to the intermediate buffer.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: pass char buffer to read_buf

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: fix size types passed to read_buf

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: rename single letter variable

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send-stream: switch to common message helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add more fuzzed images from bugzilla

Fixing the problems by one does not scale now. Add more images despite
the fuzz tests will fail. They have been for some time already.

Reported-by: Lukas Lueg <lukas.lueg@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: ioctl: fix compilation if ioctl.h is included standalone

Definition of NULL is missing if ioctl.h is included standalone or when
no other include pulls the definition.

Reported-by: Sergei Trofimovich <slyich@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: return best entry, if it is the first one

The find_most_right_entry() tends to miss on the best entry if it is the
first one on the list and there are only two entries in the list.  So,
we assign both prev and best to entry.

To do this, the selection process (rather the rejection) has to be
performed earlier to skip on broken==count.

Signed-off-by: Goldwyn Rodrigues <rgoldwyn@suse.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: utils: Fix NULL pointer derefernces in string_is_numerical

In get_running_kernel_version() function, we directly pass return
pointer from strtok_r() to string_is_numerical().

Return pointer from strok_r() can be NULL, but string_is_numerical()
can't handle it and will cause NULL pointer derefernces.

Fix it by check if it's a NULL pointer first.

Resolves-Coverity-CID: 1374097
Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

Btrfs progs v4.8.3

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: update CHANGES for v4.8.3

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: enhance run_mayfail description comment

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add quotation around variables in support scripts

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add quotation around variables in common.convert

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add quotes around variables in common

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add path assertions to post-checks

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add assertion helper

Helper to extend sanity checks in various functions.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: refactor post-convert check helpers

Separate checksum test from convert_test_post_check and use it to fix
the broken test 005 as reported.

References: https://bugzilla.kernel.org/show_bug.cgi?id=177141
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: check if kernel has btrfs support

Add some sanity checks, reported among other issues via bugzilla.

References: https://bugzilla.kernel.org/show_bug.cgi?id=177141
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: print the new UUID

Unless the uuid is specified as the command line option, it's not
printed in the summary.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: add names of matching sysfs feature names

The mkfs parameters do not match file names exported through sysfs.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: enhance feature table

Add string and numeric version for later use so we don't have to convert
all the time.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: extend mkfs features with compat, safe and default versions

Enhance the mkfs_features list with the minimum kernel versions that
will allow for turning on compatible and/or safe options.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: add temporary variable for fs features

A minor cleanup before other changes.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Fix memory leak in write_raid56_with_parity

Ebs and pointers are allocated, but if any of the allocation failed, we
should free the allocated memory.

Resolves-Coverity-CID: 1374101
Resolves-Coverity-CID: 1374100
Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add checking of send multiple clone source option

Sending stream size of clone-src(-c) option is checked.
Fixed by "btrfs-progs: send: fix handling of -c option".

Signed-off-by: Tsutomu Itoh <t-itoh@jp.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send: check for output file existence before creating

In some cases the root might not be able to create the output file (and
streaming to stdout is not an option). Make the output file creation two
step and let it work if the file is already created.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: send: fix handling of -c option

When two or more -c options are specified, cannot find a suitable
parent. So, output stream is bigger than correct one.

[before]
At subvol Snap1
At subvol Snap2
At subvol ../SnapY
-rw------- 1 root root 3153 Oct 19 10:37 /tmp/data1

[after]
At subvol Snap1
At subvol Snap2
At subvol ../SnapY
-rw------- 1 root root 1492 Oct 19 10:39 /tmp/data1

Signed-off-by: Tsutomu Itoh <t-itoh@jp.fujitsu.com>
[ constify subvol argument, renamed single letter variables ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: teach extract_image about packed streams

Packed streams for testing purposes should be packed with 'xz -9' and
use suffix .stream.xz .

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: use correct type for device id iteration in get_fs_info

Coverity reports (CID 1374096) that there's return value overflow of
ret from get_device_info, but this most likely cannot happen. There's
another minor issue where we use int to iterate over devids.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: crc32: use fallback implementation for unaligned buffers

ASAN reports that at some point the crc function gets an unaligned
buffer. It's the optimized intel version that casts char to ulong, the
buffer is the embedded filename in the directory items.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: teach scan-results about more errors

ASAN detects use after free.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fix search tree v2 ioctl detection

The result of the test applies per-filesystem, so we can't simply cache
it. The function hasn't been used yet.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fix unaligned u64 access in btrfs_alloc_data_chunk

The key.offset member is not well-aligned as the key is packed, use a
temporary variable to pass the argument. Reported by ASAN in misc test
002.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: update mkfs help string and manual page

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: mkfs: simplify checks in directory_select

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: btrfstune: use on-stack path buffer in change_devices_uuid

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: btrfstune: use on-stack path buffer in change_extents_uuid

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: chunk-recover: use on-stack path buffer in rebuild_block_group

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: remove unused variable in record_extent

In a similar code, it's used for a message. Not used in this code since
the beggingin, safe to remove.

Resolves-coverity-id: 1364085
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: restore: use on-stack path buffer in find_first_dir

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: restore: use on-stack path buffer in do_list_roots

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: restore: use on-stack path buffer in search_dir

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: restore: use on-stack path buffer in copy_symlink

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: restore: use on-stack path buffer in copy_file

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: restore: use on-stack path buffer in copy_metadata

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: restore: use on-stack path buffer in set_file_xattrs

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tree-stats: use on-stack path buffer in calc_root_size

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in repair_root_items

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in build_roots_info_cache

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in fill_csum_tree_from_extent

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in fill_csum_tree_from_fs

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in fill_csum_tree_from_one_fs_root

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in delete_bad_item

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in recow_extent_buffer

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in reset_balance

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in reset_block_groups

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in fixup_extent_flags

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in fixup_extent_refs

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in record_orphan_data_extents

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in delete_duplicate_records

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in check_extent_exists

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in check_extent_csums

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in verify_space_cache

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in try_to_fix_bad_block

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in repair_btree

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in try_repair_inode

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in find_normal_file_extent

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in delete_dir_index

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check: use on-stack path buffer in add_missing_dir_index

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert bitfield to separate variables in btrfs_path

We don't have that many bitfields that would save space.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: qgroup: use on-stack path buffer in repair_qgroup_status

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: qgroup: use on-stack path buffer in repair_qgroup_info

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: utils: remove useless check in make_btrfs

A leftover when fs_uuid was dynamically allocated, the condition was
always true, no functional change.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fi du: don't redefine standard macro/function

The macro dprintf is defined in stdio.h, rename it.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: dump-tree: use new names for obsoleted keys

The DEV_STATS and BALANCE_ITEM have been deprecated in favor of more
general items, print the new names in the dump.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: use embedded array for metadump cluster buffer

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: use fixed-size array for worker thread pointers

No need to dynamically allocate the thread pointers.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: add symbolic constant for max thread count

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: use on-stack path buffer in fixup_devices

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: image: use on-stack path buffer in create_metadump

We don't need to conserve stack space too much unlike kernel, also
remove one error condition.

Signed-off-by: David Sterba <dsterba@suse.com>