btrfs-progs: Add new option for specify chunk root bytenr

Add new btrfsck option, '--chunk-root', to specify chunk root bytenr.
And allow open_ctree_fs_info() function accept chunk_root_bytenr to
override the bytenr in superblock. This will be mainly used when chunk
tree corruption.

Signed-off-by: Lu Fengqi <lufq.fnst@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fix broken 'device scan' arguments parsing

Commit 52179e4fea41e55f31c92cd033a0b53a5107b4f4 'btrfs-progs: unify argc
min/max checking' breaks 'btrfs device scan' command when no argument
was given. Fix this.

Signed-off-by: Yauhen Kharuzhy <yauhen.kharuzhy@zavadatar.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: unify argc min/max checking, a few more

We don't want to modify argc.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: util: Fix a wrong unit of pretty_size

If parameter for pretty_size is smaller than default base(1024),
pretty_size() will output wrong unit.
For example, pretty_size(1008) will output '0.98B' not '1008B' or
'0.98KiB'.

The cause is, for default base and auto-detect unit, base will be 1024
but num_divs is still 0, last result will still be divided by base,
causing the bug.

Fix it by checking num_divs in default case, and if num_divs is 0,
change base to 1.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add image for bko#96971 (bad checksum type)

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: libbtrfs: remove max/min macros from API

kerncompat.h header file is part of libbtrfs API. min/max macros cause
conflict while building projects dependant on libbtrfs. Moving those
macros to btrfs-progs internal header file fixes the conflict.

Signed-off-by: Ondrej Kozina <okozina@redhat.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: convert: document -O|--features flag

Copy-pasted description found at mkfs.btrfs. I did not bother with
feature list as it seemed to be incomplete.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: don't print message for a missing device

The message

"warning devid %llu not found already\n",

does not seem to be too useful, it appears during several commands and
sometimes repeatedly.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: restore: update error messages

Switch to common helpers, message wording changed.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: switch more error messages to common helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: fix misc/005-long-device-name-for-ssd

We use a device mapper device on top of a loop device, the change in
rotational status does not always propagate if change it at the loop
device sysfs node.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: inspect: remove unnecessary helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: unify argc min/max checking

We don't want to modify argc.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: unify naming of argc and argv

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: rename commandline helpers

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: add getopt stubs where needed

Commands that do not take any options do not use getopt, which means the
standard option separator "--" does not work. Update all command
handlers that need it, argv needs to be referenced using the optind that
is correctly pointed after the separator.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: add note about resizing to max after device replace

Signed-off-by: Alexander Fougner <fougner89@gmail.com>
[ formatting adjustments ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fi du: add long options for units

Drop -h, add just the common long options for now.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fi du: switch to u64

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fi du: Calculate space shared by each directory arguments file set

Here we define each file set as those found by a recursive search of a
single directory argument to btrfs fi du.

This isn't as simple as adding up shared extents - they may be shared with
each other, and may also overlap. This patch uses an interval tree to store
shared extents we find while fiemapping files. After collecting them, a 'set
shared' count is calculated by summing (without overlap) each shared region
discovered. This is then displayed to the user as 'set shared'.

Signed-off-by: Mark Fasheh <mfasheh@suse.de>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: filesystem: add 'du' command

'btrfs du' differs from regular du in that it will work to resolve which
blocks are shared between files in its list. This gives the user a more
accurate bytecount from which they can make decisions regarding management
of their file space.

We still print a total number of bytes counted (like regular du), but also
print the number of bytes which were found to have been shared amongst the
file set provided. From there it becomes trivial to calculate how much space
is exclusively owned.

Signed-off-by: Mark Fasheh <mfasheh@suse.de>
[ rename files to reflect the filesystem command group, add GPL v2
  file headers ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: build: extend per-binary objects

The standalone utilities could share object files with the main utility,
add a way to specify additional object files in a similar way to the
extra libs. The variable name must match the binary plus _objects
suffix and  s/-/_/ .

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: update docs for inspect-internal dump-super

Signed-off-by: Alexander Fougner <fougner89@gmail.com>
[ minor formatting updates ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: introduce inspect-internal dump-super

The long-term plan is to merge the features of standalone tools
into the btrfs binary, reducing the number of shipped binaries.

Signed-off-by: Alexander Fougner <fougner89@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: update docs and completion for inspect-internal dump-tree

Signed-off-by: Alexander Fougner <fougner89@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: copy functionality of btrfs-debug-tree to inspect-internal subcommand

The long-term plan is to merge the features of standalone tools
into the btrfs binary, reducing the number of shipped binaries.

Signed-off-by: Alexander Fougner <fougner89@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

Btrfs progs v4.4.1

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Import interval tree implemenation from Linux v4.0-rc7.

While I had the chance, I compared the rbtre code in btrfs-progs to that of
the latest kernel.  No new bug fixes need importing, however rbtree.h and
rbtree_augmented.h get documentation updates

Signed-off-by: Mark Fasheh <mfasheh@suse.de>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: misc-test: Add regression test for find-root gives empty result

Add regression test for btrfs-find-root gives empty result even the fs
is OK.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
[ enhanced test ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: find-root: Allow btrfs-find-root to search chunk root even chunk root is corrupted

Since now open_ctree_fs_info() can even return a valid fs_info with only
system chunk mapping from super block, use this ability to do chunk root
search for heavily damanged fs.

As an fast alternative for time consuming and buggy chunk-recovery.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Add support for tree block operations on fs_info without roots

Since open_ctree_fs_info() now may return a fs_info even without any
roots, modify functions like read_tree_block() to operate with such
fs_info.

This provides the basis for btrfs-find-root to operate on chunk tree
with corrupted fs.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
[ coding style adjustments, unified declarations ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Allow open_ctree to return fs_info even chunk tree is corrupted

Current open_ctree_fs_info() won't return anything if chunk tree root is
corrupted.
This makes some function, like btrfs-find-root, unable to find any older
chunk tree root, even it is possible to use system_chunk_array in super
block.

And at least two users in mail list has reported such heavily chunk
corruption.
Although we have 'btrfs rescue chunk-recovery' but it's too time
consuming and sometimes not able to cope with a specific filesystem
corruption.

This patch adds a new open ctree flag,
OPEN_CTREE_IGNORE_CHUNK_TREE_ERROR, allowing fs_info to be returned from
open_ctree_fs_info() even there is no valid tree root in it.

Also adds a new close_ctree() variant, close_ctree_fs_info() to handle
possible fs_info without any root.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
[ adjusted error messages ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: volume: Fix a bug causing btrfs-find-root to skip first chunk

There is a small bug from 2011, where btrfs_next_bg (formally
btrfs_next_metadata) function will always skip the first chunk.

That's OK for that time, as there is always 3 empty temporary chunks.
But now, we may ended up with only one metadata or system chunk, with
empty chunk auto-remove from kernel or new mkfs.btrfs.

So fix it by checking the initial value so btrfs_next_bg() will return
the first chunk if its *logical parameter is 0.

Signed-off-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fix symlink creation multiple times

The rule to create symlink in Makefile caused parallel issue:
$ make -j 40 DESTDIR=/image install BUILD_VERBOSE=1
...
  1     [LN]     libbtrfs.so.0
  2     [LN]     libbtrfs.so
  3 ln -s -f libbtrfs.so.0.1 libbtrfs.so.0
  4 ln -s -f libbtrfs.so.0.1 libbtrfs.so.0
  5 ln -s -f libbtrfs.so.0.1 libbtrfs.so
  6 ln -s -f libbtrfs.so.0.1 libbtrfs.so
...

It failed occasionally:
...
|symlinkat: couldn't stat 'git/libbtrfs.so' even though symlink
creation succeeded (No such file or directory).
|ln: failed to create symbolic link 'libbtrfs.so': No such file or directory
...

Signed-off-by: Hongxu Jia <hongxu.jia@windriver.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: use common variables and helpers

Use TEST_DEV and the associated helpers to manage the tested image.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: store checksums in /tmp

We don't want to store the checksum on filesystem that we're converting.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: do checksum verification with convert-tests

Signed-off-by: Lakshmipathi.G <Lakshmipathi.G@giis.co.in>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: write down the meaning of BTRFS_ARG_BLKDEV

Although BTRFS_ARG_BLKDEV can be returned from check_arg_type(),
it's not explained the meaning.

Signed-off-by: Satoru Takeuchi <takeuchi_satoru@jp.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: describe btrfs-send requires read-only subvolume

Both man btrfs-send(8) and usage message don't describe
btrfs-send needs read-only snapshot as its argument.

Signed-off-by: Satoru Takeuchi <takeuchi_satoru@jp.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Fix self-reference of man btrfs-subvolume

btrfs-subvolume(8) is mentioned at "SEE ALSO" section of itself.

Signed-off-by: Satoru Takeuchi <takeuchi_satoru@jp.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: doc: fix size suffix in mkfs.btrfs

There is no petabyte in the explanation of the suffix of
the size parameter. So, it's added.

Signed-off-by: Tsutomu Itoh <t-itoh@jp.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: doc: fix typo of some documents

Some typos are corrected.

Signed-off-by: Tsutomu Itoh <t-itoh@jp.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fix compat_ro mask for free space tree

The BTRFS_FEATURE_COMPAT_RO_FREE_SPACE_TREE bit is supposed to be in the
COMPAT_RO_SUPP bitmask.

Reported-by: Holger Hoffstätte <holger.hoffstaette@googlemail.com>
Reported-by: Qu Wenruo <quwenruo@cn.fujitsu.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Makefile.in: Simplify/correct install-static

install -D does not create the last component, so this failed if
$(DESTDIR)$(bindir) did not already exist.

There's no need for a loop here since install accepts multiple source
arguments.

Signed-off-by: Mike Gilbert <floppym@gentoo.org>
Signed-off-by: David Sterba <dsterba@suse.com>

Btrfs progs v4.4

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: update balance manual page

Make the new balance filters' syntax more explicit. Other rewording and
reformatting.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: debug-tree: tweak tree node checks

The tree root and chunk root base pointers are verified in open_ctree so
we don't get NULL here. We still check the node pointers to get better
error message.

Resolves-coverity-id: 1348450
Resolves-coverity-id: 1348451
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fix static build

Change in "btrfs-progs: introduce helper for parsing args without
options" added a dependency on help.o that was duplicated for the static
build.

Signed-off-by: Noah Massey <noah.massey@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: Use AC_CHECK_TOOL to find AR

AC_CHECK_TOOL takes the --host option into account for cross-compiling.

Signed-off-by: Mike Gilbert <floppym@gentoo.org>
Signed-off-by: David Sterba <dsterba@suse.com>

Btrfs progs v4.4-rc1

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: subvol show: use clean_args_no_options instead of opencoding

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: introduce helper for parsing args without options

All commands should support the "--" option separator. This is
transparently handled by getopt, but we don't use that everywhere.
Introduce a helper for commands that take no options (just the path).
The object file dependencies need to be adjusted a bit.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: move prefixcmp to utils

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: receive: don't leak open find handle

Resolves-coverity-id: 1348121
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: also check filesystem type in test_issubvolume

A subvolume is a directory with inode number 256 on a btrfs filesytem.
Add the missing check to test_issubvolume for completeness, otherwise we
always do that in btrfs_open_dir.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: more verbose errors from test_issubvolume

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: let test_issubvolume return the exact error

Return any error from stat, minor cleanups.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: use symbolic name for subvolume inode number in test_issubvolume

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: handle errors from test_isdir

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: let test_isdir return the exact error

Return any error from stat, normalize the return value in case the path
is a directory.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: debug-tree: teach -t option about the chunk and root trees

A user on IRC wanted to dump the chunk tree using the -t option. As the
-t option enumerates only trees pointed by the tree_root, the chunk tree
is skipped. Similar for th tree of tree roots.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: subvol show: handle options by getopt

The subvolume show command does not take any optios but at least it
should honor "--", as reported.

Bugzilla: https://bugzilla.kernel.org/show_bug.cgi?id=110181
Reported-by: <moviuro+kernel@gmail.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: fi usage: support mixed blockgroups

Properly account the duplicated block groups and global reserve.

Bugzilla: https://bugzilla.kernel.org/show_bug.cgi?id=110111
Reported-by: Chris Murphy <bugzilla@colorremedies.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: enhance btrfs-filesystem manual page

Wording, formatting, explanations, examples.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: tests: add missing prerequisites

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-porgs: fi usage: rename variable to avoid shadowing

Reported by gcc -Wshadow .

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-porgs: check: rename variable to avoid shadowing

Reported by gcc -Wshadow .

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-porgs: qgroup: rename variable to avoid shadowing

Reported by gcc -Wshadow .

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: add function attributes for the printf-like

Reported by gcc -Wsuggest-attribute=format .

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: build: fix builds with extra warnings, W=1

Wrong variable name used in the main makefile.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check for negative return value from ioctl

Handle only negative values returned by ioctl syscalls, with exception
of the device remove. It returns positive values that are handled later.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: remove unnecessary errno temp variables

We can read errno directly if it's not clobbered by any intermediate
calls.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: free-space-tree: minor message adjustments

Signed-off-by: David Sterba <dsterba@suse.com>

btrfsprogs: corrupt-blocks: include limits.h to define PATH_MAX

limits.h is needed for PATH_MAX definition

Fixes
| btrfs-corrupt-block.c: In function 'corrupt_dir_item':
| btrfs-corrupt-block.c:478:12: error: 'PATH_MAX' undeclared (first use in this function)
|   char name[PATH_MAX];

Signed-off-by: Khem Raj <raj.khem@gmail.com>
[ minor changelog edits ]
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: document new mount option fragment

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: sort mount options alphabetically

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: check the free space tree in btrfsck

This reuses the existing code for checking the free space cache, we just
need to load the free space tree. While we do that, we check a couple of
invariants on the free space tree itself. This requires pulling in some
code from the kernel to exclude the super stripes.

Signed-off-by: Omar Sandoval <osandov@fb.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: add basic awareness of the free space tree

To start, let's tell btrfs-progs to read the free space root and how to
print the on-disk format of the free space tree. However, we're not
adding the FREE_SPACE_TREE read-only compat bit to the set of supported
bits because progs doesn't know how to keep the free space tree
consistent.

Signed-off-by: Omar Sandoval <osandov@fb.com>
Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs: rename btrfs-mount to btrfs-man5

The page does will not contain only mount options but other stuff.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: docs, btrfs-mount: enhance file attributes section

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cleanup, move usage help strings closer to the command callbacks

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd property: use correct usage strings

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd fi usage: switch to common error message wrapper

Message texts were adjusted.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd filesystem: switch to common error message wrapper

Message texts were adjusted.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd replace: switch to common error message wrapper

Message texts were adjusted.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd subvolume: switch to common error message wrapper

Message texts were adjusted.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd send: switch to common error message wrapper

Message texts were adjusted.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd receive: switch to common error message wrapper

Message texts were adjusted.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd qgroup: switch to common error message wrapper

Message texts were adjusted.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd property: switch to common error message wrapper

Message texts were adjusted.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd balance: switch to common error message wrapper

Message texts were adjusted.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd quota: switch to common error message wrapper

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: cmd rescue: switch to common error message wrapper

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: catch memory allocation failure in btrfs_split_item

Do the dumb BUG_ON now, the function needs more changes to handle all
errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: handler memory allocation failure in add_extent_rec

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: catch memory allocation failure from alloc_data_backref

Do the dumb BUG_ON now, the function needs more changes to handle all
errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: catch memory allocation failure from alloc_tree_backref

Do the dumb BUG_ON now, the function needs more changes to handle all
errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: catch memory allocation failure in splice_shared_node

Do the dumb BUG_ON now, the function needs more changes to handle all
errors.

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: handle errors in get_inode_backref and fail in the caller

Signed-off-by: David Sterba <dsterba@suse.com>

btrfs-progs: handle errors in get_root_backref and fail in the caller

Signed-off-by: David Sterba <dsterba@suse.com>