TODO: remove an entry about magic sequences

I've tried this, it is not really eassy to do. For example, for tar.bz2
and .bz2 the magic sequence is the same. Lets' leave it as it is.

Change-Id: I4919b1c35104457b1aa42b367e227497f9fd1127
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

README: master branch points to the latest release

Update the documentaion and tell that the master branch points to the latest
release, not pre-release.

Change-Id: Icb51a71b36809097c84466f5d7cbbffdf9c4ffe0
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

bmaptool: improve warning message

The tool tries to be generic and it is better to use word "copying" instead of
"flashing".

Change-Id: I85ac53a955da14a6acf4ef87cf72005b9d550ee4
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: use progress indicator sometimes

Increase test coverage by using the progress indicator or the BmapCopy class
sometimes.

Change-Id: I2fd766de7d171965a2784e497b42ac358f75d4d9
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy: implement progress inicator

I got a feature request from users to implement a progress bar in order to
show that the process is alive. This commit implements it.

I add a possibility to configure the BmapCopy class to print the progress
indicator to a user-defined file object with a user-defined pattern.

Change-Id: Ida0331a692163cbcf909ebf984917e2466eb0b70
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

bmaptool: make warnings and errors more visible

People usually do not read docs and forget to use the --bmap option, and then
wonder why flashing is not fast enough. bmaptool prints some kind of warning
in this case, but it is not visible enough. Make it to be more visible:

1. Change the message to say that flashing will be slow.
2. Make the warning/error prefix to use capital letters.
3. Make the output to be coloured.

This should hopefully draw more attention and people will notice warnings
and errors more easily.

Change-Id: Iccf44430c5b9e671a5d540c2966fead3aa800337
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

TODO: add an entry about progress indicator

Change-Id: I05d16959ceec0dcfe800179a566ee82267233c00
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

packaging: remove an internal URL

Change-Id: Ide9bf02a7ff0e02f1e7eaca6a2b46e98fffb0839
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Release bmap-tools version 1.0

Change-Id: Ifa6e3142330bc2a082ed05a678a5c3a2dbf937b4
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

RELEASE_NOTES: turn into 1.0 notes

I am going to make release 1.0, and there are no differences between 1.0-rc7
and 1.0, so let's turn rc7 release notes into 1.0 release notes.

Change-Id: I01f69aae0103af7b96464efe6b0cd2d6d5126a38
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

TODO: add an entry about a man page

Change-Id: I33f3e2ae9e32373efb34f17124ac8fd75b1858a9
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_fiemap: silence a pylint recommendation

Change-Id: I73fc76f957a2db8b8e51d2ebf9fefff5916548f2
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Spelling fixes

Fix a number of mis-spelled words in comments. No functional changes.

Change-Id: I3667e141ecb7c5d24efb3ad83ef7b5fa5ea9f493
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

TODO: remove an item about temporary files

Well, we just do nt have them, so this item is useless. We only have them in
tests, and they get deleted on Ctrl-C because we use the NamedTemporaryFile
python function which deletes the files on close.

Change-Id: I9fce79088c8b66f6cc3a2d8889db941f7becda53
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Pre-release 1.0-rc7

Change-Id: Id4ca03e5fc21632ad6a457ae9914446d886a041e
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Plug RELEASE_NOTES to debian packages

Change-Id: Id8d64cd4f2873100c95e92fbe8bbe43787506699
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Plug RELEASE notes to RPM packages

Change-Id: I4863ca788c6b504eb931f00c71ddb17df6e17da2
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Limit nosetests coverage to the bmap-tools project

... otherwise various libraries like 'bzip2' are included.

Change-Id: Iab43f8ba1c7d167ff8e924b3d592d4a602577fc1
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

README: add more information

Add information about branches, releases, versioning, author, and the credits.

Change-Id: Icf0f8122f1e25048bffa84baa315d1a281c6867c
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Amend comments: do not be confused about generators and iterators

Iterators and generators are not the same things. Generators is a more narrow
concept. Generators are functions which yield elements.

Fix up commentaries where I mixed these terms. Call all my functions with
'yield' - generators. Also, prefer saying 'generator yields' to 'generators
generates' just to be more clear about what I am trying to say.

Fix a couple misspelled words and confusing sentences while on it.

No functional changes.

Change-Id: Ia87b1a6441c293aab2ad45e2cb762f388b49ea35
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Add RELEASE_NOTES

Not wired to the packaging so far - it needs some more work.

Change-Id: I82eae2e79acd55472f099a9178678f0aec4e452d
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Add a small README file

Change-Id: I83285512d949bce6254d87091adc275e98d861c3
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_fiemap: implement a test for part of the file

Test no only the entire file, but also parts of the file.

Change-Id: I6a64199c371d8c343384d508856ea99a496a6c4a
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: fix get_(un)mapped_ranges for file parts

The functions worked incorrectly when the ranges were requested for part of the
file. Fix this.

Change-Id: Ib979c06a05dcbad1825b98199d23441d236fe5e4
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_fiemap: code re-structuring

This patch re-structures the _do_test() function of the 'test_fiemap' unit
test. The re-structuring is needed because I am going to extend the test and
verify the 'get_(un)mapped_ranges()' finctions fro parts of the file, not only
for the entire file. Without the re-structuring there will be a lot of code
duplication.

So, this patch introduces a '_check_ranges()' helper function which verifies
the 'get_(un)mapped_ranges()' function for a given range of blocks.

Additinally, to make the code look uniform, this patch renames all the 'holes'
list variables into 'unmapped', to match the existing 'mapped' list.

Change-Id: Ie1a30941eea9004e742621e87bf325a7f464ab27
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_fiemap: test with different buffer sizes

Test the 'Fiemap' class with several different buffer sizes.

Change-Id: I250f576c4804c02e3691197d8542430571fcb6d4
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: amend things about the default buffer size

Introduce a constant for the default buffer size.
Change the constructor interface - now None 'buf_size' means the default
buffer size, which is a nicer interface.

Change-Id: I1bc7dca57e9d36e4a9d6e8cc402b3f5038bcf460
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_fiemap: increase maximum file size to 16MiB

The default 4MiB are probably too few because the internal ext4 extent size
seems to be 2MiB, so 4MiB are just 2 extents.

Change-Id: If40f0ad70c6787659a01ebc6473ed4189069d81e
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap.py: implement new get_mapped_ranges

Use full power of the FIEMAP ioctl and call it for large areas of the file,
instead of doing it block-after-block. This version is several times faster
than the old version.

The 'get_unmapped_ranges()' generator is build on top of 'get_mapped_ranges()'.

Change-Id: I8bbaf7ccb755904a2bcaef71ba53d82b4fa2c60b
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: helpers: mark create_random_sparse_file as local

Mark the 'create_random_sparse_file()' function as local by addin a leading
'_'.

Change-Id: Id17557c0c8b4268555d71610c1a12def8e8b64bc
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: correct tar.bz2 files extension

This is just a copy-paste error - we gave .tar.bz2 files a '.tar.gz' extension.

Change-Id: Ic4a0fbb40c4519bb12c91c42b3e546b1952a82db
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: helpers: do not always write entire blocks

In 'create_random_sparse_file()', when we have decided to map a block, we
always fill it entirely (write 4096 bytes). However, filling only part of this
block from a random offset withing a block is more realistic.

Change-Id: I825e9fb093e7c9c7be309b2563c2be6049783811
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: helpers: a small nicification

getrandbits(1) is a bit more clever than randint(0, 1). Also, remove useless
bool().

Change-Id: I169c21f8e986dd6579a46d6eb0b214ec7e11611a
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: helpers: use less random data

We do not need really random data in the files we generate - this only slows
the tests down a lot. Let's fill the files with semi-random data instead - just
pick a random byte and fill large regions with this byt. This also make
compression work faster, and it is good enough for our purposes.

Besides, this allows to reproduce tests by setting a known seed, which does not
work with os.urandom.

Change-Id: I0459ee44d271b8e19581e84cc33b7167e4ada166
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: fix internal buffer size calculations

... I used 'buf_size' instead of 'self._buf_size' by a mistake.

Change-Id: If92b92e4aa09653fe27e41e5a2cc236fce3042af
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: lower the default buffer size

The default 1MiB buffer is a bit too large, make it 256KiB.

Change-Id: I7827889d6201f224033c77b5396901f65c766e8d
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: introduce a constant for minimum buffer size

Change-Id: Ic029ac27afa9c3994b9a59594ca52c280c3b24b9
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Suppress few pylint recommendations

Change-Id: Ia757396ffe5d39b3ff5d35b9639417c662f74706
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: helpers: generate fully-mapped files as well

Improve tests coverage by generating fully-mapped files as well.

Change-Id: Icf3a8a246efadd32a0dcbc28ccc279caaaced143
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_fiemap: add Fiemap module unit test

Change-Id: I0da8bb80f8b15fd27695381324bb213726cfeca2
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: helpers: fix holes area for a 4097 bytes file

... should be (0, 1), not (0, 0).

Change-Id: Ia611057680623360191973aa2691c9d35161bcef
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: helpers: teach generate_test_files to return mapped areas

This is a preparation to the Fiemap test. In the Fiemap module we have 2
functions: get_mapped_ranges() and get_unmapped_ranges(). And to test both of
them it is convenient to have 2 lists from the
'tests.helpers.generate_test_files()' function: mapped list and unmapped list.

Thus, teach 'tests.helpers.generate_test_files()' to also generate the list of
mapped areas, not only the holes.

Change-Id: Id000ba0b278ccceb821f540755cdd94165eeecc9
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: test .tar.gz and .tar.bz2 compression

This actually revealed a bug...

Change-Id: Ife39862d4b9e71beea5b5150970da9066782145b
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy: fix tar.gz compression support

This is a nasty bug - I used 'if' instead of 'elif' ... Thanks to
'test_api_base' for revealing it.

Change-Id: I43e1954cb02c46ac27e9d9e7324e86ef9dec2974
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: add a possibility to avoid tmp files deletion

This is needed for debugging purposes. When there are issues, it is very handy
to be able to leave the temporary files and then investigate them. Do lets add
a simple way to do this. In the future, this may become a test parameter.

Change-Id: I067fc9d5a522057290c5c9ee190cf15ee7fa19f1
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: introduce a possibility to change the directory for tmp files

The default temporary directory is choosen by 'NamedTemporaryFile' and it is
usually '/tmp'. However, for debugging purposes it is nice to sometimes change
that to a different directory. In the future, this may be a test parameter.

Change-Id: I12428f99a14eb7467948e08048bd0108c8bf5bc1
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: assign better names to temporary files

When creating temporary files, add prefixes and suffixes which make it easy to
understand what is the file. This makes debugging a lot easier, although the
code becomes a bit more complex.

Change-Id: Ieba77821c3d97ed080fbc22b889d77cb640312c6
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

TODO: add an entry about compression types detection

Change-Id: I4a12477bd07a7b6d25be662929a0053cda170cb7
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: helpers: move compress_test_file to test_api_base.py

The 'compress_test_file()' function is only used by 'test_api_base' and I am
not planning any other tests which would need it. So let's move it to that
file.

While on this, also rename the function to '_generate_compressed_files()',
which is more consistent with the other iterator we have:
'generate_test_files()'.

Change-Id: I9191b413a82545facf9507d4c72ee070e0487be4
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: make compare_holes local

The 'compare_holes()' function is only used in this test, so it is cleaner to
add a leading '_' to the name to show that it is a local function.

Change-Id: I8f2a446fefbc314640830e734db088e8ce39e05a
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: also test compressed files

Change-Id: Iae27bcea6fac825a2c6d1f82b125afda5db31859
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: helpers: create a compression iterator

Create an iterator which compresses a file to different format. Not used
so far.

Change-Id: I23a707667a918c2e07f5c85f32f86936454c997b
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy: fix image size validation

... which did not work correctly because it should only be run for uncompressed
images in __init__, as well as for any images when there is no bmap.

Change-Id: I3e1dad253889df7fa8980c30df6bcb9dd4b5652d
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: compare files using sha1

Instead of comparing files all the time using 'filecmp', calculate
sha1 of the image once and compare it to the copies.

This will be needed soon in order to implement compressed files testing - the
'filecmp' module does not accept file-like objects, only file names, so you
cannot feed it a compressed image.

Change-Id: I0c4db36fb89f9c5b8ba5aac116e9f25d9a17b4f6
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: move _do_test() out of the test class

It really does not need to be there. Let the class be just a minimum
for nosetests to be happy.

Change-Id: I8181f7f9ffa02d9e1277154bdd9a0d5fc8af84a3
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: helpers: improve generate_test_files

Make 'generate_test_files()' generate more files - files consisting of a single
hole with different sizes, and randomly generated sparse files of different
sizes.

Change-Id: I16f3f84d778f2653f72cbd5d34ce57deff2cdd2f
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: move images generation to helpers.py

Introduce a common iterator in helpers.py which generates test images.
The iterator will be used in the fiemap test as well. I will also add more
interesting files to the iterator soon.

Change-Id: I38b957389d39fa99e11cd44699d636028bf12109
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: rename test_helpers.py into helpers.py

... in order to prevent nostests to try to run functions from this file.

Change-Id: I5517a6e82b36d75ce33a25aeb03406ec05416351
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: run the test for more than one file

Instead of running the test of one file of 64MiB, run it 3 times for files of
the following sizes:

1. 8MiB
2. 8MiB + 1 byte
3. 8MiB - 1 byte

This gives better coverage.

Change-Id: I4ea4f5f92dc32c1d8fbf9ea0173b7c39a294968d
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: re-structure the test some more

Kill the 'setUp()' and 'tearDown()' methods and open/close the temporary files
in '_do_test()' instead. This works better for me because I will call
'_do_test()' many times and it is simpler when it starts with new temporary
files every time, rather than teach it cleaning-up the old ones.

Change-Id: I135b8423d1e7d95a6c2de8d8bc0d3f8597ca5418
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy: validate image size

Add some validation of image size - when we have the bmap, bmake sure that real
image size is the same as image size from the bmap.

Change-Id: I8503e0a14d7eb1df071780058b71b7ef6be225a4
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy: bugfix: handle unaligned files properly

When the image size is not aligned to the block size, we made an aligned copy
anyway, which is wrong, because the copy has to have the same length as the
image. This patch fixes the issue.

Change-Id: I012496e315b47c1381715fdd1f8921d347213b29

TODO: add a reminder about testing compressed files.

Change-Id: I56506ee85f11c2fe03828b06f538313533971759
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy: simplify the code a bit

Stop returning 'length' in '_get_data()', because it is redundant and identical
to 'end - start + 1'.

Also add another assertion to improve robustness.

Change-Id: I693d40882fd1f47709db2687446be284de35c01f
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: re-structure the test a bit

I want to run the test for various different files, not just for one file.
Re-structure the test to allow this:

1. Rename the old 'test' function to '_do_test()'
2. Make the '_f_image' attribute to be an argument of '_do_test()'. So
   'self._f_image' is renamed to 'f_image'.
3. Introduce a new 'test()' function which creates the file file to test
   and invokes '_do_test()'. Later this function will run '_do_test()' for
   more than one file.

Change-Id: I252f396e45a780b1e20b024e5053d04c3ab11b0e
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_helpers: generate file of correct length

The 'create_random_sparse_file()' alwasy generates files of the length aligned
to block size, even when the requested size is unaligned. Fix this by adding a
truncation at the end.

Change-Id: Id3b7f8f0e6c1d9f11aa68d06d4883b8227991e50
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: saner temprorary file creation

Instead of using the low-level mkstemp - use the NamedTemporaryFile function
instead. It removes the temporary files on close.

Change-Id: I8b8b0ee9db36d626d4d7d0a00c79adf2af186ddc
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: create a separate module for helper functions

I am going to add a test for the Fiemap module, and it will need the
'create_random_sparse_file()' function from the base API test. Therefor, move
this function to a separate 'test_helpers.py' module which will be shared
across tests.

Additionally, remove the holes verification from 'create_random_sparse_file()'
- the test which I will add soon verifies holes separately.

Also change the egging to exclude the tests.

Change-Id: I2c81251c5e1884a4f644e89b417c8a18050aeada
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: introduce a separate helper for invoking FIEMAP

Introduce a '_invoke_fiemap' helper function which hides all the cruft related
to the FIEMAP ioctl invocation.

Change-Id: I8a45591f03f1d77ac24b661af96cd4cbe583216f
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: introduce 'buf_size' parameter for __init__

We are going to use full power of FIEMAP. It requires an array where it will
place the block map on output. Generally, big arrays are good because fiemap
will be called less times, which is good for performance.

Make the default to be a 1MiB buffer, and allocate it in the constructur
for further use.

Change-Id: I4e271794bf747cc7d611d86a6a76afd554c8e09f
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: more input arguments validation

Validate the input argument of 'block_is_mapped()'.

Change-Id: I31ec0e4b5ff6250ed80cf4b2ea1a095ecf517927
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: validate the input arguments

Validate the input arguments for 'get_mapped_ranges()' and
'get_unmapped_ranges()' - they should be positive and should not go beyond file
size.

Change-Id: Ib992e03c6d651bd4e00025bc1a75b69a90d95a31
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: fix error message

Fix a typo in one of the error messages: s/FIBMAP/FIEMAP/

Change-Id: Iec26e20aa014eb1b28c710698dd4a69e2133649d
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: introduce constants

Introduce constants for various FIEMAP-related stuff like format strings for C
structures, their sizes, and the ioctl number. First of all, this is just
nicer. But more importantly, we'll soon introduce another function which will
use these constants as well.

Change-Id: Iac00bc93d8a590dc242b8ce7b20f2fe3d98a186d
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy.py: remove few useless initializations

We initialize these variables right after setting them to None, which is
probably an overkill, remove the None assignment.

Change-Id: Ibf419b2d138ab025e0aa60f1eb3ac6a477a92734
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy: disable a couple of pylint recommendations

Change-Id: Ibae22f9aad139904f21fa0f63c5bdde78ba05a38
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy: use "_" prefix for private variables

Change-Id: I91f3875aa2f12ae485f6b757ffe5f721aa3dc87d
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: improve the test

Not only compare that the destination file has the same contens as the source
file, but also make sure they have identical holes. This improves the test.

Change-Id: Idb53ed7c74eda2cd72608a845687c509c5adaa7e
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Fiemap: improve the API

Improve the API and allow to specify the area of the file to generate ranges
for, so that it would be possible to generate ranges only for part of the file.

Change-Id: I1e8455be739d9835bc3f750709fbe7d8e9374ee7
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: fix the test

The test apparently was half-broken because:

1. It did not check results of 'filecmp'.
2. It did not seek the bmap file descriptor so the bmap comparison did not
   work.

Change-Id: I7d6e65acf7ee3c2524064a71faccdb6554f4ffe7
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy: bugfix: make destination file to be of the same size

When we copy to a regular file using bmap, and the image has holes at the end,
the resulting copy does not contain these holes and its size is shorter.

Fix this bug by truncating the destination file to the image size at the end.

Change-Id: Ie9586a1972e8b1027f76e1973fe6e10fe939f035
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

test_api_base: add a Fiemap module check

This patch improves tesst coverage by checking the sparse file. Namely,
when we create the random  sparse file, we remember where the holes are. Then
we make sure that Fiemap reports absolutely the same holes.

Change-Id: I2cf97bcf3de456b09b4138cec9be3255c88ee22e

BmapCreate: separate out the FIEMAP functionality

Create a separate class for the FIEMAP ioctl API. I do this because
I am going to use full power of FIEMAP and the code will become a lot
more complex, so it is nicer to have it separate.

Besides, we need a stand-alone FIEMAP API for testing.

Change-Id: Ibc4f18f4f143e6bf878730a9777e2ef8dd3cdede
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Bmap API: remove useless 'bmap' prefix

The 'BmapCopy' and 'BmapCreate' modules provide a set of useful attributes like
block size, blocks count, mapped blocks count, etc. All these attributes start
with a 'bmap_' prefix, which is useless and makes the code less readable.

Remove the 'bmap_' prefix.

Change-Id: I9ec859c1bc26286c7328e0a7cf26c91c47fd43d9
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCreate: handle flush() exception

We handle file.flush() exceptions for the image, but not for bmap. This is
inconsistent. Let's handle them for both.

Change-Id: Ie4e9e28b865d2dcb9da278d577443f3665a4a907
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCreate: simplify the exception class

Once we removed the FIBMAP support, we do not need the 'errno' attribute in the
exception class - no one uses it. Let's kill it to have the code simpler and
more clear, as well as less error-prone.

Change-Id: I97d20cf1b6550359133fff5c81136b72bc77ec2f
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCreate.py: simplify the module by killing FIBMAP support

We do not need to support FIBMAP because FIEMAP is a lot better and does not
require root privileges. FIEMAP is supported since 2008's kernel version
2.6.28.

Thus, kill the FIBMAP ioctl support and remove a lot of cruft.

Change-Id: Iac0c8653291c937cb4ed3e20eef88dc3fc4647d6
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Pre-release version 0.6

Also change the date in the debian changelog for the 0.5 release - I forgot
to update it.

Change-Id: Ie69aba677b2812b7405327c32142583cad610856
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy.py: fix a bug when copying without bmap

Fix a regression introduced in version 0.5: when copying without bmap the
script fails with the following error:

AttributeError: BmapCopy instance has no attribute '_f_bmap'

This is because we never define this attribute when there is no bmap, but still
use it. The fix is:

1. Define all attributes in the __init__ constructor.
2. Always check if _f_bmap is not None before using it.

While on it, do a minor space clean-up.

Change-Id: I3f729588d33be8e2a447fca817b994500840503a
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: test_api_base: test copying without bmap as well

Improve the test a little by:
 1. Calling the 'copy' function with the first 'sync' argument being 'True' as
    well
 2. Adding another pass which tests file copying without bmap.

This discovered a bug, actually, which will be fixed in the next commit.

Change-Id: I34441b1151588c31bb202d2cdfdeb1e874f4e0bb
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Pre-release version 0.5

Change-Id: I304827a5204fd3aa4c807f236ead82d1113a3e3d
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tests: add the base functionality test

Change-Id: I035f71eadda2d2da83a1c8776f035cc1d5ccde12
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCreate: fix and silence pylint warnings

Fix several pylint warnings and silence a couple.

Change-Id: If714828815ac72c026e05e022fb03f6ffed2fa6c
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy.py: fix and silence pylint warnings

Fix a couple of pylint warnings and silence one.

Change-Id: I392e95b6bf0c3805e3c07cb8d80e0d0aef1b7311
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy.py: flush the destination file on exit

Always flush the destination file on exit to make sure that if the user
opens the same file by path - he/she sees all the data.

Change-Id: I493d0c92d4818e289216925e00111128cba88db6
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy.py: open the destination file for writing

Open the destination file in write-only mode, because we only write to
this file, and never read from.

Change-Id: I5bdef84ecdb7faf38190a00bb34fb1b183fb9430
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

bmaptool: open the destination file in binary mode

This is just a small correction - the destination file is a binary file,
so open it in binary mode.

Change-Id: I38ca25dabc38dabf65a18b6f50d8de066c8f18b1
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCreate.py: support file-like objects

It is very useful give BmapCreate file-like objects instead of file paths, and
this is exactly what this patch implements.

Change-Id: I6d342ea64584b8b203f62a0df33e2a6df5eb9da2
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCreate.py: stop using logger for the bmap output

It is an overkill to use a logger object to output the bmap, and it is also
rather difficult for the users. Instead, make 'BmapCreate' accept a file-like
object for the output, not a logger object.

Change-Id: I7cf83dc8e0c43f762449e7fcf200b1f8b66359c5
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

BmapCopy.py: support file-like objects

It is very useful give BmapCopy file-like objects instead of file paths, and
this is exactly what this patch implements.

Change-Id: I41b40e8369743bf53e018f503b65719a1c823464
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>