partitionedfs: separate out partitions placing

Create a new method which lays out (or places) partitions to the disks. It will
make it possible to find out disk size before creating a disk. Indeed, this
function places all partitions, so the end of the last partition is the size of
the disk. So the user will have to be able to do this:

1. Add all partitions
2. Layout partitions
3. Get the disk size
4. Create the disk
5. Add the disk and format/mount it

And no more buggy heuristics for disk size are needed.

Change-Id: Ib6edf5e57d3d03f4a84d3f46eefad7d25bc793ec
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: add disks while adding partitions

The PartitionedMount class used to work as follows:

1. The user adds all partitions using 'add_partition()'. We create an internal
   list of partitions.
2. User adds all disks using 'add_disks()'. We create an internal list of
   disks. Additionally, 'add_disks()' provides the real disk object.

The problem with this is that in order to create the real disk object, we need
to know its size. But it is difficult to calculate it when complex options like
--align are used.

The real calculations happen in the '__format_disks()' method of
PartitionedMount.

What I want to do is to make things work this way:

1. The user adds all the partitions.
2. The user asks what disk size is required.
3. The user creates disk objects of the right size and adds them.

In order to achieve it, I need to separate out the partitions positioning from
the '_format_disks()' function, and do this before the user adds the disks.

However, the positioning code assumes we already have the internal disks
dictionaries (self.disks). But current code creates those dictionaries only in
'add_disks()', which is too late for our purposes.

This patch basically makes the inderal disks dictionaries while adding the
partitions, because the partition already contains the disk name (internal
target physical name). So we can create the disk dictionaries right away.

The only missing thing will be the host disk objects, which are added by
'add_disks()' later on.

Change-Id: Ie8245c8b61c941165aea3a583826a2896f4c85d9
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: introduce add_disks() method

The 'PartitionedMount()' class has an 'add_partition()' method for adding a
partition. Introduce a simialr 'add_disks()' method of adding disks.

Currently the disks are added by the constructor and this is very inflexible.
Indeed, to add a disk, wee need know first create it. To create it - we need to
know its size. To find out its size, we need to sum up all the partition sizes,
take into account the alignment, the MBR size and so on. IOW, do complex
calculations.

This is a preparation for further changes where the disk size calculation will
be done by 'PartitionedMount()' instead. It will tell us the disk size, and
we'll add the disk after adding partitions.

The final goal is to fix the --align bug - when --align is used, the generated
raw disk size is larger than needed - it has unused space at the end.

In this patch we also amend all the users of PartitionedMount to comply to
the new interface.

Change-Id: I0cacfb64410c7b2da634642fbf57d5b4be28acad
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Merge "baseimager.py: rename MANIFEST to MD5SUMS" into devel

raw.py: switch to the BmapCreate module

The bmaptools project now has a nice 'BmapCreate' API module, which contains
all the bmap creation functionality, gets improved and bug-fixed, as well as
tested.

Already now it is better then the old mic implementation because it uses the
FIEMAP ioctl instead of FIBMAP, and FIEMAP does not require root.

In order to get all the goodies of the library and avoid code duplication
and double maintanace efforts - switch to the BmapCreate library and kill
own bmap implementation.

Change-Id: Ie5b591fd1125dcff3fb82118a6e3604961e9c301
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

make syslinux sel menu color usable

The selection color is the same as the background, which makes it
invisible, this sets the color to the inverse

baseimager.py: rename MANIFEST to MD5SUMS

The name "MANIFEST" is not very good for multiple reasons:

1. It is not user-friendly - mere users do cannot tell what this file is from
   its name.
2. Tizen is currently the most important user of MIC, and in Tizen we use word
   "manifest" for a different thing - every package has a security manifest
   file which declares the needs of the package.
3. MIC stores checksums in the MANIFEST, and this file is compatible with the
   'md5sum' tool. If we decide to provide sha1 checksums in the future, we'll
   have to add another file with a different name. What will that name be?

Anyway, it is nicer and cleaner to use the same naming scheme as OpenSuse and
Ubuntu use. They have MD5SUMS and SHA1SUMS files.

Let's make things more aligned and cleaner and rename MANIFEST into MD5SUMS.

This may break some scripts some people use. But I think it is anyway a low
risk thing, and it is better to rename now, when Tizen has few users. It may be
more difficult to do later.

Change-Id: I79f968066aa27bd211622f477b27a1973b3775ad
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

update dist files and tests to enable unittest

Signed-off-by: Gui Chen <gui.chen@intel.com>

keep only unittest

Signed-off-by: Gui Chen <gui.chen@intel.com>

update documentation

put arch compatible into pkg comparison

Signed-off-by: Gui Chen <gui.chen@intel.com>

Merge branch 'release-0.15' into devel

Conflicts:
etc/bootstrap.conf
mic/bootstrap.py
mic/creator.py
mic/imager/raw.py
mic/msger.py
mic/utils/misc.py
setup.py

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix type error when calling mknod

subprocess requires string only for command args

Change-Id: I32442ea6a0d28a40fea55a2ffcf9d43579d1c6da

bump up to release 0.15

Signed-off-by: Gui Chen <gui.chen@intel.com>

SparseLoopbackDisk: fix sparse file creation

The SparseLoopbackDisk class created sparse file a bit incorrecly.

First of all, it created a sparse file of wrong size - one byte more than
asked.  Indeed, look at Tizen images, they are of size '2717908993', which is
2.5GiB + 1 byte.

Second of all, the file was not as sparse as it could be - because of the write
to the end, the last block was mapped.

Change this to just use 'ftruncate()' to the right size, which does the trick.

Change-Id: If76d27515d5483e29a76a15f128ff8737872d57b
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

remove rpmdb files before install packages

this rpmdb files will avoid the installing

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15-rc5

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix uuid lost in some case which raise traceback

Signed-off-by: Gui Chen <gui.chen@intel.com>

require python-m2crypto when needed sslverify

Signed-off-by: Gui Chen <gui.chen@intel.com>

more compatible way to pass ext options

and also catch mkfs error

Signed-off-by: Gui Chen <gui.chen@intel.com>

correct checking order for assigning folder to logfile

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix showing incorrect total install number in some case

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15-rc4

Signed-off-by: Gui Chen <gui.chen@intel.com>

show dumpe2fs when debug

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix logfile specified a directory

when run mic with options '--logfile=dir', traceback shows

fix lost variable in warning msg

Signed-off-by: Huanhuan Li <huanhuanx.li@intel.com>

update doc/RELEASE_NOTES

Signed-off-by: Gui Chen <gui.chen@intel.com>

typo fix

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix local repo metadata override issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15pre3

Signed-off-by: Gui Chen <gui.chen@intel.com>

add RELEASE_NOTES

Signed-off-by: Gui Chen <gui.chen@intel.com>

improved loop creation

Signed-off-by: Gui Chen <gui.chen@intel.com>

sync time and zone setting to bootstrap env

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix timestamp in logfile uncorrected with 'EDT'

update README.rst

Signed-off-by: lhh <huanhuanx.li@intel.com>

some case don't need to mount parent folder

bind mounting parent folder has potential issue in some case, make it optinal

some dirs like 'outdir' 'logfile' which will be created by mic is not existed
before chroot, create them to avoid left them inside chroot

Signed-off-by: Gui Chen <gui.chen@intel.com>

don't drop when failed to unmap kpartx device

just warn the failure, no need to drop here

Signed-off-by: Gui Chen <gui.chen@intel.com>

use 'mknod' instead to create loop device

in some distros, if loop device is not created by 'mknod',
losetup can't use them correctly

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15pre2

Signed-off-by: Gui Chen <gui.chen@intel.com>

backport bmap patch from devel

Signed-off-by: Gui Chen <gui.chen@intel.com>

Add dracut support to livecd/liveusb images

This adds support to initrd images using dracut and enables systemd
and udev and other plugins that will be used to boot pc-style systems.

The previous initrd method was last used in MeeGo and is currently not
supported in in Tizen, so it is obsolete and does work with new udev
and systemd booting.

Do not show password in debug messages

point to tizen repo, not meego

Change-Id: I50e62f957dbdbfbc178558598881e041fe0f1643

bump to 0.15pre1

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix local repo unavailable in bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

return filename directly if local repo specified

Signed-off-by: Gui Chen <gui.chen@intel.com>

Revert "decide uniq arch when one repo only has one uniq arch"

This reverts commit 55e3c24997204f0c6ad2bb29701f2e5de0b79266.

append filesystem parameter for ext[2/3/4] filesystem

in ks file, specify --extoptions can pass ext filesystem parameter to mkfs:
part / --size 1000 --ondisk sda --fstype=ext3 --extoptions="-I 256 -E nodiscard"
other filesystem will ignore this option

Signed-off-by: Gui Chen <gui.chen@intel.com>

default to no scriptlets trigger

Signed-off-by: Gui Chen <gui.chen@intel.com>

raise when creating bootstrap failed

Signed-off-by: Gui Chen <gui.chen@intel.com>

need not to check 'passwd'

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix minor bug

Signed-off-by: Gui Chen <gui.chen@intel.com>

multiple bootstrap path to support multi-instance mic

Signed-off-by: Gui Chen <gui.chen@intel.com>

adapt for new mechanism of bootstrap

also fix arm image creation performance issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

decide uniq arch when one repo only has one uniq arch

the arch detection is changed: when one uniq arch is found in a repo,
this arch should be detected arch now.

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix version comparison for bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix extlinux not found issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix syntax warning for USAGE.rst

Signed-off-by: Gui Chen <gui.chen@intel.com>

Integrated mic with "OTC Tools Tester" Jenkins machinery

OTC Tester expects that cd packaging/ && make all produces all needed
packaging files. This change makes it happen.

Beside of that tests/mic-test.py was fixed, because Tools Tester job
runs nose if tests/ directory presents in the source tree and expects
some tests results. Results were not generated, so fake test has been
added there.

Change-Id: I08f7b5c6012fbefef640177bce13c301fcf826c0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Merge "Add dracut support to livecd/liveusb images" into devel

Add dracut support to livecd/liveusb images

This adds support to initrd images using dracut and enables systemd
and udev and other plugins that will be used to boot pc-style systems.

The previous initrd method was last used in MeeGo and is currently not
supported in in Tizen, so it is obsolete and does work with new udev
and systemd booting.

fix lost variable in warning msg

Signed-off-by: Huanhuan Li <huanhuanx.li@intel.com>

RawImageCreator: do not use double with statement

Double with statements are only supported starting from python-2.7, while
mic is 2.5-compatible. Turn the double with statement in the bmap generation
code to 2 single with statements.

Change-Id: I2ce186b4a9be8b7746c88bb96c98f4af470fa7d8
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

misc.py: make 'calc_hashes()' generic

The 'calc_hashes()' function is generic so it does not make much sense
to hide it in the 'RawImageCreator' class. Move it to 'misc.py' where
miscellaneous stuff like this is kept.

While moving, also rename the 'file_name' argument to 'file_path'.

Also change the interface so that we pass a list of hash names to calculate,
not a list of hash objects.

Also do not import 'md5' from hashlib to the current name-spaces.

Note, originally I have these things as a set of separate patches, but
merged to satisfy review comments.

Change-Id: I31d8ac35cf55447ddb5c56cfafa319a6fef85373
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Merge "misc.py: remove few unnecessary checks" into devel

misc.py: remove few unnecessary checks

We use python 2.5 features in several places and we have the
'Requires:   python >= 2.5' in our RPM spec file. This means that
we do not have to check whether hashlib and xml.etree exist, we can
just use them instead, because they are part of python 2.5.

Similarly, remove the 'with_statement' importing, because 'with'
was added in 2.5.

Change-Id: I14cc9741f66f8d397744b1b37f9a55dc47877a9c
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

clean up unused code in raw image

Change-Id: Ic047ff24c1c7728147f4a990236644b92cce32e8

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix mic chroot failure caused by unmatching parameters

in do_chroot, cmd should have default value,
otherwise the caller in former code will be failed

Change-Id: Iaeb605f744083e23d9745dde4338137033e4c1b3

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix timestamp in logfile uncorrected with 'EDT'

Do not show password in debug messages

fix logfile specified a directory

when run mic with options '--logfile=dir', traceback shows

fix help command

'mic cr ?' will output differently with 'mic cr -h'

Signed-off-by: Huanhuan Li <huanhuanx.li@intel.com>

bmap: increase minor version number

We've done some compatible changes and it is a good idea to incread the
minor bmap version number now.

Also, add some XML comments explaining the versioning.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

bmap: support sha1 checksums

This patch addresses another complaint from Henning Schroeder and adds
SHA1 checksum for each block range.

Change-Id: Ib1835ce2ca26d4e8ebe46a1e83c083822c47ce21
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

RawImageCreator: introduce a function for hash calculation

Introduce a separate function for hash calculations. I will need
hash in bmap code, so it is nice to have a common helper for this.

Change-Id: I859450803a0c6cfa9bb6db738a6931508572374f
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

RawImageCreator: remove meter for hash calculation

We currently use the progress meter when calculating hash functions
of the raw image file. Well, there is nothing bad with this, but this
is not really necessary. I am removing this because I am going to
introduce a helper function for calculating hashes, and I do not want
to complicate it with a meter.

So, remove the meter. We can add it back if we find this necessary
in the future.

This makes the code a bit less complex as well.

Change-Id: I7da651f82dcbb14e16e1dccbbc4ee73cc1aa7e0b
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

RawImageCreator: use hashlib unconditionally

mic does not work with python < 2.5 (see distfiles/mic.spec, for example), so
we can use hashlib without falling-back to 'import sha1'. This patch cleans-up
the code a bit and removes the fall-back to 'import sha1' stuff.

I move 'import hashlib' to the top level because it is cleaner and because I
will need hashlib very soon in the next patch.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

bmap: move human-readable stuff to comments

I've got feed-back from Henning Schroeder that it is bad idea to provide
human-only information in machine-parsible parts of the XML, simply because
someone may be tempted to use it.

And he is right. This patch moves all the human-only date to XML comments.

It also amends the BMAP xml header comment by adding more information.

Change-Id: If5c62c2277686dfd3c889ae6f59a9d1caa94b026
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

bmap: fix the image file open mode

Open the image file in R/O binary mode instead of the default
R/O mode.

Change-Id: Ibc8b69fdf0b920c716e7cc9c23017747206e5500
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

handle unicode in CreatorError and UsageError

when code like 'raise CreatorError(str(e))' and e.msg is unicode,
this will be failed, this patch will fix such issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

update README.rst

Signed-off-by: lhh <huanhuanx.li@intel.com>

point to tizen repo, not meego

Change-Id: I50e62f957dbdbfbc178558598881e041fe0f1643

Add block map functionality

This patch add a 'generate_bmap()' method to the RawImageCreator
class and makes the '--generate-bmap' option actually work. The generated
file has '.bmap' extention and the same name as the raw image file.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>
Change-Id: I54ab3bc7274160c697dce4f8e296b46dda28cdd2

Introduce the --generate-bmap option

This patch only introduce the --generate-bmap option of the 'raw' subcommand
and does not implement it. The implementation is added by in the follo-up
patches.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>
Change-Id: I89f1090f52405939ac77ef6599a3925043d4927b

Cleanup RawImageCreator a bit

This patch cleans-up the RawImageCreator code a little bit. We construct
the full name for the files we generate many times in various places, which
looks untidy. This commit introduces 2 helper functions: _full_name() and
_full_path() which return full name for a file and full path to a file,
correspondingly. The code becomes more readable with this change.

But also, this is a preparation to one of the following patches where we'll
need to construct full path for the bmap file. We do not want to add yet
another place where we construct this manually, so we better have a helper
function.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>
Change-Id: I9ac52c95e4b16bcd227df467439ac2ae87b1c145

decide uniq arch when one repo only has one uniq arch

the arch detection is changed: when one uniq arch is found in a repo,
this arch should be detected arch now.

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix version comparison for bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix extlinux not found issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix syntax warning for USAGE.rst

Change-Id: I5e67db666bb1ee57dc6f05bcdff27fd5d6be1a13
Signed-off-by: Gui Chen <gui.chen@intel.com>

relocate dist files and add change log

Change-Id: Idd31d153f36ff12b5a0aedee644d3811038b599b
Signed-off-by: Gui Chen <gui.chen@intel.com>

support running specified command for mic chroot

usage: mic chroot CHROOT [COMMAND [ARGS]]
this feature enables running command with non-interactive

Change-Id: Ic7e74a00c83e3cef5684c2ee94a755389ba4276d

bump up version to 0.15

Signed-off-by: Gui Chen <gui.chen@intel.com>

add bootstrap defined path to PATH variable

env variable PATH should be defined in bootstrap,
and they should be append to PATH when chroot

Signed-off-by: Gui Chen <gui.chen@intel.com>

split out username and password in zypp repo file

Signed-off-by: Gui Chen <gui.chen@intel.com>

add --repourl for BOSS to replace baseurl in zypp repo file

for BOSS, the baseurl in zypp repo file should be corrected.
to enable it, append the option like below:
--repourl="Tizen-main=http://download.example.com/x/y/z/"
--repourl="Tizen-base=http://download.example.com/z/y/x/"

Signed-off-by: Gui Chen <gui.chen@intel.com>
Change-Id: I9e7d395de15fed6b8f89899ff0721d3eb515ff45

update usage.rst for man page

Signed-off-by: Gui Chen <gui.chen@intel.com>

avoid traceback when loopback is NoneType

Signed-off-by: Gui Chen <gui.chen@intel.com>

lseek limit to 2G in 32bit env

Signed-off-by: Gui Chen <gui.chen@intel.com>

chmod mic script inside bootstrap to executable

Signed-off-by: Gui Chen <gui.chen@intel.com>

add optional packages which can be skiped for bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>