baseimager.py: rename MANIFEST to MD5SUMS

The name "MANIFEST" is not very good for multiple reasons:

1. It is not user-friendly - mere users do cannot tell what this file is from
   its name.
2. Tizen is currently the most important user of MIC, and in Tizen we use word
   "manifest" for a different thing - every package has a security manifest
   file which declares the needs of the package.
3. MIC stores checksums in the MANIFEST, and this file is compatible with the
   'md5sum' tool. If we decide to provide sha1 checksums in the future, we'll
   have to add another file with a different name. What will that name be?

Anyway, it is nicer and cleaner to use the same naming scheme as OpenSuse and
Ubuntu use. They have MD5SUMS and SHA1SUMS files.

Let's make things more aligned and cleaner and rename MANIFEST into MD5SUMS.

This may break some scripts some people use. But I think it is anyway a low
risk thing, and it is better to rename now, when Tizen has few users. It may be
more difficult to do later.

Change-Id: I79f968066aa27bd211622f477b27a1973b3775ad
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

update dist files and tests to enable unittest

Signed-off-by: Gui Chen <gui.chen@intel.com>

keep only unittest

Signed-off-by: Gui Chen <gui.chen@intel.com>

update documentation

put arch compatible into pkg comparison

Signed-off-by: Gui Chen <gui.chen@intel.com>

Merge branch 'release-0.15' into devel

Conflicts:
etc/bootstrap.conf
mic/bootstrap.py
mic/creator.py
mic/imager/raw.py
mic/msger.py
mic/utils/misc.py
setup.py

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to release 0.15

Signed-off-by: Gui Chen <gui.chen@intel.com>

SparseLoopbackDisk: fix sparse file creation

The SparseLoopbackDisk class created sparse file a bit incorrecly.

First of all, it created a sparse file of wrong size - one byte more than
asked.  Indeed, look at Tizen images, they are of size '2717908993', which is
2.5GiB + 1 byte.

Second of all, the file was not as sparse as it could be - because of the write
to the end, the last block was mapped.

Change this to just use 'ftruncate()' to the right size, which does the trick.

Change-Id: If76d27515d5483e29a76a15f128ff8737872d57b
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

remove rpmdb files before install packages

this rpmdb files will avoid the installing

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15-rc5

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix uuid lost in some case which raise traceback

Signed-off-by: Gui Chen <gui.chen@intel.com>

require python-m2crypto when needed sslverify

Signed-off-by: Gui Chen <gui.chen@intel.com>

more compatible way to pass ext options

and also catch mkfs error

Signed-off-by: Gui Chen <gui.chen@intel.com>

correct checking order for assigning folder to logfile

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix showing incorrect total install number in some case

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15-rc4

Signed-off-by: Gui Chen <gui.chen@intel.com>

show dumpe2fs when debug

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix logfile specified a directory

when run mic with options '--logfile=dir', traceback shows

fix lost variable in warning msg

Signed-off-by: Huanhuan Li <huanhuanx.li@intel.com>

update doc/RELEASE_NOTES

Signed-off-by: Gui Chen <gui.chen@intel.com>

typo fix

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix local repo metadata override issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15pre3

Signed-off-by: Gui Chen <gui.chen@intel.com>

add RELEASE_NOTES

Signed-off-by: Gui Chen <gui.chen@intel.com>

improved loop creation

Signed-off-by: Gui Chen <gui.chen@intel.com>

sync time and zone setting to bootstrap env

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix timestamp in logfile uncorrected with 'EDT'

update README.rst

Signed-off-by: lhh <huanhuanx.li@intel.com>

some case don't need to mount parent folder

bind mounting parent folder has potential issue in some case, make it optinal

some dirs like 'outdir' 'logfile' which will be created by mic is not existed
before chroot, create them to avoid left them inside chroot

Signed-off-by: Gui Chen <gui.chen@intel.com>

don't drop when failed to unmap kpartx device

just warn the failure, no need to drop here

Signed-off-by: Gui Chen <gui.chen@intel.com>

use 'mknod' instead to create loop device

in some distros, if loop device is not created by 'mknod',
losetup can't use them correctly

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15pre2

Signed-off-by: Gui Chen <gui.chen@intel.com>

backport bmap patch from devel

Signed-off-by: Gui Chen <gui.chen@intel.com>

Add dracut support to livecd/liveusb images

This adds support to initrd images using dracut and enables systemd
and udev and other plugins that will be used to boot pc-style systems.

The previous initrd method was last used in MeeGo and is currently not
supported in in Tizen, so it is obsolete and does work with new udev
and systemd booting.

Do not show password in debug messages

point to tizen repo, not meego

Change-Id: I50e62f957dbdbfbc178558598881e041fe0f1643

bump to 0.15pre1

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix local repo unavailable in bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

return filename directly if local repo specified

Signed-off-by: Gui Chen <gui.chen@intel.com>

Revert "decide uniq arch when one repo only has one uniq arch"

This reverts commit 55e3c24997204f0c6ad2bb29701f2e5de0b79266.

append filesystem parameter for ext[2/3/4] filesystem

in ks file, specify --extoptions can pass ext filesystem parameter to mkfs:
part / --size 1000 --ondisk sda --fstype=ext3 --extoptions="-I 256 -E nodiscard"
other filesystem will ignore this option

Signed-off-by: Gui Chen <gui.chen@intel.com>

default to no scriptlets trigger

Signed-off-by: Gui Chen <gui.chen@intel.com>

raise when creating bootstrap failed

Signed-off-by: Gui Chen <gui.chen@intel.com>

need not to check 'passwd'

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix minor bug

Signed-off-by: Gui Chen <gui.chen@intel.com>

multiple bootstrap path to support multi-instance mic

Signed-off-by: Gui Chen <gui.chen@intel.com>

adapt for new mechanism of bootstrap

also fix arm image creation performance issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

decide uniq arch when one repo only has one uniq arch

the arch detection is changed: when one uniq arch is found in a repo,
this arch should be detected arch now.

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix version comparison for bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix extlinux not found issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix syntax warning for USAGE.rst

Signed-off-by: Gui Chen <gui.chen@intel.com>

Integrated mic with "OTC Tools Tester" Jenkins machinery

OTC Tester expects that cd packaging/ && make all produces all needed
packaging files. This change makes it happen.

Beside of that tests/mic-test.py was fixed, because Tools Tester job
runs nose if tests/ directory presents in the source tree and expects
some tests results. Results were not generated, so fake test has been
added there.

Change-Id: I08f7b5c6012fbefef640177bce13c301fcf826c0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Merge "Add dracut support to livecd/liveusb images" into devel

Add dracut support to livecd/liveusb images

This adds support to initrd images using dracut and enables systemd
and udev and other plugins that will be used to boot pc-style systems.

The previous initrd method was last used in MeeGo and is currently not
supported in in Tizen, so it is obsolete and does work with new udev
and systemd booting.

fix lost variable in warning msg

Signed-off-by: Huanhuan Li <huanhuanx.li@intel.com>

RawImageCreator: do not use double with statement

Double with statements are only supported starting from python-2.7, while
mic is 2.5-compatible. Turn the double with statement in the bmap generation
code to 2 single with statements.

Change-Id: I2ce186b4a9be8b7746c88bb96c98f4af470fa7d8
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

misc.py: make 'calc_hashes()' generic

The 'calc_hashes()' function is generic so it does not make much sense
to hide it in the 'RawImageCreator' class. Move it to 'misc.py' where
miscellaneous stuff like this is kept.

While moving, also rename the 'file_name' argument to 'file_path'.

Also change the interface so that we pass a list of hash names to calculate,
not a list of hash objects.

Also do not import 'md5' from hashlib to the current name-spaces.

Note, originally I have these things as a set of separate patches, but
merged to satisfy review comments.

Change-Id: I31d8ac35cf55447ddb5c56cfafa319a6fef85373
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Merge "misc.py: remove few unnecessary checks" into devel

misc.py: remove few unnecessary checks

We use python 2.5 features in several places and we have the
'Requires:   python >= 2.5' in our RPM spec file. This means that
we do not have to check whether hashlib and xml.etree exist, we can
just use them instead, because they are part of python 2.5.

Similarly, remove the 'with_statement' importing, because 'with'
was added in 2.5.

Change-Id: I14cc9741f66f8d397744b1b37f9a55dc47877a9c
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

clean up unused code in raw image

Change-Id: Ic047ff24c1c7728147f4a990236644b92cce32e8

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix mic chroot failure caused by unmatching parameters

in do_chroot, cmd should have default value,
otherwise the caller in former code will be failed

Change-Id: Iaeb605f744083e23d9745dde4338137033e4c1b3

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix timestamp in logfile uncorrected with 'EDT'

Do not show password in debug messages

fix logfile specified a directory

when run mic with options '--logfile=dir', traceback shows

fix help command

'mic cr ?' will output differently with 'mic cr -h'

Signed-off-by: Huanhuan Li <huanhuanx.li@intel.com>

bmap: increase minor version number

We've done some compatible changes and it is a good idea to incread the
minor bmap version number now.

Also, add some XML comments explaining the versioning.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

bmap: support sha1 checksums

This patch addresses another complaint from Henning Schroeder and adds
SHA1 checksum for each block range.

Change-Id: Ib1835ce2ca26d4e8ebe46a1e83c083822c47ce21
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

RawImageCreator: introduce a function for hash calculation

Introduce a separate function for hash calculations. I will need
hash in bmap code, so it is nice to have a common helper for this.

Change-Id: I859450803a0c6cfa9bb6db738a6931508572374f
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

RawImageCreator: remove meter for hash calculation

We currently use the progress meter when calculating hash functions
of the raw image file. Well, there is nothing bad with this, but this
is not really necessary. I am removing this because I am going to
introduce a helper function for calculating hashes, and I do not want
to complicate it with a meter.

So, remove the meter. We can add it back if we find this necessary
in the future.

This makes the code a bit less complex as well.

Change-Id: I7da651f82dcbb14e16e1dccbbc4ee73cc1aa7e0b
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

RawImageCreator: use hashlib unconditionally

mic does not work with python < 2.5 (see distfiles/mic.spec, for example), so
we can use hashlib without falling-back to 'import sha1'. This patch cleans-up
the code a bit and removes the fall-back to 'import sha1' stuff.

I move 'import hashlib' to the top level because it is cleaner and because I
will need hashlib very soon in the next patch.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

bmap: move human-readable stuff to comments

I've got feed-back from Henning Schroeder that it is bad idea to provide
human-only information in machine-parsible parts of the XML, simply because
someone may be tempted to use it.

And he is right. This patch moves all the human-only date to XML comments.

It also amends the BMAP xml header comment by adding more information.

Change-Id: If5c62c2277686dfd3c889ae6f59a9d1caa94b026
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

bmap: fix the image file open mode

Open the image file in R/O binary mode instead of the default
R/O mode.

Change-Id: Ibc8b69fdf0b920c716e7cc9c23017747206e5500
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

handle unicode in CreatorError and UsageError

when code like 'raise CreatorError(str(e))' and e.msg is unicode,
this will be failed, this patch will fix such issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

update README.rst

Signed-off-by: lhh <huanhuanx.li@intel.com>

point to tizen repo, not meego

Change-Id: I50e62f957dbdbfbc178558598881e041fe0f1643

Add block map functionality

This patch add a 'generate_bmap()' method to the RawImageCreator
class and makes the '--generate-bmap' option actually work. The generated
file has '.bmap' extention and the same name as the raw image file.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>
Change-Id: I54ab3bc7274160c697dce4f8e296b46dda28cdd2

Introduce the --generate-bmap option

This patch only introduce the --generate-bmap option of the 'raw' subcommand
and does not implement it. The implementation is added by in the follo-up
patches.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>
Change-Id: I89f1090f52405939ac77ef6599a3925043d4927b

Cleanup RawImageCreator a bit

This patch cleans-up the RawImageCreator code a little bit. We construct
the full name for the files we generate many times in various places, which
looks untidy. This commit introduces 2 helper functions: _full_name() and
_full_path() which return full name for a file and full path to a file,
correspondingly. The code becomes more readable with this change.

But also, this is a preparation to one of the following patches where we'll
need to construct full path for the bmap file. We do not want to add yet
another place where we construct this manually, so we better have a helper
function.

Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>
Change-Id: I9ac52c95e4b16bcd227df467439ac2ae87b1c145

decide uniq arch when one repo only has one uniq arch

the arch detection is changed: when one uniq arch is found in a repo,
this arch should be detected arch now.

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix version comparison for bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix extlinux not found issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix syntax warning for USAGE.rst

Change-Id: I5e67db666bb1ee57dc6f05bcdff27fd5d6be1a13
Signed-off-by: Gui Chen <gui.chen@intel.com>

relocate dist files and add change log

Change-Id: Idd31d153f36ff12b5a0aedee644d3811038b599b
Signed-off-by: Gui Chen <gui.chen@intel.com>

support running specified command for mic chroot

usage: mic chroot CHROOT [COMMAND [ARGS]]
this feature enables running command with non-interactive

Change-Id: Ic7e74a00c83e3cef5684c2ee94a755389ba4276d

bump up version to 0.15

Signed-off-by: Gui Chen <gui.chen@intel.com>

add bootstrap defined path to PATH variable

env variable PATH should be defined in bootstrap,
and they should be append to PATH when chroot

Signed-off-by: Gui Chen <gui.chen@intel.com>

split out username and password in zypp repo file

Signed-off-by: Gui Chen <gui.chen@intel.com>

add --repourl for BOSS to replace baseurl in zypp repo file

for BOSS, the baseurl in zypp repo file should be corrected.
to enable it, append the option like below:
--repourl="Tizen-main=http://download.example.com/x/y/z/"
--repourl="Tizen-base=http://download.example.com/z/y/x/"

Signed-off-by: Gui Chen <gui.chen@intel.com>
Change-Id: I9e7d395de15fed6b8f89899ff0721d3eb515ff45

update usage.rst for man page

Signed-off-by: Gui Chen <gui.chen@intel.com>

avoid traceback when loopback is NoneType

Signed-off-by: Gui Chen <gui.chen@intel.com>

lseek limit to 2G in 32bit env

Signed-off-by: Gui Chen <gui.chen@intel.com>

chmod mic script inside bootstrap to executable

Signed-off-by: Gui Chen <gui.chen@intel.com>

add optional packages which can be skiped for bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix rpm install failed for arm in bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

proxy setting to be compatible with old version of yum

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix help command incorrect issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

add more packages for tizen bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

add some packages to tizen bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

just warning when dir is not valid tizen/meego chroot

Signed-off-by: Gui Chen <gui.chen@intel.com>

resolve proxy issue in yum backend

Signed-off-by: Gui Chen <gui.chen@intel.com>