add vcs value for --record-pkgs to record vcs info

vcs info includes git tree and tag info

Change-Id: Ibe9263de569c888709e46767d08f919046324754
Signed-off-by: Gui Chen <gui.chen@intel.com>

recalculate package content recording

Change-Id: I1c0e9bbf2e1c6c05d552e89f764e1082f91415f0
Signed-off-by: Gui Chen <gui.chen@intel.com>

fix the issue that outdir/cachedir is not dir

Change-Id: I321066964626404ca84d2d650fc7801ddf54e025
Signed-off-by: Gui Chen <gui.chen@intel.com>

reformat rpm name string to be more flexible

Change-Id: I5f735ad31ef7dd3a8c2a23eb31b6bca22aaa4f0f
Signed-off-by: Gui Chen <gui.chen@intel.com>

revert back to use device name

to fix some specific image can't boot by uuid,
mic revert it back, but mic will change this
configurable, then put it to some config file

Change-Id: I73a07d54ef467bf2148d4833a4372e70f68bbbc7
Signed-off-by: Gui Chen <gui.chen@intel.com>

add a new opiton --nocache for repo command

this option '--nocache' in repo command is used
to disable using cached rpm in this repo

Signed-off-by: Gui Chen <gui.chen@intel.com>

split out the download stuff as one python module

mix the download code into rpmmisc is mess,
try to make it stand alone, now the download
stuff like myurlgrabb, TextProcess can be
treated in one owned module

Signed-off-by: Gui Chen <gui.chen@intel.com>

remove moblin stuff from mic code

Signed-off-by: Gui Chen <gui.chen@intel.com>

compatible with old style if 'release' specified

when '--release=tizen-2013' is specified, mic shouldn't
append the original suffix, to be compatible with old
style, build_name will replace suffix with release

Signed-off-by: Gui Chen <gui.chen@intel.com>

use build_name to genarate image name

consider prefix and suffix, mic should use build_name
to genarate the name of image

Signed-off-by: Gui Chen <gui.chen@intel.com>

raw.py: implement booting by partition UUID

If the partition typ is "gpt", specify the rootfs by partition UUID instead of
the device node. This will allow to be device-node-independent.

Change-Id: I534036d2a38a072a73ac2994f5753425d60ab8a1
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: implement 'get_partuuid()' method

Implement a method for getting the partition UUID for a mapped partition.
We will use it for mounting by partition UUID a bit later.

Change-Id: Iaf497c34eaf84e8e25dd5019a99d76f3674744cd
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

raw.py: kill rootdev and prefix

Similarly, kill the 'rootdev' and 'prefix' values returned by
'_get_syslinux_boot_config()' - they are not used. This cleans up things a bit
further.

Change-Id: I164c46d5a17ebdd2404f5da1ff883ec9d79cfffc
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

raw.py: kill bootdevnum

The _get_syslinux_boot_config() function returns bootdevnum which is not really
needed, because it is not used. There is only one usage - an exception error
string, but this usage is incorrect anywere, because it prints incorrect
loopback name anyway.

So kill it, and make the code a little bit cleaner. We have enough mess there.

Change-Id: Ia6fff77205389e77ce1dac55ab044f7410bcf347
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

raw.py: detect the boot partition properly

Remove a hack of detecting the boot partition by mount point. We have a special
key for marking the boot partition.

Change-Id: I05f62cc33a72cc87ad95f45cdb79a8a611cf53de

raw.py: fix strange "bug"

The entire file kind of assumes that there may be several disks. And this is
why we have a lot of complexity in raw.py and partitionedfs.py.

But if we look at _install_syslinux(), we have a nonesense loop at the
beginning. Obviously, the entire function has to be in this loop, otherwise it
makes zero sense, right?

Change-Id: I2e6825ca475b4e1c34128361b9c4cc97159379da
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: enable GPT support

This adds finally GPT support. It works, and Tizen IVI images with GPT
partition table boot fine.

We now need is to use 'root=PARTUUID=<uuid>' in syslinux.conf to boot by
UUID - will be added later as well.

Change-Id: Icfe938e72b96c4092131039a120d6095b3acbbd4
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

kickstart: add --ptable option

This patch adds a --ptable option to the 'bootloader' command of the KS file,
as suggested by Guy Chen. The default partition table format is "msdos". We are
going to support the "gpt" format soon. Usage:

bootloader --timeout=blah --append=blah --ptable=blah

Change-Id: I02772df92a8e883ac3450b5b947789bca19be037
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

raw.py: remove redundant code

Remove code from raw.py which sets the 'bootable' flag to the boot partition,
because it is redundant.

partitionedfs.py it the file where everything concerning partitions has to be
done. And there is code which sets the 'boot' flag to the boot partition. We
just need to use the '--active' option for that partition in the ks file.

Change-Id: I17fd4e6e8785b8c6b1a48a7af1a2335a056b4d98
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: a preparation and nicification

Prepare for further changes and refactor the code a bit: separate the parted
running functionality to the '__run_parted()' function.

Do some nicifications in '__create_partition()' to improve readability.

Move the '__create_partition()' and '__run_parted()' functions down so that
they go just before 'format_disk()', which is more logical.

Remove a lot of redundant code by moving the error checking to
'__run_parted()'.

Change-Id: If9697cd2ede6f8b3f07289aa8e8ac391ea882cf2
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: rename self.__create_part_to_image

The 'self.__create_part_to_image()' is too long and not too descriptive either.
Let's name it '__create_partition()' instead.

Change-Id: I556c8dd872b1fd79d8c44fac0ca5130ae1521bc8
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: add partial GPT support

This commit partially adds GPT partitions support. Further patches will add
full support. I split them to make the patches more reviewable.

This patch basically implements most of the things except of actually asking
parted to use GPT partitioning.

This patch introduces another 'layout_partitions()' parameter which defines the
partition table format. It now may be 'msdos' or 'gpt'.

Change-Id: I210bacc629b938d307a1e4d209c90d4400a42daa
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: make the interface a bit saner

We have 'add_partition()' call to add one partion, but we have 'add_disks()'
method to add all disks at once. This is inconsistent and makes the code more
difficult to understand. Fix this by changind 'add_disks()' into 'add_disk()'
which adds a single disk. This makes things look a lot nicer.

Change-Id: I8a4f4249b1f8fa02486d4cbb3fbc4226ca2e65b8
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs.py: improve readability some more

Add a comment to 'add_partition()'. Also convert all the non-docstring comments
to the normal '#' style to make the code consistent.

Change-Id: I772d08f20d434b7bb4f4725410622da5ac9d2fb6
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: rename MBR_SECTOR_LEN

The 'MBR_SECTOR_LEN' name becomes not very appropriate when we add GPT
partitions, which have a lot larger overhead comparing to MBR partitions. We'll
need to introduce another constant. Let's use the 'MBR_OVERHEAD' instead, and
later we'll introduce a 'GPT_OVERHEAD' variable.

Change-Id: Iedf9338b58eed3b4b4b149ba9f30acf5369500c7
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

paritionedfs: improve readability

Rename the 'disk' key in parition and subvolume dictionaries into 'disk_name',
because it is really a disk name string. Old name is very confusing because
the disks dictionary also has a 'disk' key which points to a real disk object.
I was many times confused by this when I was trying to understand the code, and
now it is time to clean the mess up a bit.

Change-Id: I58526ce719f831051924498550df5de9b3ebd737
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: fix the mbr_sector_skipped hack

The entire PartitionedMount class assumes there may be more than one disk. And
the 'mbr_sector_skipped' hack is wrong because it assumes there is only one
disk and we need to skip only once, which is incorrect.

This patch fixes the issue. And it actually makes things nicer as well.

Change-Id: Icb399cfa488786ce6668ffaa21146f01a3e15a08
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: clean-up some mess

This is a clean-up patch. It cleans up the code around alignment and makes it
both shorter and more readable. No functinal changes, just using better
constructs and removing useless operations.

Change-Id: I9655239168101ca491ac60b3a16798dedef12841
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

raw.py: kill get_diskinfo()

We do not need this function anymore. The only thing we need is to get disk
names. So instead, introduce a 'get_disk_names()' method which simply returns a
list of disk names.

This is a clean-up.

Change-Id: I5145ab0fe3f36c9ac5fef6bb82b53a29f51eb5b0
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

raw: fix image size with --align

Finally, with the preparation patches we did, we can fix the --align problem
and fix bug #624.

The issue is: with --align the image size becomes too large and there are
unused blocks at the end.

Now we can use correct image size calculated by partitionedfs.py.

Change-Id: I59e19281934b9557cdb960a7228d81f463f37786
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: calculate minimum disk sizes

Now we can calculate minimum disk sizes in layout_partitions(). Introduce
'min_size' key to the disks dictionary for this.

Change-Id: I23161ff2461111f323dcd30ef6d1cb744098a6a7
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: separate out partitions placing

Create a new method which lays out (or places) partitions to the disks. It will
make it possible to find out disk size before creating a disk. Indeed, this
function places all partitions, so the end of the last partition is the size of
the disk. So the user will have to be able to do this:

1. Add all partitions
2. Layout partitions
3. Get the disk size
4. Create the disk
5. Add the disk and format/mount it

And no more buggy heuristics for disk size are needed.

Change-Id: Ib6edf5e57d3d03f4a84d3f46eefad7d25bc793ec
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: add disks while adding partitions

The PartitionedMount class used to work as follows:

1. The user adds all partitions using 'add_partition()'. We create an internal
   list of partitions.
2. User adds all disks using 'add_disks()'. We create an internal list of
   disks. Additionally, 'add_disks()' provides the real disk object.

The problem with this is that in order to create the real disk object, we need
to know its size. But it is difficult to calculate it when complex options like
--align are used.

The real calculations happen in the '__format_disks()' method of
PartitionedMount.

What I want to do is to make things work this way:

1. The user adds all the partitions.
2. The user asks what disk size is required.
3. The user creates disk objects of the right size and adds them.

In order to achieve it, I need to separate out the partitions positioning from
the '_format_disks()' function, and do this before the user adds the disks.

However, the positioning code assumes we already have the internal disks
dictionaries (self.disks). But current code creates those dictionaries only in
'add_disks()', which is too late for our purposes.

This patch basically makes the inderal disks dictionaries while adding the
partitions, because the partition already contains the disk name (internal
target physical name). So we can create the disk dictionaries right away.

The only missing thing will be the host disk objects, which are added by
'add_disks()' later on.

Change-Id: Ie8245c8b61c941165aea3a583826a2896f4c85d9
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: introduce add_disks() method

The 'PartitionedMount()' class has an 'add_partition()' method for adding a
partition. Introduce a simialr 'add_disks()' method of adding disks.

Currently the disks are added by the constructor and this is very inflexible.
Indeed, to add a disk, wee need know first create it. To create it - we need to
know its size. To find out its size, we need to sum up all the partition sizes,
take into account the alignment, the MBR size and so on. IOW, do complex
calculations.

This is a preparation for further changes where the disk size calculation will
be done by 'PartitionedMount()' instead. It will tell us the disk size, and
we'll add the disk after adding partitions.

The final goal is to fix the --align bug - when --align is used, the generated
raw disk size is larger than needed - it has unused space at the end.

In this patch we also amend all the users of PartitionedMount to comply to
the new interface.

Change-Id: I0cacfb64410c7b2da634642fbf57d5b4be28acad
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Merge "baseimager.py: rename MANIFEST to MD5SUMS" into devel

raw.py: switch to the BmapCreate module

The bmaptools project now has a nice 'BmapCreate' API module, which contains
all the bmap creation functionality, gets improved and bug-fixed, as well as
tested.

Already now it is better then the old mic implementation because it uses the
FIEMAP ioctl instead of FIBMAP, and FIEMAP does not require root.

In order to get all the goodies of the library and avoid code duplication
and double maintanace efforts - switch to the BmapCreate library and kill
own bmap implementation.

Change-Id: Ie5b591fd1125dcff3fb82118a6e3604961e9c301
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

make syslinux sel menu color usable

The selection color is the same as the background, which makes it
invisible, this sets the color to the inverse

baseimager.py: rename MANIFEST to MD5SUMS

The name "MANIFEST" is not very good for multiple reasons:

1. It is not user-friendly - mere users do cannot tell what this file is from
   its name.
2. Tizen is currently the most important user of MIC, and in Tizen we use word
   "manifest" for a different thing - every package has a security manifest
   file which declares the needs of the package.
3. MIC stores checksums in the MANIFEST, and this file is compatible with the
   'md5sum' tool. If we decide to provide sha1 checksums in the future, we'll
   have to add another file with a different name. What will that name be?

Anyway, it is nicer and cleaner to use the same naming scheme as OpenSuse and
Ubuntu use. They have MD5SUMS and SHA1SUMS files.

Let's make things more aligned and cleaner and rename MANIFEST into MD5SUMS.

This may break some scripts some people use. But I think it is anyway a low
risk thing, and it is better to rename now, when Tizen has few users. It may be
more difficult to do later.

Change-Id: I79f968066aa27bd211622f477b27a1973b3775ad
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

update dist files and tests to enable unittest

Signed-off-by: Gui Chen <gui.chen@intel.com>

keep only unittest

Signed-off-by: Gui Chen <gui.chen@intel.com>

update documentation

put arch compatible into pkg comparison

Signed-off-by: Gui Chen <gui.chen@intel.com>

Merge branch 'release-0.15' into devel

Conflicts:
etc/bootstrap.conf
mic/bootstrap.py
mic/creator.py
mic/imager/raw.py
mic/msger.py
mic/utils/misc.py
setup.py

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix type error when calling mknod

subprocess requires string only for command args

Change-Id: I32442ea6a0d28a40fea55a2ffcf9d43579d1c6da

bump up to release 0.15

Signed-off-by: Gui Chen <gui.chen@intel.com>

SparseLoopbackDisk: fix sparse file creation

The SparseLoopbackDisk class created sparse file a bit incorrecly.

First of all, it created a sparse file of wrong size - one byte more than
asked.  Indeed, look at Tizen images, they are of size '2717908993', which is
2.5GiB + 1 byte.

Second of all, the file was not as sparse as it could be - because of the write
to the end, the last block was mapped.

Change this to just use 'ftruncate()' to the right size, which does the trick.

Change-Id: If76d27515d5483e29a76a15f128ff8737872d57b
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

remove rpmdb files before install packages

this rpmdb files will avoid the installing

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15-rc5

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix uuid lost in some case which raise traceback

Signed-off-by: Gui Chen <gui.chen@intel.com>

require python-m2crypto when needed sslverify

Signed-off-by: Gui Chen <gui.chen@intel.com>

more compatible way to pass ext options

and also catch mkfs error

Signed-off-by: Gui Chen <gui.chen@intel.com>

correct checking order for assigning folder to logfile

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix showing incorrect total install number in some case

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15-rc4

Signed-off-by: Gui Chen <gui.chen@intel.com>

show dumpe2fs when debug

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix logfile specified a directory

when run mic with options '--logfile=dir', traceback shows

fix lost variable in warning msg

Signed-off-by: Huanhuan Li <huanhuanx.li@intel.com>

update doc/RELEASE_NOTES

Signed-off-by: Gui Chen <gui.chen@intel.com>

typo fix

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix local repo metadata override issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15pre3

Signed-off-by: Gui Chen <gui.chen@intel.com>

add RELEASE_NOTES

Signed-off-by: Gui Chen <gui.chen@intel.com>

improved loop creation

Signed-off-by: Gui Chen <gui.chen@intel.com>

sync time and zone setting to bootstrap env

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix timestamp in logfile uncorrected with 'EDT'

update README.rst

Signed-off-by: lhh <huanhuanx.li@intel.com>

some case don't need to mount parent folder

bind mounting parent folder has potential issue in some case, make it optinal

some dirs like 'outdir' 'logfile' which will be created by mic is not existed
before chroot, create them to avoid left them inside chroot

Signed-off-by: Gui Chen <gui.chen@intel.com>

don't drop when failed to unmap kpartx device

just warn the failure, no need to drop here

Signed-off-by: Gui Chen <gui.chen@intel.com>

use 'mknod' instead to create loop device

in some distros, if loop device is not created by 'mknod',
losetup can't use them correctly

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.15pre2

Signed-off-by: Gui Chen <gui.chen@intel.com>

backport bmap patch from devel

Signed-off-by: Gui Chen <gui.chen@intel.com>

Add dracut support to livecd/liveusb images

This adds support to initrd images using dracut and enables systemd
and udev and other plugins that will be used to boot pc-style systems.

The previous initrd method was last used in MeeGo and is currently not
supported in in Tizen, so it is obsolete and does work with new udev
and systemd booting.

Do not show password in debug messages

point to tizen repo, not meego

Change-Id: I50e62f957dbdbfbc178558598881e041fe0f1643

bump to 0.15pre1

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix local repo unavailable in bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

return filename directly if local repo specified

Signed-off-by: Gui Chen <gui.chen@intel.com>

Revert "decide uniq arch when one repo only has one uniq arch"

This reverts commit 55e3c24997204f0c6ad2bb29701f2e5de0b79266.

append filesystem parameter for ext[2/3/4] filesystem

in ks file, specify --extoptions can pass ext filesystem parameter to mkfs:
part / --size 1000 --ondisk sda --fstype=ext3 --extoptions="-I 256 -E nodiscard"
other filesystem will ignore this option

Signed-off-by: Gui Chen <gui.chen@intel.com>

default to no scriptlets trigger

Signed-off-by: Gui Chen <gui.chen@intel.com>

raise when creating bootstrap failed

Signed-off-by: Gui Chen <gui.chen@intel.com>

need not to check 'passwd'

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix minor bug

Signed-off-by: Gui Chen <gui.chen@intel.com>

multiple bootstrap path to support multi-instance mic

Signed-off-by: Gui Chen <gui.chen@intel.com>

adapt for new mechanism of bootstrap

also fix arm image creation performance issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

decide uniq arch when one repo only has one uniq arch

the arch detection is changed: when one uniq arch is found in a repo,
this arch should be detected arch now.

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix version comparison for bootstrap

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix extlinux not found issue

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix syntax warning for USAGE.rst

Signed-off-by: Gui Chen <gui.chen@intel.com>

Integrated mic with "OTC Tools Tester" Jenkins machinery

OTC Tester expects that cd packaging/ && make all produces all needed
packaging files. This change makes it happen.

Beside of that tests/mic-test.py was fixed, because Tools Tester job
runs nose if tests/ directory presents in the source tree and expects
some tests results. Results were not generated, so fake test has been
added there.

Change-Id: I08f7b5c6012fbefef640177bce13c301fcf826c0
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Merge "Add dracut support to livecd/liveusb images" into devel

Add dracut support to livecd/liveusb images

This adds support to initrd images using dracut and enables systemd
and udev and other plugins that will be used to boot pc-style systems.

The previous initrd method was last used in MeeGo and is currently not
supported in in Tizen, so it is obsolete and does work with new udev
and systemd booting.

fix lost variable in warning msg

Signed-off-by: Huanhuan Li <huanhuanx.li@intel.com>

RawImageCreator: do not use double with statement

Double with statements are only supported starting from python-2.7, while
mic is 2.5-compatible. Turn the double with statement in the bmap generation
code to 2 single with statements.

Change-Id: I2ce186b4a9be8b7746c88bb96c98f4af470fa7d8
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

misc.py: make 'calc_hashes()' generic

The 'calc_hashes()' function is generic so it does not make much sense
to hide it in the 'RawImageCreator' class. Move it to 'misc.py' where
miscellaneous stuff like this is kept.

While moving, also rename the 'file_name' argument to 'file_path'.

Also change the interface so that we pass a list of hash names to calculate,
not a list of hash objects.

Also do not import 'md5' from hashlib to the current name-spaces.

Note, originally I have these things as a set of separate patches, but
merged to satisfy review comments.

Change-Id: I31d8ac35cf55447ddb5c56cfafa319a6fef85373
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

Merge "misc.py: remove few unnecessary checks" into devel

misc.py: remove few unnecessary checks

We use python 2.5 features in several places and we have the
'Requires:   python >= 2.5' in our RPM spec file. This means that
we do not have to check whether hashlib and xml.etree exist, we can
just use them instead, because they are part of python 2.5.

Similarly, remove the 'with_statement' importing, because 'with'
was added in 2.5.

Change-Id: I14cc9741f66f8d397744b1b37f9a55dc47877a9c
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

clean up unused code in raw image

Change-Id: Ic047ff24c1c7728147f4a990236644b92cce32e8

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix mic chroot failure caused by unmatching parameters

in do_chroot, cmd should have default value,
otherwise the caller in former code will be failed

Change-Id: Iaeb605f744083e23d9745dde4338137033e4c1b3

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix timestamp in logfile uncorrected with 'EDT'