Merge "try to wait mapper device setting up" into devel

try to wait mapper device setting up

Change-Id: I512f10e2437b0023db2112854f57e621e26eaf20
Signed-off-by: Gui Chen <gui.chen@intel.com>

fix qemu depends for ubuntu

Change-Id: I92657bc67e7aa393bacf712b84962b9becf2223d
Signed-off-by: Gui Chen <gui.chen@intel.com>

fix inconsistent qemu emulator path and qemu handler

Change-Id: I4d3a36312702622191bb188665cfe0e157a56d05

remove EULA check

this EULA (End User Licence Agreemnt) is not neccessary now,
remove it to clean up the code

Change-Id: I300e494992e355c1bff811fba3dd7744733fab67
Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to version 0.23-0.rc1

Change-Id: I2010025d7711c198c7169617badf1b857f84fc84
Signed-off-by: Gui Chen <gui.chen@intel.com>

clean up and refine all the docs in git

Break the long lines, remove the deprecated content, etc.

BTW, other minor changes include:
* move the cmdln completion scripts to more proper places
* file permission checking

Change-Id: I063d99119156b45279a387c24280723ae70f4eb2
Signed-off-by: Jianfeng Ding <jian-feng.ding@intel.com>

update known issues

Change-Id: If85301290cfec73685e428af3dddc79bccedcc6e
Signed-off-by: Gui Chen <gui.chen@intel.com>

use different qemu handler for arm and aarch64

Change-Id: Ida55fa669d464a452ee822705dc9813aa8b71629

depend on new version of python-zypp to support aarch64

Change-Id: I99082b6c41495c1f4a1078f5dde29171d0a30223

Merge "AArch64(arm64) support" into devel

Merge "fix debian packaging" into devel

AArch64(arm64) support

Change-Id: I059b8423b47c67d054c4c78ce507fffd159bd14e
Signed-off-by: Gui Chen <gui.chen@intel.com>

fix debian packaging

Change-Id: Ie8e467621e0648144488e5ee62f283f0d1b37483
Signed-off-by: Gui Chen <gui.chen@intel.com>

Merge "check if mic-native installed when running native mode" into devel

Merge "fix right install location in debian packaging" into devel

check if mic-native installed when running native mode

Change-Id: I48500314b2f7de0187beb92b7ec8877d9874dc36
Signed-off-by: Gui Chen <gui.chen@intel.com>

Merge "show more details for mounting failure" into devel

fix right install location in debian packaging

Change-Id: If6a75da2e5b838fd384c460745438c7d289e6f08
Signed-off-by: Gui Chen <gui.chen@intel.com>

utils/gpt_parser.py: fix partitions names

This patch fixes https://bugs.tizen.org/jira/browse/TIVI-1727.

The problem is that we are using 'UTF-16' encoder name, and it adds BOM
(http://en.wikipedia.org/wiki/Byte_order_mark#UTF-16), and BOM breaks
tools like parted.

The GPT spec says that the partition name is UCS-16 Little Endian, so fix this
by using 'UTF-16LE' instead, which will not add BOM.

I've verified that this fixes TIVI-1727 indeed.

Change-Id: If2fff219177bed877873512457b6355dd0118011
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

show more details for mounting failure

Fixes: #1440

Change-Id: Ib1b809f36db6b29997a67002442b47c3901843be
Signed-off-by: Gui Chen <gui.chen@intel.com>

add options --interactive/--non-interactive

this option pair can enable/disable interactive output

Fixes: #1243

Change-Id: I57f63aed8406133f9e67c7261fe01975d34195c0
Signed-off-by: Gui Chen <gui.chen@intel.com>

fix conflict name

Change-Id: I9f6c08977f91fff458efd7bec754599671e456d5
Signed-off-by: Gui Chen <gui.chen@intel.com>

raise error if failed to download or run bootstrap

Change-Id: I71eac5ae3b84e66b76a94b29cac79c969129928b
Signed-off-by: Gui Chen <gui.chen@intel.com>

raise error if failed to install bootstrap

Fixes: #1467

Change-Id: I78d0a207d7902f0c2ae16b31dc33bc2c893da1f7
Signed-off-by: Gui Chen <gui.chen@intel.com>

split native requirements to native-mic package

Change-Id: I3dda824ac750573b4403e087fff31bc78a3ad29a
Signed-off-by: Gui Chen <gui.chen@intel.com>

fix KeyError 'plugin_dir' in conf.create

Change-Id: Ic4ad13938a43540cd934f2b2c48c65433b9b1049
Signed-off-by: Gui Chen <gui.chen@intel.com>

Check for installerfw fstab plugin in BaseImageCreator

Change-Id: I3d2bb9cbcf93f5c3a1974205ee70123b6319f882
Signed-off-by: Łukasz Stelmach <l.stelmach@samsung.com>

Provide default value for INSTALLERFW_PARTx_FSOPTS

Change-Id: Ib9b93dc04db41242ed3c4b78425c5ee6c2de2754
Signed-off-by: Łukasz Stelmach <l.stelmach@samsung.com>

Provide PATH environment variable for scripts

The default value of PATH environment variable in bash does not comprise
"sbin" directories.

Change-Id: I7a55cf2bc25a7ab3ce067df4161e87a83ad82987
Signed-off-by: Łukasz Stelmach <l.stelmach@samsung.com>

Put filesystem uuids to parsed ks structures

Take the uuids generated upon initialisation of DiskMount subclasses
and make them accessible via the parsed ks structure and as
INSTALLERFW_PARTx_UUID variables.

Change-Id: Iea38a403cdd365ef54979073f9a9f53d2b60038d
Signed-off-by: Łukasz Stelmach <l.stelmach@samsung.com>

Add an option to pass filesystem uuid

Introduce a new option for the "part" command to set the filesystem uuid.

Change-Id: I20fcc0dfde2c56d03433c37d905cf52c98f4254d
Signed-off-by: Łukasz Stelmach <l.stelmach@samsung.com>

Configure paths with MIC_LIBRARY_PATH and MIC_PLUGIN_DIR

Enable passing location of mic files via environment variables:
MIC_LIBRARY_PATH and MIC_PLUGIN_DIR to override values that are either
hardcoded (MIC_LIBRARY_PATH) or set in the global configuration file.

Change-Id: I601b06ba0e7953ba3882511af811a6f8cefa3585
Signed-off-by: Łukasz Stelmach <l.stelmach@samsung.com>

fix not defined 'errors' in runner.py

Change-Id: I19199611a80ddde3dde63d1821712f0a7a5e45d1
Signed-off-by: Gui Chen <gui.chen@intel.com>

internal setarch according to bootstrap environment

when using 'uname -m' in bootstrap, it always shows
the arch from the physical host. but what needs is
the internal arch, so mic needs detect the binary
arch first, then setarch properly

Change-Id: I907f5442b11690dc624c7d3ae23c858804c802f0
Signed-off-by: Gui Chen <gui.chen@intel.com>

more check for commit 9f5f5cfc38e735b7abcf9e11e0969fc4554ebcdc

Change-Id: Id61d09a4740719cb9ae1d5d167eaede63eb99ae9
Signed-off-by: Gui Chen <gui.chen@intel.com>

raw.py: create device nodes to access own disk

This patch creates loop-back devices in /dev of the image so that it would be
possible to access own disk from within chroot environment. This makes it
possible to install extlinux from chroot, not outside of chroot, as it is done
now. This also allows to do extlinux installation in an installer framework
plugin.

I do realize that this is not the most beautiful thing to do, but it works - I
have a script which installs extlinux when I run it from %post.

Change-Id: I2b14962a37524a15c5dc493572ae8e91ca8523ae
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

add 'device_mapper' key for partition to store real dm node

key 'device' for partition is for the link device, like /dev/loop01
key 'device_mapper' for partition is for the real device, like /dev/mapper/loop0p1

Change-Id: I6a5962cbe98cc111b942fd6e314de719324b6f04
Signed-off-by: Gui Chen <gui.chen@intel.com>

update faq

Change-Id: I284710520f7d00fcd0f0978ff89313f14411d471
Signed-off-by: Gui Chen <gui.chen@intel.com>

fix requires: python-urlgrabber

Change-Id: Id17c71ec1b05234db1c625d13f64b8954a3ff9de
Signed-off-by: Gui Chen <gui.chen@intel.com>

mic/msger.py: fix pylint

Change-Id: I4c19dd78b1f3187452b8cfa79191a942f48d01d7
Signed-off-by: Gui Chen <gui.chen@intel.com>

raise error instead of msger.error

mic uses too many msger.error to exit the program directly,
it's not safe, except main loop, other logic should raise
error as possible

Change-Id: I4fa0c05998b78c3bb9b12148e7dfd6c04bad8251
Signed-off-by: Gui Chen <gui.chen@intel.com>

typo fix

Change-Id: Iaebc1aa3ca03c954e5652383468bf14aa7caa010
Signed-off-by: Gui Chen <gui.chen@intel.com>

Revert "raw.py: create device nodes to access own disk"

This reverts commit 9f5f5cfc38e735b7abcf9e11e0969fc4554ebcdc.

bump up to release 0.22

Change-Id: I2b334d12d225ac9eba572fe02cef022f428ec408
Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up version to 0.22-0.rc1

Change-Id: Iaa4ac83dc7299aef66065f7091646e2da66ca28a
Signed-off-by: Gui Chen <gui.chen@intel.com>

raw.py: create device nodes to access own disk

This patch creates loop-back devices in /dev of the image so that it would be
possible to access own disk from within chroot environment. This makes it
possible to install extlinux from chroot, not outside of chroot, as it is done
now. This also allows to do extlinux installation in an installer framework
plugin.

I do realize that this is not the most beautiful thing to do, but it works - I
have a script which installs extlinux when I run it from %post.

Change-Id: I911103e2b109d7300611abdc50be873031da8b30
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

raw / baseimager: export more installer fw variables

Currently we export the following installer framework variables:

o INSTALLERFW_PARTX_DEVNODE - device nodes for each partition, e.g.,
                              /dev/sdb1

This is the device node corresponding to the partition when the image is run on
the real device.

This patch also adds the following:

o INSTALLERFW_PARTX_DISK_DEVNODE - similar to INSTALLERFW_PARTX_DEVNODE, but
  specifies disk the partition resides on, e.g., /dev/sdb
o INSTALLERFW_PARTX_DEVNODE_NOW - device nodes in the current environment which
  can be used to access the partition from within the current chroot
  environment. E.g., /dev/mapper/loop0p1.
o INSTALLERFW_PARTX_DISK_DEVNODE_NOW - similar to
  INSTALLERFW_PARTX_DEVNODE_NOW, but for the whole disk, e.f., /dev/loop0

The user of these variables is an installer framework plugin which installs
extlinux. It needs to access the whole image to install MBR and the boot
partition disk image to modify the ADV (extlinux does the latter when executed
with -i).

Change-Id: I1808c48f30174f09bb32d59ff4abe26ac6739880
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

partitionedfs: save the mapper device path

For some legacy reasons related to grub, which we do not use, MIC creates
/dev/loopXpY files which are symlinks to the real /dev/mapper/loopXpY device
node files. Then MIC saves the /dev/loopXpY path in the internal data
structure, and drps the mapper device path.

This patch makes MIC also save the /dev/mapper/loopXpY in the internal data
structures for firther use. We'll use it later for creating a copy of device
nodes in the target image. Thede device nodes will be later used by installer
framework plugins.

Change-Id: Ia928669ffd40a8fbda472d2f9d9890053aa94f67
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

don't close file description in widely

Change-Id: I30b3986421c86c6b2a427f463f6362f937347bcb
Signed-off-by: Gui Chen <gui.chen@intel.com>

set owner of cachedir and outdir to SUDO_USER

Change-Id: I95236292fad8d4593631e2defc53fb42a08840c0
Signed-off-by: Gui Chen <gui.chen@intel.com>

refine the error class module

Change-Id: I1f619a4bb22d28e3d4c2fead7bf4d28bcce7baf5
Signed-off-by: Gui Chen <gui.chen@intel.com>

BmapCreate: update to the latest version

Use the latest version of BmapCreate. This version generates bmap format 1.4
which is flexible about the checksum algorighm we use. And the default is now
sha256 instead of sha1.

Change-Id: I7aabdab9747d913368a7890be1bde407009b5cca
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

work around to correct counter number of installing packages

when two packages are required by each other, their rpm files
are both opened, but they both enter install progress together,
then they use the same counter number

Change-Id: If0632a485afb6c24ed24c2fb9d839ebb15f6fc57
Signed-off-by: Gui Chen <gui.chen@intel.com>

adapt logfile handler for bootstrap mode

if bootstrap enabled, logfile will append the records

Change-Id: Ic080e5cf9357f41c7dd4d1a2ce8f8c605a3d55e1
Signed-off-by: Gui Chen <gui.chen@intel.com>

rewrite msger module based on logging

this new logging module is fully compatible with the old msger module,
it supports interactive mode, logs the messages with specified levels
to specified stream, can also catch all error messages including the
involved 3rd party modules to the logger, and supports colorized level
name

besides, disable some test suites to pass the Tester

Change-Id: Icecbcd5e6848477a7a6c213f5a95e41396e1fbb0
Signed-off-by: Gui Chen <gui.chen@intel.com>

don't close file handlers as rpm will handle it

as new version of rpm can handle file handlers correctly in most time,
we don't repeat it in mic itself

Change-Id: I48b413e2a3aaf823f306c35e66dcfca7e002306e
Signed-off-by: Gui Chen <gui.chen@intel.com>

raw.py: remove unused variable

Change-Id: Ic704651421e50958c2b4977081c1ddb1096ccdf4
Signed-off-by: Artem Bityutskiy <artem.bityutskiy@intel.com>

tools/mic: rename variable

Get ride of these pylint warnings:
C: 82,8:MicCmd.help_create: Invalid name "cr" for type variable (should match [a-z_][a-z0-9_]{2,30}$)
C:220,8: Invalid name "mic" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)
C:227,20: Invalid name "e" for type variable (should match [a-z_][a-z0-9_]{2,30}$)

Change-Id: Ic5cf5de9ca253a2725d7dcff0ecb9aba84eaf587

use sync mode in kpartx command

see kpartx man page:
-s sync mode. Don't return until the partitions are created
this should be the wanted option for current kpartx use

Change-Id: I99ba7d6413a54e9845c5a9f0654bef4d434e9c52
Signed-off-by: Gui Chen <gui.chen@intel.com>

Add mic zsh tab completion support

Fixes: #1187

Change-Id: I6a668990556431c5df8304a830a12943cef975a0

fix typo

Change-Id: I4380c6076233079869b4563d93f5619cc54a990c
Signed-off-by: Gui Chen <gui.chen@intel.com>

prefer to use 'pbzip2'/'pgzip' than 'bzip2'/'gzip'

Fixes: #1281

Change-Id: I72c996fde9689c7c684848dade4add8b76b00b07
Signed-off-by: Gui Chen <gui.chen@intel.com>

setup.py: correct project url

Change-Id: I037b517cb7b6ac89bd07f98150c8bc9bc97337c9
Signed-off-by: Gui Chen <gui.chen@intel.com>

better handling for installing config file in virtualenv

in this handling, mic will check 'real_prefix' which is
not existed in real python env but in virtualenv to
determine the config file location

Change-Id: Iaa67ba1d78395470bc20dd7682c29ec4c933fd56
Signed-off-by: Gui Chen <gui.chen@intel.com>

update Makefile

update handling of TAGVER
drop bz2 compress
add new target 'release' to track taring release tag

Change-Id: Ief896cec98a5b36c96d7a481db88fa720d7c1c1c
Signed-off-by: Gui Chen <gui.chen@intel.com>

drop VERSION file, use __version__ directly in mic module

Change-Id: I0f0ea1a93d8bbc924f5853c0d161c286251eb670
Signed-off-by: Gui Chen <gui.chen@intel.com>

avoid IndexError for loopdev assigning

when 'losetup -f' returns '' output,
out.split()[0] will raise IndexError

Fixes: #1094
Change-Id: Iad310d70defc3c8a83c221951f0d3f8e6dc5a8a6
Signed-off-by: Gui Chen <gui.chen@intel.com>

fix redundant whitespace in logging info

Change-Id: I7e8103e802dcf7c473ec45681f075108a48597ca

Add mic bash tab completion support

Change-Id: I6374f93b456ae4789ea79e6eaede8485dd6562dd
Signed-off-by: Xiaoning Zhu <xiaoning.zhu@intel.com>

clear output like 'close failed in file object'

Change-Id: I0b07b0dd708fd163ba37863ec550f94d06190903
Fixes: #1192

Fix native and bootstrap mode switch automatically

Fixes: #1242
MIC should not fallback to native mode if bootstrap package can not be found

Change-Id: Ia682572aaaf9e028ea8e15f2d8082d0b6f1a781c

Confirm user from pwd.getpwuid to avoid compress failure

In case mic compresses the image by tarfile module,it might fail
by pwd.getpwuid blocking; to avoid this,mic takes a comfirm for
user id from pwd.getpwuid after comfirming root permission.

Fixes: #1207

Change-Id: Iaa6a886936d5d6d60ba3b21608fa81d9f4c1a238

Ensure MIC works well when "/etc/mic/mic.conf" does not exist

when "/etc/mic/mic.conf" does not exist, ensure MIC works in
native mode, and when requring bootstrap mode, MIC switches to
native mode to work,because bootstrap mode needs the existence
of "/etc/mic/mic.conf".

Fixes: #1196

Change-Id: Idf16cbb4da7748665f466eb3f2045a853821915e

Change "Warning: Failed to load plugin" to verbose info

 Fixes: #1191.

Change-Id: If0fede7c1fec739a29d81ff02f5b6b4816fad78a

make customized setting of plugin_dir work in bootstrap mode

copy plugin_dir into bootstrap in bootstrap mode

Remove several CR chars in log messages

When msger functions are called in an environment where the TTY supports
color, and the log messages begin with a carriage return (CR), then
message headers are formatted differently than they would be without the
CR.

For msger Info messages, it looks like:

  \033[2K\033[32m\rInfo:\033[0m

and is interpreted as:

  1. Clear the entire line
  2. Change color code to 32
  3. Print "\rInfo:"
  4. Reset color code

This logic makes sense for messages that begin with a CR but do not end
with a newline, since TTYs on Linux will expect either a '\n' or a
'\r\n' combination. However, I don't see a situation where MIC needs to
log messages with the leading CR.

To avoid the above logic, remove the CR characters from existing log
messages so that newlines are always added when the messages are
printed.

Change-Id: Ib98ad1a7217033aeb1644098fea5b907d4f4729d

bump up to release 0.21

Signed-off-by: Gui Chen <gui.chen@intel.com>

update changelog and release notes

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to version 0.21-0.rc4

Signed-off-by: Gui Chen <gui.chen@intel.com>

don't exit if parted returns non-zero

parted actually returns non-zero even if set
'boot' flag succeeded, to be compatible with
all the case, mic is better to give warning
than to exit immediately

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to version 0.21-0.rc3

Signed-off-by: Gui Chen <gui.chen@intel.com>

raise error if load mapper device failed

if calling 'dmsetup mknodes' doesn't take effect, mic
should raise error to avoid user

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix uuid KeyError

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix kpartx device delay

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to version 0.21-0.rc2

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix umount issue

if mount dest is updated during mount, self.ismounted() won't
check it out, self.mounted flag is valid all the way

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix syslinux requires

syslinux is lower than 4.05 in centos, but it works

Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to version 0.21-0.rc1

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix requires

syslinux 4.05 or later fixed the gpt issue
dosfstools has a misused release number

Signed-off-by: Gui Chen <gui.chen@intel.com>

Exit if partition is marked as active but boot flag can't be set.

If partition is marked with --active in ks file, mic should set
'boot' flag for MBR or 'legacy_boot' flag for GPT.

parted 2.3 doesn't support 'legacy_boot' flag, so this operation
may fail and when it happens the image will be unbootable.

Fixes: #1067

Change-Id: I8e0a5e901522cfed6af8e7dd892372d3649f2b77

Fix typo in comments and message

Change-Id: I7224bb5c500702c032b8a7c9c1dfbe91e7ae73ed

refine SimpleLockfile with closing lockf immediately

close the lock file immediately after create and open it,
it doesn't block the O_EXCL working because the file already
exists

Signed-off-by: Gui Chen <gui.chen@intel.com>

don't need to clean up extra mounts present

cleanup_mount would clean up the chrootdir, which
will block the locking mechanism

Signed-off-by: Gui Chen <gui.chen@intel.com>

setup_qemu_emulator: replace open/close with with_statement

to avoid unexpected IOError caused by open/close

Signed-off-by: Gui Chen <gui.chen@intel.com>

bind mount /lib/modules with 'ro' option

to keep the /lib/modules untouch as expected, we must
use 'ro' option when mounting it

Signed-off-by: Gui Chen <gui.chen@intel.com>

fix chroot_lock reference

Signed-off-by: Gui Chen <gui.chen@intel.com>

initialize installerfw.features

this varialbe is not initialized, so mic will throw
traceback: no attribute "features"

Signed-off-by: Gui Chen <gui.chen@intel.com>

Merge "remove unused code and check chroot_lock before release" into devel

remove unused code and check chroot_lock before release

the open of chroot lock file is unneccessary, remove it;
if chroot_lock is None, release is invalid, check it.

Signed-off-by: Gui Chen <gui.chen@intel.com>