Add exclude-from-image option to exclude specific images

Change-Id: I5651efc10e3b250af0f31f5224f9dca40a5d7124

Merge branch 'master' into devel

Change-Id: I09830eca415172d1e381ea737ab833ac0c757e43

Add change log and release information for Release 0.27.1

Change-Id: I620035d4871df6cb31fe94121f060db6b17f2833

bump up to release 0.27.1

Change-Id: I3dba1b42fae23a1dbe37d8ff668fc97dd3ed76a4

Remove BmapCreate and Filemap source code from MIC

Change-Id: I1bcd94008d785fb82cb807b8678ce960cb6f1145

Revert "Drop mic raw image format support"

Change-Id: I2752f5c804f215ba96b5cfbabfefb1c383bb5803

bump up to release 0.27

Change-Id: I84c32980894184dde260a4b101ec13ee29324fb6

fix broken tar archive

Change-Id: I971b256f3e47212dd54b2f5b9232a8ade212a405

check scriptlet error file on /tmp/.postscript/error/

Change-Id: I26c09e1bfc2c7ef9090b8e9218ce06880072398a

need to check whether the loop device exists after excute losetupcmd --find

Change-Id: I0611a6b52f6e8a5ecc17f1fbc12044a0f7167326

Revert "Add lzop compress format"

Change-Id: If63177dbb1ae2a8f1a2fc1cbb849cd51fc1ea957

Fix unit test cases for CentOS_6

Change-Id: Idf5d4c3fb493468272374760ca9d8a507036fc40
Signed-off-by: Rong Jinhui <jinhui.rong@samsung.com>

Update the mic doc

Change-Id: Id17882b91640f5390198c17bbf3bc2fdb8699668

Using argparse module to parse the cmd line

Conflicts:
plugins/imager/loop_plugin.py

Conflicts:
plugins/imager/loop_plugin.py

Change-Id: I19facc99768379c75f1794045d7faf0246000169

Drop mic raw image format support

Change-Id: Ia5f0f14131463f1eb20bbfe8a7159dfe1307f215

Conflicts:
plugins/imager/raw_plugin.py

Conflicts:
plugins/imager/raw_plugin.py

Drop MIC livecd image format support.

Change-Id: I22032747185fb6f2344c4a88ca227503d9369823

Drop MIC liveusb image format support

Change-Id: I48e2f647b8278107bd4ce84c0c9c0237dec8b948

cleanup the code related with mic-native

Change-Id: Iaec1eb7817b05a0eacdef3c1aafe248eeaade538

Update Change Logs and RELEASE_NOTES for 0.27

Change-Id: Ic14019a86c4efd1c302ea123579d9c1747785a91

Modify change logs and release notes not to release Fedora 23

Change-Id: Icb3a15056eb26c48b57730a06e952a2898cb97ab

Handle conflicts from git merge release-20160315

bump up to release 0.27

Change-Id: I1c8861e517686047368a3941f678b56d173056fb

fix broken tar archive

Change-Id: I971b256f3e47212dd54b2f5b9232a8ade212a405

check scriptlet error file on /tmp/.postscript/error/

Change-Id: I26c09e1bfc2c7ef9090b8e9218ce06880072398a

need to check whether the loop device exists after excute losetupcmd --find

Change-Id: I0611a6b52f6e8a5ecc17f1fbc12044a0f7167326

Revert "Add lzop compress format"

Change-Id: If63177dbb1ae2a8f1a2fc1cbb849cd51fc1ea957

Fix unit test cases for CentOS_6

Change-Id: Idf5d4c3fb493468272374760ca9d8a507036fc40
Signed-off-by: Rong Jinhui <jinhui.rong@samsung.com>

Update the mic doc

Change-Id: Id17882b91640f5390198c17bbf3bc2fdb8699668

Using argparse module to parse the cmd line

Conflicts:
plugins/imager/loop_plugin.py

Drop mic raw image format support

Change-Id: Ia5f0f14131463f1eb20bbfe8a7159dfe1307f215

Conflicts:
plugins/imager/raw_plugin.py

Drop MIC livecd image format support.

Change-Id: I22032747185fb6f2344c4a88ca227503d9369823

Drop MIC liveusb image format support

Change-Id: I48e2f647b8278107bd4ce84c0c9c0237dec8b948

cleanup the code related with mic-native

Change-Id: Iaec1eb7817b05a0eacdef3c1aafe248eeaade538

Don't check disk size during rpm transaction when creating multiple partitions

rpm check only "/" partition size before installing packages

Change-Id: Ic00e937530f926f58ee4099f7a079c640fc721a5
Signed-off-by: Yeongil Jang <yg0577.jang@samsung.com>

--priority option of *.ks file in mic does not apply

I confirm that  --priority option of *.ks file in mic does not apply
When creating an image file using ks file, Priority is determined by repo name

If you check the logs of the mic by applying the repo name below to see what the results are different

repo --name=mobile-wayland_arm64 ...
repo --name=prerelease ... --priority 1
..............................................
repo --name=2mobile-wayland_arm64 ...
repo --name=1prerelease ... --priority 1

Change-Id: I53bb8e96bc8eb06e8075294e56b0cbb4f35afd6b

Update tar command option

List whole files to the tar command instead of giving a dir

Change-Id: I1916924eaf63876c9d4fe0bcfa64f4f8e142a42e

Drop mic native support

mic option --runtime=native has been broken for more than one year,
maintain this mode requires more effort for new distribution support,
so drop this mode without risk.

Fixes: #DEVT-248

Change-Id: Iaee916889fabfe62f6a507781f9ca1c3d01ee5a2

Mount option is modified to be more general
Supporting for using command line tools as toybox, busybox.

Fixes: #2359

Change-Id: I3b5935609d83601900f03c978e48e95490559143
Signed-off-by: Gyeoungmin Kim <g5.kim@samsung.com>

Put log file in 'release' output always.

When image creation failed, log created by '--release' will be
located under 'outdir' instead of 'release_dir'. Also put the
log file under 'release_dir' when image creation failed.

mic-appliance create images through executing '/etc/init.d/mic'
script in the appliance. 'time mic cr auto $extra /media/out/$ks'
is called, and '--release' option is used when creating images.

In the past, 3 points about the logfile created by '--release':
1. Create logfile in default 'out_dir' which is specified in
'/etc/mic/mic.conf'. 2. Before creating images, check whether the
'release_dir' exists, if it exists, remove the whole directory. 3.
After the image creation finished, copy the logfile to the final
'release_dir' where the images located. So when the image creation
failed, no logfile found in 'release_dir', the logfile is under default
'out_dir'.

If directly change the 'out_dir' to 'dest_dir' in conf.py, the image
creation will fail if there already exist a same 'release_dir', because
this existed 'release_dir' will be removed when creating images, but the
logfile use this dir at the time, so it cannot be removed, then mic will
fail and exit. So right now, if 'release_dir' already existed, just remove
the files under it except the newly created logfile, and remain the dir.

Fixes: #2212

Change-Id: Ibdc9af3d0e03ca966517d05b1e519d4d9fb3ad43

Add copyright to files that miss copyright

Fixes: #2250

Change-Id: I4e1fa970229b460053671c325ba469a542f83806

Updata manual page in /doc

Change-Id: I7144355d94a6c4b02a6d9fe47178c8bdd38d6691
Signed-off-by: Gyeoungmin.kim <g5.kim@samsung.com>
Signed-off-by: Lihong Sun <lihongx.sun@intel.com>

Fix syslinux installation path issue in Arch Linux

isolinux.bin and mbr.bin is installed to /usr/lib/syslinux/bios in arch linux

Change-Id: Iaa737b7fb277b5b7dee0ebb97a2523722f60e65d
Signed-off-by: Junchun Guan <junchunx.guan@intel.com>

bump up to release 0.26

Change-Id: Ic291b2c7fbe8c09a1bdf341d35740f9f639cc5cf
Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.26 rc1

Change-Id: I47f65df512e74b7ba82efcaf0b81b75f9795bcea
Signed-off-by: Gui Chen <gui.chen@intel.com>

add qcow image support

Change-Id: I5d357a162b2227beaff35f4a5ef913d36a2a6972
Signed-off-by: Gui Chen <gui.chen@intel.com>

change __imgdir to protect member

Change-Id: I2da8fc9d549374877f00c51924df4f7d0425d2c7
Signed-off-by: Gui Chen <gui.chen@intel.com>

Add 'ValueError' exception.

Change-Id: I22021ebea6bd2db34150c15f588289c18929d63a

Add 'get_VcsInfo' function part to yumpkgmgr.py

Fixes: #2081

Change-Id: Id780d02d38cbfccf6d4bb6e9eb37d709db0dd336

fix static qemu-arm failed issue

Change-Id: I44a2c69f4292306405857a0b8545d231f2b635f3
Signed-off-by: Gui Chen <gui.chen@intel.com>

Check whether '/usr/bin/qemu-aarch64' exist.

Change-Id: I3d15f5ee386802c23e438e453aedfdace72739d5

copy the real device mapper

some operation like initrd creation need the real device actually,
so copy it into _instroot as well

Change-Id: Id45680bc2407bfc9e07e90753b9696bb1066db12
Signed-off-by: Gui Chen <gui.chen@intel.com>

add real path of device mapper to partition dict

actually /dev/mapper/loop0p1 is symbol link in some distros,
so add its real path to dict

Change-Id: I2c9655e61e8878c3bbf5ea134f28996df1c6d78a
Signed-off-by: Gui Chen <gui.chen@intel.com>

aarch64: use qemu-aarch64 instead qemu-arm64

In qemu version 2.0, we use qemu-aarch64 instead of qemu-arm64. Thus,
this mic script should be changed to use correct qemu path of arm64
platform.

Change-Id: I3d910511cbece0cafdfb72f7846cbdadcd6c1f2d
Signed-off-by: Chanho Park <chanho61.park@samsung.com>

Add 'python-xml' dependency of mic

Fixes: #2028

Change-Id: Ib8eec98150115bb4b36e7226d1cfa91e29de682c

Add sha1sum and sha256sum

Fixes: #1956

Change-Id: I9eca40309e4a7eabb1cbc46424266312b3f2b10c

add strict-mode feature for zypp backend

Fixes: #2056

Change-Id: I4858a52364189d5985c90b4bc6a0d435507be758
Signed-off-by: Gui Chen <gui.chen@intel.com>

add strict_mode(MHA-1115)

Enable ssl_veirify option in mic config file

There is an option 'ssl_veirfy=no' in mic.conf, but it is commented. Now enable
this feature.

Fixes: #2017
Change-Id: I92c98cfd7a399bed4d5e955681e857ea7990ad8d

fix md5sum format able to check by 'md5sum -c'

use two spaces instead of ' *' as seprator in MD5SUM

Change-Id: I0f37c3366d9e0c44c82b74c78d49a9647ce477ad
Signed-off-by: Gui Chen <gui.chen@intel.com>

fix Package_constPtr AttributeError: status

actually the modified 'item' should be PoolItem, which has 'status',
instead of Package

Change-Id: Ib29bc770281a5d32773a2165c65cc6c4431cb51b
Signed-off-by: Gui Chen <gui.chen@intel.com>

typo fix

Change-Id: Id451840526902cbca9e5dd6a4cd0b730bb2bebfa

bump up to 0.25.1

Change-Id: Iafafcc2d03f58881d9907003c61c72f102e91845
Signed-off-by: Gui Chen <gui.chen@intel.com>

add requires for cElementTree module

Change-Id: Id0a92e7a68677c1ab51b13401a6befb6a2b72f7a
Signed-off-by: Gui Chen <gui.chen@intel.com>

Add unitest for mic/archive.py

Change-Id: Ic75ef5a31a5b935958de7eaa3f2995dfdaad86ef

bump up to release 0.25

Change-Id: I9dfe1537173e9521d04ac06e98316fed28f407e4
Signed-off-by: Gui Chen <gui.chen@intel.com>

bump up to 0.25-rc1

Change-Id: Ie870a858727935eb6de19a6b6494c471de66e2a0
Signed-off-by: Gui Chen <gui.chen@intel.com>

Make the error more precise

Change-Id: I11879de8063534eb5a59b80edbfcd9a73aefdc5d

remove --preserve-order option in tar fs image

Change-Id: Ib510143290f49c1b791424201401085368b9d1bb
Signed-off-by: Gui Chen <gui.chen@intel.com>

Fix pylint tips

Change-Id: Id323538fd9bb643bdf4d5f94e77f7578eb85f14e
C:  1,0: Missing docstring
E: 19,0: No name '__version__' in module 'mic'
E: 20,0: No name 'utils' in module 'mic'
E: 21,0: No name 'conf' in module 'mic'
E: 22,0: No name 'plugin' in module 'mic'
W:101,14:MicCmd.help_create: Access to a protected member _help_reindent of a client class
W:102,14:MicCmd.help_create: Access to a protected member _help_preprocess of a client class
R: 94,4:MicCmd.help_create: Method could be a function
C:108,4:MicCmd.do_create: Missing docstring
R:108,4:MicCmd.do_create: Method could be a function
C:112,4:MicCmd._root_confirm: Missing docstring
R:112,4:MicCmd._root_confirm: Method could be a function
R:120,4:MicCmd.do_convert: Too many local variables (16/15)
E:148,8:MicCmd.do_convert: Instance of 'ConfigMgr' has no 'convert' member
W:120,25:MicCmd.do_convert: Unused argument 'subcmd'
R:120,4:MicCmd.do_convert: Too many branches (16/12)
E:216,8:MicCmd.do_chroot: Instance of 'ConfigMgr' has no 'chroot' member
W:192,24:MicCmd.do_chroot: Unused argument 'subcmd'

put logfile setting up prior to other error output

except release optioin applied

Change-Id: I10eaac322424460694566a79eda5e53642d798fe
Signed-off-by: Gui Chen <gui.chen@intel.com>

fix incorrect location outdir to destdir

Change-Id: Ic0ec2d5ed9cefbc90d8a4b1149ecb7d984ad1e9f
Signed-off-by: Gui Chen <gui.chen@intel.com>

relocate create.logfile to conf module

Change-Id: I276069bb1c33c1ef9a6c3eaac5ce409c211a9a51
Signed-off-by: Gui Chen <gui.chen@intel.com>

relocate create.outdir to conf module

Change-Id: I1a9007e9b3d8abfa91091ab063f75bb1f6cd3808
Signed-off-by: Gui Chen <gui.chen@intel.com>

relocate create.name to conf module

Change-Id: Id3e8d2cbf0a4e08ecfbe7941c4967206cd40cd88
Signed-off-by: Gui Chen <gui.chen@intel.com>

Add more log info to show compress command.

Fixes: #1880

Change-Id: I9d81991364aaa57504777e530ba75129dbbcf0f8

AArch64 binformat line fix

There was a typo in binformat line for an AArch64 which made it impossible to
perform firmware builds for this architecture.

Change-Id: I7cc300a5a58dc9fee353f314677d6ab4b2e37d6b
Signed-off-by: Vyacheslav Barinov <v.barinov@samsung.com>

duplicate locale setting under /etc/locale.conf

to be compatible with systemd and system V, /etc/sysconfig/i18n and /etc/locale.conf are both existed

Fixes: #1745

Change-Id: I4d508d506161371765cfab6821da9a61223493ef
Signed-off-by: Gui Chen <gui.chen@intel.com>

Raise exception if fail to extract archived file

It's meaningless to return the value if the source archive name exists

Change-Id: Ifc06a09243c56d6035ef233debd9267f053669e0

more check before extracting archive

Change-Id: Ieca43aa54cd384392b288aadd66c3e443eaca701

more check before making archive

Change-Id: I5a205a06d354e559e7c62767661738a59585788b
Signed-off-by: Gui Chen <gui.chen@intel.com>

Add two output info to avoid duplicat "Checking filesystem"

"loop", "liveusb", "livecd" image creation logs all have duplicate
info of "Checking filesystem", add more info to avoid misunderstanding.

Change-Id: I416e71cd312ae5cad23468bb2d7d191358bf4309

Fix pylint tips

Change-Id: Ic0805cc13abc16afd1881c7513edf2f9f980d0fc
C: 58,0: Line too long (87/80)
W: 20,24: Redefining built-in 'id'
C:  1,0: Missing docstring
C: 11,4: Invalid name "version" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)
C: 13,4: Invalid name "version" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)
W: 26,8: No exception type(s) specified
C: 20,13: Invalid name "dist" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)
C: 20,19: Invalid name "ver" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)
C: 20,24: Invalid name "id" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)
C: 43,0: Invalid name "prefix" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)
C: 45,0: Invalid name "root" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)
C: 47,0: Invalid name "conffile" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)
C: 49,0: Invalid name "conf_str" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)
C: 50,0: Invalid name "conf_str" for type constant (should match (([A-Z_][A-Z0-9_]*)|(__.*__))$)

typo fix

Change-Id: I0bc9288562694f3a12bb6cf46ffa5c0cadebd236
Signed-off-by: Gui Chen <gui.chen@intel.com>

archive.py: refine extract_archive to extract tarball file

Change-Id: I5af9f17de9d1ac5d12bf1706ce7609ea4c4e201f
Signed-off-by: Gui Chen <gui.chen@intel.com>

archive.py: auto detect format in decompression and refine get_xxx_formats/get_xxx_suffixes

it will detect the format automatically when decompressing
add get_compress_suffixes to list all supported suffixes in compression
clear get_compress_formats
clear get_archive_formats

Change-Id: I1fb2117e4b04c382836b81760bb423cc62f2fd5e
Signed-off-by: Gui Chen <gui.chen@intel.com>

avoid to compress/decompress a non-file object

Change-Id: I0c43f449175325ba9314e56151a822b3aee0ec21
Signed-off-by: Gui Chen <gui.chen@intel.com>

Pylint warnings.

C:139,8:Zypp._zyppQueryPackage: Comma not followed by a space
        query.addAttribute(zypp.SolvAttr.name,pkg)
                                             ^^
C:146,8:Zypp._splitPkgString: Comma not followed by a space
        sp = pkg.rsplit(".",1)
                           ^^
C:213,12:Zypp.selectPackage: Comma not followed by a space
            q.addAttribute(zypp.SolvAttr.name,pattern)
                                             ^^
C:217,12:Zypp.selectPackage: Comma not followed by a space
            q.addAttribute(zypp.SolvAttr.name,name)
                                             ^^
C:221,12:Zypp.selectPackage: Comma not followed by a space
            q.addAttribute(zypp.SolvAttr.name,pkg)
                                             ^^
W: 19,0: Unused import sys
W: 35,0: Unused import BaseImageCreator
W: 20,0: Unused import re

Change-Id: Ie6bdff4de495e93b0dd534c276cb77d5270db114

Conflicts:
plugins/imager/raw_plugin.py

Pylint error of partitionedfs.py and proxy.py

C: 44,8:unset_proxy_environ: Operator not preceded by a space
        ENV=env.upper()
           ^
C: 44,8:unset_proxy_environ: Invalid name "ENV" (should match [a-z_][a-z0-9_]{2,30}$)
C: 77,4:_ip_to_int: Operator not preceded by a space
    ipint=0
         ^
C: 78,4:_ip_to_int: Operator not preceded by a space
    shift=24
C: 85,4:_int_to_ip: Operator not preceded by a space
    ipaddr=""
          ^
C: 86,4:_int_to_ip: Operator not preceded by a space
    shift=0
         ^
C:111,12:_set_noproxy_list: Comma not followed by a space
            _my_noproxy_list.append({"match":0,"needle":item})
                                              ^^
C:115,12:_set_noproxy_list: Comma not followed by a space
            _my_noproxy_list.append({"match":1,"needle":item})
                                              ^^
C:127,16:_set_noproxy_list: Invalid name "ip" (should match [a-z_][a-z0-9_]{2,30}$)
C:129,16:_set_noproxy_list: Operator not preceded by a space
                shift=24
                     ^
C:130,16:_set_noproxy_list: Operator not preceded by a space
                netmask=0
                       ^
C:136,12:_set_noproxy_list: Comma not followed by a space
            _my_noproxy_list.append({"match":2,"needle":ip,"netmask":netmask})

Change-Id: Iaf24729b3231b9f313af333fe58096d234d3e515

add _do_tar and _do_untar to utilize 'tar' command

Change-Id: Iefc0ca78636e07ffe125560c3336031c5be4f9fb
Signed-off-by: Gui Chen <gui.chen@intel.com>

clean up unused code

Change-Id: I483e4253437a3fa9905ff354f7739b15f71ec2c2
Signed-off-by: Gui Chen <gui.chen@intel.com>
Conflicts:
mic/utils/misc.py

add rewritten moudle archive to handle archiving and compressing

Change-Id: I9fd94ca3b3d3460ecb2af618baa329f04a6a3bfb
Signed-off-by: Gui Chen <gui.chen@intel.com>

switch to use new archive module

Change-Id: Ibe1f956b178952f150b4d2285d3642dc73a06bb5
Signed-off-by: Gui Chen <gui.chen@intel.com>

Merge "Don't check disk size during rpm transaction when creating multiple partitions" into devel

Test patchset for mic "devel" branch

Change-Id: I8bd51f1210ba5b8ce8adfff303c3767bcb677eb8
Signed-off-by: Rong Jinhui <jinhui.rong@samsung.com>

Don't check disk size during rpm transaction when creating multiple partitions

rpm check only "/" partition size before installing packages

Change-Id: Ic00e937530f926f58ee4099f7a079c640fc721a5
Signed-off-by: Yeongil Jang <yg0577.jang@samsung.com>

--priority option of *.ks file in mic does not apply

I confirm that  --priority option of *.ks file in mic does not apply
When creating an image file using ks file, Priority is determined by repo name

If you check the logs of the mic by applying the repo name below to see what the results are different

repo --name=mobile-wayland_arm64 ...
repo --name=prerelease ... --priority 1
..............................................
repo --name=2mobile-wayland_arm64 ...
repo --name=1prerelease ... --priority 1

Change-Id: I53bb8e96bc8eb06e8075294e56b0cbb4f35afd6b

bump up to 0.27

Change-Id: Iee735c8320ee6f38e13c9c3ec8711a1695d112f3

Update tar command option

List whole files to the tar command instead of giving a dir

Change-Id: I1916924eaf63876c9d4fe0bcfa64f4f8e142a42e

Drop mic native support

mic option --runtime=native has been broken for more than one year,
maintain this mode requires more effort for new distribution support,
so drop this mode without risk.

Fixes: #DEVT-248

Change-Id: Iaee916889fabfe62f6a507781f9ca1c3d01ee5a2

bump up to mic 0.24.4

Change-Id: Id1f831380d8b31b1818f9d54311d17e26439087a