fix invalid ExtDiskMount.blocksize when "-b [BLOCKSIZE]" extoption is passed

To set blocksize by parsing "-b [BLOCKSIZE]" from extoptions in ks file

Change-Id: I0328cdae59a3466bde4d9a3bccb22026118544a1
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

change __resize_to_minimal function

Change-Id: I7b50e83cc8b1294f1d9b524ffbd69769eebd914b

bump up to release 0.27.9

Change-Id: Ic9072e9e159fb3a4de7714b7d5ea0db69f02dc77

Added ATTACHMENT_PATHS env and IMG_DIR_PATH env

Added enviorment veriables to access attachment files and image directory from ks post script.
- ATTACHMENT_PATHS: attachemt file paths
- IMG_DIR_PATH: a directory path located image files

Change-Id: Ia3f409ec8b9c784dba8d5b0baee9b6d9dada3baf
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Revert "call copy_attachment() after configure() and move attachment files"

This reverts commit 7db9b0c91a5b26f96a86ec10dfad261a7d781f3b.

Change-Id: Iaa242d65fd7fb14c379fff0f268ac1607005169e

bump up to release 0.27.8

Change-Id: I7340bb2cbd256a2f33ed082e29507e99a289ead5

use the value of --pack-to option as filename to match all outputs

AS-IS:
$ sudo mic cr loop PLATFORM.ks --release SNAPSHOT --pack-to IMAGENAME.tar.gz
  IMAGENAME.tar.gz
  IMAGENAME.xml
  SNAPSHOT-PLATFORM.packages
  SNAPSHOT-PLATFORM.files
  SNAPSHOT-PLATFORM.license
  SNAPSHOT-PLATFORM.ks
  ...

TO-BE:
$ sudo mic cr loop PLATFORM.ks --release SNAPSHOT --pack-to IMAGENAME.tar.gz
  IMAGENAME.tar.gz
  IMAGENAME.xml
  IMAGENAME.packages
  IMAGENAME.files
  IMAGENAME.license
  IMAGENAME.ks
  ...

Change-Id: I5cc148a09b3e4cc4ed863100f0fde4df362038cd
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

support both %runscript and %post-umount to perform scripts before packaging

- add %post-umount section which behaves the same as %runscript
  (if both %runscript and %post-umount are defined then KickstartError occurs)
- move post umount scripts from /var/tmp/post_umount_scripts/ on image to host
- post umount scripts can be use UMOUNT_SCRIPTS_PATH env variable
  (UMOUNT_SCRIPTS_PATH: directory path where post umount scripts are located on host)

Change-Id: Ib88c103f0d3e84c067d0d6683f406a5cac92739a
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

add --use-mic-in-bootstrap option

use mic in bootstrap without copy host mic to bootstrap.
by default, copy host mic to bootstrap and use it

Change-Id: I3f4f03cc666df05ad4a7c393b771a2487350b9fe
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Display all rpm debug messages with --rpm-debug

Change-Id: I66ed6a999b20c94238e7fdc29ee68782ab4cd241
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

call copy_attachment() after configure() and move attachment files

- Call BaseImager.copy_attachment() after BaseImager.configure()
  Post scripts on configure() cannot access attachment files which come from install_root.
  So call copy_attachment() after running post scripts.

- Move attachment files not copy.
  If copying attachment files from install_root, then attachment files remain in install_root.
  So use mv instead of cp for deduplication.

Change-Id: Ie7a1d516331e29eaba975bc186b9644b96c17fbc
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Add init_expand option to partition

  - if init_expand is enabled, expand partition size(* 1.5) before mount
  - check partition size after running resize2fs to verify partition size

Change-Id: I60e889f04368877b9d74a581279c9ea4f5d33217
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

add no_shrink option to partition, fix parameter of disk.expand()

* add no_shrink option to partition
  - if no_shrink is enable in specific partition, this partition do not shrink.
  - if not, following pack_to or shrink option in loop command
* fix parameter of disk.expand()
  - expand(size) -> expand(size=size)

Change-Id: Ic9486621795c0e1a867fd551d61f152c693b6c52
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Setup environment to perform signing script

Change-Id: I8b7a5916a6db8863a03b24d297a479e0d990adad

if post scripts fails, CreatorError is raised to catch script errors such as signing error

  $ cat PLATFORM.ks
  ...
  %post
  # if you want to catch script error, add set command and trap command at the top of script
  set -e
  trap 'echo KS POST ERROR: command \"$BASH_COMMAND\" failed with error code $?' ERR
  # it will cause an error
  /usr/bin/error_command
  %end
  ...

  $ sudo mic cr auto PLATFORM.ks
  ...
  INFO: Running post scripts ...
  INFO: /tmp/ks-postscript-FShzJp: line 5: /usr/bin/error_command: No such file or directory
  INFO: KS POST ERROR: command "/usr/bin/error_command" failed with error code 1
  INFO:
  ERROR: Failed to execute %post script with '/bin/sh'

Change-Id: I1a34a343b8bdd044ca85939e446c43cce783c900
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

use registered qemu emulator filename if already registered.

1. preserve-argv[0] flag is enabled
   copy both qemu-XXX and qemu-XXX-binfmt and use them.
2. flag is disabled and the copied qemu and the registered qemu are different
   create symlink as the registered qemu emulator filename and use symlink

Change-Id: I3f9050a01cc3bd0431b37a2c1e29729ef15ee765
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

support multiple mic execution at same time

do not unregister qemu emulator before image creation
keep DEVICE_LOCKFILE to prevent a race condition

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I5714194ef6b48f80812b2f8b534d83fc27a663e4

Use SHA512 instead of MD5 to encrypt root password

Change-Id: I646334220703dedc28b7b1286e28e01ef4c485de
(cherry picked from commit 707754fa61eb4ae452e3af267e14290552122549)

Fix the bug that use local mic-bootstrap to run mic.

Change-Id: I3266c24c2d7be8e7fe91e2d24c6b4f0afb62da87

Support local mic-bootstrap rpm package to run mic.

Change-Id: I80298991eea5a9552a497b6e4b290e7b5b94555c

Another method of install tpk.

Change-Id: Ibe2f1cfaa7625ab1ea938feda5df6406beb267e6

The value of fstype is not cpio, an image is generated by cpio.

Change-Id: Ia9ae3d445c708b444da0dee1e5060725db9b9403

When increase rpm release number, user can use --local-pkgs-path to install local pkgs.

Change-Id: I249c2b42a54bd311bb09296a787ffe7d2f03379d

bump up to release 0.27.7

Change-Id: I86dd1072241fae911f6f1fbcb6e79a0583c75947

Timezone setting change

Change-Id: I90bdc068430589f04ab148b3b8b9b31d8b197613

Run certain script before creation of tar.gz image.

Change-Id: Id6efc3334dc19e9198251aa79b1d6b965d3df0d1

Locally built mic-bootstrap using gbs cannot be used in mic.

Change-Id: I9fe14df33b74670321ca302d1783f647e87c216d

Add new option of tpk_install

Change-Id: Id67c37b143f723e98491aad1d6730446149f01a5

Amend mic cr option of run_script

Change-Id: Ib088fb9d56b08c9aeae01908827f5507d972cdec

Add new option of --run_script

Change-Id: I7c2d194ba3bcc4e8fc78073bc922f6e7eb853821

fix the bug that modify the order of generating image by cpio.

Change-Id: I86b9a79a4cca110c7e4cafe0bab48cf6bd94a278

Modify the order of generating image by cpio.

Change-Id: I90cb12a4d68f6989af25318b6181a2ed9e9ebe88

bump up to release 0.27.6

Change-Id: I2e0a0c99b8d4e486f14404bdda9554ca1d08f48f

Change the order of generating image by cpio.

Change-Id: Ia1d2cc22b9a6e695a6f905574f8081c5910f0e8b

Solve issue:mic has error when env no_proxy is 165.xx.xxx...

Change-Id: I76abf3db3854b8d6a2db369a762650712efd14df

Solve mic hang issue, add timeout to show failure.

Change-Id: If1d554455ff6d159789cd0aebae88ed3bdf2451b

Modify the arguments that use cpio to generate image.

Change-Id: Ieb9dc524fedd056d0ff61bd2ec139a44395d1daf

Use cpio gzip in mic.

Change-Id: Ic7b3512b153ec5c92cd47a281bab8341f01acaf0

print package name, before install

Change-Id: I30f52998b86b8a0d86cd2a633b6d51cfbf5890c2
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

change tpk install error message format

- old message format:
  The error install package info:
  org.tizen.browser
  org.tizen.call
  ...

- new message format:
  The error install package info: org.tizen.browser
  The error install package info: org.tizen.call
  ...

Change-Id: I017c5765894ffb8a4bd6a3507486dd159f2dae38
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

add SIGTERM handler for exit gracefully

mic exit abnormally when it get SIGTERM from kill command or jenkins cancel.
mouned directories reamin. it should be umount.

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I71d40bc409ffaed13f2c78ccfd6b03059a934a95

display filesystem size of each images

  ...
  filesystem size of dzImage : 5378048 bytes
  filesystem size of modules.img : 12582912 bytes
  filesystem size of rootfs.img : 759287808 bytes
  filesystem size of system-data.img : 75726848 bytes
  filesystem size of user.img : 71839744 bytes
  ...

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I5f75ba76205b9cfcfcfbb10d9df49c2f7ae673b3

display all rpm debug messages in debug mode

  - debug mode: RPMLOG_DEBUG
  - non-debug mode: RPMLOG_NOTICE(default)

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: Ibb01112e556ee99127001faeb9dc2a2c0827f70b

print warning message for detecting rpm post script failed

  ...
  [05/04 01:13:18 UTC] Installing: libstdc++
  [05/04 01:13:18 UTC] (libstdc++) Post script failed
  ...

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I8efc466b3a18e9c9f2bde05ad26d058178cf90b8

change installed package name length from 20 to 50

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: If521e359f5bf13893dcd3f9c6885c8cdce0f8667

fix corrupted log messages in log file

os.ftruncate() won't reset the file pointer
os.lseek(fd, 0, os.SEEK_SET) is needed after os.ftruncate(fd, 0)

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I94bdd3993afccee2ea2d8903aa29505fec13c957

Use cpio gzip in mic.

Change-Id: Ifce99807698d3a35fd3dddcdf8f9d60f4c2bb22c

bump up to release 0.27.5

Change-Id: I054fb5ae41f452c49aa8fc32f9cc5b9bf92a6bec

Solve image not clean after created

Change-Id: I02352678364c5879a3cee75b246ab06216f84187

bump up to release 0.27.4

Change-Id: I2610a237daec485f2b24c8e942e3b0d847d929aa

Show logs inside 'Running scripts' in mic.

Change-Id: I6be708a8c791911d96d903063401a156bc23c138

Copy ks setting lang to file /etc/config/mic_language for other use

Change-Id: Iaa62e8a2cc74bd868043044636b2ff1172036d0d

Replace 'copy' to 'symbolic link' in timeznoe setting inside mic.

Change-Id: Idea80f05b7e31ec0cbc34ab627d90977b517527f

Merge add mipsel register on binfmt_misc && Add support of qemu-mipsel patch

Change-Id: I6df917f19662ecfeb8ef5810b9ce2c9765018326

Provide alternative for deprecated package

dh-python is available from Ubuntu 14.04 and
python-support is deprecated.

Change-Id: I0c181e0371327d483bc0e0ca35bd8124ef2c8c56
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fixup changelog that causes errors.

This fixes the following Debian git-build-recipe error:

RUN ['git-build-recipe', '--safe', '--no-build', '--manifest', '/home/buildd/build-RECIPEBRANCHBUILD-1302092/chroot-autobuild/home/buildd/work/tree/manifest', '--distribution', 'xenial', '--allow-fallback-to-native', '--append-version', '~ubuntu16.04.1', '/home/buildd/build-RECIPEBRANCHBUILD-1302092/chroot-autobuild/home/buildd/work/recipe', '/home/buildd/build-RECIPEBRANCHBUILD-1302092/chroot-autobuild/home/buildd/work/tree']
Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/deb_util.py", line 139, in add_autobuild_changelog_entry
    substitute_changelog_vars(base_branch, None, cl)
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/deb_version.py", line 172, in substitute_changelog_vars
    base_branch.deb_version = debupstream_var.replace(base_branch.deb_version)
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/recipe.py", line 101, in replace
    return value.replace(self.name, self.get())
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/deb_version.py", line 59, in get
    "No previous changelog to take the upstream version from")
gitbuildrecipe.recipe.SubstitutionUnavailable: Substitution for {debupstream} not available: No previous changelog to take the upstream version from

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/bin/git-build-recipe", line 9, in <module>
    load_entry_point('git-build-recipe==0.1', 'console_scripts', 'git-build-recipe')()
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/main.py", line 147, in main
    append_version=args.append_version)
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/deb_util.py", line 143, in add_autobuild_changelog_entry
    "%s was used: %s: %s." % (e.name, e.reason, reason))
Exception: No previous changelog to take the upstream version from as {debupstream} was used: No previous changelog to take the upstream version from: debian/changelog didn't contain any parseable stanzas.
resource.struct_rusage(ru_utime=1.7839999999999998, ru_stime=1.116, ru_maxrss=33232, ru_ixrss=0, ru_idrss=0, ru_isrss=0, ru_minflt=25805, ru_majflt=41, ru_nswap=0, ru_inblock=12560, ru_oublock=18536, ru_msgsnd=0, ru_msgrcv=0, ru_nsignals=0, ru_nvcsw=1382, ru_nivcsw=290)
RUN: /usr/share/launchpad-buildd/slavebin/scan-for-processes ['scan-for-processes', 'RECIPEBRANCHBUILD-1302092']
Scanning for processes to kill in build /home/buildd/build-RECIPEBRANCHBUILD-1302092/chroot-autobuild...
RUN: /usr/share/launchpad-buildd/slavebin/umount-chroot ['umount-chroot', 'RECIPEBRANCHBUILD-1302092']
Unmounting chroot for build RECIPEBRANCHBUILD-1302092...
RUN: /usr/share/launchpad-buildd/slavebin/remove-build ['remove-build', 'RECIPEBRANCHBUILD-1302092']
Removing build RECIPEBRANCHBUILD-1302092

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

bump up to release 0.27.3

Change-Id: Idaa905f768ea684920d4b94223095e6fed9204ca
Signed-off-by: Jiankang Fan <jiankang.fan@samsung.com>
Conflicts:
ChangeLog
packaging/mic.changes

Show pkgid when install pkg error

Change-Id: I8bb5737b82f956a6eeccbc994c6a8c48ecde002a
Signed-off-by: Jiankang Fan <jiankang.fan@samsung.com>

support vdfs and squashfs image creation

Change-Id: Ife64b311bfece1e2f3b2a231062a9a2b9e69d897
Signed-off-by: Jiankang Fan <jiankang.fan@samsung.com>

bump up to release 0.27.2

Change-Id: I8040f7786af0b31c02fe169a1f7f626fc7a99fd0

Add subcommand option parameters(-v, -d, -i) for fixing tizen2.4 mobile issue

Change-Id: I18f0667bc7537aaf1e8eee5ec3320f1b52058071
Signed-off-by: jianzhong.fang <jz.fang@samsung.com>

Add exclude-from-image option to exclude specific images

Change-Id: I5651efc10e3b250af0f31f5224f9dca40a5d7124

Merge branch 'master' into devel

Change-Id: I09830eca415172d1e381ea737ab833ac0c757e43

Add change log and release information for Release 0.27.1

Change-Id: I620035d4871df6cb31fe94121f060db6b17f2833

bump up to release 0.27.1

Change-Id: I3dba1b42fae23a1dbe37d8ff668fc97dd3ed76a4

Remove BmapCreate and Filemap source code from MIC

Change-Id: I1bcd94008d785fb82cb807b8678ce960cb6f1145

Revert "Drop mic raw image format support"

Change-Id: I2752f5c804f215ba96b5cfbabfefb1c383bb5803

bump up to release 0.27

Change-Id: I84c32980894184dde260a4b101ec13ee29324fb6

fix broken tar archive

Change-Id: I971b256f3e47212dd54b2f5b9232a8ade212a405

check scriptlet error file on /tmp/.postscript/error/

Change-Id: I26c09e1bfc2c7ef9090b8e9218ce06880072398a

need to check whether the loop device exists after excute losetupcmd --find

Change-Id: I0611a6b52f6e8a5ecc17f1fbc12044a0f7167326

Revert "Add lzop compress format"

Change-Id: If63177dbb1ae2a8f1a2fc1cbb849cd51fc1ea957

Fix unit test cases for CentOS_6

Change-Id: Idf5d4c3fb493468272374760ca9d8a507036fc40
Signed-off-by: Rong Jinhui <jinhui.rong@samsung.com>

Update the mic doc

Change-Id: Id17882b91640f5390198c17bbf3bc2fdb8699668

Using argparse module to parse the cmd line

Conflicts:
plugins/imager/loop_plugin.py

Conflicts:
plugins/imager/loop_plugin.py

Change-Id: I19facc99768379c75f1794045d7faf0246000169

Drop mic raw image format support

Change-Id: Ia5f0f14131463f1eb20bbfe8a7159dfe1307f215

Conflicts:
plugins/imager/raw_plugin.py

Conflicts:
plugins/imager/raw_plugin.py

Drop MIC livecd image format support.

Change-Id: I22032747185fb6f2344c4a88ca227503d9369823

Drop MIC liveusb image format support

Change-Id: I48e2f647b8278107bd4ce84c0c9c0237dec8b948

cleanup the code related with mic-native

Change-Id: Iaec1eb7817b05a0eacdef3c1aafe248eeaade538

Update Change Logs and RELEASE_NOTES for 0.27

Change-Id: Ic14019a86c4efd1c302ea123579d9c1747785a91

Modify change logs and release notes not to release Fedora 23

Change-Id: Icb3a15056eb26c48b57730a06e952a2898cb97ab

Handle conflicts from git merge release-20160315

bump up to release 0.27

Change-Id: I1c8861e517686047368a3941f678b56d173056fb

fix broken tar archive

Change-Id: I971b256f3e47212dd54b2f5b9232a8ade212a405

check scriptlet error file on /tmp/.postscript/error/

Change-Id: I26c09e1bfc2c7ef9090b8e9218ce06880072398a

need to check whether the loop device exists after excute losetupcmd --find

Change-Id: I0611a6b52f6e8a5ecc17f1fbc12044a0f7167326

Revert "Add lzop compress format"

Change-Id: If63177dbb1ae2a8f1a2fc1cbb849cd51fc1ea957

Fix unit test cases for CentOS_6

Change-Id: Idf5d4c3fb493468272374760ca9d8a507036fc40
Signed-off-by: Rong Jinhui <jinhui.rong@samsung.com>

Update the mic doc

Change-Id: Id17882b91640f5390198c17bbf3bc2fdb8699668

Using argparse module to parse the cmd line

Conflicts:
plugins/imager/loop_plugin.py

Drop mic raw image format support

Change-Id: Ia5f0f14131463f1eb20bbfe8a7159dfe1307f215

Conflicts:
plugins/imager/raw_plugin.py

Drop MIC livecd image format support.

Change-Id: I22032747185fb6f2344c4a88ca227503d9369823

Drop MIC liveusb image format support

Change-Id: I48e2f647b8278107bd4ce84c0c9c0237dec8b948

cleanup the code related with mic-native

Change-Id: Iaec1eb7817b05a0eacdef3c1aafe248eeaade538

Don't check disk size during rpm transaction when creating multiple partitions

rpm check only "/" partition size before installing packages

Change-Id: Ic00e937530f926f58ee4099f7a079c640fc721a5
Signed-off-by: Yeongil Jang <yg0577.jang@samsung.com>

--priority option of *.ks file in mic does not apply

I confirm that  --priority option of *.ks file in mic does not apply
When creating an image file using ks file, Priority is determined by repo name

If you check the logs of the mic by applying the repo name below to see what the results are different

repo --name=mobile-wayland_arm64 ...
repo --name=prerelease ... --priority 1
..............................................
repo --name=2mobile-wayland_arm64 ...
repo --name=1prerelease ... --priority 1

Change-Id: I53bb8e96bc8eb06e8075294e56b0cbb4f35afd6b

Update tar command option

List whole files to the tar command instead of giving a dir

Change-Id: I1916924eaf63876c9d4fe0bcfa64f4f8e142a42e

Drop mic native support

mic option --runtime=native has been broken for more than one year,
maintain this mode requires more effort for new distribution support,
so drop this mode without risk.

Fixes: #DEVT-248

Change-Id: Iaee916889fabfe62f6a507781f9ca1c3d01ee5a2

Mount option is modified to be more general
Supporting for using command line tools as toybox, busybox.

Fixes: #2359

Change-Id: I3b5935609d83601900f03c978e48e95490559143
Signed-off-by: Gyeoungmin Kim <g5.kim@samsung.com>

Put log file in 'release' output always.

When image creation failed, log created by '--release' will be
located under 'outdir' instead of 'release_dir'. Also put the
log file under 'release_dir' when image creation failed.

mic-appliance create images through executing '/etc/init.d/mic'
script in the appliance. 'time mic cr auto $extra /media/out/$ks'
is called, and '--release' option is used when creating images.

In the past, 3 points about the logfile created by '--release':
1. Create logfile in default 'out_dir' which is specified in
'/etc/mic/mic.conf'. 2. Before creating images, check whether the
'release_dir' exists, if it exists, remove the whole directory. 3.
After the image creation finished, copy the logfile to the final
'release_dir' where the images located. So when the image creation
failed, no logfile found in 'release_dir', the logfile is under default
'out_dir'.

If directly change the 'out_dir' to 'dest_dir' in conf.py, the image
creation will fail if there already exist a same 'release_dir', because
this existed 'release_dir' will be removed when creating images, but the
logfile use this dir at the time, so it cannot be removed, then mic will
fail and exit. So right now, if 'release_dir' already existed, just remove
the files under it except the newly created logfile, and remain the dir.

Fixes: #2212

Change-Id: Ibdc9af3d0e03ca966517d05b1e519d4d9fb3ad43