Add %env section support

Kickstart file now may have section for environment variables setup.
Section should look like

 %env
 VARIABLE1=0x1000
 VARIABLE2="value"
 %end

This environment is set up for mic process and propagated into child processes
during firmware build.

Change-Id: I22cd45a4b3c2ff7c4c7d27abe1ef1936d4d350f9
Signed-off-by: Slava Barinov <v.barinov@samsung.com>

bump up to release 0.28.4

Change-Id: I9e4e5d7275a20a1663ac8eef29d1a33f7b6feb5a

add new option --fslabel in part section

Change-Id: I0ef3de0c99f23a971b4a862cce2ed38c5fc65a4b

bump up to release 0.28.3

Change-Id: I4e3573099b19234db5e25bbe1046ce3713d5e788

Revert "ext4 images are created with inode size 256 bytes"

This reverts commit ee9b725874836b4c52a8b5f2db9af78ba8e183c8.

Change-Id: I6155390b4aa95c40760225403d800b1d99876208

bump up to release 0.28.2

Change-Id: Ia4dd2ce506e0076a7d6470a3cffeebbd80c09240

ext4 images are created with inode size 256 bytes

Change-Id: I52427a52df78dbb27b6a2036d548b128b1485e6e

remove tmp dir in runscript period

Change-Id: I6cfd6e09f8565bae074fe5736a4298fea2461a9d

bump up to release 0.28.1

Change-Id: I1f2f15e1fbaed476202c03b2f092a97f14358486

Change the user and root passwd hash algorithm order to avoid user name same as root name.

Change-Id: I6ceb8cf1d0a5f534ec533edadd5218a0b7ffd05d
Signed-off-by: jinxiao <jin.xiao@samsung.com>

Add locale related environment varibale because language is not set to one specified in ks file
env['LANG'] = 'language in ks'
env['LC_ALL'] = 'language in ks'

Change-Id: I8ce8930455af4ae0c6f3482e9c12a74194da02f8

bump up to release 0.28.0

Change-Id: I331fd138b92656698bdca6f8d8265f4193f3b9b3

Merge "In Tizen, losetup command support '-f' option, not '--find' option" into devel

fix invalid ExtDiskMount.blocksize when "-b [BLOCKSIZE]" extoption is passed

To set blocksize by parsing "-b [BLOCKSIZE]" from extoptions in ks file

Change-Id: I0328cdae59a3466bde4d9a3bccb22026118544a1
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Check exit status of vdfs image creation

If vdfs creation process exit with failure (EXIT_FAILURE), it should be checked.
Because it could cause malformed vdfs image creation.

In this patch, we added checking code of exit status.

Change-Id: I5aae6a8cb6de0b4dcf2dc1f9e27ee6139b26f918
Signed-off-by: Jungseung Lee <js07.lee@samsung.com>

change __resize_to_minimal function, use default param "-M" to minimalize

Change-Id: I7b50e83cc8b1294f1d9b524ffbd69769eebd914b

Apply btrfs mount options "--fsoptions=compress".

Change-Id: Ic286b0c43dd9fb376ab643170e9a3387156c4d96

In Tizen, losetup command support '-f' option, not '--find' option

https://review.tizen.org/gerrit/gitweb?p=platform/upstream/util-linux.git;a=blob;f=sys-utils/losetup1.c;h=059832de3a218f854746ef5bdeb1583a98acae19;hb=9a6b29405679d6d7b4cafd19a6fc7bb07ee14938#l1182

Change-Id: I5e54549ec2a742c187ac25d81a4052b18d71a697
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

bump up to release 0.27.9

Change-Id: Ic9072e9e159fb3a4de7714b7d5ea0db69f02dc77

Added ATTACHMENT_PATHS env and IMG_DIR_PATH env

Added enviorment veriables to access attachment files and image directory from ks post script.
- ATTACHMENT_PATHS: attachemt file paths
- IMG_DIR_PATH: a directory path located image files

Change-Id: Ia3f409ec8b9c784dba8d5b0baee9b6d9dada3baf
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Revert "call copy_attachment() after configure() and move attachment files"

This reverts commit 7db9b0c91a5b26f96a86ec10dfad261a7d781f3b.

Change-Id: Iaa242d65fd7fb14c379fff0f268ac1607005169e

bump up to release 0.27.8

Change-Id: I7340bb2cbd256a2f33ed082e29507e99a289ead5

Use SHA512 instead of MD5 to encrypt root password

Change-Id: I646334220703dedc28b7b1286e28e01ef4c485de
(cherry picked from commit 707754fa61eb4ae452e3af267e14290552122549)

Fix the bug that use local mic-bootstrap to run mic.

Change-Id: I3266c24c2d7be8e7fe91e2d24c6b4f0afb62da87

Support local mic-bootstrap rpm package to run mic.

Change-Id: I80298991eea5a9552a497b6e4b290e7b5b94555c

Merge "Another method of install tpk." into devel

Another method of install tpk.

Change-Id: Ibe2f1cfaa7625ab1ea938feda5df6406beb267e6

The value of fstype is not cpio, an image is generated by cpio.

Change-Id: Ia9ae3d445c708b444da0dee1e5060725db9b9403

When increase rpm release number, user can use --local-pkgs-path to install local pkgs.

Change-Id: I249c2b42a54bd311bb09296a787ffe7d2f03379d

use the value of --pack-to option as filename to match all outputs

AS-IS:
$ sudo mic cr loop PLATFORM.ks --release SNAPSHOT --pack-to IMAGENAME.tar.gz
  IMAGENAME.tar.gz
  IMAGENAME.xml
  SNAPSHOT-PLATFORM.packages
  SNAPSHOT-PLATFORM.files
  SNAPSHOT-PLATFORM.license
  SNAPSHOT-PLATFORM.ks
  ...

TO-BE:
$ sudo mic cr loop PLATFORM.ks --release SNAPSHOT --pack-to IMAGENAME.tar.gz
  IMAGENAME.tar.gz
  IMAGENAME.xml
  IMAGENAME.packages
  IMAGENAME.files
  IMAGENAME.license
  IMAGENAME.ks
  ...

Change-Id: I5cc148a09b3e4cc4ed863100f0fde4df362038cd
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

support both %runscript and %post-umount to perform scripts before packaging

- add %post-umount section which behaves the same as %runscript
  (if both %runscript and %post-umount are defined then KickstartError occurs)
- move post umount scripts from /var/tmp/post_umount_scripts/ on image to host
- post umount scripts can be use UMOUNT_SCRIPTS_PATH env variable
  (UMOUNT_SCRIPTS_PATH: directory path where post umount scripts are located on host)

Change-Id: Ib88c103f0d3e84c067d0d6683f406a5cac92739a
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

add --use-mic-in-bootstrap option

use mic in bootstrap without copy host mic to bootstrap.
by default, copy host mic to bootstrap and use it

Change-Id: I3f4f03cc666df05ad4a7c393b771a2487350b9fe
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Display all rpm debug messages with --rpm-debug

Change-Id: I66ed6a999b20c94238e7fdc29ee68782ab4cd241
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

call copy_attachment() after configure() and move attachment files

- Call BaseImager.copy_attachment() after BaseImager.configure()
  Post scripts on configure() cannot access attachment files which come from install_root.
  So call copy_attachment() after running post scripts.

- Move attachment files not copy.
  If copying attachment files from install_root, then attachment files remain in install_root.
  So use mv instead of cp for deduplication.

Change-Id: Ie7a1d516331e29eaba975bc186b9644b96c17fbc
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Add init_expand option to partition

  - if init_expand is enabled, expand partition size(* 1.5) before mount
  - check partition size after running resize2fs to verify partition size

Change-Id: I60e889f04368877b9d74a581279c9ea4f5d33217
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

add no_shrink option to partition, fix parameter of disk.expand()

* add no_shrink option to partition
  - if no_shrink is enable in specific partition, this partition do not shrink.
  - if not, following pack_to or shrink option in loop command
* fix parameter of disk.expand()
  - expand(size) -> expand(size=size)

Change-Id: Ic9486621795c0e1a867fd551d61f152c693b6c52
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Setup environment to perform signing script

Change-Id: I8b7a5916a6db8863a03b24d297a479e0d990adad

if post scripts fails, CreatorError is raised to catch script errors such as signing error

  $ cat PLATFORM.ks
  ...
  %post
  # if you want to catch script error, add set command and trap command at the top of script
  set -e
  trap 'echo KS POST ERROR: command \"$BASH_COMMAND\" failed with error code $?' ERR
  # it will cause an error
  /usr/bin/error_command
  %end
  ...

  $ sudo mic cr auto PLATFORM.ks
  ...
  INFO: Running post scripts ...
  INFO: /tmp/ks-postscript-FShzJp: line 5: /usr/bin/error_command: No such file or directory
  INFO: KS POST ERROR: command "/usr/bin/error_command" failed with error code 1
  INFO:
  ERROR: Failed to execute %post script with '/bin/sh'

Change-Id: I1a34a343b8bdd044ca85939e446c43cce783c900
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

use registered qemu emulator filename if already registered.

1. preserve-argv[0] flag is enabled
   copy both qemu-XXX and qemu-XXX-binfmt and use them.
2. flag is disabled and the copied qemu and the registered qemu are different
   create symlink as the registered qemu emulator filename and use symlink

Change-Id: I3f9050a01cc3bd0431b37a2c1e29729ef15ee765
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

bump up to release 0.27.7

Change-Id: I86dd1072241fae911f6f1fbcb6e79a0583c75947

Timezone setting change

Change-Id: I90bdc068430589f04ab148b3b8b9b31d8b197613

Run certain script before creation of tar.gz image.

Change-Id: Id6efc3334dc19e9198251aa79b1d6b965d3df0d1

Locally built mic-bootstrap using gbs cannot be used in mic.

Change-Id: I9fe14df33b74670321ca302d1783f647e87c216d

Add new option of tpk_install.

Change-Id: I125160ded7533efa8758b1985d514c8933bb617c

Amend mic cr option of run_script.

Change-Id: Ifbf6569ead73a10390f883cf47ba22abba90a4c3

Add new option of --run_script.

Change-Id: I16ccc176477f1087d0f6aff0b2e29c3616297dd7

fix the bug that modify the order of generating image by cpio.

Change-Id: Id42e661dd4b6ef2907bd27f406ed350b0289c65e

Modify the order of generating image by cpio.

Change-Id: If2ce4df88b067cb4883d66b7d3f869aadb314ae3

bump up to release 0.27.6

Change-Id: I39a9d1c726ede30428e092d7a11cfd9185df1a76

Change the order of generating image by cpio.

Change-Id: Ia1d2cc22b9a6e695a6f905574f8081c5910f0e8b

Solve issue:mic has error when env no_proxy is 165.xx.xxx...

Change-Id: I76abf3db3854b8d6a2db369a762650712efd14df

Solve mic hang issue, add timeout to show failure.

Change-Id: If1d554455ff6d159789cd0aebae88ed3bdf2451b

Modify the arguments that use cpio to generate image.

Change-Id: Ieb9dc524fedd056d0ff61bd2ec139a44395d1daf

Use cpio gzip in mic.

Change-Id: Ic7b3512b153ec5c92cd47a281bab8341f01acaf0

bump up to release 0.27.5

Change-Id: I054fb5ae41f452c49aa8fc32f9cc5b9bf92a6bec

Solve image not clean after created

Change-Id: I6ec4fb51ee0e0e32211bdcadb108cdabe0338e0e

Merge "display filesystem size of each images" into devel

Merge "print package name, before install" into devel

Merge "support multiple mic execution at same time" into devel

Merge "change tpk install error message format" into devel

Merge "add SIGTERM handler for exit gracefully" into devel

Merge "display all rpm debug messages in debug mode" into devel

Merge "print warning message for detecting rpm post script failed" into devel

Merge "change installed package name length from 20 to 50" into devel

Merge "fix corrupted log messages in log file" into devel

Merge "Fix bug when  parsed in ip proxy input" into devel

print package name, before install

Change-Id: I30f52998b86b8a0d86cd2a633b6d51cfbf5890c2
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

change tpk install error message format

- old message format:
  The error install package info:
  org.tizen.browser
  org.tizen.call
  ...

- new message format:
  The error install package info: org.tizen.browser
  The error install package info: org.tizen.call
  ...

Change-Id: I017c5765894ffb8a4bd6a3507486dd159f2dae38
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

support multiple mic execution at same time

do not unregister qemu emulator before image creation
keep DEVICE_LOCKFILE to prevent a race condition

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I5714194ef6b48f80812b2f8b534d83fc27a663e4

add SIGTERM handler for exit gracefully

mic exit abnormally when it get SIGTERM from kill command or jenkins cancel.
mouned directories reamin. it should be umount.

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I71d40bc409ffaed13f2c78ccfd6b03059a934a95

display filesystem size of each images

  ...
  filesystem size of dzImage : 5378048 bytes
  filesystem size of modules.img : 12582912 bytes
  filesystem size of rootfs.img : 759287808 bytes
  filesystem size of system-data.img : 75726848 bytes
  filesystem size of user.img : 71839744 bytes
  ...

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I5f75ba76205b9cfcfcfbb10d9df49c2f7ae673b3

display all rpm debug messages in debug mode

  - debug mode: RPMLOG_DEBUG
  - non-debug mode: RPMLOG_NOTICE(default)

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: Ibb01112e556ee99127001faeb9dc2a2c0827f70b

print warning message for detecting rpm post script failed

  ...
  [05/04 01:13:18 UTC] Installing: libstdc++
  [05/04 01:13:18 UTC] (libstdc++) Post script failed
  ...

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I8efc466b3a18e9c9f2bde05ad26d058178cf90b8

change installed package name length from 20 to 50

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: If521e359f5bf13893dcd3f9c6885c8cdce0f8667

fix corrupted log messages in log file

os.ftruncate() won't reset the file pointer
os.lseek(fd, 0, os.SEEK_SET) is needed after os.ftruncate(fd, 0)

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I94bdd3993afccee2ea2d8903aa29505fec13c957

Use cpio gzip in mic.

Change-Id: Ifce99807698d3a35fd3dddcdf8f9d60f4c2bb22c

bump up to release 0.27.4

Change-Id: I2610a237daec485f2b24c8e942e3b0d847d929aa

Show logs inside 'Running scripts' in mic.

Change-Id: I6be708a8c791911d96d903063401a156bc23c138

Copy ks setting lang to file /etc/config/mic_language for other use

Change-Id: Iaa62e8a2cc74bd868043044636b2ff1172036d0d

Replace 'copy' to 'symbolic link' in timeznoe setting inside mic.

Change-Id: Idea80f05b7e31ec0cbc34ab627d90977b517527f

Merge add mipsel register on binfmt_misc && Add support of qemu-mipsel patch

Change-Id: I6df917f19662ecfeb8ef5810b9ce2c9765018326

Provide alternative for deprecated package

dh-python is available from Ubuntu 14.04 and
python-support is deprecated.

Change-Id: I0c181e0371327d483bc0e0ca35bd8124ef2c8c56
Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fixup changelog that causes errors.

This fixes the following Debian git-build-recipe error:

RUN ['git-build-recipe', '--safe', '--no-build', '--manifest', '/home/buildd/build-RECIPEBRANCHBUILD-1302092/chroot-autobuild/home/buildd/work/tree/manifest', '--distribution', 'xenial', '--allow-fallback-to-native', '--append-version', '~ubuntu16.04.1', '/home/buildd/build-RECIPEBRANCHBUILD-1302092/chroot-autobuild/home/buildd/work/recipe', '/home/buildd/build-RECIPEBRANCHBUILD-1302092/chroot-autobuild/home/buildd/work/tree']
Traceback (most recent call last):
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/deb_util.py", line 139, in add_autobuild_changelog_entry
    substitute_changelog_vars(base_branch, None, cl)
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/deb_version.py", line 172, in substitute_changelog_vars
    base_branch.deb_version = debupstream_var.replace(base_branch.deb_version)
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/recipe.py", line 101, in replace
    return value.replace(self.name, self.get())
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/deb_version.py", line 59, in get
    "No previous changelog to take the upstream version from")
gitbuildrecipe.recipe.SubstitutionUnavailable: Substitution for {debupstream} not available: No previous changelog to take the upstream version from

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "/usr/bin/git-build-recipe", line 9, in <module>
    load_entry_point('git-build-recipe==0.1', 'console_scripts', 'git-build-recipe')()
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/main.py", line 147, in main
    append_version=args.append_version)
  File "/usr/lib/python3/dist-packages/gitbuildrecipe/deb_util.py", line 143, in add_autobuild_changelog_entry
    "%s was used: %s: %s." % (e.name, e.reason, reason))
Exception: No previous changelog to take the upstream version from as {debupstream} was used: No previous changelog to take the upstream version from: debian/changelog didn't contain any parseable stanzas.
resource.struct_rusage(ru_utime=1.7839999999999998, ru_stime=1.116, ru_maxrss=33232, ru_ixrss=0, ru_idrss=0, ru_isrss=0, ru_minflt=25805, ru_majflt=41, ru_nswap=0, ru_inblock=12560, ru_oublock=18536, ru_msgsnd=0, ru_msgrcv=0, ru_nsignals=0, ru_nvcsw=1382, ru_nivcsw=290)
RUN: /usr/share/launchpad-buildd/slavebin/scan-for-processes ['scan-for-processes', 'RECIPEBRANCHBUILD-1302092']
Scanning for processes to kill in build /home/buildd/build-RECIPEBRANCHBUILD-1302092/chroot-autobuild...
RUN: /usr/share/launchpad-buildd/slavebin/umount-chroot ['umount-chroot', 'RECIPEBRANCHBUILD-1302092']
Unmounting chroot for build RECIPEBRANCHBUILD-1302092...
RUN: /usr/share/launchpad-buildd/slavebin/remove-build ['remove-build', 'RECIPEBRANCHBUILD-1302092']
Removing build RECIPEBRANCHBUILD-1302092

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Fix bug when http:// parsed in ip proxy input

ValueError exception occured when parse proxy ip when protocol comes at
the fromt of ip string

File "/usr/bin/mic", line 37, in <module>
  from mic.conf import configmgr
File "/usr/lib/pymodules/python2.7/mic/conf.py", line 287, in <module>
  configmgr = ConfigMgr()
File "/usr/lib/pymodules/python2.7/mic/conf.py", line 108, in __init__
  self._siteconf = siteconf
File "/usr/lib/pymodules/python2.7/mic/conf.py", line 124, in __set_siteconf
  self._parse_siteconf(siteconf)
File "/usr/lib/pymodules/python2.7/mic/conf.py", line 183, in _parse_siteconf
  proxy.set_proxies(self.create['proxy'], self.create['no_proxy'])
File "/usr/lib/pymodules/python2.7/mic/utils/proxy.py", line 169, in set_proxies
  _set_noproxy_list()
File "/usr/lib/pymodules/python2.7/mic/utils/proxy.py", line 120, in _set_noproxy_list
  ip = _ip_to_int(needle)
File "/usr/lib/pymodules/python2.7/mic/utils/proxy.py", line 80, in _ip_to_int
  ipint |= int(dec) << shift
ValueError: invalid literal for int() with base 10: 'http:'

Change-Id: Ib7f7e83ff0ae6eea5db128871130a680e04448c3
Signed-off-by: Kyungwook Tak <k.tak@samsung.com>

bump up to release 0.27.3

Change-Id: Idaa905f768ea684920d4b94223095e6fed9204ca
Signed-off-by: Jiankang Fan <jiankang.fan@samsung.com>
Conflicts:
ChangeLog
packaging/mic.changes

Show pkgid when install pkg error

Change-Id: I8bb5737b82f956a6eeccbc994c6a8c48ecde002a
Signed-off-by: Jiankang Fan <jiankang.fan@samsung.com>

support vdfs and squashfs image creation

Change-Id: Ife64b311bfece1e2f3b2a231062a9a2b9e69d897
Signed-off-by: Jiankang Fan <jiankang.fan@samsung.com>

bump up to release 0.27.2

Change-Id: I8040f7786af0b31c02fe169a1f7f626fc7a99fd0

Add subcommand option parameters(-v, -d, -i) for fixing tizen2.4 mobile issue

Change-Id: I18f0667bc7537aaf1e8eee5ec3320f1b52058071
Signed-off-by: jianzhong.fang <jz.fang@samsung.com>

Add exclude-from-image option to exclude specific images

Change-Id: I5651efc10e3b250af0f31f5224f9dca40a5d7124

Merge branch 'master' into devel

Change-Id: I09830eca415172d1e381ea737ab833ac0c757e43

Add change log and release information for Release 0.27.1

Change-Id: I620035d4871df6cb31fe94121f060db6b17f2833

bump up to release 0.27.1

Change-Id: I3dba1b42fae23a1dbe37d8ff668fc97dd3ed76a4

Remove BmapCreate and Filemap source code from MIC

Change-Id: I1bcd94008d785fb82cb807b8678ce960cb6f1145

Revert "Drop mic raw image format support"

Change-Id: I2752f5c804f215ba96b5cfbabfefb1c383bb5803

bump up to release 0.27

Change-Id: I84c32980894184dde260a4b101ec13ee29324fb6

fix broken tar archive

Change-Id: I971b256f3e47212dd54b2f5b9232a8ade212a405

check scriptlet error file on /tmp/.postscript/error/

Change-Id: I26c09e1bfc2c7ef9090b8e9218ce06880072398a

need to check whether the loop device exists after excute losetupcmd --find

Change-Id: I0611a6b52f6e8a5ecc17f1fbc12044a0f7167326

Revert "Add lzop compress format"

Change-Id: If63177dbb1ae2a8f1a2fc1cbb849cd51fc1ea957