replace pykickstart directory by the directory from open source, the open source code is python3 version

Change-Id: Ibd3531a38a311a2ab8d513eedece23fb5a4a0108
Signed-off-by: biao716.wang <biao716.wang@samsung.com>

remove urlgrabber directory from mic
There is python-urlgrabber package in Tools, use it instead of it in mic.

Change-Id: I64fde0066180281d7ded0c16c2e4f5c08a84b681
Signed-off-by: biao716.wang <biao716.wang@samsung.com>

bump up to release 0.28.11

Change-Id: I36c56ef4091ccacc73f0bc99a201b917ce3191b6
Signed-off-by: biao716.wang <biao716.wang@samsung.com>

Fix pylint error: before createrepo depends on yum, yum will be installed, but createrepo is removed, so add dependece for yum directly

Change-Id: Ie1da951cd9917f499c38e9ba143a5418f26e82ea
Signed-off-by: biao716.wang <biao716.wang@samsung.com>

fix run error issue for parser repomd.xml when here is group type

Change-Id: I85eacfa800bf85f63773b0a049b38d8432475aa2
Signed-off-by: biao716.wang <biao716.wang@samsung.com>

Refine code: remove duplicated code

Change-Id: I697231e7ad5eb02bf8fde1213f615a4f4338043a
Signed-off-by: biao716.wang <biao716.wang@samsung.com>

Separate qcow plugin scripts

Change-Id: Ieb7d4e761b7847ae218dbe9724996f54daf78070
Signed-off-by: biao716.wang <biao716.wang@samsung.com>

bump up to release 0.28.10

Change-Id: I5dd81dac4c601dbf482208712dde59eee2874c04
Signed-off-by: biao716.wang <biao716.wang@samsung.com>

Merge "Create btrfs images with the metadata single option"

Create btrfs images with the metadata single option

Tizen product and reference targets embed the NAND flash device as the
primary storage. The btrfs filesystem uses the metadata single option as
default if a NAND storage is detected. For this, create btrfs images
with the metadata single option.

Change-Id: I99a3ad08589e51cd7ff8cb6e0275aa03ecdad035
Signed-off-by: Junghoon Kim <jhoon20.kim@samsung.com>

refine code with SAM check

Change-Id: Id28233d710f227697a93672f2ea5e614dc1c7d4f
Signed-off-by: biao716.wang <biao716.wang@samsung.com>

bump up to release 0.28.9

Change-Id: I12f8a9fcbc568a8a7be6e53903ebf230ab3e8cf4

Fix the bug that truncates existing inittab file

In case of python, open file with 'w' mode truncates a file.
To open a file without truncation, it shouldn't be opened with 'w' mode.
Since it already checked file's existence, set mode as 'r+'.
This patch makes script works as expected.

This bug comes from commit '2af16b806d7b9e76b534c1df150438bf9c62e68c'
"fix pylint errors for mic"

Change-Id: I633c13a77f01de74f7eb73a171611f14c135f192

Merge "fix build error with Typeerror" into devel

fix build error with Typeerror

Change-Id: Ia04aec6a394bee0ca53e5cee83259cac42ad6734

Increase max loop device number upto 255

According to loop manual,
kernel provides the /dev/loop-control device since Linux 3.1,
which permits an application to dynamically find a free device,
and to add and remove loop devices from the system.

The limit is the maximum number of minor devices for a single major
device(since loop has a single major, block 7), which is limited by
MINORBITS which is located in kdev_t.h file of Linux.
Therefore, it actually 2 to the power of 20, just over a million.

In result, Linux could support lots number of loop devices.

To use more than 100 loop devices,
increase max loop device number in mic.

Change-Id: I2e763f3c70c5aa919e67621bc54d37c0def9d07b

bump up to release 0.28.8

Change-Id: I29c0957f742f39deb644ac954a4ed43dd71b94bd

remove /etc/fstab file, https://bugs.tizen.org/browse/DEVT-399

Change-Id: Ie7a3e0b84a7a15a41e42d7265ecd4109351987b9

bump up to release 0.28.7

Change-Id: I6fefe7a3100d360300496c76cfb4d772455977cf

skip set hosts by mic when /etc/hosts exists or add option to skip

Change-Id: Ic9c63103fdde12ead58fbef676952a575e97daed

add option for mic to skip set hosts when create
https://bugs.tizen.org/browse/DEVT-394

Change-Id: I4c9877b265e615e8f5e1d4ce2b52f4b93da0aed4
Signed-off-by: yan11.meng <yan11.meng@samsung.com>

fix all pylint error for mic

Change-Id: I04e63b3e77052f4350acc8202fd7a84a58baeeac
Signed-off-by: biao716.wang <biao716.wang@samsung.com>

fix pylint errors for mic

Change-Id: Idda5347f96b9034daec0f57d4cfbc16ca13b0883
Signed-off-by: yan11.meng <yan11.meng@samsung.com>

Merge branch 'master' into devel

Change-Id: I21c800342bf4767a3d67bec95fe492b53720cb58

bump up to release 0.28.6

Change-Id: I15ec77f8d9ebe2b128a4d53849b9b4076ce09ec6

bump up to release 0.28.5

Change-Id: I0919283e5f717d58e64afa708207bd2d767787eb

bump up to release 0.28.5

Change-Id: I0919283e5f717d58e64afa708207bd2d767787eb

Add %env section support

Kickstart file now may have section for environment variables setup.
Section should look like

 %env
 VARIABLE1=0x1000
 VARIABLE2="value"
 %end

This environment is set up for mic process and propagated into child processes
during firmware build.

Change-Id: Ida45e768781faf277438e3fb591d9bd931a09a1f
Signed-off-by: Slava Barinov <v.barinov@samsung.com>

Add %env section support

Kickstart file now may have section for environment variables setup.
Section should look like

 %env
 VARIABLE1=0x1000
 VARIABLE2="value"
 %end

This environment is set up for mic process and propagated into child processes
during firmware build.

Change-Id: I22cd45a4b3c2ff7c4c7d27abe1ef1936d4d350f9
Signed-off-by: Slava Barinov <v.barinov@samsung.com>

bump up to release 0.28.4

Change-Id: I9e4e5d7275a20a1663ac8eef29d1a33f7b6feb5a

add new option --fslabel in part section

Change-Id: I0ef3de0c99f23a971b4a862cce2ed38c5fc65a4b

bump up to release 0.28.4

Change-Id: I9e4e5d7275a20a1663ac8eef29d1a33f7b6feb5a

add new option --fslabel in part section

Change-Id: I0ef3de0c99f23a971b4a862cce2ed38c5fc65a4b

bump up to release 0.28.3

Change-Id: I4e3573099b19234db5e25bbe1046ce3713d5e788

Revert "ext4 images are created with inode size 256 bytes"

This reverts commit ee9b725874836b4c52a8b5f2db9af78ba8e183c8.

Change-Id: I6155390b4aa95c40760225403d800b1d99876208

bump up to release 0.28.3

Change-Id: Ic050afa2972196ea5d5b21a650c399b7277317e4

Revert "ext4 images are created with inode size 256 bytes"

This reverts commit c2b1299800f0f1f8cd4794fc5e55bdc20e35721d.

Change-Id: Id9308c18a70de32cb781091f999bb39715bdc55a

bump up to release 0.28.2

Change-Id: Ia4dd2ce506e0076a7d6470a3cffeebbd80c09240

ext4 images are created with inode size 256 bytes

Change-Id: I52427a52df78dbb27b6a2036d548b128b1485e6e

remove tmp dir in runscript period

Change-Id: I6cfd6e09f8565bae074fe5736a4298fea2461a9d

bump up to release 0.28.1

Change-Id: I1f2f15e1fbaed476202c03b2f092a97f14358486

Change the user and root passwd hash algorithm order to avoid user name same as root name.

Change-Id: I6ceb8cf1d0a5f534ec533edadd5218a0b7ffd05d
Signed-off-by: jinxiao <jin.xiao@samsung.com>

bump up to release 0.28.2

Change-Id: Ia4dd2ce506e0076a7d6470a3cffeebbd80c09240

ext4 images are created with inode size 256 bytes

Change-Id: I52427a52df78dbb27b6a2036d548b128b1485e6e

remove tmp dir in runscript period

Change-Id: I6cfd6e09f8565bae074fe5736a4298fea2461a9d

Add locale related environment varibale because language is not set to one specified in ks file env['LANG'] = 'language in ks' env['LC_ALL'] = 'language in ks'

Change-Id: I8ce8930455af4ae0c6f3482e9c12a74194da02f8

Add locale related environment varibale because language is not set to one specified in ks file
env['LANG'] = 'language in ks'
env['LC_ALL'] = 'language in ks'

Change-Id: I8ce8930455af4ae0c6f3482e9c12a74194da02f8

bump up to release 0.28.1

Change-Id: I1f2f15e1fbaed476202c03b2f092a97f14358486

Change the user and root passwd hash algorithm order to avoid user name same as root name.

Change-Id: I6ceb8cf1d0a5f534ec533edadd5218a0b7ffd05d

Check exit status of vdfs image creation

If vdfs creation process exit with failure (EXIT_FAILURE), it should be checked.
Because it could cause malformed vdfs image creation.

In this patch, we added checking code of exit status.

Change-Id: I5aae6a8cb6de0b4dcf2dc1f9e27ee6139b26f918
Signed-off-by: Jungseung Lee <js07.lee@samsung.com>

bump up to release 0.28.0

Change-Id: I331fd138b92656698bdca6f8d8265f4193f3b9b3

bump up to release 0.28.0

Change-Id: I331fd138b92656698bdca6f8d8265f4193f3b9b3

Apply btrfs mount options "--fsoptions=compress".

Change-Id: Ic286b0c43dd9fb376ab643170e9a3387156c4d96

In Tizen, losetup command support '-f' option, not '--find' option

https://review.tizen.org/gerrit/gitweb?p=platform/upstream/util-linux.git;a=blob;f=sys-utils/losetup1.c;h=059832de3a218f854746ef5bdeb1583a98acae19;hb=9a6b29405679d6d7b4cafd19a6fc7bb07ee14938#l1182

Change-Id: I5e54549ec2a742c187ac25d81a4052b18d71a697
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

fix invalid ExtDiskMount.blocksize when "-b [BLOCKSIZE]" extoption is passed

To set blocksize by parsing "-b [BLOCKSIZE]" from extoptions in ks file

Change-Id: I0328cdae59a3466bde4d9a3bccb22026118544a1
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

change __resize_to_minimal function

Change-Id: I7b50e83cc8b1294f1d9b524ffbd69769eebd914b

Merge "In Tizen, losetup command support '-f' option, not '--find' option" into devel

fix invalid ExtDiskMount.blocksize when "-b [BLOCKSIZE]" extoption is passed

To set blocksize by parsing "-b [BLOCKSIZE]" from extoptions in ks file

Change-Id: I0328cdae59a3466bde4d9a3bccb22026118544a1
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Check exit status of vdfs image creation

If vdfs creation process exit with failure (EXIT_FAILURE), it should be checked.
Because it could cause malformed vdfs image creation.

In this patch, we added checking code of exit status.

Change-Id: I5aae6a8cb6de0b4dcf2dc1f9e27ee6139b26f918
Signed-off-by: Jungseung Lee <js07.lee@samsung.com>

change __resize_to_minimal function, use default param "-M" to minimalize

Change-Id: I7b50e83cc8b1294f1d9b524ffbd69769eebd914b

Apply btrfs mount options "--fsoptions=compress".

Change-Id: Ic286b0c43dd9fb376ab643170e9a3387156c4d96

In Tizen, losetup command support '-f' option, not '--find' option

https://review.tizen.org/gerrit/gitweb?p=platform/upstream/util-linux.git;a=blob;f=sys-utils/losetup1.c;h=059832de3a218f854746ef5bdeb1583a98acae19;hb=9a6b29405679d6d7b4cafd19a6fc7bb07ee14938#l1182

Change-Id: I5e54549ec2a742c187ac25d81a4052b18d71a697
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

bump up to release 0.27.9

Change-Id: Ic9072e9e159fb3a4de7714b7d5ea0db69f02dc77

bump up to release 0.27.9

Change-Id: Ic9072e9e159fb3a4de7714b7d5ea0db69f02dc77

Added ATTACHMENT_PATHS env and IMG_DIR_PATH env

Added enviorment veriables to access attachment files and image directory from ks post script.
- ATTACHMENT_PATHS: attachemt file paths
- IMG_DIR_PATH: a directory path located image files

Change-Id: Ia3f409ec8b9c784dba8d5b0baee9b6d9dada3baf
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Revert "call copy_attachment() after configure() and move attachment files"

This reverts commit 7db9b0c91a5b26f96a86ec10dfad261a7d781f3b.

Change-Id: Iaa242d65fd7fb14c379fff0f268ac1607005169e

Added ATTACHMENT_PATHS env and IMG_DIR_PATH env

Added enviorment veriables to access attachment files and image directory from ks post script.
- ATTACHMENT_PATHS: attachemt file paths
- IMG_DIR_PATH: a directory path located image files

Change-Id: Ia3f409ec8b9c784dba8d5b0baee9b6d9dada3baf
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Revert "call copy_attachment() after configure() and move attachment files"

This reverts commit 7db9b0c91a5b26f96a86ec10dfad261a7d781f3b.

Change-Id: Iaa242d65fd7fb14c379fff0f268ac1607005169e

bump up to release 0.27.8

Change-Id: I7340bb2cbd256a2f33ed082e29507e99a289ead5

Use SHA512 instead of MD5 to encrypt root password

Change-Id: I646334220703dedc28b7b1286e28e01ef4c485de
(cherry picked from commit 707754fa61eb4ae452e3af267e14290552122549)

Fix the bug that use local mic-bootstrap to run mic.

Change-Id: I3266c24c2d7be8e7fe91e2d24c6b4f0afb62da87

Support local mic-bootstrap rpm package to run mic.

Change-Id: I80298991eea5a9552a497b6e4b290e7b5b94555c

Merge "Another method of install tpk." into devel

Another method of install tpk.

Change-Id: Ibe2f1cfaa7625ab1ea938feda5df6406beb267e6

The value of fstype is not cpio, an image is generated by cpio.

Change-Id: Ia9ae3d445c708b444da0dee1e5060725db9b9403

When increase rpm release number, user can use --local-pkgs-path to install local pkgs.

Change-Id: I249c2b42a54bd311bb09296a787ffe7d2f03379d

bump up to release 0.27.8

Change-Id: I7340bb2cbd256a2f33ed082e29507e99a289ead5

Use SHA512 instead of MD5 to encrypt root password

Change-Id: I646334220703dedc28b7b1286e28e01ef4c485de

Fix the bug that use local mic-bootstrap to run mic.

Change-Id: I3266c24c2d7be8e7fe91e2d24c6b4f0afb62da87

Support local mic-bootstrap rpm package to run mic.

Change-Id: I80298991eea5a9552a497b6e4b290e7b5b94555c

Another method of install tpk.

Change-Id: Ibe2f1cfaa7625ab1ea938feda5df6406beb267e6

The value of fstype is not cpio, an image is generated by cpio.

Change-Id: Ia9ae3d445c708b444da0dee1e5060725db9b9403

When increase rpm release number, user can use --local-pkgs-path to install local pkgs.

Change-Id: I249c2b42a54bd311bb09296a787ffe7d2f03379d

use the value of --pack-to option as filename to match all outputs

AS-IS:
$ sudo mic cr loop PLATFORM.ks --release SNAPSHOT --pack-to IMAGENAME.tar.gz
  IMAGENAME.tar.gz
  IMAGENAME.xml
  SNAPSHOT-PLATFORM.packages
  SNAPSHOT-PLATFORM.files
  SNAPSHOT-PLATFORM.license
  SNAPSHOT-PLATFORM.ks
  ...

TO-BE:
$ sudo mic cr loop PLATFORM.ks --release SNAPSHOT --pack-to IMAGENAME.tar.gz
  IMAGENAME.tar.gz
  IMAGENAME.xml
  IMAGENAME.packages
  IMAGENAME.files
  IMAGENAME.license
  IMAGENAME.ks
  ...

Change-Id: I5cc148a09b3e4cc4ed863100f0fde4df362038cd
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

support both %runscript and %post-umount to perform scripts before packaging

- add %post-umount section which behaves the same as %runscript
  (if both %runscript and %post-umount are defined then KickstartError occurs)
- move post umount scripts from /var/tmp/post_umount_scripts/ on image to host
- post umount scripts can be use UMOUNT_SCRIPTS_PATH env variable
  (UMOUNT_SCRIPTS_PATH: directory path where post umount scripts are located on host)

Change-Id: Ib88c103f0d3e84c067d0d6683f406a5cac92739a
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

support multiple mic execution at same time

do not unregister qemu emulator before image creation
keep DEVICE_LOCKFILE to prevent a race condition

Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>
Change-Id: I5714194ef6b48f80812b2f8b534d83fc27a663e4

use the value of --pack-to option as filename to match all outputs

AS-IS:
$ sudo mic cr loop PLATFORM.ks --release SNAPSHOT --pack-to IMAGENAME.tar.gz
  IMAGENAME.tar.gz
  IMAGENAME.xml
  SNAPSHOT-PLATFORM.packages
  SNAPSHOT-PLATFORM.files
  SNAPSHOT-PLATFORM.license
  SNAPSHOT-PLATFORM.ks
  ...

TO-BE:
$ sudo mic cr loop PLATFORM.ks --release SNAPSHOT --pack-to IMAGENAME.tar.gz
  IMAGENAME.tar.gz
  IMAGENAME.xml
  IMAGENAME.packages
  IMAGENAME.files
  IMAGENAME.license
  IMAGENAME.ks
  ...

Change-Id: I5cc148a09b3e4cc4ed863100f0fde4df362038cd
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

support both %runscript and %post-umount to perform scripts before packaging

- add %post-umount section which behaves the same as %runscript
  (if both %runscript and %post-umount are defined then KickstartError occurs)
- move post umount scripts from /var/tmp/post_umount_scripts/ on image to host
- post umount scripts can be use UMOUNT_SCRIPTS_PATH env variable
  (UMOUNT_SCRIPTS_PATH: directory path where post umount scripts are located on host)

Change-Id: Ib88c103f0d3e84c067d0d6683f406a5cac92739a
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

add --use-mic-in-bootstrap option

use mic in bootstrap without copy host mic to bootstrap.
by default, copy host mic to bootstrap and use it

Change-Id: I3f4f03cc666df05ad4a7c393b771a2487350b9fe
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Display all rpm debug messages with --rpm-debug

Change-Id: I66ed6a999b20c94238e7fdc29ee68782ab4cd241
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

call copy_attachment() after configure() and move attachment files

- Call BaseImager.copy_attachment() after BaseImager.configure()
  Post scripts on configure() cannot access attachment files which come from install_root.
  So call copy_attachment() after running post scripts.

- Move attachment files not copy.
  If copying attachment files from install_root, then attachment files remain in install_root.
  So use mv instead of cp for deduplication.

Change-Id: Ie7a1d516331e29eaba975bc186b9644b96c17fbc
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Add init_expand option to partition

  - if init_expand is enabled, expand partition size(* 1.5) before mount
  - check partition size after running resize2fs to verify partition size

Change-Id: I60e889f04368877b9d74a581279c9ea4f5d33217
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

add no_shrink option to partition, fix parameter of disk.expand()

* add no_shrink option to partition
  - if no_shrink is enable in specific partition, this partition do not shrink.
  - if not, following pack_to or shrink option in loop command
* fix parameter of disk.expand()
  - expand(size) -> expand(size=size)

Change-Id: Ic9486621795c0e1a867fd551d61f152c693b6c52
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Setup environment to perform signing script

Change-Id: I8b7a5916a6db8863a03b24d297a479e0d990adad

if post scripts fails, CreatorError is raised to catch script errors such as signing error

  $ cat PLATFORM.ks
  ...
  %post
  # if you want to catch script error, add set command and trap command at the top of script
  set -e
  trap 'echo KS POST ERROR: command \"$BASH_COMMAND\" failed with error code $?' ERR
  # it will cause an error
  /usr/bin/error_command
  %end
  ...

  $ sudo mic cr auto PLATFORM.ks
  ...
  INFO: Running post scripts ...
  INFO: /tmp/ks-postscript-FShzJp: line 5: /usr/bin/error_command: No such file or directory
  INFO: KS POST ERROR: command "/usr/bin/error_command" failed with error code 1
  INFO:
  ERROR: Failed to execute %post script with '/bin/sh'

Change-Id: I1a34a343b8bdd044ca85939e446c43cce783c900
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

use registered qemu emulator filename if already registered.

1. preserve-argv[0] flag is enabled
   copy both qemu-XXX and qemu-XXX-binfmt and use them.
2. flag is disabled and the copied qemu and the registered qemu are different
   create symlink as the registered qemu emulator filename and use symlink

Change-Id: I3f9050a01cc3bd0431b37a2c1e29729ef15ee765
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

add --use-mic-in-bootstrap option

use mic in bootstrap without copy host mic to bootstrap.
by default, copy host mic to bootstrap and use it

Change-Id: I3f4f03cc666df05ad4a7c393b771a2487350b9fe
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Display all rpm debug messages with --rpm-debug

Change-Id: I66ed6a999b20c94238e7fdc29ee68782ab4cd241
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

call copy_attachment() after configure() and move attachment files

- Call BaseImager.copy_attachment() after BaseImager.configure()
  Post scripts on configure() cannot access attachment files which come from install_root.
  So call copy_attachment() after running post scripts.

- Move attachment files not copy.
  If copying attachment files from install_root, then attachment files remain in install_root.
  So use mv instead of cp for deduplication.

Change-Id: Ie7a1d516331e29eaba975bc186b9644b96c17fbc
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>

Add init_expand option to partition

  - if init_expand is enabled, expand partition size(* 1.5) before mount
  - check partition size after running resize2fs to verify partition size

Change-Id: I60e889f04368877b9d74a581279c9ea4f5d33217
Signed-off-by: Dohyung Kim <dohyung2.kim@samsung.com>