Resolve groups to packages

Resolve groups to package list if use zypp but repo only has comps, or
use yum but repo only has patterns file.

baseimager: revert original changes

Merge changes Iefb63ee1,I7a7a6cfc,I46232f34

* changes:
  zypp: remove cache data while initializing zypp
  zypp:Clean up installLocal code
  baseimager:don't put local rpm to _excluded_pkgs

zypp: remove cache data while initializing zypp

This is a cache management issue in zypp, and we just clean up all the
cache data before initializing zypp.

zypp:Clean up installLocal code

remove __get_pkg_name and some 'import *', and use rpmmisc.readRpmHeader
to replace rpmUtils.miscutils.hdrFromPackage to get rpm package info.

Update release help msg and rearrange the option for look
Signed-off-by: Gui Chen <gui.chen@intel.com>

Add '--pkgmgr' option

Signed-off-by: Gui Chen <gui.chen@intel.com>

baseimager:don't put local rpm to _excluded_pkgs

This is not make sense to exclude local rpms, exclude_pkgs contain
packages should be deselected.

Merge "zypp: include/exclude package support"

zypp: include/exclude package support

Remove the original code, and implemented this feature based on latest
code. It's more clear.

check the exists of ksfile before parsing

show available pkgmgrs if invalid one encountered

zypp: rewrite code of selectPackage and selectGroup

Using more efficient API PoolQuery to rewrite selectPacakge and
selectGroup, which avoid traversing all the package every time.

This patch also improve the wildcard support in ks file, and the
following three types are supported:
xxx*
*yyy
*zzz*

zypp: move the checking for new api near zypp import

minor changes of commments

Merge "Fixed a issue about 'include_src'"

yum: set persistdir

Merge "zypp: check arch of local rpm"

Merge changes I0f07f6ae,Icb6a062e,I2dcf8cf6,If0ee2bce

* changes:
  zypp: simplify arch setting for zypp backend
  yum: Unify the output of yum backend and zypp backend
  zypp:obsolete package check
  zypp: deselect packages while zypp resolving finished

Merge "zypp: remove the zypp_install function"

Fixed a issue about 'include_src'

Merge "Correct release option show"

avoid importing ext modules in yum plugin

zypp: check arch of local rpm

Check the arch of local rpm, if it's not compatible with target arch,
then just ignore it.

zypp: simplify arch setting for zypp backend

Using Arch class to create Arch for different architecture

yum: Unify the output of yum backend and zypp backend

unifiy the download progress info of yum and zypp. With this patch
download progress output format is :
    RPM Name [current number /total pacakges number]

Cleanup temporary dirs, even if convertor fails

Correct release option show

Signed-off-by: Gui Chen <gui.chen@intel.com>

Remove the temporary dir 'srcmnt'

Corrected a mistake of fs_plugin

Merge "zypp: cleanup code"

namespace typo fixed

zypp:obsolete package check

If one package(A) is obsoleted by another package(B), the package B
would be set to be installed.

better error output for CreateError

zypp: deselect packages while zypp resolving finished

The deselect operation should be called after zypp resolving
process finished, fix BMC#22939

zypp: remove the zypp_install function

zypp_install function is used to donload/install packages in zypp core,
but libzypp-binding and zypp have some unexected issue, so it's better
to download/install in mic.

zypp: cleanup code

Remove the redundant code.

Makefile: make dist to remember the git commit id

fixed the remain mod import problems

mv all 3rdparty modules to specific dir and hide urlgrabber

urlgrabber module was only used by pykickstart without self reference,
so it can be moved inside pykickstart module dir. And then it will
avoid the potential conflict with system installed urlgrabber module.

e.g. In Fedora system, yum will require urlgrabber > 3.9

rm the unnecessary pykickstart import of zypp plugin

kill redundant message output

skip unsupported plugin friendly

catch the ImportErrors, show warning, and skip it

check the new libzypp api just once

zypp: search package provides info in selectPackage

This patch provide the ability to search package provides info while
selecting packages.

HUGE regression for the module path hanlding

we need to find a better way to resolve it

proper exception handling in zypp backend

load pykickstart and urlgrabber for mic

Signed-off-by: Gui Chen <gui.chen@intel.com>

Remove extra print

Signed-off-by: Gui Chen <gui.chen@intel.com>

add config option

Signed-off-by: Gui Chen <gui.chen@intel.com>

hide the private part

add timestr prefix in logfile

report zypp/arch support errors friendly

remove arch key from default mic.conf

Add arch option

Signed-off-by: Gui Chen <gui.chen@intel.com>

add --release support for new imagetype

Add release option

Signed-off-by: Gui Chen <gui.chen@intel.com>

more effitient logfile saving

zypp: format dependencies error message.

revert the _resparse() code for livecd

enhance msger module to support logfile

adding resizing and packaging for new image type

new image type plugin added

unify coding style

Merge changes I16122b7a,Ib74e2676,I1171e42c

* changes:
  zypp:remove redundancy yum configure code
  zypp:remove redundancy download/build cache code
  zypp: use getRepositoryInfo to replace loop in build_repo_cache

Merge "zypp: save repodata cache for reuse."

Merge "zyppbackend: remove select packages in group"

make loop class more extensible

add --debug/--verbose for create

Signed-off-by: Gui Chen <gui.chen@intel.com>

Relocate common options for create

Signed-off-by: Gui Chen <gui.chen@intel.com>

remove redundant module importing

better exception handling for kickstart parser

loop -E opt support / as the mountpoint

it will specify the name of main loop image

fixed the name space pollution problem

postpone the fetch repomd and cleanup configmgr

the previous implementation to fetch repomd is too early, it's
very very bad, fixed it
and the there are many unused and ugly methed in configmgr also,
cleaned them up

enhance loop to mount multi-loop imgs at the same time

using new cmdln options like:
 --extra-loop=/opt:opt.img,/boot:boot.img

replace most of subprocess calls by new runner apis

only several exceptions remained:
 chroot ones
 pipe chained ones

move msger.run to utils.runner module and more apis

in new separate module mic/utils/runner.py, three new apis
provided:
    runner.show (similar with msger.run)
    runner.quiet
    runner.outs
    and a more generic runner.runtool

separate proxy funcs from misc.py and del deprecated

zypp:remove redundancy yum configure code

zypp:remove redundancy download/build cache code

repodata download/build process has been finished in addRepository.

zypp: use getRepositoryInfo to replace loop in build_repo_cache

fixed msger.run error when arg is empty str

zypp: save repodata cache for reuse.

Without this patch, repodata would be downloaded every times.

The repodata consistence check has been implemented in libzypp, so if
repodata has been changed in remot repo server, libzypp can detect this
and download the latest data.

remove improper exception handlings

zyppbackend: remove select packages in group

In selectGroup, packages in groups don't need to set. zypp would set
them automaticlly in resolve process.

better raw()/run() handling in msger

image type "fs" to check and confirm the exists dir

do not use default value for "lang" in kickstart

then will not write /etc/sysconfig/i18n

typos in chroot and convert subcmd

catch KeyboardInt and quit decently

suppress all rpm warning msg in non-debug mode

wrapper all subprocess call using msger.run

all the output of external tools can be controlled

enhancement for 'usage' message

better exception handlings

refine and cleanup the zypp backend plugin

separate check_EULA code to be common

refine the yumpkgmgr plugin code

enhance msger.ask and new pause()

livecd/liveusb will quit decently for arm images

because livecd/liveusb images need 'syslinux' which is x86 only package,
we will never support livecd/liveusb formats for arm images.