Merge "Make build/remotebuild profile selectable from cmdline" into devel

Merge "Unify color of debug message in gbs, gbp and depanneur." into devel

Make build/remotebuild profile selectable from cmdline

Implements a new cmdline option to select the profile to use for
building. User can give the profile name without the "profile." prefix.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Make local buildroot configurable in config file

The buildroot can be set under the 'general' section as a global setting
and/or under individual profiles as a profile-wide setting.

Setting supports string substitution for ${tmpdir} and ${profile}.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Merge "empty commit message is not allowed for gbs submit, #468" into devel

Merge "More correct way to parse repo url" into devel

Merge "Fixed bug in command line aliases implementation" into devel

empty commit message is not allowed for gbs submit, #468

Change-Id: Ie89de3c755602ecbf0be09c4d69e9873c1b1a7ef

Unify color of debug message in gbs, gbp and depanneur.

Fix #450.

Change-Id: Ifdd796f6b4747e0a8903f41be24f1ee9af0cf3ed

More correct way to parse repo url

Only continue with PageNotFound exception, other exceptions, such as
AuthFailed, TimeoutError, UrlError, raise exception and exit directly.

Change-Id: I5f98d632f3af88223c266dba1a35e253c7767b1c

Fixed bug in command line aliases implementation

If --conf global option is used its argument considered as subcommand
name. This change fixes this.

Change-Id: Idc67a5257a941d3fcc065443d2017b021b469317
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

Fixed getting workdir in remotebuild mode

Used the same approach as in other modules: workdir is assigned to git
topdir.

Fixes: #464

Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Change-Id: Idda3abf63580669b36c7a4c4c06b94fd0357856e

Merge "Used guess_spec in changelog mode" into devel

Used guess_spec in changelog mode

This change fixes confusing behaviour of changelog mode. When there are
more than one .spec file in packaging/ directory first one is picked up
for processing. Users were confused, because there was not way to
understand which spec will be used and there was not way to specify spec
to proceed with.

Fixes: #399

Change-Id: I65d546b1c0d2fee93bdad8ed03c39d1588edf7d8
Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>

check the existance of 'source_rpm' before using it

Change-Id: I132dde430d123191b7ebe207eafbce8175ff079b

Implemented command line parsing using argparse

Fixes: #259

Change-Id: I25c6eabfedc30f089a0c5cb4cebaac3b31b97c8c

cmd_export: use gbp to build src rpm

Fixes #396

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Don't rely on absolute path of Depanneur

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Use os.system to ignore INT/QUIT signal while calling depanneur

subprocess.call does not ignore INT/QUIT signal, which result in
gbs exit first before depanneur finished

Change-Id: I88dccad5295f29f07c9d6206287f0f2b6210e5e0

Better help text for --upstream-tag option

See #379.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

export: handle new gbp return value

GBP now distinguishes tarball/patch generation errors from other errors.
Fixes a problem where GBS thought that all GBP errors where related to
tarball/patch generation, and, possibly printed a misleading warning and
re-tried GBP export in vain.

See #382.

Change-Id: If2128c5dbc49bae6fb597770d9452e2f93713982
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Repo or OBS section can inherit only user or password from profile.

- Fix #387, add test cases for this.
- inline user/password have the hight priority.

Change-Id: I6a8d8f6d81d012596e7383d65279060d9cfac0c9

Check the format of build conf

build conf must end with .conf and can't contain '-'.

Change-Id: I44dc370b40844a0c1b911c50cd4f22cfe644bd5c

Format default config template.

- Add more comments and two tizen url to default config template.
- Remove useless config item buildconf and build_cmd

Change-Id: I0faec1b20ad1a41044f6115770fb087371f70303

Check if specified build conf exists.

Change-Id: Ia2488a6e6841a7f87397c5c1f595bccc2b737e06

Use abspath for build.conf.

Change-Id: Ia739ff531f8a32906ac3f4913fd753960d77ec84

Correct setting gbs build root order

--buildroot option first, then TIZEN_BUILD_ROOT env var, and last
choice ~/GBS-ROOT/, which is the default.

Change-Id: Ieae8c7170c0f3e58a676351d3f34ad6a4ed5a87e

Merge "patch-generation: filter out changes to packaging dir" into release-0.10

patch-generation: filter out changes to packaging dir

Utilize the ignore-path functionality of git-buildpackage to ignore
changes made to the packaging files when generating patches.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Update gbs version from source

This affect output of gbs --version

Change-Id: Ia994406218fc41e08c544c7509ffe409aca9d2cb

Update gbs build help info use build instead of localbuild

Change-Id: I50e182dbf7d626989b51c811d891296b16210fe0

Don't use local build conf, give error msg instead

local build conf is out of date, and should be discarded.

Change-Id: Iba23ae5cfe082b8e11aac033e0128cf047506a5b

Merge "transfer correct gbs export options to depanneur" into release-0.10

Small changes to usage format

Change-Id: I1778037d94a9c5ef56be7352a9b9f9fda688d678

transfer correct gbs export options to depanneur

Change-Id: If988d075a91392434d0619662e131291d0bc2123

bump to version 0.10

This commit is for new gbs 0.10 release branch (release-0.10).

Change-Id: Ice6b60b9974a2cbaf272a3a491dab3e1b4f24a20

Update chroot module

As depanneur is used to create build, and multiple build root will
be created if --threads=<> specified, so we remove -A option.
The build root should be specified while using gbs chroot, just as
chroot command.

Change-Id: I014e441f2ff206002595bd3acf54ff749ffcf353

Use build-experimental to replace build module

We have tested new new build module 'build-experimental' for several
circles, and its compartiable with build module, no any regression
issue, so let's use this module to replace current build module.

Change-Id: I58ea77cb86f21d32a5819bb0213291e407f810e5

use 'warning' instead of 'warn'

Change-Id: I0b60aa144acffac2b2b16765a6e63a9724add6a8

show local repo dir with correct disto and show build root dir

* show correct local repo dir: for different ditros(tizen, tizen2.0,
ect) different local repos are generated.
* show build root dirs, user can see this info and chroot it easily.

Change-Id: Ib8c071da842d1194c05499a605cb76718ef894a3

Merge "Add a default parser in ConfigMgr" into devel

Add a default parser in ConfigMgr

- Fix bug#333.
- Change config item like %(xxx)s to ${xxx} in DEFAULTS
    dict, otherwise InterpolationError will be raised
- Transform ${upstream_tag} back to %(upstream_tag)s before
    calling gbp, which does not change functionality of gbp

Change-Id: I3ba122ef4a633c23d59e136773ae98d1e280dab3

Merge "Display meaningful info when parsing repo urls" into devel

Display meaningful info when parsing repo urls

Fix bug#340

Change-Id: I786bb6a3f622eca1e6087cab3fc0f2a3eaa214ea

Add more description about gbs build-experimental help info fix#350

Change-Id: I373ed324c16136e82a1c172092e3baefd2f37a87

Add --buildroot option for chroot to chroot specified dir

Change-Id: I0d52fdec52a0e2e7f20207bd672d7f18400d0576

Update packaging files

* Update dependency:
  build 2012.09.12
  gbp:  0822
  depanneur: 0.1
* Update Makefile:
  dsc depend on tarball

Change-Id: I8ccdd2320b06699f37f705aea181b96673f88d5a

Catch ConfigParser.Error when reading config

Change-Id: I8ce04f7c9200ce02df62526144bf9a1dd9d13144

Change error message showed to user.

- show user the correct message if section name specified by
    general.profile does not exist
- remove default value of remotebuild.build_server in code. if
    there is no [remotebuild] section in config file, gbs rb will
    do remote build with tizen.org. It's wried to user.
- complain no obs api found when running gbs rb, do not complain
    when parsing config file.

Change-Id: I7766a7ee04eec3e992e450aa26d0263ee45311fe

conf: fix bug in config template generation

Use shutil.move() instead of os.rename() which fails if the template
file would be renamed over file system boundaries.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Support squashing patches in patch generation

Add new command line and config file option to squash commits in patch
generation into a one monolithic diff. One usage example could be e.g.
in linux kernel to squash commits between base version and stable branch
head into one .diff.

This patch directly facilitates git-buildpackage and just passes the new
option to it.

Command line option takes preference over the config file.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

first version of localbuild integrated with depanneur

Available features:
* multiple packages build
* parallel build with multiple threads
* dependency build automaticlly
* local repo generated

Already implemented depanneur options:
* --clean, --clean-once, --overwrite
* --incremental, --keepgoing, --no-configure
* --exclude, --exclude-from-file
* --thread
* --binary-list
* --debug

Usage Example:
$ mkdir tizen-packages
$ cp package1 package2 package3 ... tizen-packages/
$ gbs localbuild -A ia32 tizen-packages # build all packages under tizen-packages
$ cd tizen-packages/
$ gbs localbuild -A ia32 # build all packages under current dir
$ gbs localbuild -A ia32 --overwrite --include-all
$ gbs localbuild -A i586 --threads=2
$ gbs localbuild -A i586 --threads=2 --exclude=dlog --exclude=eglibc
$ gbs localbuild -A i586 --threads=4 --binary-list=/path/to/pkgs.list
$ cd package1/
$ gbs localbuild -A i586 --incremental # only support build one package

Change-Id: I8e214601cc3021c33c8a95b00477bd18546e05c3

Merge "More changes to support profile style of config." into devel

More changes to support profile style of config.

- proflie section header should start with "proflie_", obs
    section header should start with "obs_", repo section
    header should start with "repo_".
- add base_prj and target_prj config to obs section
- generate profile style of config file in ~/.gbs.conf if no
    config file were found
- clean all parsers in function reset_from_conf()
- as described in issue#255, remove config file in cwd
- if current config is subcommand oriented style, convert it to
    profile oriented style into ~/.gbs.conf.template. Leave it
    original config file unchange.
- BrainConfigParser.set() is not compatible with super set, so
    change name to set_into_file()
- add class RepoConf and OBSConf to repo section info and obs
    section info, including section name which is useful for
    auto new style config generation.
- only update gbs.conf that we had changed and catch permission
    exception.
- add /etc/gbs.conf back.

Change-Id: I1dcee2814a7d5430ac3329a2c018e98b48734569

Hide "man" subcommand which was introduced by osc.cmdln.

osc.cmdln add do_man() and hide() to cmdln.1.0.0. do_man() is a
subcommand to generate man page. hide() is a decorator to hide
subcommand in help message, but user can still use it.

Change-Id: I2f4167211397698b8f84635347cfdb2f7c4e3b3c

Use GBS temp dir for GBP, too

Fixes #332.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Fix typo in gbp error message

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Merge "Little refactor and add test cases to conf.py" into devel

Fix minor bugs

- catch ValueError for url given by --repository
- prompt user if can't find obs api
- use empty password if no passwd item found for obs

Change-Id: I5c8942619cf11a019b1964c235c7f90edb78a8ee

Little refactor and add test cases to conf.py

- change BrainConfigParser.read() to read_one() since the code only
    use this function to read one config file. It's simpler.
- remove BrainConfigParser.check_opt() since no code use it.
- remove else branch in ConfigMgr.get() since the code can still
    work if val is empty string. Also add a test case for it.
- remove ConfigMgr.set() since no code use it. passwdx set back
    in _check_passwd(), and we will not use this set() function to
    add option into config file.
- change implementation of Fixture class, it doesn't call start()
    and stop() methods which introduced by mock0.7
- add more test cases for conf.py

Change-Id: I598f8943f98f067aa584fa4be811492c70226f23

rename conf as correct tizen release name

This renameing phrase is needed by depanneur

Change-Id: I9cf110fcce94911ed0de2e2bac360c0e7f80737a

Support profile oriented style of config.

- support profile oriented style. It is compatible with subcommand
    oriented style.
- add a class Profile to store url/user/password of repos and api.
- add a class BizConfigManager extending from ConfigMgr. It
    handles profile info and does not care about multi-levels and
    passwdx issues. It returns current profile instance even
    config file has subcommand oriented style.
- make two functions decode_passwdx, encode_passwd to convert
    between passwd and passwdx.
- move get_repos_conf() from cmd_build.py to conf.py and split it
    into two parts
    _parse_build_repos() and _build_profile_by_subcommand()
- add test cases in test_profile.py

Change-Id: I81b2906456766f1061ccef9e7d51fea794c59409

Support ini section header like [section "name"].

Add a class SectionPattern to support section header style like
[section "name"]. It's also compatible with style like [section].

Change-Id: I6c35eb00a2f3be912cee34f421173fb0523aa191

Add upstream-branch and upstream-tag options

Add config file and command line options to specify the upstream branch
name and upstream tag format for build, export and remotebuild commands.
This is needed in order to be able to support different maintenance
models of non-native packages (with patch-generation enabled):
1. If upstream sources are imported with GBS, these options are not
   needed
2. However, if maintainer uses upstream git tree directly, he needs to
   be able to specify the tag format - otherwise gbp is unable to
   create orig source archive or generate patches

Command line option takes preference over the config file.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Enable patch-generation

This commit enables the "proper" maintenance model of packages. That is,
create a real upstream source archive (matching the upstream tag) and
patches on top of that. It facilitates the patch compression support in
git-buildpackage: patches bigger that 100kB are compressed with gzip.
GBP also modifies the spec file to contain the new list of patches.

GBS enables this mode if the git tree has 'upstream' branch. It tries to
checkout the orig tarball with pristine-tar, if 'pristine-tar'
branch is found. If this fails, it tries to create the orig tarball from
a git tag corresponding the upstream version.

GBS falls back to the old method of generating one monolithic tarball if
exporting of packaging files (i.e. upstream archive and patch
generation) in this new mode fails.

NOTE: .spec file autoupdate feature is limited and might not work with
more exotic packaging. E.g. patches inside conditionals are not
supported, at the moment.

TODO: Currently, also packaging-only commits generate patches which is
only noise from source code perspective. This needs to be fixed in
git-buildpackage.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

use iter var 'i' to replace repo, which already has been used

Change-Id: Ia7a05fade7ef7271888008f3d8c4f1357288c07f

fix undefined var backtrace issue.

Change-Id: I5d29c49a5f70e8fed1911992d0d4bae3095c96eb

call build with --clean if target build root in not-ready stat.

Change-Id: I693e2c42331773f445a5a173e882403f77a72f8d

fix reference undefined var backtrace issue

Change-Id: I3509afc223c211449ddee62a9482d7cc955b0a34

Move gbp argument creation into one function

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Merge "Fix KeyError in ConfigMgr._get" into devel

Fix KeyError in ConfigMgr._get

In function ConfigMrg._get() if NoOptionError occurs and section
name is not in self.DEFAULTS, KeyError will be raised.

Change-Id: Iaa08c032eae45b1cc95294a4c7975d0aedb10405

Merge "Add tests for getting config value." into devel

Add tests for getting config value.

Fixture object can setup the 3 levels of different mocking config
files which locate in tests/testdata/ini/.

Change-Id: I079498ca086f3435916467adbfa94c3fa0809565

cmd_build: Implemented output repository creation.

When -o commandline option is used packages are copied to specified
output directory and now createrepo is called to create rpm repo out
of that directory.

Fixes: #74, #201

Change-Id: Ie06536fe367509bbd38088b4d6120da5436b7542

Change tab to spaces

Change-Id: I1b939a7f2cfe1644eaa6df8b7cba860b075f154e

Code cleanup.

A bit of pylinting. Also runner/embed function has been removed as
it's not used in gbs.

Change-Id: I25f19ccc17811759db2ebeaa29f16e0f52ffba19

Get rid of unused build_root config parameter

It's not used anywhere in the code, so let's remove it.
Fixes #293

Change-Id: I15d18f64ae6f3aef2481773acabeee50253a6323

Merge "Introduced base_prj and target_prj config parameters." into devel

Merge "Used username as part of temporary directory." into devel

Introduced base_prj and target_prj config parameters.

Saves a lot of typing in command line.
Fixes #242

Change-Id: Ie2b057bee031d18d89816123078826b17eed71fb

Used username as part of temporary directory.

Temporary directory is used as a base path for buildroot, cachedir and
others temporary directories. Making it to contain username solves
conflicts when gbs is run by more than one user on the same machine at
the same time.

Fixes: #283, #278, #244

Change-Id: Iafb9f83691e945d7148ef70f059096dada2cc701

Check build.xml format and warn user if build.conf does not exist

Fix Bug #284. Method SafeURL.urljoin is useless now, so remove it.

Change-Id: I09cb7d6046e3acd3388bb482c8aa2ddef75da0d5

Add class SafeURL to hide user/passwd info in url string.

Try to fix bug#233, gerrit#894 is a hotfix for this issue in v0.9.
Create SafeURL object from repoN.url/user/passwd in config file,
this safe url is a string object, can be directly print to console.
When pass to build script, use its property "full" with user/passwd
info.

Change-Id: I667989e61a26a00a54255dd7c859e46553814f8f

Merge "Used current user's name instead of config option." into devel

Merge "Used shorter import." into devel

Used current user's name instead of config option.

In cmd_build user name from [remotebuild] section of configuration file
was used as a part of temporary directory name. This approach is confusing
(why anything from remotebuild is used in build mode?) and it also caused
gbs crash when the same name is mentioned in [remotebuild] section for
different local users.

Fixes #283

Change-Id: Ie789564811aa0a9271962d7584421592c215ef7d

Merge "Workarounded osc bug by retrying to call it 3 times." into devel

Merge "Use ctrl-c to interrupt pycurl downloading" into devel

Used shorter import.

Using ObsError instead of using errors.ObsError. Makes lines
shorter. Eliminates several pylint complains.

Change-Id: Ib7e9e58cbfcd6553f91b147a83688666a0467003

Workarounded osc bug by retrying to call it 3 times.

Sometimes core.http_GET returns empty responce, which leeds to
core.ET.ParseError: no element found: line 1, column 0. Trying to send
request again solves the problem in most of the cases.

Fixes #252

Change-Id: I9b418393110464abf2f698136fe36e4c3dddfba3

Enable reading multiple config files (#27)

When updating an existing key, it is set in the config file that it was
read from.

When adding a new key, it is added to the "highest priority" config file
that has the desired section.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Use ctrl-c to interrupt pycurl downloading

pycurl.perform() blocks ctrl-c. If forget to set proxy, we have to
wait 30 seconds till connecting timeout.

Change-Id: I7f22fc110221afd08c1fe01b545a14a0d518e9d5

conf: don't use '/etc/gbs.conf'

Drop the usage of the system level config file.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Big overhaul of BrainConfigParser class

Fixes problems in setting options in the BrainConfigParser class.
Previously, linenumber pointers would get out-of-sync when
updating/inserting/replacing new options with the set() method. Now we
always parse the actual file contents when running set(), thus we never
get out-of-sync.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Merge "Fix replacing of keys in config manager" into devel

Merge "Fix some small problems in RepoParser" into devel

Get rid of local copy of cmdln.py

In the current code thereis a copy of cmdln.py module, which is also
present in osc. gbs depends on osc, so it's better to just use cmldn
from there to avoid unneeded code duplication.

Change-Id: Ib3301ad1635ac681e7b7213aafa17bed0ac22c0a

Fix replacing of keys in config manager

Otherwise cmd_build will crash if 'passwd' are being replaced with
'passwdx'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Fix some small problems in RepoParser

RepoParser.parse() is a bit of hard for understanding. try to make
it more cleaner and readable.

 - remove useless self.archs
 - split local path out first, otherwise urlgrab will complain
    "<url> malformed" for local path
 - get_repos_by_arch() should return local+standard repos at least
 - check self.buildconf each time before getting repo's build.conf
 - self.repos is used only in one place in self.parse(), it can
    be a local var and passed by argument
 - build meta of one repo should not be used for another repo, so
    self.buildmeta can also be a local var in for loop
 - add a function is_standard_repo() to check repomd.xml file
 - add a function fetch() to fetch a remote file into self.cachedir

Change-Id: I1d5d8f9347a5426a323aa04e7edf8c5e75c1c65a