Merge "Fix KeyError in ConfigMgr._get" into devel

Fix KeyError in ConfigMgr._get

In function ConfigMrg._get() if NoOptionError occurs and section
name is not in self.DEFAULTS, KeyError will be raised.

Change-Id: Iaa08c032eae45b1cc95294a4c7975d0aedb10405

Merge "Add tests for getting config value." into devel

Add tests for getting config value.

Fixture object can setup the 3 levels of different mocking config
files which locate in tests/testdata/ini/.

Change-Id: I079498ca086f3435916467adbfa94c3fa0809565

cmd_build: Implemented output repository creation.

When -o commandline option is used packages are copied to specified
output directory and now createrepo is called to create rpm repo out
of that directory.

Fixes: #74, #201

Change-Id: Ie06536fe367509bbd38088b4d6120da5436b7542

Change tab to spaces

Change-Id: I1b939a7f2cfe1644eaa6df8b7cba860b075f154e

Code cleanup.

A bit of pylinting. Also runner/embed function has been removed as
it's not used in gbs.

Change-Id: I25f19ccc17811759db2ebeaa29f16e0f52ffba19

Get rid of unused build_root config parameter

It's not used anywhere in the code, so let's remove it.
Fixes #293

Change-Id: I15d18f64ae6f3aef2481773acabeee50253a6323

Merge "Introduced base_prj and target_prj config parameters." into devel

Merge "Used username as part of temporary directory." into devel

Introduced base_prj and target_prj config parameters.

Saves a lot of typing in command line.
Fixes #242

Change-Id: Ie2b057bee031d18d89816123078826b17eed71fb

Used username as part of temporary directory.

Temporary directory is used as a base path for buildroot, cachedir and
others temporary directories. Making it to contain username solves
conflicts when gbs is run by more than one user on the same machine at
the same time.

Fixes: #283, #278, #244

Change-Id: Iafb9f83691e945d7148ef70f059096dada2cc701

Check build.xml format and warn user if build.conf does not exist

Fix Bug #284. Method SafeURL.urljoin is useless now, so remove it.

Change-Id: I09cb7d6046e3acd3388bb482c8aa2ddef75da0d5

Add class SafeURL to hide user/passwd info in url string.

Try to fix bug#233, gerrit#894 is a hotfix for this issue in v0.9.
Create SafeURL object from repoN.url/user/passwd in config file,
this safe url is a string object, can be directly print to console.
When pass to build script, use its property "full" with user/passwd
info.

Change-Id: I667989e61a26a00a54255dd7c859e46553814f8f

Merge "Used current user's name instead of config option." into devel

Merge "Used shorter import." into devel

Used current user's name instead of config option.

In cmd_build user name from [remotebuild] section of configuration file
was used as a part of temporary directory name. This approach is confusing
(why anything from remotebuild is used in build mode?) and it also caused
gbs crash when the same name is mentioned in [remotebuild] section for
different local users.

Fixes #283

Change-Id: Ie789564811aa0a9271962d7584421592c215ef7d

Merge "Workarounded osc bug by retrying to call it 3 times." into devel

Merge "Use ctrl-c to interrupt pycurl downloading" into devel

Used shorter import.

Using ObsError instead of using errors.ObsError. Makes lines
shorter. Eliminates several pylint complains.

Change-Id: Ib7e9e58cbfcd6553f91b147a83688666a0467003

Workarounded osc bug by retrying to call it 3 times.

Sometimes core.http_GET returns empty responce, which leeds to
core.ET.ParseError: no element found: line 1, column 0. Trying to send
request again solves the problem in most of the cases.

Fixes #252

Change-Id: I9b418393110464abf2f698136fe36e4c3dddfba3

Enable reading multiple config files (#27)

When updating an existing key, it is set in the config file that it was
read from.

When adding a new key, it is added to the "highest priority" config file
that has the desired section.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Use ctrl-c to interrupt pycurl downloading

pycurl.perform() blocks ctrl-c. If forget to set proxy, we have to
wait 30 seconds till connecting timeout.

Change-Id: I7f22fc110221afd08c1fe01b545a14a0d518e9d5

conf: don't use '/etc/gbs.conf'

Drop the usage of the system level config file.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Big overhaul of BrainConfigParser class

Fixes problems in setting options in the BrainConfigParser class.
Previously, linenumber pointers would get out-of-sync when
updating/inserting/replacing new options with the set() method. Now we
always parse the actual file contents when running set(), thus we never
get out-of-sync.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Merge "Fix replacing of keys in config manager" into devel

Merge "Fix some small problems in RepoParser" into devel

Get rid of local copy of cmdln.py

In the current code thereis a copy of cmdln.py module, which is also
present in osc. gbs depends on osc, so it's better to just use cmldn
from there to avoid unneeded code duplication.

Change-Id: Ib3301ad1635ac681e7b7213aafa17bed0ac22c0a

Fix replacing of keys in config manager

Otherwise cmd_build will crash if 'passwd' are being replaced with
'passwdx'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Fix some small problems in RepoParser

RepoParser.parse() is a bit of hard for understanding. try to make
it more cleaner and readable.

 - remove useless self.archs
 - split local path out first, otherwise urlgrab will complain
    "<url> malformed" for local path
 - get_repos_by_arch() should return local+standard repos at least
 - check self.buildconf each time before getting repo's build.conf
 - self.repos is used only in one place in self.parse(), it can
    be a local var and passed by argument
 - build meta of one repo should not be used for another repo, so
    self.buildmeta can also be a local var in for loop
 - add a function is_standard_repo() to check repomd.xml file
 - add a function fetch() to fetch a remote file into self.cachedir

Change-Id: I1d5d8f9347a5426a323aa04e7edf8c5e75c1c65a

Merge "Use pycurl Keep-Alive feature to save download time." into devel

Use pycurl Keep-Alive feature to save download time.

When GBS parse "latest" type of repo url, it tries to download
several URLs. This usually costs about 30 seconds to complete. By
using keepalive it takes about 10 seconds. pycurl print "Re-using
existing connection!" if pycurl.VERBOSE set to 1.

Change-Id: Ib78b204c26d9077c15e0ea7ff7b032ad2314546f

Merge "Raise OSCError in oscapi.py::OSC::core_http instead of ObsError." into devel

Implemented testcases for gbs changelog.

Change-Id: Ie2909f33a443e888ce29be5f2dfde0847b291fe2

Renamed tests.

Removed useless numbers from the test names.

Change-Id: If9e85446958f02a4669b647c0a94902a012144cd

cmd_changelog: Removed not working check.

repo.is_clean returns tuple, so if not repo.is_clean() always False,
which makes this check useless. I prefer to remove it instead of
fixing because if I fix it it will start complaining each time git
repo has untracked files and users may not like it.

Change-Id: I5dc6a53e01d5f80aef6ab4bc5731170c9d924834

Raise OSCError in oscapi.py::OSC::core_http instead of ObsError.

Error message print out to console is incomplete since ObsError
can't be catched by methods in oscapi.py and throw directly to
cmd_remotebuild.py.

Change-Id: I2879ef2ab7f60f3f0caa35b081c9408ac6589527

get specified commit info

1. gbs rb -c HEAD~1 should get 'HEAD~1' commit info
2. gbs rb [--include-all] get 'HEAD' commit info

Merge "fix undefined issue introduced by merging code" into devel

Fixed Ubuntu builds.

One more try to fix OTC Tester build.
Please, don't merge this change until there will be 'Build Successful'
message from OTC Tester for this change.

PS: We need to do something with our release process. It's already
second release, which breaks tester builds and fixing is not easy.

Change-Id: Idc4f3a1f3760b28139a7f590e495efd1ee5c26c7

fix undefined issue introduced by merging code

Fixed Ubuntu builds in OTC Tools Tester - gbs.

For every gbs release gbs.spec and gbs.dsc should be updated.
Unfortunately gbs.dsc is still not used in gbs release process and
maintainer forgets to update it. This leads to the breakage of the
continuous integration tests (OTC Tools Tester - gbs job).

Change-Id: Ifccd785d0bbe2797ddd593c760b590c74e0623f8

fix merge conflict issue from release-0.9 branch to devel

bump to version 0.9

always raise errors.ObsError in oscapi module instead of OSCError

OSCError can't be catched and backtrace would be printed.

convert config data as string while putting to OBS

This will cause exception/backtrace with some system. fix #240

Merge changes I4d66326a,I0d8c7379 into devel

* changes:
  Fixed tests for gbs help.
  Implemented testcases for gbs import.

Fix incorrect gbp command line options in export and remotebuild

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Pylining

Change-Id: Ia3d0b4f28f6863207d4de398131bde712093f8fa

unify the help info to use lower char

remove --debuginfo and --incremental

--debuginfo useless not so remove it, we will have new design version
of incremental build

Merge "support multiple repos from gbs.conf and command line opts" into release-0.9

Fixed tests for gbs help.

Tests were running gbs help with os.system, which means that in order
to pass tests gbs have to be installed. This doesn't make much sense
for developer-level tests. They should be able to run from source tree
without any preparations.

Change-Id: I4d66326ad26564f2e253d2141284b475a0d4995e

Implemented testcases for gbs import.

This is a first real set of testcases for the gbs module. Testcases were
taken from gbs-auto-test project (Thanks, guys!) and integrated into
existing continuous integration infrastructure. Some new testcase have
been added to increase test coverage.

Change-Id: I0d8c7379d1d87919d1b9f2863480e1a6451793f7

Used absolute imports.

PEP0008 discourages relative imports in quite strict manner:
Relative imports for intra-package imports are highly
discouraged. Always use the absolute package path for all imports.
So, let's not have them.

Change-Id: I7622060910bf0f62ebc55c2777b3b14159e8a7e7

raise error if base obs project is not exists

support multiple repos from gbs.conf and command line opts

RepoParser class should parse all repos and generate standard repos
and composite repos.

Use hostport instead of hostname.

Include port in urls returns by get_repos_conf(). Fix issue#234

change failed to get build conf msg as warning

Merge branch 'release-0.9' into devel

hotfix: add clean_repos_userinfo to hide repos useinfo

packaging: require latest git-buildpackage

Requires the latest gbp in order to function correctly.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

build and export: conform to new API of git-buildpackage

Command line option names and the SpecFile class have changed a bit.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Merge "cmd_import: conform to new API of git-buildpackage" into devel

Merge "cmd_changelog: conform to new API of git-buildpackage" into devel

Merge "Removed generation of __version__.py" into devel

copy build conf to $tmpdir/ for --noinit use

refinement about temp file/dir management

1. create temp file/dir in $tmpdir setting in gbs.conf
2. catch OSError in Temp class

Removed generation of __version__.py

It makes gbs fail when run from source tree, if version is not
generated yet. It also breakes tests because of the same reason.

I reimplemented it in a way that version is taken from __init__.py and
imported or parsed where version info is needed.
Note, that in setup.py and Makefile it's parsed in order to less depend
on python code. setup and Make should be able to work even if
__init__.py has syntax errors. The only requirements to get a version
from there is that it should be in parseable form.

Change-Id: I928d4c75f970345c6ccd7be2cc54e4f3d9d1df38

use base64 to decode passwordx

if using string.decode, binascii.Error would be raised, so just use
base64i nstead just as what conf.py does.

remove duplicated git project checking

RpmGitRepository will check the git project structure, so we dont
need check once again.

Disabled auto patch generation in export/remotebuild

With --git-no-auto-patch-gen git-buildpackage would ignore all
upstream and vendor tags and create one tarball, without generating
patches.

add --use-system-qemu option for new version of build

use tmpdir to store tempary gbs cache data

cmd_import: conform to new API of git-buildpackage

git-import-srpm automatically detects unpacked srpms. Also, prevent it
from automatically applying patches (to match the old behaviour).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

cmd_changelog: conform to new API of git-buildpackage

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Merge "Implemented submitting to OBS without creating local copy." into devel

Merge "cmd_submit: Adopted to changed gbp API get_upstream_branch" into devel

cmd_submit: Adopted to changed gbp API get_upstream_branch

gbp API get_upstream_branch and set_upstream_branch were changed
according to Markus suggestions (review #799). This change adopts
gbs to new gbp API.

Change-Id: I6051b46904791fb86dd3b9e4153d60821fba91e3

dont need check local branch name in changelog module

gbs changelog is just used to generate changelog, so it should
work on any branch.

unify the format of changelog entry

Fixed Ubuntu builds in OTC Tools Tester - gbs.

For every gbs release gbs.spec and gbs.dsc should be updated.
Unfortunately gbs.dsc is still not used in gbs release process and
maintainer forgets to update it. This leads to the breakage of the
continuous integration tests (OTC Tools Tester - gbs job).

Change-Id: I667eeb3947c6adc5f2962fa4028905e0c415f7bb

merge changes from release-0.8.1 branches

bump to version 0.8.1

remove tracking authors info to make changelog standard

use universal time (GMT) instead of localtime to create tag

gbs submit support

workflow:
1) Check opts: -m is a must option
2) if --target specified, use specified target branch name, use
   current branch name
3) create tag on target branch and commit ID, tag format is:
   submit/${branch}/${date}.${time}
4) push tag to gerrit.

cmd_build: Fixed check for empty user and password. Fixes #217.

Implemented --out commandline option. Fixes #200.

--out specifies existing directory for the RPMs. gbs copies
result RPMs to it when build is finished successfully.
As build is run with root privileges we can't move RPMs because of
possible access restrictions, so we're copying them.

conf: error handling if no no section headers

Implemented submitting to OBS without creating local copy.

This change implements major redesign of the way gbs works
with OBS. Currently it creates working copy, which requires
a lot of code to support it. This change proposes much more
simple way - without creating local copy. It drastically
simplifies the code (+324, -1470) and illiminates buildservice
and obspkg modules. Fixes #137 and #138

Change-Id: I2fe944246da89b2919b6148abe9713d69558f1e1

don't update repo url if user and passwd are all none

Create two functions for common code in export build and remotebuild modules

use abspath for export dir

if running gbs outside of git dir or in sub-dir of git tree, gbs
can't export correctly.

fix indent error and refine repo url pattern

move check specfile to guess_spec function

guess_spec is used by build, remotebuild and export module, so it's
better to check that in guess_spec function.

add new option --source-rpm to export source rpm, #89

cmd_export: Used absolute path to spec file to avoid wrong
determination of spec path. Fixes #185

When spec file is passed as a parameter --spec and path is relative it
caused an error in path determination and gbs export was failing with
error: RPM error while parsing spec: can't parse specfile. This change
fixes the issue.

Change-Id: I1e388e88453423f6c529b0012d60d5251a64838c

Fixed call of Temp -> utils.Temp

Change-Id: Iacc7b1b760011f2197f5a7c7dbf9572dffa305c5

cmd_build: Improved using of repositories. Fixes #33

Used both types of repos - mentioned in config file and specified in
commandline. Previously only one type is used.

Implemented --skip-conf-repos command line option to allow skipping
repos, mentioned in config file.

Change-Id: If55fdff2a4f74fde0ed0b14b441ac87e348ff3ff