Merge "Fix replacing of keys in config manager" into devel

Merge "Fix some small problems in RepoParser" into devel

Get rid of local copy of cmdln.py

In the current code thereis a copy of cmdln.py module, which is also
present in osc. gbs depends on osc, so it's better to just use cmldn
from there to avoid unneeded code duplication.

Change-Id: Ib3301ad1635ac681e7b7213aafa17bed0ac22c0a

Fix replacing of keys in config manager

Otherwise cmd_build will crash if 'passwd' are being replaced with
'passwdx'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Fix some small problems in RepoParser

RepoParser.parse() is a bit of hard for understanding. try to make
it more cleaner and readable.

 - remove useless self.archs
 - split local path out first, otherwise urlgrab will complain
    "<url> malformed" for local path
 - get_repos_by_arch() should return local+standard repos at least
 - check self.buildconf each time before getting repo's build.conf
 - self.repos is used only in one place in self.parse(), it can
    be a local var and passed by argument
 - build meta of one repo should not be used for another repo, so
    self.buildmeta can also be a local var in for loop
 - add a function is_standard_repo() to check repomd.xml file
 - add a function fetch() to fetch a remote file into self.cachedir

Change-Id: I1d5d8f9347a5426a323aa04e7edf8c5e75c1c65a

Merge "Use pycurl Keep-Alive feature to save download time." into devel

Use pycurl Keep-Alive feature to save download time.

When GBS parse "latest" type of repo url, it tries to download
several URLs. This usually costs about 30 seconds to complete. By
using keepalive it takes about 10 seconds. pycurl print "Re-using
existing connection!" if pycurl.VERBOSE set to 1.

Change-Id: Ib78b204c26d9077c15e0ea7ff7b032ad2314546f

Merge "Raise OSCError in oscapi.py::OSC::core_http instead of ObsError." into devel

Implemented testcases for gbs changelog.

Change-Id: Ie2909f33a443e888ce29be5f2dfde0847b291fe2

Renamed tests.

Removed useless numbers from the test names.

Change-Id: If9e85446958f02a4669b647c0a94902a012144cd

cmd_changelog: Removed not working check.

repo.is_clean returns tuple, so if not repo.is_clean() always False,
which makes this check useless. I prefer to remove it instead of
fixing because if I fix it it will start complaining each time git
repo has untracked files and users may not like it.

Change-Id: I5dc6a53e01d5f80aef6ab4bc5731170c9d924834

Raise OSCError in oscapi.py::OSC::core_http instead of ObsError.

Error message print out to console is incomplete since ObsError
can't be catched by methods in oscapi.py and throw directly to
cmd_remotebuild.py.

Change-Id: I2879ef2ab7f60f3f0caa35b081c9408ac6589527

get specified commit info

1. gbs rb -c HEAD~1 should get 'HEAD~1' commit info
2. gbs rb [--include-all] get 'HEAD' commit info

Merge "fix undefined issue introduced by merging code" into devel

Fixed Ubuntu builds.

One more try to fix OTC Tester build.
Please, don't merge this change until there will be 'Build Successful'
message from OTC Tester for this change.

PS: We need to do something with our release process. It's already
second release, which breaks tester builds and fixing is not easy.

Change-Id: Idc4f3a1f3760b28139a7f590e495efd1ee5c26c7

fix undefined issue introduced by merging code

Fixed Ubuntu builds in OTC Tools Tester - gbs.

For every gbs release gbs.spec and gbs.dsc should be updated.
Unfortunately gbs.dsc is still not used in gbs release process and
maintainer forgets to update it. This leads to the breakage of the
continuous integration tests (OTC Tools Tester - gbs job).

Change-Id: Ifccd785d0bbe2797ddd593c760b590c74e0623f8

fix merge conflict issue from release-0.9 branch to devel

bump to version 0.9

always raise errors.ObsError in oscapi module instead of OSCError

OSCError can't be catched and backtrace would be printed.

convert config data as string while putting to OBS

This will cause exception/backtrace with some system. fix #240

Merge changes I4d66326a,I0d8c7379 into devel

* changes:
  Fixed tests for gbs help.
  Implemented testcases for gbs import.

Fix incorrect gbp command line options in export and remotebuild

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Pylining

Change-Id: Ia3d0b4f28f6863207d4de398131bde712093f8fa

unify the help info to use lower char

remove --debuginfo and --incremental

--debuginfo useless not so remove it, we will have new design version
of incremental build

Merge "support multiple repos from gbs.conf and command line opts" into release-0.9

Fixed tests for gbs help.

Tests were running gbs help with os.system, which means that in order
to pass tests gbs have to be installed. This doesn't make much sense
for developer-level tests. They should be able to run from source tree
without any preparations.

Change-Id: I4d66326ad26564f2e253d2141284b475a0d4995e

Implemented testcases for gbs import.

This is a first real set of testcases for the gbs module. Testcases were
taken from gbs-auto-test project (Thanks, guys!) and integrated into
existing continuous integration infrastructure. Some new testcase have
been added to increase test coverage.

Change-Id: I0d8c7379d1d87919d1b9f2863480e1a6451793f7

Used absolute imports.

PEP0008 discourages relative imports in quite strict manner:
Relative imports for intra-package imports are highly
discouraged. Always use the absolute package path for all imports.
So, let's not have them.

Change-Id: I7622060910bf0f62ebc55c2777b3b14159e8a7e7

raise error if base obs project is not exists

support multiple repos from gbs.conf and command line opts

RepoParser class should parse all repos and generate standard repos
and composite repos.

Use hostport instead of hostname.

Include port in urls returns by get_repos_conf(). Fix issue#234

change failed to get build conf msg as warning

Merge branch 'release-0.9' into devel

hotfix: add clean_repos_userinfo to hide repos useinfo

packaging: require latest git-buildpackage

Requires the latest gbp in order to function correctly.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

build and export: conform to new API of git-buildpackage

Command line option names and the SpecFile class have changed a bit.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Merge "cmd_import: conform to new API of git-buildpackage" into devel

Merge "cmd_changelog: conform to new API of git-buildpackage" into devel

Merge "Removed generation of __version__.py" into devel

copy build conf to $tmpdir/ for --noinit use

refinement about temp file/dir management

1. create temp file/dir in $tmpdir setting in gbs.conf
2. catch OSError in Temp class

Removed generation of __version__.py

It makes gbs fail when run from source tree, if version is not
generated yet. It also breakes tests because of the same reason.

I reimplemented it in a way that version is taken from __init__.py and
imported or parsed where version info is needed.
Note, that in setup.py and Makefile it's parsed in order to less depend
on python code. setup and Make should be able to work even if
__init__.py has syntax errors. The only requirements to get a version
from there is that it should be in parseable form.

Change-Id: I928d4c75f970345c6ccd7be2cc54e4f3d9d1df38

use base64 to decode passwordx

if using string.decode, binascii.Error would be raised, so just use
base64i nstead just as what conf.py does.

remove duplicated git project checking

RpmGitRepository will check the git project structure, so we dont
need check once again.

Disabled auto patch generation in export/remotebuild

With --git-no-auto-patch-gen git-buildpackage would ignore all
upstream and vendor tags and create one tarball, without generating
patches.

add --use-system-qemu option for new version of build

use tmpdir to store tempary gbs cache data

cmd_import: conform to new API of git-buildpackage

git-import-srpm automatically detects unpacked srpms. Also, prevent it
from automatically applying patches (to match the old behaviour).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

cmd_changelog: conform to new API of git-buildpackage

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Merge "Implemented submitting to OBS without creating local copy." into devel

Merge "cmd_submit: Adopted to changed gbp API get_upstream_branch" into devel

cmd_submit: Adopted to changed gbp API get_upstream_branch

gbp API get_upstream_branch and set_upstream_branch were changed
according to Markus suggestions (review #799). This change adopts
gbs to new gbp API.

Change-Id: I6051b46904791fb86dd3b9e4153d60821fba91e3

dont need check local branch name in changelog module

gbs changelog is just used to generate changelog, so it should
work on any branch.

unify the format of changelog entry

Fixed Ubuntu builds in OTC Tools Tester - gbs.

For every gbs release gbs.spec and gbs.dsc should be updated.
Unfortunately gbs.dsc is still not used in gbs release process and
maintainer forgets to update it. This leads to the breakage of the
continuous integration tests (OTC Tools Tester - gbs job).

Change-Id: I667eeb3947c6adc5f2962fa4028905e0c415f7bb

merge changes from release-0.8.1 branches

bump to version 0.8.1

remove tracking authors info to make changelog standard

use universal time (GMT) instead of localtime to create tag

gbs submit support

workflow:
1) Check opts: -m is a must option
2) if --target specified, use specified target branch name, use
   current branch name
3) create tag on target branch and commit ID, tag format is:
   submit/${branch}/${date}.${time}
4) push tag to gerrit.

cmd_build: Fixed check for empty user and password. Fixes #217.

Implemented --out commandline option. Fixes #200.

--out specifies existing directory for the RPMs. gbs copies
result RPMs to it when build is finished successfully.
As build is run with root privileges we can't move RPMs because of
possible access restrictions, so we're copying them.

conf: error handling if no no section headers

Implemented submitting to OBS without creating local copy.

This change implements major redesign of the way gbs works
with OBS. Currently it creates working copy, which requires
a lot of code to support it. This change proposes much more
simple way - without creating local copy. It drastically
simplifies the code (+324, -1470) and illiminates buildservice
and obspkg modules. Fixes #137 and #138

Change-Id: I2fe944246da89b2919b6148abe9713d69558f1e1

don't update repo url if user and passwd are all none

Create two functions for common code in export build and remotebuild modules

use abspath for export dir

if running gbs outside of git dir or in sub-dir of git tree, gbs
can't export correctly.

fix indent error and refine repo url pattern

move check specfile to guess_spec function

guess_spec is used by build, remotebuild and export module, so it's
better to check that in guess_spec function.

add new option --source-rpm to export source rpm, #89

cmd_export: Used absolute path to spec file to avoid wrong
determination of spec path. Fixes #185

When spec file is passed as a parameter --spec and path is relative it
caused an error in path determination and gbs export was failing with
error: RPM error while parsing spec: can't parse specfile. This change
fixes the issue.

Change-Id: I1e388e88453423f6c529b0012d60d5251a64838c

Fixed call of Temp -> utils.Temp

Change-Id: Iacc7b1b760011f2197f5a7c7dbf9572dffa305c5

cmd_build: Improved using of repositories. Fixes #33

Used both types of repos - mentioned in config file and specified in
commandline. Previously only one type is used.

Implemented --skip-conf-repos command line option to allow skipping
repos, mentioned in config file.

Change-Id: If55fdff2a4f74fde0ed0b14b441ac87e348ff3ff

Used --repo build options instead of GBS_BUILD_REPOAUTH hack

This change uses repox.* config options from 'build' section to
prepare proper repository urls, including auth info.

Note that auth info is also allowed in repo urls,
so repo1.url = 'https://user:password@host.com/' is valid and
repo1.user/repo1.password are not required in this case.

Change-Id: I464f86f4fffd05a60a134af7a838255263a23fae

Merge "Added 'clean' target to packaging/Makefile" into devel

Merge "cmd_build: Disabled auto patch generation. Fixes #DEVT-9" into devel

Added 'clean' target to packaging/Makefile

Without this change Jenkins job accumulates useless tarballs
from previous gbs versions and uploads them to OBS.

Change-Id: I1f5deea5ccd4e77753fd256b1dd2ec77c6ae73aa

Fixed spelling. Capitalized help output. Fixes #189.

Change-Id: If6e8aed2131166aa80dc929a2db46b25923623fe

cmd_build: Disabled auto patch generation. Fixes #DEVT-9

By default git-buildpackage tries to find a way to generate proper
packaging info from git. For example if it founds branch with the name
'upsream' it's looking for the upstream/version tag, where version is
a version of the upstream sources. If it doesn't found the tag it
fails to export. This behaviour caused confusiong among Tizen
developers, as they don't use proper git layout, but some projects use
upstream branches. This patch should fix this kind of issues. With
--git-no-auto-patch-gen git-buildpackage should ignore all upstream
and vendor tags and create one tarball, without generating patches.
This change also includes pointing to the same commit as an upstream
tree. Otherwise git-buildpackage will be looking at upstream/version
tag if upstream branch exists.

Change-Id: Iba62396fef0f82b46589f8094137c41c7d94895b

Implemented cleaning of temporary files and directories.

Implemented in utils.Temp class, which creates temporary file or
directory using tempfile.md[ds]temp and destroys it when object is
deleted(garbage collected when it's out of the scope or upon program
exit).  Fixes #184 and #175.

To avoid abnormal gbs exit(and not deleting temporaries) Exception is
catched in gbs main module.

Change-Id: I04d7067fc293e8b712f183a3d8260dc946058fa7

Updated debian/changelog to 0.8 from Tools:gbs. Updated .dsc.

Change-Id: I441543ec5966f8d02d7af6f6e9f14b448b03816e

Make dependencies to osc and build strict. Make dependency to
git-buildpackage-rpm versioning.

As gbs depends on locally modified versions of osc and build packages
it makes sence to strictly depend on them to prevent installation of
the bigger version of the package from distro repos.

In case of git-buildpackage-rpm it's hardly possible for any distro to
include bigger version as we're using upstream package and developing
on top of it, so versioning dependency is enough.

Change-Id: I757708a35362f8a68f81fad472ac540c3286fa92

ci: Fixed package build for both Ubuntu and OpenSUSE

Change-Id: Ia06c4401de7da6da0d5d57f722e478040de74004

ci: Fixed tests

Change-Id: I48950a36c34cdad17d56741db6d2ad7c5eef0d33

ci: run nosetests with coverage and xunit support

Change-Id: I53b2d9fc73dde20df821a0814304ef47eb9a4962

ci: Added Ubuntu packaging.

Change-Id: I56f5bbe4a9dea255590a8248b024ff275d11f063

Used username to construct a path to gbs cache.

Without this change /var/tmp/gbscashe is owned by the user,
who created it. This causes 'permission denied' traceback when trying
to update repository metadata by another user running gbs build.

Fixes #190 and #197.

Change-Id: Ib3df0b215202553b5be1fb5e328cac334a5519b1

bump to version gbs 0.8

fix gbs build twice issue

fix typo issue

add missing import errors module

use --include-all to replace --include-uncommited

--include-all is more reasonable and easy used by developer than
--include-uncommited

set up resolv.conf for buildroot network

refine --buildlog error info and usage help info

drop --include-untracked and print more friendly info

--commit can't be specified together with --include-uncommited.
give warning if no --include-uncommited specified and current git
tree is not clean, and print changed and untracked files.

use decoded passwd string in conf even for empty str

correct some wrong spelling words

Fix spelling error