buildpackage-rpm: add '--git-native' option

Can be used to explicitly configure a package as native or non-native.
Default behavior is still to guess based on the existence of upstream
branch.

Change-Id: I09c3797fd3d88285ee1e920f4c40e3b22c06916a
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage: refactor tarball compression

Introduce a new function for running the compressor commands. Unifies
exception/error handling - GbpError will be returned if the compressor
fails.

Change-Id: I7d876f01d1855a7b6264f6298a16313045dc6873
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: remove some unused variables

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: add missing docstrings

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: remove unused imports

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: recommend/require zipmerge

Needed by CatenateZipArchive().

Change-Id: I8f25d9da418414bbcc2eff7797b4f57ee5c69e1f
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-packaging: recommend/require unzip

Unzip is needed for handling zipped upstream sources.

Change-Id: I21bb57ad96edece7041d209b1f8264e6ec8465de
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm tests: update component test data

Adds pq/devel branch and .gitignore file to gbp-test package.

Change-Id: Ia6dcbe875433bba00559bd65d9547a8b43e15e97
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm tests: remove RepoManifest.add_project()

This functionality is moved to the rpm testdata submodule.

Change-Id: I0824dbabe84fa75e1053c2508cc86d894dc295e6
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

ComponentTestBase: add dirs argument to _check_repo_state()

Change-Id: I01a421921c8783864d2a5c06d3299fc1ec5d13eb
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

log: fix auto colorizing for custom streams

Check for existence of isatty() method in the stream object. Some custom
streams (e.g. in nose) do not necessarily have this.

Change-Id: I4c8386dfd6f016f926f2eb70b953b19095d585c2
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

log: don't automatically setup gbp-specific logger

This makes it nicer to use gbp.* modules (e.g. gbp.git) in other
software projects which may have their own logging setup. Now, importing
gbp.* modules won't force-setup logging.

Change-Id: I3e9cfe27c67cdd74c32ceba5dad786cc694ad7b6
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: remove too general exception catching

There should be no reason to catch general Exception here.

Change-Id: I1857bf7010365cc6044ff2783eda55dda35e6507
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: don't crash on invalid vcs format strings

Change-Id: I307c82600b0e1336e54016c95cac6ea955adc337
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: add --git-no-build option

Replaces and deprecates --git-export-only. The new option name is way
better in line with the other option names.

Change-Id: If54edf46eccaad4449ffe6b895b4958395e55c2e
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage_rpm: always run cleaner hook

Change-Id: Ia13115e40a186e83c93cee3fe559005eb85858a3
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage_rpm: fix crash when running prebuild hook

GitRepository.git_dir is not callable.

Change-Id: Ibc2040b8a36e60a9499b29ea675caa7a8fc8c968
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tests/testutils: add directories arg to ls_* functions

With this you can exclude directories from the listing returned by the
ls_tar(), ls_zip() and ls_dir() functions.

Change-Id: I8d586489a277c227a7fb61801e0b774f11e7a67e
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage_rpm: check submodules from the exported treeish

And not from the current working copy.

Change-Id: I5320bd977073e7d69c02782a8a232b4a622553e1
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository/has_submodules: add treeish argument

For defining a Git treeish which to look into, instead of the current
working copy.

Change-Id: I27abd99f0416bd4300953d3c1bae2d99de3ab6c0
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

ComponentTestBase: ignore system and user config

User might have a system and/or user specific gbp config files. Disable
these config files so that they don't affect the component tests.

Change-Id: I04b83680016690ffa5a2433ad16e9968e54f6f4a
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

ComponentTestBase: add ls_tree() method

Change-Id: I53b06b41f613baad038117f55c27e7ebdaaadd7e
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

ComponentTestBase: add check_files() method

Change-Id: If23365cde15c2659aad039f19984a97968cd4545
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig-rpm: download tarball into parent directory

Prevents dirtying of the current Git working directory.

Change-Id: I6eca70b647130a380ba67d5b90fc23354b3974ea
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: always create tarball for native packages

If the package is native, always (re-)create the source tarball, even if
--git-no-create-orig is used. Not creating the tarball does not make
much sense (and most probably just causes problems and confusion): for
native packages there is no place for external tarball and no patches so
we need to always have the correct sources (i.e. the exported revision)
in the tarball.

Change-Id: I3d4a46150a017de499d19ec4ae168e6f642325bd
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: fix exit code in case of GitRepositoryError

Change-Id: I0afa3d5b744a912c63af66f2add9eb68bdc48f5b
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

notify: catch RuntimeError when importing pynotify

Work around a problem in some distros (e.g. Fedora) where "import
pynotify" crashes in RuntimeError in some cases, e.g. when DISPLAY env
variable is not set.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

gbp-dch: fix handling of the '--meta' option

Make it effective again - previously it was totally ignored. Also,
change it's default value to True to match the current behavior.

Change-Id: I0fb1b5bb99aa8f622a7c52316e9320973333bad5
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: implement --meta-bts option

This gives the user the possibility to define what meta tags (in git
commit message) git-rpm-ch recognizes as bug tracking system references.
Or, makes it possible to disable bts meta tag tracking altogether.

Change-Id: I7125ac951bf13816d43f1854868b15188bb92042
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm.policy: don't allow leading whitespace in bts meta tags

Change-Id: Ib2d39739b4609c088b04b286adfb6aeb5e07f78a
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: implement --commit-msg option

Change-Id: I10e2d4ad30dfd02c73fd0f318375715202ec36c2
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: implement --commit option

Change-Id: I89b05175d3c4f3def796b20b4e65c53af7d96d13
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: new 'commitish' keyword for spec vcs tag

Add a new keyword '%(commitish)s' that can be used in the
--git-spec-vcs-tag option. This will be translated to the sha1 of the
commitish (i.e. tag or commit). That is, if you export a tag you will
get the sha1 of the tag object - not resolving to a commit object unlike
'%(commit)s' does.

Change-Id: Ia764e15ac0dc090dde9f8e709f31f66e62120abb
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tristate: implement __nonzero__() method

Returns False if tristate is 'off', otherwise True ('on' or 'auto').

Change-Id: I6ade27fc85c6d05ed69dc694495b70725070d9c5
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: manpages for the rpm tools

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: rebase on top of upstream version 0.6.15

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Tizen release 0.6.12-20140521

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: don't create pq branch when switching

Pq branch must be created with 'import'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Prepare for next Tizen tools release

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: implement --retain-history option

With this option defined gbp tries to preserve the history when
converting. That is, for each commit in the old branch create one
corresponding commit in the new orphan packaging branch. This works by
dumping packaging files and updating patches for each commit. However,
empty commits are not generated - these are caused e.g. by changes in
files that are ignored by patch-generation.

NOTE! Only valid for the 'convert' action.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: implement --new-packaging-dir cmdline option

Used for setting the packaging directory to be used in the new orphan
packaging branch. Defaults to --packaging-dir so that the gbp.conf files
are more likely to work without modification.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: implement 'convert' subcommand

The new subcommand is intended to be a one-time-callable command for
converting a package to use the "orphan-packaging" development model and
git layout (where packaging files are maintained in a separate branch
and code development in another branch).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: patch-export from development branch

Adds git-buildpackage-rpm --patch-export support for the 'orphan
packaging' development model (where packaging files and development sources are kept in separate
branches).

New functionality:
1. If patch-export is enabled and gbp detects that the current branch
   has a development/patch-queue branch it exports the patches from there,
   instead of the tip of the packaging branch.
2. If gbp detects that the current (or exported) branch is a
   development/patch-queue branch it automatically enables patch-export
   and exports packaging files from the base branch (instead of the
   development/patch-queue branch.

Also, add a new '--git-patch-export-rev' command line option with which
the user can explicitly set the treeish from which patches are generated
(i.e. HEAD..<patch-export-rev>)

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig-rpm: get archive from spec file

Try to get archive path/filename from spec file if no file name is given
on the command line.  This should make version bumps more
straightforward: just update version number in the spec file and run
'git-import-orig-rpm'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig-rpm: implement automatic downloading

Automatically try to download the archive if the archive filename points
to a remote location.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig-rpm: implement --create-missing-branches option

Create the upstream branch if it does not exist. Use the same option
name that import-srpm has.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: add unit tests for the command line tool

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: implement '--all' option

If defined, git-rpm-ch uses all commits in the Git history. Also,
'--since' option is omitted.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: add --message cmdline option

For giving the text for new changelog entry/entries, skipping git commit
messages entirely.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: make it possible to commit/tag the changes

Implement '--tag' command line option (and other related options for
signing) for creating and tagging a release. These correspond the
tagging options in git-buildpackage-rpm.

The git-buildpackage-rpm tool does not commit anything to git. However,
in rpm-ch the '--tag' option causes the changelog modifications (and,
all other staged changes) to be committed to git before creating the
tag. This makes it possible to create a release and document the
packaging/release tag name in the rpm changelog.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Introduce git-rpm-ch tool

Initial version of the git-rpm-ch tool which is intended for maintaining
RPM changelogs. Supports both spec files and separate "OBS style"
changelog files.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: add gbp.rpm.changelog module

This new module contains basic containers and functionality for parsing
and updating rpm changelogs. It is coupled with the rpm packaging policy
class which now has definitions for rpm changelog formatting.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: support for getting/setting changelog in spec

SpecFile objects now support reading and writing of the %changelog
section.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: add unit tests for the command line tool

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-tests: add RepoManifest class

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: implement '--import-files' command line option

For defining the packaging file(s) that will be imported into the
development/patch-queue branch.

By default, the local gbp conf files are imported in order to try to
ensure that gbp sees the same settings on the development/pq branch as
on the packaging branch.

NOTE: This option does not affect the patch files that are imported. The
files defined with this option will appear as new files in one
monolithic commit in the development/patch-queue branch.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: bigger refactor of the code

Support '%(upstreamversion)s' as a replacable string in the pq branch
name.

Eliminate some unneeded branch switches that were only needed for
finding/parsing the spec file. Now, spec file is directly searched from
the git repository (from the 'base' branch) if the command is run when
on the pq branch - except for the 'export' subcommand which always
switches to the base branch.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Prepare for next Tizen tools release

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: create diff up to the last merge commit

Before, merge commits broke patch generation, or, (most probably) caused
the generated patches to be unapplicable (similar to how
git-format-patch behaves).

Now, changes up to the last merge commit are squashed into one diff if
merge commits are found in the revision list from which patches are to
be generated. Individual patches (one per commit) are generated from the
last merge commit up to the exported revision.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Release, update changelogs

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: support guessing spec file from git treeish

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm.SpecFile: support parsing spec as raw text data

Instead of reading from a file.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: change guess_spec() to return SpecFile object

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository/get_remote_repos: return URLs, too

In addition to the remote name, return remote URLs. Return value is now
a dict with remote name as the key and a list of URLs as the value. The
first value in the list is the effective fetch URL, the rest of the
values are push URLs.

NOTE! This patch is to be dropped, not going for upstream.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

debian packaging: change to 1.0 source package format

Changes package to be non-native (assuming debian/changelog has version
in correct format).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Update changelogs

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Release, update changelogs

Add rpm changelog. Start providing proper changelogs for Tizen Tools
releases.

Also, make it easier to track Tizen releases:
- RPM: Add a 'Provides:' tag to the git-buildpackage-rpm subpackage in
  order to be able to track Tizen releases.
- DEB: Change the package to non-native, by adding a corresponding
  release number to the version field in changelog of Debian packaging.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm tests: slight modificatin of import-srpm tests

Use eq_() and ok() from nose.tools for better assert messages.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tests: add tests for git-import-orig-rpm

Basic tests for virtually all features of import-orig-rpm.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: Improve logging in case of rpmlib error

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: print a warning if importing gbp-specific librpm fails

Fixes: #1177

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: implement a wrapper module for rpm lib

Intended for capturing the rpm lib logging output.

NOTE! The new module is named 'lib_rpm.py' (and not 'librpm.py') because
of a bug in python-nose: some name clash makes nosetests --with-xunit
fail in this case.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-srpm: support --upstream-vcs-tag cmdline option

Similar to what the option does in git-import-orig-[rpm].

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: support importing bzip2 compressed patches

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: give patches in the order they are applied in the spec

Fixes patch importing in situations when patch tag numbering in the spec
differs from the order they are applied.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm packaging: depend on pristine-tar

In practice, it is a weak dependency but upstream RPM doesn't support
weak dependencies so we put it to 'Requires:' for everything else than
openSUSE or Tizen (which do support weak deps).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: git-buildpackage (Debian) tool requires devscripts

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

CentOS compatibility: fix GitRepository.diff

Remove the "all" parameter from --ignore-submodules which is not
supported by the old Git version of CentOS 6 (besides, it's the default,
anyway)

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

CentOS compatibility: disable Debian tools

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

CentOS compatibility: fix GitRepository._cmd_has_feature()

Make it work in CentOS 6.3 with older git by removing backspace
characters when examining man page section names.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

CentOS compatibility: fix tests

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

CentOS compatibility: make GBP work with older python2.6

- use loops to generate dict/list
- Called logging.Logger.__init__ instead of using super(). In python 2.6
  logging.Logger is not new-style class, therefore supper() is failing.

Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Signed-off-by: Zhang Qiang <qiang.z.zhang@intel.com>
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: implement --[no-]hooks option

For enabling/disabling all hooks, similar to git-buildpackage (the
Debian tool). Does not affedt the builder.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Disable xcover support for nose

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: listen to --no-create-orig option for native packages, too

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

.gbp.conf: Tizen specific changes

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: use config file(s) from exported tree-ish

Use the local per-tree/per-branch config file(s) from the exported
tree-ish instead of the current working copy.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: support conditionals in patch-export

One can now define conditional patches that are enclosed in '%if' or
'%ifarch' when the spec file is updated. One can do this by defining
'Gbp-Rpm-If: <conditional>' and 'Gbp-Rpm-IfArch: <conditional>' in the
commit message.

Only one conditional per patch is supported, i.e. you cannot define
'IfArch' and 'If' for the same patch.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-srpm: import all packaging files from src.rpm

Don't try to be too clever when importing an (true) src.rpm - just
import all files from there without trying to guess file list from spec.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-srpm: skip pristine-tar for non-tar sources archives

Don't even try to import non-tar archives to pristine-tar because that
fails. Instead, print a warning and continue without using pristine-tar.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Import RpmGitRepository if DebianGitRepository is not available

This is just a workaround, this should be fixed in nicer way by
refactoring the code.

Signed-off-by: Zhang Qiang <qiang.z.zhang@intel.com>

test_import_srpm: add checks for files in repo

Enhance some tests by checking that the correct files are present in the
working directory of the repo.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm.SpecFile: drop the internal sources structure

Get rid of duplicate data tracking.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>
Signed-off-by: Yigang Wen <yigangx.wen@intel.com>

rpm.SpecFile: drop the internal 'patches' structure

To get rid of duplicate data tracking. Also, add test for testing the
macro expansion of patch and source names.

Also add tests for SpecFile.patchseries.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm.SpecFile: change specfile attribute to represent filename

There is specdir to get the (absolute) directory path.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: make SpecFile.update_patches() use new tag/macro methods

Use new set/delete methods for updating the patches in the spec file.
The internal patches structure is not updated and now only used when
importing patches.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm helpers: yet another fix to patch numbering

'Patch:' does not indicate "patch number 0". Patch: and 'Patch0:' can
both be present in the same spec file.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm helpers: support all tags

Support all 'non-list' tags that we know of.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm helpers: parse 'nosource' and 'nopatch' sources correctly

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm helpers: implement _set/delete_special_macro() methods

Currently intended for updating '%patch' macros.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>