ComponentTestBase: add check_files() method

Change-Id: If23365cde15c2659aad039f19984a97968cd4545
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig-rpm: download tarball into parent directory

Prevents dirtying of the current Git working directory.

Change-Id: I6eca70b647130a380ba67d5b90fc23354b3974ea
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: always create tarball for native packages

If the package is native, always (re-)create the source tarball, even if
--git-no-create-orig is used. Not creating the tarball does not make
much sense (and most probably just causes problems and confusion): for
native packages there is no place for external tarball and no patches so
we need to always have the correct sources (i.e. the exported revision)
in the tarball.

Change-Id: I3d4a46150a017de499d19ec4ae168e6f642325bd
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: fix exit code in case of GitRepositoryError

Change-Id: I0afa3d5b744a912c63af66f2add9eb68bdc48f5b
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

notify: catch RuntimeError when importing pynotify

Work around a problem in some distros (e.g. Fedora) where "import
pynotify" crashes in RuntimeError in some cases, e.g. when DISPLAY env
variable is not set.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

gbp-dch: fix handling of the '--meta' option

Make it effective again - previously it was totally ignored. Also,
change it's default value to True to match the current behavior.

Change-Id: I0fb1b5bb99aa8f622a7c52316e9320973333bad5
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: implement --meta-bts option

This gives the user the possibility to define what meta tags (in git
commit message) git-rpm-ch recognizes as bug tracking system references.
Or, makes it possible to disable bts meta tag tracking altogether.

Change-Id: I7125ac951bf13816d43f1854868b15188bb92042
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm.policy: don't allow leading whitespace in bts meta tags

Change-Id: Ib2d39739b4609c088b04b286adfb6aeb5e07f78a
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: implement --commit-msg option

Change-Id: I10e2d4ad30dfd02c73fd0f318375715202ec36c2
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: implement --commit option

Change-Id: I89b05175d3c4f3def796b20b4e65c53af7d96d13
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: new 'commitish' keyword for spec vcs tag

Add a new keyword '%(commitish)s' that can be used in the
--git-spec-vcs-tag option. This will be translated to the sha1 of the
commitish (i.e. tag or commit). That is, if you export a tag you will
get the sha1 of the tag object - not resolving to a commit object unlike
'%(commit)s' does.

Change-Id: Ia764e15ac0dc090dde9f8e709f31f66e62120abb
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tristate: implement __nonzero__() method

Returns False if tristate is 'off', otherwise True ('on' or 'auto').

Change-Id: I6ade27fc85c6d05ed69dc694495b70725070d9c5
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: manpages for the rpm tools

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: rebase on top of upstream version 0.6.15

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Tizen release 0.6.12-20140521

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: don't create pq branch when switching

Pq branch must be created with 'import'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Prepare for next Tizen tools release

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: implement --retain-history option

With this option defined gbp tries to preserve the history when
converting. That is, for each commit in the old branch create one
corresponding commit in the new orphan packaging branch. This works by
dumping packaging files and updating patches for each commit. However,
empty commits are not generated - these are caused e.g. by changes in
files that are ignored by patch-generation.

NOTE! Only valid for the 'convert' action.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: implement --new-packaging-dir cmdline option

Used for setting the packaging directory to be used in the new orphan
packaging branch. Defaults to --packaging-dir so that the gbp.conf files
are more likely to work without modification.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: implement 'convert' subcommand

The new subcommand is intended to be a one-time-callable command for
converting a package to use the "orphan-packaging" development model and
git layout (where packaging files are maintained in a separate branch
and code development in another branch).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: patch-export from development branch

Adds git-buildpackage-rpm --patch-export support for the 'orphan
packaging' development model (where packaging files and development sources are kept in separate
branches).

New functionality:
1. If patch-export is enabled and gbp detects that the current branch
   has a development/patch-queue branch it exports the patches from there,
   instead of the tip of the packaging branch.
2. If gbp detects that the current (or exported) branch is a
   development/patch-queue branch it automatically enables patch-export
   and exports packaging files from the base branch (instead of the
   development/patch-queue branch.

Also, add a new '--git-patch-export-rev' command line option with which
the user can explicitly set the treeish from which patches are generated
(i.e. HEAD..<patch-export-rev>)

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig-rpm: get archive from spec file

Try to get archive path/filename from spec file if no file name is given
on the command line.  This should make version bumps more
straightforward: just update version number in the spec file and run
'git-import-orig-rpm'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig-rpm: implement automatic downloading

Automatically try to download the archive if the archive filename points
to a remote location.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig-rpm: implement --create-missing-branches option

Create the upstream branch if it does not exist. Use the same option
name that import-srpm has.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: add unit tests for the command line tool

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: implement '--all' option

If defined, git-rpm-ch uses all commits in the Git history. Also,
'--since' option is omitted.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: add --message cmdline option

For giving the text for new changelog entry/entries, skipping git commit
messages entirely.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-ch: make it possible to commit/tag the changes

Implement '--tag' command line option (and other related options for
signing) for creating and tagging a release. These correspond the
tagging options in git-buildpackage-rpm.

The git-buildpackage-rpm tool does not commit anything to git. However,
in rpm-ch the '--tag' option causes the changelog modifications (and,
all other staged changes) to be committed to git before creating the
tag. This makes it possible to create a release and document the
packaging/release tag name in the rpm changelog.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Introduce git-rpm-ch tool

Initial version of the git-rpm-ch tool which is intended for maintaining
RPM changelogs. Supports both spec files and separate "OBS style"
changelog files.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: add gbp.rpm.changelog module

This new module contains basic containers and functionality for parsing
and updating rpm changelogs. It is coupled with the rpm packaging policy
class which now has definitions for rpm changelog formatting.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: support for getting/setting changelog in spec

SpecFile objects now support reading and writing of the %changelog
section.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: add unit tests for the command line tool

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm-tests: add RepoManifest class

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: implement '--import-files' command line option

For defining the packaging file(s) that will be imported into the
development/patch-queue branch.

By default, the local gbp conf files are imported in order to try to
ensure that gbp sees the same settings on the development/pq branch as
on the packaging branch.

NOTE: This option does not affect the patch files that are imported. The
files defined with this option will appear as new files in one
monolithic commit in the development/patch-queue branch.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: bigger refactor of the code

Support '%(upstreamversion)s' as a replacable string in the pq branch
name.

Eliminate some unneeded branch switches that were only needed for
finding/parsing the spec file. Now, spec file is directly searched from
the git repository (from the 'base' branch) if the command is run when
on the pq branch - except for the 'export' subcommand which always
switches to the base branch.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Prepare for next Tizen tools release

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq-rpm: create diff up to the last merge commit

Before, merge commits broke patch generation, or, (most probably) caused
the generated patches to be unapplicable (similar to how
git-format-patch behaves).

Now, changes up to the last merge commit are squashed into one diff if
merge commits are found in the revision list from which patches are to
be generated. Individual patches (one per commit) are generated from the
last merge commit up to the exported revision.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Release, update changelogs

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: support guessing spec file from git treeish

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm.SpecFile: support parsing spec as raw text data

Instead of reading from a file.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: change guess_spec() to return SpecFile object

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository/get_remote_repos: return URLs, too

In addition to the remote name, return remote URLs. Return value is now
a dict with remote name as the key and a list of URLs as the value. The
first value in the list is the effective fetch URL, the rest of the
values are push URLs.

NOTE! This patch is to be dropped, not going for upstream.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

debian packaging: change to 1.0 source package format

Changes package to be non-native (assuming debian/changelog has version
in correct format).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Update changelogs

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Release, update changelogs

Add rpm changelog. Start providing proper changelogs for Tizen Tools
releases.

Also, make it easier to track Tizen releases:
- RPM: Add a 'Provides:' tag to the git-buildpackage-rpm subpackage in
  order to be able to track Tizen releases.
- DEB: Change the package to non-native, by adding a corresponding
  release number to the version field in changelog of Debian packaging.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm tests: slight modificatin of import-srpm tests

Use eq_() and ok() from nose.tools for better assert messages.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tests: add tests for git-import-orig-rpm

Basic tests for virtually all features of import-orig-rpm.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: Improve logging in case of rpmlib error

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: print a warning if importing gbp-specific librpm fails

Fixes: #1177

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: implement a wrapper module for rpm lib

Intended for capturing the rpm lib logging output.

NOTE! The new module is named 'lib_rpm.py' (and not 'librpm.py') because
of a bug in python-nose: some name clash makes nosetests --with-xunit
fail in this case.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-srpm: support --upstream-vcs-tag cmdline option

Similar to what the option does in git-import-orig-[rpm].

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: support importing bzip2 compressed patches

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: give patches in the order they are applied in the spec

Fixes patch importing in situations when patch tag numbering in the spec
differs from the order they are applied.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm packaging: depend on pristine-tar

In practice, it is a weak dependency but upstream RPM doesn't support
weak dependencies so we put it to 'Requires:' for everything else than
openSUSE or Tizen (which do support weak deps).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: git-buildpackage (Debian) tool requires devscripts

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

CentOS compatibility: fix GitRepository.diff

Remove the "all" parameter from --ignore-submodules which is not
supported by the old Git version of CentOS 6 (besides, it's the default,
anyway)

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

CentOS compatibility: disable Debian tools

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

CentOS compatibility: fix GitRepository._cmd_has_feature()

Make it work in CentOS 6.3 with older git by removing backspace
characters when examining man page section names.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

CentOS compatibility: fix tests

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

CentOS compatibility: make GBP work with older python2.6

- use loops to generate dict/list
- Called logging.Logger.__init__ instead of using super(). In python 2.6
  logging.Logger is not new-style class, therefore supper() is failing.

Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Signed-off-by: Zhang Qiang <qiang.z.zhang@intel.com>
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: implement --[no-]hooks option

For enabling/disabling all hooks, similar to git-buildpackage (the
Debian tool). Does not affedt the builder.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Disable xcover support for nose

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: listen to --no-create-orig option for native packages, too

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

.gbp.conf: Tizen specific changes

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: use config file(s) from exported tree-ish

Use the local per-tree/per-branch config file(s) from the exported
tree-ish instead of the current working copy.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: support conditionals in patch-export

One can now define conditional patches that are enclosed in '%if' or
'%ifarch' when the spec file is updated. One can do this by defining
'Gbp-Rpm-If: <conditional>' and 'Gbp-Rpm-IfArch: <conditional>' in the
commit message.

Only one conditional per patch is supported, i.e. you cannot define
'IfArch' and 'If' for the same patch.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-srpm: import all packaging files from src.rpm

Don't try to be too clever when importing an (true) src.rpm - just
import all files from there without trying to guess file list from spec.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-srpm: skip pristine-tar for non-tar sources archives

Don't even try to import non-tar archives to pristine-tar because that
fails. Instead, print a warning and continue without using pristine-tar.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Import RpmGitRepository if DebianGitRepository is not available

This is just a workaround, this should be fixed in nicer way by
refactoring the code.

Signed-off-by: Zhang Qiang <qiang.z.zhang@intel.com>

test_import_srpm: add checks for files in repo

Enhance some tests by checking that the correct files are present in the
working directory of the repo.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm.SpecFile: drop the internal sources structure

Get rid of duplicate data tracking.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>
Signed-off-by: Yigang Wen <yigangx.wen@intel.com>

rpm.SpecFile: drop the internal 'patches' structure

To get rid of duplicate data tracking. Also, add test for testing the
macro expansion of patch and source names.

Also add tests for SpecFile.patchseries.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm.SpecFile: change specfile attribute to represent filename

There is specdir to get the (absolute) directory path.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: make SpecFile.update_patches() use new tag/macro methods

Use new set/delete methods for updating the patches in the spec file.
The internal patches structure is not updated and now only used when
importing patches.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm helpers: yet another fix to patch numbering

'Patch:' does not indicate "patch number 0". Patch: and 'Patch0:' can
both be present in the same spec file.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm helpers: support all tags

Support all 'non-list' tags that we know of.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm helpers: parse 'nosource' and 'nopatch' sources correctly

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm helpers: implement _set/delete_special_macro() methods

Currently intended for updating '%patch' macros.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm refactor: rewrite set_tag functionality

In addition to refactoring, make sure that we keep the internal _tags
structure in sync.

Changes the default place for new tags: add new tags after the 'Name:'
tag instead of 'Release:'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm/LinkedList.delete: return the previous node

The preceding node of the deleted node. However, return the next (i.e.
the new first node) of the list if deleting the first node, and, return
None if the list is empty after deletion.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm refactor: split spec parsing into multiple methods

Also, record all tags, macros and other "section" directives from the
spec in separate internal structures. Here "section" stands for all
scripts, scriptlets and other directives, i.e. "%prep", "%post",
"%files" etc.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm refactor: move spec file filtering into a separate function

Also, remove the skip_tags option from the init as it's currently not
used anywhere and it'd be better parse the spec file similarly in every
place. The option can be re-added in the future if really needed.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-srpm: enhance spec guessing

Use package name (in case of src.rpm) or directory name (in case of dir)
as the preferred name of the spec file.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm.SpecFile: return correct patch file path in patchseries()

Fixes importing patches when the 'Patch:' tag contains an URI.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: support setting/updating the 'VCS:' tag

Git-buildpackage-rpm now always updates the 'VCS:' tag in the exported
spec file. A new config option 'spec-vcs-tag' controls the format:
- if empty, no 'VCS' tag is inserted and possible old 'VCS' tag is
  removed
- otherwise, a 'VCS' tag is inserted or the old 'VCS' tag is updated
- '%(tag)s' expands to the long tag name (from git-describe)

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm helpers: support updating tags in the spec file

Currently only the 'VCS' tag is supported.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tests: add more comprehensive tests for import-srpm

Basic tests for virtually all features of import-srpm.

Adds a new python module to include all (upcoming) git-buildpackage rpm
commandline tool tests. Also, adds a separate git submodule for the rpm
test data.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: simplify the SrcRpmFile class a bit

Get rid of the unnecessary private methods.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: introduce new 'Gbp-Patch-Macros' special key in spec parsing

This can be used to mark location where to add new patch macros when
updating the spec.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: rename the 'GbpIgnorePatch' special key in spec parsing

to 'Gbp-Ignore-Patches' for better readability. All the special keys (or
"gbp-tags") now have to start with the "Gbp-" prefix.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: use linked list to store spec content

Tries to make spec parsing and updating more robust by using a linked
list to represent spec content, instead of using normal list and trying
to track line numbers. Deleting and adding lines should be safer, now.
Also, consolidates the regexp usage of spec parsing a bit.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: implement a simple doubly linked list

This class is intended to store the spec file content, needed for
modifying the spec file.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: circumvent an rpm-python macro expansion problem

Parse the spec file two times to circumvent a rpm-python problem which
causes macros not to be correctly expanded if used before their
definition.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

rpm: configuration option for setting the output color scheme

Adds the new 'color-scheme' option to the rpm tools.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

debian packaging: HACK: disable test in Debian builds

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

TODO: add rpm todo

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage-rpm: fail patch-export if local patches found

Make patch export fail if local patch files (not marked for manual
maintenance) exist.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-srpm: return 2 if patch import fails

A new return value for failed patch import. If the patch import fails
the repo is left in clean and buildable state so one might want to
distinguish that from other failures.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: add initial RPM documentation

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tests: add unittests for gbp.rpm

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>