buildpackage: catch and handle DebianSourceError gracefully

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

DebianSource: raise DebianSourceError if reading changelog fails

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

bash completion: handle upstream-tree like upstream-branch

That's as close as it gets since every ref like is valid

Silence _git_command

by using _git_inout instead of GitCommand

Silence git clone

by using __git_inout instead of GitCommand

GitRepository: make __build_env a static method

since cls is unused and it silences pychecker

Silence git init

to make the test suite less verbose

Document changes and release 0.6.0~git20130414

Don't try access source before it's filled

Document changes and release 0.6.0~git20130413

Add gbp.git.source.Source.sourcepkg

to easily fetch the source package name

Git-Dch: Ignore

Honor debian/source/format

when checking if a package is a native package

Closes: #669267

Introduce Source class

so we don't have to expose all the details of Debian's different
files and conventions.

Add minimal vfs interface

so we can access blobs in git as file like objects

Use _git_inout for git.show

so we don't spew the error message on stdout for nonexistent objects

Revert "GitRepository.show: use _git_inout()"

This changes the newline behaviour. readlines() as used by
_git_getoutput correctly keeps the newlines while this change doesn't.

This reverts commit 92edb4eda14cf4b5fd1514feb7b81aa50456285c.

tests: Use tempfile.mkdtemp to create temp dirs for tests

This puts test dirs below /tmp which often is a tmpfs.

All tests include the context module which consolidates tmpdir creation
and cleanup, undoes a chdir in teardown and silences log messages.

GitRepository.show: use _git_inout()

Instead of the deprecated _git_getoutput() method. Also, capture stderr
and put the error message to the exception, instead.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Add .coveragerc

To get correct report if coverage is invoked directly (not through
nose/disttools) in order to get an xml report, for example.

Currently only used for restricting the coverage output to the gbp
python package. That is, same thing that 'cover-package' option in
setup.cfg does.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Fix typos

Git-Dch: Ignore

Generate coverage xml

for cobertura style coverage information that can be picked up
by e.g. Jenkins

Add urgency management.

* tests/11_test_dch_main.py: test the new --urgency option to
  dch.main(). Add only meaningful tests, i.e. options alone and combined
  with --release and --snapshot.

* git-dch (fixup_section): Manage "urgency" option.
  (main): Add version_group option "-U" and "--urgency" to set the
  urgency level of the entry.

* docs/manpages/git-dch.sgml: Update documentation for new option.

Add option to manage distribution fields for non snapshot mode.

The snapshot mode fails to merge two "debian/changelog" entries if the
distribution is not "UNRELEASED".

* tests/11_test_dch_main.py: test the new --distribution option to
  dch.main(). Add only meaningful tests, i.e. options alone and combined
  with --release and --snapshot.

* git-dch (fixup_section): Rename as it's used to fix header in addition
  to trailer, this require a new named parameter "options".
  (main): Add version_group option "-D" and "--distribution" to
  specify the distribution name.
  Add version_group option "--force-distribution" to force the provided
  distribution to be used, used by "dch".
  Rename fixup_trailer() to fixup_section() and add options as parameters.

* docs/manpages/git-dch.sgml: Update documentation for new options.

Closes: #646684

Move DscFile to separate module

Move DebianPkgPolicy to separate module

Move debian/changelog manipulation to gbp.deb.changelog.ChangeLog.

spawn_dch switch gbp.command.wrappers.Command.

* gbp/deb/changelog.py (ChangeLog.spawn_dch): static method adapted from
  gbp.scripts.dch and converted to gbp.command_wrappers.Command.
  (add_entry): New method adapted from
  gbp.scripts.dch.add_changelog_entry.
  (add_section): New method adapted from
  gbp.scripts.dch.add_changelog_entry. Remove DebianGitRepository and
  options, this has nothing to do with changelog management.

* tests/test_Changelog.py: Test new methods.

* gbp/scripts/dch.py: Remove useless functions: system(), spawn_dch(),
  add_changelog_section() and add_changelog_entry().
  Update calls accordingly.
  (fixup_trailer): Use spawn_dch() method of ChangeLog class.
  (process_options): dch_options became a list.
  (main): Use add_section() and add_entry() methods of ChangeLog object.
  Take care of upstream version since ChangeLog.add_section() does not
  manage it anymore.
  Update exception handling, ChangeLog.spawn_dch() can raise
  "CommandExecFailed" exception.

Closes: #672954

Document changes and release 0.6.0~git20130329

Include the name of the package being built in the debian tag message

Currently, the message in the debian tag is just:

  "Debian release %s" % cp.version

This is a bad idea, because it means that the signed message itself
contains no mention of the project that is being worked on.

Since all git repositories are conceptually the same git repository
(some just have commits that others don't have), a malicious attacker
could inject tags from project A into the repository for project B and
the original developer's signature on those tags would be intact.

This is potentially a security problem.  For example: if there are
automated build systems that pull from a repo and verify signed tags
made by a known developer (and that developer contributes to multiple
projects), this conflation could be used to make those systems build
packages from an entirely other project.

The attached patch enforces the inclusion of the name of the package
into the tag's message.

Closes: #704018

tests.test_GitRepository: import and setup gbp.log

In order to initialize gbp logging properly. Fixes false positives when
the GitRepository tests are run alone.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Fix docstring

Split out building a debian version from an upstream commit

based on a patch by Daniel Dehennin

Needed for #672954, #646684, #669171

ComponentTestBase: capability to check files of repo

Makes it possible to check that the correct files are present in
the working copy of the repo.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitArgs: utilize the add() method in other add_X methods

Only use the add() method for updating the argument list. This makes the
code more robust and makes all add method variant types support the same
argument types.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository/_cmd_has_feature: more intelligent parsing

More intelligent parsing of the git output (man page). Try to
parse optional options like '--[no-]standard-notes' of git-show
correctly. In this example both 'no-standard-notes' and 'standard-notes'
would be available.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

setup: possibility to skip nosetest requirements

Makes it possible to not require test requirements by defining
WITHOUT_NOSETESTS environment variable when running setup.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tests: skip test_Changelog if 'dch' tool is not available

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tests/component: pylint fixes

Add module docstring and wrap one overlong line.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

gbp-pull: update tags, too

To make sure that the tags are in sync with the remote.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

packaging: Add man as dependency

Required by GitRepository._cmd_has_feature() method.

Signed-off-by: Zhang Qiang <qiang.z.zhang@intel.com>
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>
Signed-off-by: Guido Günther <agx@sigxcpu.org>

ComponentTestBase: close streamhandler when stopping log capture

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>
Signed-off-by: Guido Günther <agx@sigxcpu.org>

Purging of the build dir should be configurable via a config file

so introdice --git[-no]-purge which is consistent with the other
boolean options and deprecate --git-dont-purge.

Closes: #702200

Allow for upper case characters in the upstream version

Closes: #703694

Better document how one derives from PkgTypes

Return boolean types from is_ methods

instead of a match object or None

Remove unused imports

Document changes and release 0.6.0~git20121125

examples: fix logging

Thanks: Carsten Schoenert

Fix typo

Thanks: Andreas Beckmann
Closes: #700443

Add missing --git-

LP: #1112831

gbp-pull: fix --depth cmdline option

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

gbp-clone: fix return value in case of GitRepositoryError

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq/apply_and_commit_patch: fix date parsing

GitModifier doesn't support dates in the format used in git format-patch
emails.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Move over import dsc test from external test suite

Move over the first test from our external (shell based) test suite to
the component tests.

Add test data submodule

Add component test initialization

very heavily based on code by Markus Lehtonen

tests.testutils: baseclass for testing commandline tools

Introduce a new baseclass to be utilized in testing the git-buildpackage
command line tools.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage: add 'force' option to write_wc()

To select whether to include file that would otherwise be ignored by
gitignore (.gitignore or .git/info/exclude).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq: do author guessing outside the apply_patch functions

Call the author parsing/guessing function outside the apply patch
functions. This way, the caller can decide when to do the guessing, and
with which parameters. Now the apply_patch functions do what their name
suggests.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

log: make color setting a tristate on/off/auto

Makes it possible to force color=on e.g. when piping output. Also, moves
all 'auto' logic to one single place, i.e. the streamhandler.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Document --git-pristine-tar-commit

Tristate: drop broken and unused is_valid_state() method

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Tristate: allow to init from another Tristate object

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Check the sha1 doesn't exceed 40 bytes

GitRepository/strip_sha1: fix length checking

Accept longer sha1 than what was asked for. The length option given to
git is merely a "wish to get a sha1 of this length". Git may also return
longer sha1 if truncating to given length would give
ambiguous/non-unique sha1.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

git-dch: Allow to create changelogs when not on a branch

This makes snapshot changelog generation e.g. within jenkins builds
simpler since jenkins by defaults checkouts out the commit without
creating a branch.

gbp-create-remote-repo: Set HEAD in remote repo

to debian branch

Closes: #692006

gbp.log: Improve error message on broken color lists

New configuration option for setting the output color scheme

Adds a new command line and config file option 'color-scheme' for
selecting the colors used in log output.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

log: add support for setting the color scheme

Implements changeable color schemes in the gbp.log module. Color scheme
is given as a colon-separated list, with one color for each log level:
'<debug_color>:<info_color>:<warning_colro>:<error_color>'. Colors can
be given as an integer number (ANSI terminal color code) or color name
(.e.g 'red').  Missing or empty fields are interpreted as using the
default color for that log level.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

gbp.log: lowercase the levelname

too match the output before the switch to Python's logging module

log: rewrite the module to use Python logging module

Replaces the Logger with a new one, derived from the Logger class of the
Python standard library. Colorized output is handled by a separate
handler class.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

gbp-pq: Improve patch header write out

Avoid trailing new lines in the patch header when reexporing patches.
to avoid diffs when nothing changed.

Ignore rope project files

as generated by ropemacs

Document changes and release 0.6.0~git20121124

git-import-dscs: Properly catch import errors

Closes: #694113

Remove unused imports and adjust formatting

Git-Dch: Ignore

gbp-pq: don't use plural form when there's only one try left

GitRepository/has_submodules: use correct .gitmodules file

Examine .gitmodules from the "root directory" of the repo, not the
current working directory. Fixes has_submodules() method, when called
from arbitrary cwd.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository/get_commit_info: support tags

Dereference the given revision to a commit. Fixes get_commit_info() when
called for a tag.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Test gbp.pq.common.write_patch

Output test results in xunit format too

GitRepository/get_submodules: use correct path

By default, run git in the repo path, not current cwd. Also, now returns
submodule paths without leading './'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository/get_commits: more flexible revision ranges

Support getting the complete history of an arbitrary commit-ish
(since=None, until=COMMIT-ISH). Formerly this was only possible for the
current git HEAD. Now, get_commits(since=None, until='COMMIT')
translates to 'git log COMMIT'.

Also, for consistency, add support for getting the history from an
arbitrary commit until the current HEAD (since=COMMIT-ISH, until=None).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig: remove dead GbpNothingImported exception

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig: remove dead if statement

GitRepository.commit_dir() never returns empty objects. It raises an
exception, instead.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Add sha1 stripping in a single place

so we can easily sanity check the result.

Test if setting a topic works

pq: Allow to pass in custom fucntion to fetch authorship information

so the RPM based tools don't need to rely on a control file but
can e.g. look at the spec file.

Test apply_and_commit_patch

Use an absolute  path when parsing the control file

so we con't accidentally parse a file from another dir.

testutils: create missing directories when adding a file

pq: fix "no authorship" warning messages

Add one missing string field. Show the patch filename instead of the
pull path - the user doesn't need to know if the patch was applied from
a temporary directory, for example.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tests: make tests a Python module

Makes it possible to reuse code between various tests.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

notifications.py: remove unused import

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

command_wrappers: suppress some pylint warnings

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Add issing git- prefix to --color and --notify options

Thanks: Filippo Rusconi
Closes: #693978

Remove unused import

Minor git-import-orig manpage improvements

GbpError accepts an error message

so no need to print it separately

Allow to remove the orig tarball symlink

that's used make pristine-tar see the correct orig tarball name.

Closes: #692401