GitRepository/add_files: add new option 'untracked'

With this option you can either only update already tracked files to
index the (untracked=False) or add new files, too.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

config: support for per-tree config files

Add support for reading the local config file(s) from a given git
tree-ish.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

config: read the right config if run from subdir

A step towards being able to run GBP tools from subdirectories.

Now expands '%(top_dir)s' and '%(git_dir)s' in config file path to root
of the working directory and git metadata directory, respectively.

Also, adds a new method _read_config_file() in preparation for
supporting per-tree config files.

Fixes tests.test_Config: currently the only correct way to define the
config file(s) to be parsed is by using the GBP_CONF_FILES environment
variable.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tests.testutils: add ls_zip() helper

For listing zip contents.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig: rework sourcecode preparation and filtering

Take in to use the newly added prepare_sources() function. Drop dead,
unneeded code.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig: new function for filtering/re-packing sources

Introduces a new function prepare_sources() that prepares upstream
sources for importing into upstream branch and pristine-tar. That
includes unpacking, filtering and re-packing sources. What somewhat
complicates the logic is that it tries to avoid excess unpacking/packing
of the sources.

Also fixes the unpacking / filtering / repacking logic which was broken
with some parameter combinations.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource.unpack: return UpstreamSource instance

Trying to keep UpstreamSource in consistent state so that unpacked and
packed sources are kept in sync.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource.pack: reuse unpacked dir if no filter is used

Set the unpacked attribute to the source dir if the content is not
filtered.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource: implement prefix guessing

Add a new attribure 'prefix', i.e. the "leading directory name" in an
archive. For example, this usually is '<name>-<version>' in release
tarballs.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>
Signed-off-by: Łukasz Stelmach <l.stelmach@samsung.com>

UpstreamSource: check that the sources exist

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

tests: test find_source() with unittest

Change doctests to unittests in order to have more flexibility in
testing.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource: store the absolute path

This is more robust and reliable, e.g. in case cwd is changed.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource: move version guessing logic to PkgPolicy

PkgPolicy is more logical context, for example if guessing version from
a plain filename and not a real file.

Also, changes guess_version() to always return a tuple to simplify
checking its return value.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource.guess_version: don't check for directories

Directories are not recognized anyway, if guess_version() is called for
non-existent sources. And, parse_archive_filename() works fine for
directory names, too.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource.guess_version: recognise debian native tarballs

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource/guess_version: detect more compression formats

By utilizing the parse_archive_filename() function that detects e.g.
"alias suffixes" such as 'tgz'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource: introduce is_tarball() method

New method for checking if the sources are a tarball (possibly for
checking if the sources are committable by pristine-tar).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource: add 'archive_fmt' and 'compression' properties

New properties for easily getting the archive format (tar, zip, ...) and
compression format (gzip, bzip2, ...) of the sources.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Introduce PkgPolicy.is_valid_orig_archive()

A new method for checking if the given filename is usable as a orig
(upstream) source archive.

Also, takes this method into use in the UpstreamSource class.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Change UpstreamSource to have PkgPolicy

The UpstreamSource class now gets a PkgPolicy in it's initialization.
Also, introduces new DebiaUpstreamSource class which is taken in use in
the scripts.

The PkgPolicy is not yet used for anything in UpstreamSource.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

UpstreamSource.pack: support prefix mangling

Add support for changing the prefix directory inside the tarball that is
generated. Also, fixes a bug that caused a "prefix-less" tarball to get
one, if unpacked and then repacked.

Also, adds this support to repack_source() in common/import_orig.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig: move repacked_tarball_name() out from common

Moves repacked_tarball_name() from scripts/common back to the
Debian-specific script. The logic is too Debian-specific for RPM, after
all.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig: simplify repack_source() and tmpdir handling

Now a tmpdir is always created and sources are always unpacked into
there.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

import-orig: implement --create-missing-branches option

Create the upstream branch if it does not exist. Use the same option
name that import-dsc has.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Move get_compression() out of pkg.PkgPolicy class

Renames the function to parse_archive_filename() and changes it's
return values. Filename parsing is merely generic functionality, not
tied to any packaging policy.

The function now returns the base name of the file (that is, filename
without, archive and compression extensions), archive format and
compression method. Adds supported archive formats 'tar' and 'zip' and
file extension aliases, e.g. 'tgz'.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: enable building html docs with docbook2html

This is useful if sgml2x package is not available.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository: add diff_status method

This is a method of getting the filename and status information of a
diff. That is, a list of files that changed and their status, "added",
"modified" etc.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

gbp.git: Reimplement rfc822 date parsing without dateutil

In order to get rid of dependency to dateutil.

Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq/parse_gbp_commands: return non-matched lines

In order to make it easy to re-use this function in changelog
generation.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository.add_files: consistently update ALL tracked files

Use the --all option of git-add so that all tracked files are updated in
all conditions. Previously deletion of tracked files was not staged, for
example.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository.add_files: use GitArgs

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository: allow repo inititialization from subdir

This allows initialization of a GitRepository object, even if the
current working directory (or path given to GitRepository) is not the
top level directory of the git repository.

Don't guess the git meta data dir, but, take it as reported by git
itself.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository: Implement status method

Simple wrapper to the git-status command.

Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository: raise GitRepositoryError instead of GbpError

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository/rev_parse: use _git_inout()

instead of the deprecated _git_getoutput() method.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository/git_command: strip stderr output in case of error

In order to get rid of extra line feeds in exception message.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository.archive: add 'paths' option

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository.create_branch: add 'force' option

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository.commit_files: add edit argument

In order to be able to spawn an editor, similarly to other commitX
methods in GitRepository.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository.commit_all: add committer_info argument

For setting the committer name/email/date - similarly to author_info.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository.commit_files: add committer_info argument

For setting the committer name/email/date - similarly to author_info.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GbpOptionParser: allow using the default 'dest' attribute

Make it possible to add options without explicitly defining the 'dest'
attribute - in which case the default of OptionParser is used.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository: implement create_tree method

New method for creating tree objects from a directory content.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository.archive: drop the '**kwargs' argument

Unused and misleading.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository: fix the 'edit' mode in commit methods

Previously the editor would not show in the shell because stdout was
captured.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository: allow interactive commands

Make it possible for git commands to output directly to stdout without
redirection (i.e. capturing their stdout stream).

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage/dump_tree: add 'recursive' option

For selecting whether to dump all the files recursively or just the top
level directory of the tree.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

common/buildpackage: use GitRepository for submodules

Initialize a GitRepository object for each submodule in
git_archive_submodules().

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage/dump_tree: use GitRepository.archive()

Make dump_tree() utilize the GitRepository.archive() method - similarly
to git_archive_submodules() - instead of ad-hoc Python pipes. This makes
dump_tree() work independent of the callers current working directory.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

buildpackage/git_archive_single: use GitRepository.archive()

Use GitRepository.archive() method like git_archive_submodules() does.
This makes it possible to call git_archive_single() independent of the
callers current working directory.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Change compressor cmdline opts in compressor_opts to a list

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

common/buildpackage: support for different archive formats

Adds support for defining the archive format of the output of
git_archive_single(), e.g. 'zip'. Defaults to 'tar', as before.

Signed-off-by: Ed Bartosh <eduard.bartosh@intel.com>
Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository.archive: support getting tar data as return value

Return tar data as a generator object, if the 'output' option is not
defined.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository.__git_inout: prevent blocking of stdin

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

GitRepository: new method for getting git output as generator

Add a new _git_inout2() helper method that returns the git output
(stdout) as a generator - instead of all stdout data in one string.
Useful for handling git commands that are expected to have a lot of
stdout data, like git-archive.

Also, changes the private __git_inout() method to return a generator.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: document common options in one place

Move the documentation of command line options common to all tools into
one file. This unifies the manpage documentation and should make its
maintenance easier. Also, this change adds missing options to several
manpages.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: cosmetic reformat of git-dch manpage sgml source

Makes the sgml source more readable. Fix indentation, tab to space, wrap
lines.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: cosmetic reformat of pq manpage sgml source

Makes the sgml source more readable. Fix indentation, tab to space, wrap
lines.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: cosmetic reformat of import-dsc manpage sgml source

Makes the sgml source more readable. Fix indentation, tab to space, wrap
lines.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: cosmetic reformat of import-orig manpage sgml source

Makes the sgml source more readable. Fix indentation, tab to space, wrap
lines.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: change option argument names to uppercase in buildpackage man

For the sake of consistency.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: cosmetic reformat of buildpackage manpage sgml source

In order to make the sgml source more readable. Fix indentation, tab to
space, wrap lines.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: more flexible version parsing in Makefile

Add dash to the list of valid version characters.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: document the --customizations option of gbp dch

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: document the --interactive option of gbp-import-orig

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: document the --git-[no-]submodules option

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: document the --color-scheme option

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: sgml syntax fix, add missing semicolons

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: reference buildpackage and pq in the gbp (supercommand) manpage

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: hyperlink references to other manpages

Change references to other gbp manpages to linked refs so that we get
hyperlinks in the html manpages.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

docs: add some missing commas to manpages

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

notifications: make notify() more generic

In order to be able to re-use it in other tools than git-buildpackage.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq: make sure we always get a sane author

Prevent a crash when the author (for a raw diff) was None because no
name/email could be determined from git config or environment variables.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq: deprecate the usage of 'gbp-pq-topic:'

Replaced by the "Gbp[-Pq]: Topic <topic>" command.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

ComponentTestBase: add a per-class toplevel temp dir

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Document changes and release 0.6.15

Revert "Determine build_dir upfront"

This reverts commit b2549fac19f2d666552291a4fcf2020ca0570834.

Document changes and release 0.6.14

Improve error reporting on hooks

Make it obvious that a hook failed and not a gbp internal function

Improve error reporting on failed commands

Make it more clear if the command exited with non zero exit status.
Also don't report the command line twice.

Closes: #748248

Determine build_dir upfront

so it's available to all hooks

pq: Try harder to cleanup after a failed patch

If we fail to apply the patch the tree is left in a dirty state
so reset to the last head. This avoids irritating errors like:

gbp:error: Failed to apply 'debian/patches/poison+remember_trash': Failed to commit tree: fatal: invalid date format: 1998/03/21

following files would be overwritten by checkout:
doc/hosts.nntp.5
innd/art.c
innd/innd.h
innd/rc.c
Please, commit your changes or stash them before you can switch branches.
Aborting

Thanks: Marco d'Itri for the repo to debug this

pq: Print proper error message if we fail to apply the tree

e.g. instead of

gbp:error: Failed to apply 'debian/patches/poison+remember_trash'

we now have

gbp:error: Failed to apply 'debian/patches/poison+remember_trash': Failed to commit tree: fatal: invalid date format: 1998/03/21

Documnt that the patches must apply without fuzz

Fix comitter vs committer typos

Thanks: Sandro Tosi
Closes: #748339

Handle version format errors more gracefully

So far if a package claimed to be non native but the version number
didn't contain a '-' we failed like:

  Traceback (most recent call last):
    File "/usr/bin/gbp", line 9, in <module>
      load_entry_point('gbp==0.6.13', 'console_scripts', 'gbp')()
    File "/usr/lib/python2.7/dist-packages/gbp/scripts/supercommand.py", line 82, in supercommand
      return module.main(args)
    File "/usr/lib/python2.7/dist-packages/gbp/scripts/buildpackage.py", line 541, in main
      output_dir)
    File "/usr/lib/python2.7/dist-packages/gbp/scripts/buildpackage.py", line 96, in prepare_upstream_tarball
      upstream_tree = git_archive_build_orig(repo, cp, output_dir, options)
    File "/usr/lib/python2.7/dist-packages/gbp/scripts/buildpackage.py", line 270, in git_archive_build_orig
      upstream_tree = get_upstream_tree(repo, cp, options)
    File "/usr/lib/python2.7/dist-packages/gbp/scripts/buildpackage.py", line 245, in get_upstream_tree
      cp['Upstream-Version'])
    File "/usr/lib/python2.7/dist-packages/gbp/deb/git.py", line 107, in version_to_tag
      return format % dict(version=DebianGitRepository._sanitize_version(version))
    File "/usr/lib/python2.7/dist-packages/gbp/deb/git.py", line 122, in _sanitize_version
      return version.replace('~', '_').replace(':', '%')

It shouldn't be like that.

gbp pq: document --force

Slightly improve usage output

Document changes and release 0.6.13

config: add decorator to add_option_* functions

This allows us to build an internal list of valid options and print
these.

Import command not module

This matches the function name

docs: re-enable missing manpage

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Remove tests now covered by 18_test_Config

Revert "GitRepository/add_remote_repo: fix the 'tags' argument"

Which caused an unwanted behavior of not fetching refs/heads at all --
only tags were fetched.

This reverts commit 5dd598fb8f2a9109189fad6cf631811f12ce2130

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

Add minimal 'config' command

This only allows to print single config values so far.

Closes: #733470

.gitignore: ignore editor backup files

Test option parser fallbacks more thoroughly

revealing another bug where we overwrote parsed values with defaults

Closes: #733759

Document changes and release 0.6.12

Use a much simpler version to fix the command name in --help

mostly reverting e1780f0.

Closes: #742907

Document changes and release 0.6.11