upstreamsource: Add __repr__

This eases debugging

Revert "import-orig: Print name of signature file we failed to import"

It will always be none (see check above that).

This reverts commit 3dc0bf3a8acfccdafa82b91bcc89ca2c82b46a1f.

import-orig: Print name of signature file we failed to import

import-orig: Print name of signature file we failed to import

docs: import-ref: Fix wrong --upstream-tree default

Closes: #962916

pristine-tar: Escape '+' in match regexp

When looking for matching file name we need to exscape the valid '+' but
need to do it late since it must not be escaped for git-grep.

Closes: #956103

deb: git: Escape '.' on pristine-tar matches

'.' is valid in source package names and version numbers so we
want to match exactly that and not an arbitrary character.

doctest: Ignore exception detail

We used the tests to check whether the right exception was returned but
python 3.8 breaks this again:

File "/var/scratch/src/git-buildpackage/git-buildpackage/tests/doctests/test_GitVfs.py", line 56, in test_read
Failed example:
    gf = vfs.open('doesnotexist') # doctest:+ELLIPSIS
Expected:
    Traceback (most recent call last):
    ...
    OSError: can't get HEAD:doesnotexist: fatal: Path 'doesnotexist' does not exist in 'HEAD'
Got:
    Traceback (most recent call last):
      File "/var/scratch/src/git-buildpackage/git-buildpackage/gbp/git/vfs.py", line 74, in open
        return GitVfs._File(self._repo.show(
      File "/var/scratch/src/git-buildpackage/git-buildpackage/gbp/git/repository.py", line 1645, in show
        raise GitRepositoryError("can't get %s: %s" % (id, stderr.decode().rstrip()))
    gbp.git.repository.GitRepositoryError: can't get HEAD:doesnotexist: fatal: path 'doesnotexist' does not exist in 'HEAD'
    <BLANKLINE>
    During handling of the above exception, another exception occurred:
    <BLANKLINE>
    Traceback (most recent call last):
      File "/usr/lib/python3.8/doctest.py", line 1329, in __run
        exec(compile(example.source, filename, "single",
      File "<doctest test_read[12]>", line 1, in <module>
        gf = vfs.open('doesnotexist') # doctest:+ELLIPSIS
      File "/var/scratch/src/git-buildpackage/git-buildpackage/gbp/git/vfs.py", line 78, in open
        raise OSError(e)
    OSError: can't get HEAD:doesnotexist: fatal: path 'doesnotexist' does not exist in 'HEAD'

Doctest were a nice feature but keeping up with the subtle breackage is
too cumbersome.

Document changes and release 0.9.19

Add salsa-ci

Build-Depend on pydoctor

since this uses python3

Closes: #943107
Thanks: Boyuan Yang for the hints

d/tests/control: Drop python-rpm

It's not needed.

Document changes and release 0.9.18

config: Be less picky about comments after boolean values

This makes 'patch-numbers = False # comment' work.

Thanks: Mechtilde Stehmann for the report

d/tests/control: Add xsltproc to the autopkg test dependencies

Closes: #950216

add option to export tarballs with upstream signature

Add option `--upstream-signatures=[on|auto|off]` to export-orig.
Add option `--git-upstream-signatures=[on|auto|off]` to buildpackage.

Closes: 872864

dch: Always print where we pick up

import-orig: Recommend python3-requests

The python2 version won't do

Document changes and release 0.9.17

travis-ci: Switch to bionic

Need to drop python 3.4 for that since it's not available on bionic.

Recommend and build depend on pristine-tar 1.41

since only this version has signature support.

download_orig: Fix invocation

test_import_dsc.py: Test signature import

import-dsc: Import signature if present in dsc

docs: import-orig: Document --upstream-signtures

import_orig: Test prepare_pristine_tar()

import_orig: Symlink signature as well if needed

test_import_orig: Test upstream signature import with pristine-tar

import-orig: Handle tarball signature when using pristine-tar

Update submodule

This gives us signature data

find_upstream: Add signature file if found

import_orig: Add signature file if found

UpstreamSource: expose signature

Use UpstreamSource for additional tarballs as well

This will help on upstream tarball signatures as well as
improving additional tarball handling.

export_orig: Don't fail without a repository

This is a valid use case in overlay mode
Thanks: Thomas Koch for the report

Document changes and release 0.9.16

d/control: Bump standards version

no changes needed

docs: Fix typos

Thanks: lintian

export-orig: Check 'origin/pristine-tar' as well for compression type

Closes: #941894

docs: Fix wrong argument order of branch rename

Closes: #941110
Thanks: Jens Reyer

pq: Don't bubble up FileNotFoundException

Closes: #940043

Document changes and release 0.9.15

gbp-clone: Support salsa: pseudo urls

Fix over intended lines

(rightfully tripping up newer flake8)

Gbp-Dch: Ignore

import-orig/merge_replace Avoid calling force_head

The debian_merge_by_replace function ends up calling force_head, but up
to this point the current branch could be anything, and thus when called from a
feature branch the latest commits get lost.

gbp.conf: Set default compresson to xz

The value is commented out so does not have any effect but it's
better to recommend the right value.

docs: import-dsc: Document --upstream-vcs-tag

import_dsc: Support upstream-vcs-tag

Closes: #782886

import_orig: Move upstream-vcs-tag's help to config

This way it can be shared.

docs: Document gbp import-orig --postunpack

import-orig: Allow to run a post unpack hook

The working directory of the hook is the top temporary directory the
tarballs are being unpacked into.

Document changes and release 0.9.14

tests: Drop mime headers from test case

As a result of 74669f0925b7c3d08a735d4e302b656b766d15cf we don't parse
these out anymore (but don't need them either)

Gbp-Dch: Ignore

Dep3Patch: Ignore MIME headers

Otherwise, if we import a patch containing non-ASCII characters exported
by `gbp pq export` or `git format-patch` using DEP-3 syntax, we'd
misinterpret these fields as semantically significant and copy them into
pseudo-headers, causing them to be duplicated in the commit's long
description.

Closes: #924478
Signed-off-by: Simon McVittie <smcv@debian.org>

setup.py: Move version parser into setup.py

This makes sure it ends up in the sdist tarball.

Disable PGP signatures when retrieving list of commits

gbp dch errors out with the following output if the "log.showSignature"
git config is enabled:

$ gbp dch --verbose
gbp:debug: ['git', 'rev-parse', '--show-cdup']
gbp:debug: ['git', 'rev-parse', '--is-bare-repository']
gbp:debug: ['git', 'rev-parse', '--git-dir']
gbp:debug: ['git', 'symbolic-ref', 'HEAD']
gbp:debug: ['git', 'show-ref', 'refs/heads/master']
gbp:debug: ['git', 'tag', '-l', 'debian/2.7.3-2']
gbp:debug: ['git', 'tag', '-l', 'debian/2.7.3-2']
gbp:debug: ['git', 'log', '--pretty=format:%H', '-1', '--', 'debian/changelog']
gbp:info: Changelog last touched at 'gpg: Signature made Fri 01 Feb 2019 03:56:19 PM EST'
gbp:debug: ['git', 'log', '--pretty=format:%H', 'gpg: Signature made Fri 01 Feb 2019 03:56:19 PM EST..HEAD', '--no-merges', '--']
fatal: bad revision 'gpg: Signature made Fri 01 Feb 2019 03:56:19 PM EST..HEAD'
gbp:error: Error getting commits gpg: Signature made Fri 01 Feb 2019 03:56:19 PM EST..HEAD

This is caused by gbp dch receiving unexpected output for the PGP
signatures and trying to use this unexpected output.

To avoid any surprises, let's disable signatures being output when we
list commits.

Also, when collecting a shortlog-like output from commit objects, the
same unexpected PGP signature output is sprayed all over the changelog.
We'll avoid this by also disable showing signatures when showing each
commit's first line.

Closes: #923087

docs: Fix typo

Merge 414292838ac45665e36455a57ff034fddf5a3b7a into db9ce9fc5b5cf29c3c7df18d84540dd400d4bc6e

docs: update examples for pristine-tar usage, requiring commit action

Closes: #919677

Document changes and release 0.9.13

rpm_ch: Escape \S in regex replacement

Replace the \S in the substitution. Otherwise we fail on Python3.7 like

  ======================================================================
  ERROR: Test determining the author name/email
  ----------------------------------------------------------------------
  Traceback (most recent call last):
    File "/usr/lib/python3.7/sre_parse.py", line 1021, in parse_template
      this = chr(ESCAPES[this][1])
  KeyError: '\\S'

  During handling of the above exception, another exception occurred:

  Traceback (most recent call last):
    File "/var/scratch/src/git-buildpackage/git-buildpackage/tests/component/rpm/test_rpm_ch.py", line 182, in test_author
      eq_(mock_ch([]), 0)
    File "/var/scratch/src/git-buildpackage/git-buildpackage/tests/component/rpm/test_rpm_ch.py", line 37, in mock_ch
      '--spawn-editor=never'] + args)
    File "/var/scratch/src/git-buildpackage/git-buildpackage/gbp/scripts/rpm_ch.py", line 422, in main
      since = get_start_commit(ch_file.changelog, repo, options)
    File "/var/scratch/src/git-buildpackage/git-buildpackage/gbp/scripts/rpm_ch.py", line 230, in get_start_commit
      since = guess_commit(changelog.sections[0], repo, options)
    File "/var/scratch/src/git-buildpackage/git-buildpackage/gbp/scripts/rpm_ch.py", line 180, in guess_commit
      options.changelog_revision)
    File "/usr/lib/python3.7/re.py", line 192, in sub
      return _compile(pattern, flags).sub(repl, string, count)
    File "/usr/lib/python3.7/re.py", line 309, in _subx
      template = _compile_repl(template, pattern)
    File "/usr/lib/python3.7/re.py", line 300, in _compile_repl
      return sre_parse.parse_template(repl, pattern)
    File "/usr/lib/python3.7/sre_parse.py", line 1024, in parse_template
      raise s.error('bad escape %s' % this, len(this))
  re.error: bad escape \S at position 7

gbp-pull: Invoke gbp pq correctly for --redo-pq option

`gbp pull --redo-pq` assumed that `gbp-pq` exists in PATH, which isn't
normally true since 0.6.24 (2015).

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #917637

zsh completion: Fix typo in redirection to _gbp-import-dsc

Signed-off-by: Simon McVittie <smcv@debian.org>
Closes: #917636

Fix typo

Closes: #914280

push: Push Debian branch first

This makes sure in new repos this is the correct default branch.

Closes: #916651

PatchSeries: Don't fail if there's only a patch end marker

If the patch only has '---' we pass empty data to git-mail-info
otherwise.

Thanks: James Cowgill for the detailed report
Closes: #916545

Document changes and release 0.9.12

import_ref: Fix warning

Document changes and release 0.9.11

gbp-import-ref: Add warning

This is still experimental but let's ship it since it's useful in
some cases already.

Gbp-Dch: Ignore

gbp.deb: Correct "otherwise" spelling in comment

Fix "was build" typos

Closes: #916044

import-orig: rename sourcepackage to name

since it's the source package's name

PristineTar: Don't fail if pristine-tar does't support signatures

PristienTar: Properly detect signature feature

DebianSource: Drop unused variable

Make it simple to print exception details

pristine-tar: support checking in/out upstream signatures

pristine-tar: detect signature verification support

Deduplicate version_mangle_re

buildpackage, export-orig: support version substitution for --git-tarball-dir

Add support for passing %(version), %(hversion) and %(version%A%B) in
buildpackage --git-tarball-dir and export-orig --tarball-dir.

Closes: #909266
Signed-off-by: Luca Boccassi <bluca@debian.org>

Refresh tests data submodule

PatchSeries: Only pass patch description and header to git-mailinfo

There are patches around that use

Content-Transfer-Encoding: base64

but the actual patch after '---' is unencoded ascii resulting in garbage
after the patch description when imported into a patch queue.

Since we're discarding the patch part of git-mailinfo anyway don't pass
this on in the first place.

Closes: #912426

GitRepository: Make git_inout available everywhere

docs: update references from <dep.debian.net> to <https://dep-team.pages.debian.net>.

setup.py: Fix gbp problem when installed with pip

when installed with "pip install gbp" it will be installed as version "0.0"
because the released version doesn't have a debian/changelog file, so it will
be installed with a warning:
balabit-bbos-tools 1.0.0 has requirement gbp==0.9.8, but you'll have gbp 0.0 which is incompatible.

and will cause an Exception when using gbp from a setuptools entrypoint script:

  File "/home/walkman/stew/projects/platform/source/balabit-os-tools/.venv/lib/python3.6/site-packages/pkg_resources/__init__.py", line 574, in _build_master
    ws.require(__requires__)
  File "/home/walkman/stew/projects/platform/source/balabit-os-tools/.venv/lib/python3.6/site-packages/pkg_resources/__init__.py", line 892, in require
    needed = self.resolve(parse_requirements(requirements))
  File "/home/walkman/stew/projects/platform/source/balabit-os-tools/.venv/lib/python3.6/site-packages/pkg_resources/__init__.py", line 783, in resolve
    raise VersionConflict(dist, req).with_context(dependent_req)
pkg_resources.ContextualVersionConflict: (gbp 0.0 (/home/walkman/stew/projects/platform/source/balabit-os-tools/.venv/lib/python3.6/site-packages), Requirement.parse('gbp==0.9.8'), {'requiresgbp'})

This is because pkg_resources checks every dependency version and if it doesn't
match with the egg-info, it raises this Exception.

Instead, we try to parse the debian/changelog first, then load the version, or
if the debian/changelog file doesn't exists (this is the case at pip install)
we read the gbp/version.py and parse the version from it.

There is a "round trip check", which means the parsed version is written, then
it will be read back immediately to see if there is any problem.

builpackage-rpm: Use GBP_TMP_DIR instead f GBP_BUILD_DIR

This is consistent with --git-post-export and unbreaks

    tests/component/rpm/test_buildpackage_rpm.py:TestGbpRpm.test_hook_options

buildpackage{,-rpm}: add preexport hook

Sometimes it is necessary to perform operations before preparing the
tarballs and exporting to the build directory.
One such case is when having to handle extremely large binary assets in
the orig tarball and at the same time complex packaging code, which
makes it desirable to separate the two into different repositories for
easier handling.
A pre-export hook allows to ensure that the tarball repository is
present and checked out at the correct branch.

Closes: #909266
Signed-off-by: Luca Boccassi <bluca@debian.org>

Fix flake8's W605 (invalid escape sequence)

See also

    https://docs.python.org/3/whatsnew/3.6.html#deprecated-python-behavior

Ignore flake8's 'W504 line break after binary operator'

With flake8's other warnings this doesn't make much sense since
indentation accoding to https://hg.python.org/peps/rev/3857909d7956
does not work. It triggers

- 'W503 line break before binary operator'
- 'E129 visually indented line with same indent as next logical line'

If one want to align the operators one hits
- 'E127 continuation line over-indented for visual indent'

So let's leave things as is for the moment.

repository: Remove superfluous blank line

to make flake8 happy

Gbp-Dch: Ignore

PkgPolicy.symlink_orig: also remove dangling symlinks

hook: Fix harmless typo

Gbp-Dch: Ignore

debian.source: Enumerate components only once

buildpackage: Unify 'extract' messages

Gbp-Dch: Ignore

tests: small fix for import-orig-rpm component test

Merge behaviour in newer git versions (> v2.16) is slightly different.

This broke one test with an error something like:
Traceback (most recent call last):
  File "tests/component/rpm/test_import_orig_rpm.py", line 243, in test_misc_options
    eq_(len(repo.get_commits(until='pack')), 3)
AssertionError: 2 != 3

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

travisci: Test Python 3.7 as well

Use the workaround from

    https://github.com/travis-ci/travis-ci/issues/9815

since Python 3.7 is not yet supported by the default image.

gbp.git: fix doctest with recent python-dateutil.

Traceback format has changed in recent python-dateutil.

Signed-off-by: Markus Lehtonen <markus.lehtonen@linux.intel.com>

pq: Fix testcase

Pseudo headers are now moved to the top of the patch.

pq import: Always put DEP-3 headers as pseudo-headers

If there are any non-git DEP-3 header fields, put them at the top of
the body text, regardless of whether Description or Subject is used.
Also put a blank line between them and the rest of the message body.