Document changes and release 0.9.29

Build-depend on python3-filelock

This works around #1020024

Explicitly use the deb install layout when building our RPM

Debian defaults to installing to /usr/local, unless told otherwise. This
is usually done by passing --install-layout=deb to setup.py, when called
directly. But that's only an option on Debian systems that have this
patch. Set the environment variable equivalent, instead.

Specify a sysconfig scheme in smoke-rpm

Debian uses the posix_local scheme by default, since Python 3.10,
causing the rpm to be built with the incorrect layout.

config: Print correct default for postunpack hook

rpm: Fix flake8

git-pbuilder: export GBP_{DIST,ARCH,BUILDER} to the environment

This makes sure we don't export very generic vars while still being able
to make decisions based on what was passed to gbp.

clone: Allow to add automatically add upstream vcs

While "gbp import-orig" supports "--upstream-vcs" since some time to
link to the upstream git history however setup of the upstream remoet
repo so far was manual.

To make this more automatic add "--add-upstream-vcs" to "gbp clone"
(defaulting to False) and set up the upstreamvcs remote in case there's
sufficient information in debian/upstream/metadata. Once added fetch
from that remote initially.

Document changes and release 0.9.28

export-orig: Allow for --pristine-tar-commit

No reason to restrict this to build-package

pkgpolicy: Use type annotations that also work for python 3.9

Closes: #1012717

Document changes and release 0.9.27

Add breaks on older dgit

See #1005873, #1010061

clone: add second allowed form for vcs-git protocol to manual page

dch: Don't crash when we fail to get an upstream version

Closes: #879495

import-dsc: Fix error message when missing debian branch

The error message mistakenly talks about the upstream branch when it
should be talking about the debian branch. Logs:

# initial failure
$ gbp import-dsc apt:desktop-base/sid
gbp:info: Downloading 'desktop-base/sid' using 'apt-get'...
gbp:info: Tag 11.0.2 not found, importing Debian tarball
gbp:error:
Repository does not have branch 'master' for upstream sources. If there is none see
file:///usr/share/doc/git-buildpackage/manual-html/gbp.import.html#GBP.IMPORT.CONVERT
on howto create it otherwise use --upstream-branch to specify it.

Also check the --create-missing-branches option.

# trying as suggested
$ gbp import-dsc --upstream-branch=debian apt:desktop-base/sid
gbp:info: Downloading 'desktop-base/sid' using 'apt-get'...
gbp:info: Tag 11.0.2 not found, importing Debian tarball
gbp:error:
Repository does not have branch 'master' for upstream sources. If there is none see
file:///usr/share/doc/git-buildpackage/manual-html/gbp.import.html#GBP.IMPORT.CONVERT
on howto create it otherwise use --upstream-branch to specify it.

Also check the --create-missing-branches option.

# in fact it's the debian branch!
$ gbp import-dsc --debian-branch=debian apt:desktop-base/sid
gbp:info: Downloading 'desktop-base/sid' using 'apt-get'...
gbp:info: Tag 11.0.2 not found, importing Debian tarball
gbp:info: Version '11.0.2' imported under '/home/user/src/desktop-base'

Closes: #984516

docs: Ship gbp-setup-gitattributs man page

docs: Make --component more prominent

Closes: #934200

uscan: Drop pre 2.11 devscripts compat code

It's not even in oldoldoldstable anymore

tests: Add "gbp import-orig --uscan" test

Makefile: add type-check

dch: Add minimal type information

Just enough to make mypy happy

Ignore imports without type annotations for now

Ignore rpm and libnotify for the moment

pkgpolicy: Add type annotations

Just enough to  make mypy happy.

clone: Allow to skip alias expansion

Add an option that allow to skip exansion of aliases like salsa:
by gbp so that git can do that.

Closes: #983085

docs: Fix --upstream-signature flag description

Thanks: Tino Mettler

debian/rules: clean __pycache__ directories generated during the build

pull: Prefix local branch with 'refs/heads/'

This can resolve ambiguity when generating the rev list.

Closes: #966627

repository: Add helper to prefix branch with 'refs/heads/'

No attempt is being made to ensure this is a local branch.

repository.get_submodules: Only strip repo path from the beginning

We shouldn't just replace any occurence since we otherwise might also
substitute in the submodule.

Based on a patch by "ushen <yshxxsjt715@gmail.com>".
See https://github.com/agx/git-buildpackage/pull/82

debian/rules: really export GBP_NETWORK_TESTS to tests

$(MAKE) GBP_NETWORK_TESTS=1
was setting a Make variable in the sub-Make, but not exporting it for
test/*.py subprocesses.

debian/clean: add forgotten files

Move some cleaning from debian/rules to debian/clean

repository: list_tree: Handle '-'

This is returned for git submodules and broke the the clone test like:

======================================================================
ERROR: Test that cloning from github urls works
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/var/scratch/src/git-buildpackage/git-buildpackage/tests/component/deb/test_clone.py", line 81, in test_clone_github
    ret = clone(['arg0', "github:agx/git-buildpackage", dest])
  File "/var/scratch/src/git-buildpackage/git-buildpackage/gbp/scripts/clone.py", line 214, in main
    if options.defuse_gitattributes.is_on() or not repo_setup.check_gitattributes(repo, 'HEAD'):
  File "/var/scratch/src/git-buildpackage/git-buildpackage/gbp/scripts/common/repo_setup.py", line 43, in check_gitattributes
    for mode, _type, sha1, size, path in repo.list_tree(treeish, recurse=True, sizes=True):
  File "/var/scratch/src/git-buildpackage/git-buildpackage/gbp/git/repository.py", line 1105, in list_tree
    yield mode, type, sha1, int(size), filename
ValueError: invalid literal for int() with base 10: '-'
-------------------- >> begin captured logging << --------------------
gbp: info: Cloning from 'https://github.com/agx/git-buildpackage.git' into '/.../git-buildpackage/gbp_TestClone_730g3vkb/tmp_test_clone_github_i9jrqgmy/cloned_repo'
--------------------- >> end captured logging << ---------------------

smoke-rpm: Avoid deprecated distutils

deb: Decode changelog content when fetched from git

When importing not form the upstream branch the changelog is fetched
via `git show`. Decode the bytes in that case.

Closes: #1004354

tests: Test import-orig from upstream branch

debian/copyrigt: switch to machine-readable format 1.0

debian/rules: remove obsolete and unused Make variables

rules: simplify thanks to debhelper compat 13

When dh-sequence-foo is listed in build-depends, debhelper
automatically inserts dh_foo in the commands.

override_dh_auto_test is not invoked anymore if DEB_BUILD_OPTIONS
contains nocheck.

execute_after_dh_* is available and more readable than override_dh_*.

Move chmod to execute_after_dh_fixperms for clarity.

Examples are not compressed anymore.

debian/rules: simplify installation of zsh and pk4

There seems to be no reason to change their names and permissions
between the source tree and the eventual installation path.

debhelper: make package prefix explicit in configuration files

This slightly improves readability.

config: Use ConfigParser instead of deprecated SafeConfigParser

Closes: #1011344

git/repository: Disable signatures when grepping for commits

Otherwise get the signature back as well.

Thanks: наб for the patch

Closes: #1010370

Document changes and release 0.9.26

push: Limit remote check to default remote

We can't assume the user is pushing to the defaulte remote as

   gbp push foo

is also supported hence we can't just check pristine-tar status on the
default merge branch.

Helps 2405e158 ("push: skip pristine-tar push if already present remotely")

Gbp-Dch: Ignore

docs: Fix argument for "gbp pq export --commit"

scripts: add -v shortcut for --verbose where it has been forgotten

Closes: #1010750

push: skip pristine-tar push if already present remotely

When one is working on an older branch (stable update or backport), the
pristine-tar branch may already contain new commits after the one
corresponding to the upstream version in question.

Closes: #1001163

tests: fix input data to create-remote-repo tests

Closes: #1010061

debian/rules: fix build with python3.10 as default

tests: set HOME to an unexisting directory

The test suite contains several assumptions about the global git
configuration, including but not limited to the default branch name
being `master`. By running the tests against a unexisting HOME, git will
not load the user configuration and instead use all the git defaults.

docs: port build system to newer pydoctor

According to https://pydoctor.readthedocs.io/en/latest/help.html, the
command line and configuration parsing has changed in an incompatible
way. These changes fix the documentation build for me, but are probably
backwards-incompatible with older versions of pydoctor.

rpm.policy: Drop non breaking space

This trips up pydoctor.

Thanks to Carsten Schönert for debugging help

rpm.changelog: Drop non breaking space

This trips up pydoctor.

Thanks to Carsten Schönert for debugging help

deb.git, scripts: Use cannot rather than can not for clarity

"Can not" may in some cases mean something different than "cannot",
use "cannot" to make sure there are no misunderstandings.

Signed-off-by: Andrej Shadura <andrew.shadura@collabora.co.uk>

pq: Check if repo is clean before importing patches

Closes: #1005321

push: Make --debian-tag='' match the documentation

An empty Debian tag indicates "don't care" about the packaging branch.
Don't fail in that case but rather push out up to the branch tip:

  Currently we'd fail like

  $ gbp push --debian-tag='' guido
  Traceback (most recent call last):
    File "/usr/bin/gbp", line 149, in <module>
      sys.exit(supercommand())
    File "/usr/bin/gbp", line 145, in supercommand
      return module.main(args)
    File "/usr/lib/python3/dist-packages/gbp/scripts/push.py", line 153, in main
      to_push['refs'].append((ref, get_push_src(repo, ref, dtag)))
  UnboundLocalError: local variable 'dtag' referenced before assignment

this make it simple to push the current development work via

  gbp  push --debian-tag='' <remote>

tests: Fix "test_push_failure" with newer git

The test created a broken tag on the remote side to avoid that being
pushed in the test however git 2.34 and newer fail every push to that
repo so rather create a non-ff branch instead to make the push fail.

HACKING: Document how to keep test repos around

HACKING: mention how to rerun a single test

uscan: Remove pre-devscripts 2.10.70 compat code

We can rely on the <target> element being present in dehs output.

The output it looks for from uscan no longer matches anyway.

config: Add missing comma

Signed-off-by: Andrej Shadura <andrew.shadura@collabora.co.uk>

export-orig: Consistently refer to the pristine-tar branch

Since we’re checking pristine_tar_branch, not pristine_tar.branch,
use the same expression in the log even though it’s not supposed
to be different.

Signed-off-by: Andrej Shadura <andrew.shadura@collabora.co.uk>

import-orig: Don’t hardcode the pristine-tar branch

Signed-off-by: Andrej Shadura <andrew.shadura@collabora.co.uk>

rpm: Avoid devscript dependency

The package is currently not available everywhere.

Document changes and release 0.9.25

tests: Make sure DEBEMAIL is set

Otherwise dch based tests fail

Closes: #998573

buildpackage: Map 'debian/latest' and 'debian/main' to sid too

This avoids having to specify a suite with more modern common branch
names.

Document changes and release 0.9.24

Use collections.abc.Iterable instead of collections.Iterable

since Python 3.10 dropped the alias.

d/control: Depend on dh-sequence-python3

This makes the requirement more obvious since dh-python does
multiple things

d/control: Add RulesRequiresRoot

d/control: Drop versioned python3 dep

Even oldoldstable is recent enough

d/rules: Drop trailing whitespace

Gbp-Dch: Ignore

d/changelog: Drop trailing whitespace

Gbp-Dch: Ignore

Add translation infrastructure

Make it simple to create/update the pot file and provide an initial
po file for de.

Fix import-dsc on empty repo if defaultBranch!=master

When importing a dsc on a empty repository when `ìnit.defaultBranch` is
set to something like `main` in `~/.gitconfig` we failed with:

    gbp:debug: ['git', 'update-ref', '-m', 'gbp: Import Upstream version 0.5.10.2', 'refs/heads/master', '95172aee8d1a4e6c69494e4f158f904111710168']
    gbp:debug: ['git', 'symbolic-ref', 'HEAD']
    gbp:debug: ['git', 'show-ref', 'refs/heads/main']
    gbp:debug: ['git', 'symbolic-ref', 'HEAD']
    gbp:debug: ['git', 'show-ref', 'refs/heads/main']
    gbp:debug: ['git', 'branch', '-m', 'None', 'debian/buster']
    gbp:error: Git command failed: Error running git branch: error: refname refs/heads/None not found
    fatal: Branch rename failed
    Traceback (most recent call last):
      File "/usr/local/lib/python3.9/dist-packages/gbp-0.9.22-py3.9.egg/gbp/scripts/import_dsc.py", line 519, in main
        commit = import_upstream(repo, sources[0], dsc, options)
      File "/usr/local/lib/python3.9/dist-packages/gbp-0.9.22-py3.9.egg/gbp/scripts/import_dsc.py", line 269, in import_upstream
        repo.rename_branch(repo.branch, options.debian_branch)
      File "/usr/local/lib/python3.9/dist-packages/gbp-0.9.22-py3.9.egg/gbp/git/repository.py", line 333, in rename_branch
        self._git_command("branch", args.args)
      File "/usr/local/lib/python3.9/dist-packages/gbp-0.9.22-py3.9.egg/gbp/git/repository.py", line 245, in _git_command
        raise GitRepositoryError("Error running git %s: %s" % (command, detail.decode().strip()))
    gbp.git.repository.GitRepositoryError: Error running git branch: error: refname refs/heads/None not found
    fatal: Branch rename failed

That's because we created the commit on `refs/heads/master` and then
tried to rename it from `refs/heads/main`.

To avoid that, if the repository is empty look at the name of the
current branch as reported by the symbolic ref pointed by `HEAD`.

Closes: #906600
Signed-off-by: Emanuele Aina <emanuele.aina@collabora.com>

git: Actually include the missing key name in the KeyError message

Signed-off-by: Emanuele Aina <emanuele.aina@collabora.com>

dch: Require EMAIL or DEBEMAIL to be set

The alternative would be to set a dummy address in case of
--git-author but that again can use $EMAIL so just fail if
both are unset.

Closes: #987611

Document changes and release 0.9.23

spec: Fix rpm build on centos7 and centos8

spec: Ignore byte-compiled python files

docs: Check for docbook2man too

docs: Use either python3 or python

Some distros (such as Debian) don't ship a /usr/bin/python anymore

setup.py: Explicitly open the changelog file as utf-8

Fix gbp-builder-mock to honor configured options for mock

gbp-builder-mock: Update to work with current mock releases

spec: Swtich requires to python3 too

Thanks: Quanah Gibson-Mount

spec: Install setup-git-attributes command

This unbreaks the autopkgtest

setup.py: Allow for more liberal version numbers

Otherwise this causes trouble for backports, downstreams, etc.

setup.py: Avoid dpkg-parsechangelog

This helps on non-debian systems

repo_setup: fix documentation generation

docstring format for bullet lists requires a leading dash. This fix
prevents build failures when running `make docs`.

Signed-off-by: Arnaud Ferraris <arnaud.ferraris@collabora.com>

manpages: fix gbp-setup-gitattributes

Signed-off-by: Arnaud Ferraris <arnaud.ferraris@collabora.com>

tests/11_test_dch_main.py: Fix OS release check for Ubuntu.

Closes: #983204

Add tests for setup-gitattributes functionality

Signed-off-by: Andrej Shadura <andrew.shadura@collabora.co.uk>

Install the setup_gitattributes script

Signed-off-by: Andrej Shadura <andrew.shadura@collabora.co.uk>

scripts: Make setup_gitattributes future-proof

* Add --all (default) and --[no-]dgit-defuse-attrs to enable
  adding more options in future.
* Rewrite the manual page to reflect the change in approach.
* Error out when running with no presets enabled

Signed-off-by: Andrej Shadura <andrew.shadura@collabora.co.uk>

d/control: Capitalise Git throughout the package descriptions

Signed-off-by: Andrej Shadura <andrew.shadura@collabora.co.uk>

d/control: Add the new subcommand to the package description

Signed-off-by: Andrej Shadura <andrew.shadura@collabora.co.uk>