core,shutdown: don't bother with unmounting any mounts below /sys, /proc, /dev when shutting down

After all, mounts below these directories are pretty much guaranteed to
be virtual, and it's hence unnecessary to unmount them during shutdown.
Moreover, in less-priviliged containers we might lack the rights to
unmount them, hence don't even try.

http://lists.freedesktop.org/archives/systemd-devel/2015-January/027113.html

mount-setup: /selinux, /cgroup, /dev/cgroup are sooo old, don't bother with them anymore

tmpfiles: minor simplification

man: bring tmpfiles.d(5) in line with code

update TODO

sd-bus: fix typo

core: add a property that shows the current memory usage of a unit

This is exposed the memory.usage_in_bytes cgroup property on the bus,
and makes "systemctl status" show it in its default output.

cgroup-show: remove duplicated check

After 3637713a20 it is not necessary anymore.

update TODO

nspawn: when mounting the cgroup hierarchies, use the exact same mount options for the superblock as the host

Otherwise we'll generate kernel runtime warnings about non-matching
mount options.

nspawn: mount /tmp in the container, don't leave this to the container's init

We really want /tmp to be properly mounted, especially in containers
that lack CAP_SYS_ADMIN or that are not fully booted up and only get a
shell, hence let's do so in nspawn already.

nspawn: allow bind-mounting char and block files

update TODO

importd: when listing transfers, show progress percentage

With this change the pull protocol implementation processes will pass
progress data to importd which then passes this information on via the
bus. We use sd_notify() as generic transport for this communication,
making importd listen to them, while matching the incoming messages to
the right transfer.

importd: fix bus policy

machinectl: fix handling of --verify= argument for dkr downloads

sd-bus: fix handling of double parameters in sd_bus_message_append()

We really need to use va_arg() with the right type here as uint64_t and
double might have the same size, but are passed differently as
arguments.

import: we need CAP_DAC_OVERRIDE for untarring systems after all

core: zero size notify messages are OK

tests: use assert_se instead of assert

Otherwise they can be optimized away with -DNDEBUG

po: update french translation

catalog: update french translation

man: fix typos

sd-dhcp-client: use RFC4361-complient ClientID by default

In addition to the benefits listed in the RFC, this allows DHCP to work also in
case several interfaces share the same MAC address on the same link (IPVLAN).

Note that this will make the ClientID (so probably the assigned IP address)
change on upgrades. If it is desired to avoid that we would have to remember and
write back the ID (which the library supports, but networkd currently does not).

dhcp-identifier: create IAID even if no udev device can be found

This is useful for testing.

networkd: Introduce ip6gre and ip6gretap

This patch introduces ipv6 gre and gretap.

test:

ip6gre.netdev:
[NetDev]
Name=ip6gretap
Kind=ip6gretap

[Tunnel]
Local=2a00:ffde:4567:edde::4987
Remote=2001:473:fece:cafe::5179

ip6gre.network:
[Match]
Name=eno16777736

[Network]
Tunnel=ip6gretap

ip link

6: ip6gre@eno16777736: <POINTOPOINT,NOARP> mtu 1448 qdisc noop state
DOWN mode DEFAULT group default
    link/gre6 2a:00:ff:de:45:67:ed:de:00:00:00:00:00:00:49:87 peer
20:01:04:73:fe:ce:ca:fe:00:00:00:00:00:00:51:79

networkd: Introduce IP6 tunnel

This patch enables networkd to create IP6 tunnels

example conf:

ipip6.netdev:
[NetDev]
Name=ipip6-tunnel
Kind=ip6tnl

[Tunnel]
Mode=ip4ipv6
Local=2a00:ffde:4567:edde::4987
Remote=2001:473:fece:cafe::5179

ipip6.network
[Match]
Name=wlan0

[Network]
Tunnel=ipip6-tunnel

23: ipip6-tunnel@wlan0: <POINTOPOINT,NOARP> mtu 1452 qdisc noop state
DOWN mode DEFAULT group default
    link/tunnel6 2a00:ffde:4567:edde::4987 peer 2001:473:fece:cafe::5179

networkd: introduce gretap

This patch introdeces gretap to networkd

update TODO

importd: run daemon at minimal capabilities

cgroup-show: don't hit assert, when the extra pids array is empty

importd: fix path to download binary

import: lock tar into its own private network namespace

That way it cannot get access to the network

import: drop all capabilities when invoking tar

update TODO

import: only define the _to_string() enum mapping function, thus making gcc shut up

import: now that the worker binary is called "systemd-pull" we can shorten the verbs

Atfer all "systemd-pull pull-tar" is unnecessarily redundant, over
"systemd-pull tar"...

importd: try to minimize confusion by renaming "systemd-import" binary to "systemd-pull"

This way "systemd-importd" is the daemon that uses "systemd-pull" as
backend worker.

machinectl: when downloading an image, clarify that C-c will not cancel the download, but continue it in the background

machinectl: minor simplification

machinectl: parse verify setting client-side

importd: minor log improvements

import: make the user verficiation keyring override the vendor keyring, instead of extending it

This way the user has the ability to remove keys from the
vendor-supplied keyring if he intends so.

logind: fix sd_eviocrevoke ioctl call

If the third argument is non-null, the kernel will always error out with
EINVAL and devices won't get revoked.

Reported-by: Benjamin Tissoires <benjamin.tissoires@gmail.com>
Signed-off-by: Peter Hutterer <peter.hutterer@who-t.net>

machinectl: various minor updates to the --help text

import: rename --verify=sum to --verify=checksum

This is how we call it internally, and also a bit more descriptive.

man: document new download magic

import: add org.freedesktop.import1.policy.in to POTFILES.in

https://bugs.freedesktop.org/show_bug.cgi?id=88705

kbd-model-map: add more mappings for Slovak, Lithuanian, and Khmer

https://bugs.freedesktop.org/show_bug.cgi?id=88545

Use eurlatgr as the example console font

See https://fedoraproject.org/wiki/Changes/NewDefaultConsoleFont

https://bugzilla.redhat.com/show_bug.cgi?id=1182529

sysv-generator: only allow regular files in enumerate_sysv()

Otherwise, if the directory contains other directories we fail
at fopen in load_sysv() with EISDIR.

build: export symbols to integrate mainloops

TODO: tmpfiles

shared/acl-util: add mask only when needed, always add base ACLs

For ACLs to be valid, a set of entries for user, group, and other
must be always present. Always add those entries.

While at it, only add the mask ACL if it is actually required, i.e.
when at least on ACL for non-owner group or user exists.

tmpfiles: use ACL magic on journal directories

tmpfiles: implement augmenting of existing ACLs

This is much more useful in practice (equivalent to setfacl -m).

tmpfiles: make t and a globby, add their recursive versions T and A

For types which adapt existing files it is generally more useful to accept
globs.

In analogy to z and Z, add recursive versions using uppercase letters.

Technically, making a accept globs is backwards incompatible, but in
practice it probably isn't yet widely used and we can assume that most
people don't create files with wildcards in names.

Functions which are used as callbacks, but not directly on items, are
renamed not to have "item_" prefix.

tmpfiles: make recursive operation generic

tmpfiles: add 'a' type to set ACLs

tmpfiles: attach an array of items to each path

The data structure used by tmpfiles is changed: instead of hashmaps
mapping {path → Item*} we now have hashmaps containing
{path -> ItemArray}, where ItemArray contains a pointer
to an array of Items.

For current code it doesn't matter much, but when we add new types it
is easier to simply add a new Item for a given path, then to coalesce
multiple lines into one Item.

In the future, this change will also make it possible to remember the
file and line where each Item originates, and use that in reporting
errors. Currently this is not possible, since each Item can be created
from multiple lines.

tmpfiles: make sure not to concatenate non-absolute path

If the path is absolute was only checked later.
Also do not check if path if absolute if we just
specified it starting with a slash.

tmpfiles: detect all combinations of + and !

The same algorithm as with - and @ in ExecStart= is used.

tmpfiles: simplification

Certain conditions were checked more than once. Warning message
is improved.

catalog: update pt_BR translation

Brazilian Portuguese update for CATALOG patch, according to commit
2057124e7910c4cab7e53d26e0c3749d326ae2bb ("Grammar changes to catalog")

https://bugs.freedesktop.org/show_bug.cgi?id=88588

shared/cgroup-show: simplify show_pid_array()

int[] should not be used as pid_t[], even if happens to be same thing.
Also deduplicating in a quadratic loop right before sorting is unnecessary.
Remove custom greedy_realloc implementation.

Assorted format fixes

Types used for pids and uids in various interfaces are unpredictable.
Too bad.

Fix some format strings for enums, they are signed

shared/util: use signed printf format for PIDs

gcc 5 started warning about this.

update TODO

import: introduce new mini-daemon systemd-importd, and make machinectl a client to it

The old "systemd-import" binary is now an internal tool. We still use it
as asynchronous backend for systemd-importd. Since the import tool might
require some IO and CPU resources (due to qcow2 explosion, and
decompression), and because we might want to run it with more minimal
priviliges we still keep it around as the worker binary to execute as
child process of importd.

machinectl now has verbs for pulling down images, cancelling them and
listing them.

impot: minor cleanups

log: add new log output mode, that prints to console, but prefixes with syslog priority

This is useful when we execute our own programs, reading output from its
STDERR, and want to retain priority information.

networkd: plug lldp leak

network: dhcp - split out dhcp_identifier_set_{iaid,duid_en} from dhcp6-client

This will also be used in dhcp4-client.

network: dhcp - split out the duid structure into a new header file

We will use the same in both dhcp4 and dhcp6.

update TODO

import: simplify dkr importer, by making use of generic import-job logic, used by the raw and tar importers

This gets us progress output as well xz/bzip2 support.

import: minor cleanups for the tar and raw importers

build: Add parallel-tests automake option

We use PY_LOG_COMPILER in Makefile.am for running *.py tests, which requires
automake's parallel test runner. This has only been the default from 1.13 on.
As we only require automake 1.11, add it as an option explicitly.

sysv-generator: Replace Provides: symlinks with real units

Since commit b7e7184 the SysV generator creates symlinks for all "Provides:" in
the LSB header. However, this is too greedy; there are cases where the
creation of a unit .service file fails because of an already existing
symlink with the same name:

 - Backup files such as /etc/init.d/foo.bak still have "Provides: foo", and
   thus get a foo.service -> foo.bak.service link. foo.bak would not be enabled
   in rcN.d/, but we (deliberately) create units for all executables in init.d/
   so that a manual "systemctl start" works. If foo.bak is processed before,
   the symlink already exists.

 - init.d/bar has "Provides: foo", while there also is a real init.d/foo. The
   former would create a link foo.service -> bar.service, while the latter
   would fail to create the real foo.service.

If we encounter an existing symlink, just remove it before writing a real unit.

Note that two init.d scripts "foo" and "bar" which both provide the same name
"common" already work. The first processed init script wins and creates the
"common.service" symlink, and the second just fails to create the symlink
again. Thus create an additional test case for this to ensure that it keeps
working sensibly.

https://bugs.debian.org/775404

systemd-sysv-generator test: test scripts with hidden suffixes

We don't expect any unit generated from temporary package manager, swap, and
similar files.

util: Add some missing hidden_file() suffixes

dpkg itself also uses *.dpkg-dist, while .dpkg-{bak,backup,remove} are being
used by dpkg-maintscript-helper.

sysv-generator: Handle .sh suffixes when translating Provides:

When deciding whether the provided name equals the file name in
sysv_translate_facility(), also consider them equal if the file name has a
".sh" suffix.

This was uncovered by commit b7e7184 which then created a symlink
"<name>.service" to itself for ".sh" suffixed init.d scripts.

For additional robustness, refuse to create symlinks to itself in add_alias().

Add test case which reproduces the bug.

https://bugs.debian.org/775889

update TODO

import: support downloading bzip2-encoded images

This way, we can import CoreOS images unmodified.

journal: Fix syslog forwarding without CAP_SYS_ADMIN

In case CAP_SYS_ADMIN is missing (like in containers), one cannot fake pid in
struct ucred (uid/gid are fine if CAP_SETUID/CAP_SETGID are present).

Ensure that journald will try again to forward the messages to syslog without
faking the SCM_CREDENTIALS pid (which isn't guaranteed to succeed anyway, since
it also does the same thing if the process has already exited).

With this patch, journald will no longer silently discard messages
that are supposed to be sent to syslog in these situations.

https://bugs.debian.org/775067

zsh-completion: Do not interpret escape sequences in _filter_units_by_property

This makes all functions that rely on _filter_units_by_property() (like
_systemctl_{stop,kill,try_restart}) work with unit names that contain backslash
escaped sequences (like automount units with spaces that are escaped to
"\x20").

systemd-sysv-generator test: fix enabled check

Fix hardcoded "foo.service", test for the actual unit parameter.

systemd-sysv-generator test: don't parse symlinks

Generated services which are symlinks should be tested/handled differently from
files, so ignore them in run_generator()'s result parsing.

test: add integration test for systemd-sysv-generator

This covers the general functionality as well as regression tests for recent
fixes like commits b7e718 and 1ed0c19.

import: also add verification support to tar importer

import: make verification code generic, in preparation for using it pull-tar

import: improve logging

import: show download speed while downloading

import: add image verification using gpg

This also adds an initial keyring for the verification, that contains
Ubuntu's and Fedora's key. We should probably add more entries sooner or
later.

test: eliminate shell wrapper for Python test

Use the parallel test runner's TEST_EXTENSIONS/*_LOG_COMPILER feature
(https://www.gnu.org/software/automake/manual/html_node/Parallel-Test-Harness.html)
to run *.py tests through $(PYTHON), and only if we have python
available/enabled.

This eliminates the need of having shell wrappers, thus drop
test/rules-test.sh.

test: simplify rules-test.sh wrapper

Drop globbing of rules/*.rules in the rules-test.sh wrapper and move that logic
into the actual test rule-syntax-check.py. This can still be called with
individual rules files, but when being called without arguments it will now
process all top_builddir/rules/*.rules.

Preparation for dropping the shell wrappers altogether.

nspawn: work around kernel bug with partition table probing on loopback devices

When we set up a loopback device with partition probing, the udev
"change" event about the configured device is first passed on to
userspace, only the the in-kernel partition prober is started. Since
partition probing fails with EBUSY when somebody has the device open,
the probing frequently fails since udev starts probing/opening the
device as soon as it gets the notification about it, and it might do so
earlier than the kernel probing.

This patch adds a (hopefully temporary) work-around for this, that
compares the number of probed partitions of the kernel with those of
blkid and synchronously asks for reprobing until the numebrs are in
sync.

This really deserves a proper kernel fix.

import: add a couple of additional suffixes to remove from raw images

import: make image verification optional