test: fix test-mount-util when handling duplicate mounts on the same location

The test was written so far under the assumption that if two mounts are
placed onto the same location the "upper" mount is listed later in
/proc/self/mountinfo. This appears not to be guaranteed however, as
running the tests in a normal nspawn shows.

This patch fixes that: it reverses the hashmap of mounts we build:
instead of keying by path, we key by mnt_id, and if we notice that
path_get_mnt_id() doesn't match what a line in /proc/self/mountinfo
says, we use the returned ID to check if maybe another line agrees.

Fixes: #7431

mount-util: fix bad indenting

mount-util: EOVERFLOW might have other causes than buffer size issues

When we get EOVERFLOW this might be caused by untriggered nfs4 mounts
(see discussion at
https://github.com/systemd/systemd/pull/7395#issuecomment-346164481 and
further down).

Handle this nicely by falling back to fdinfo-based mntid determination.

Fixes: #7082

mount-util: fix error propagation in fd_fdinfo_mnt_id()

mount-util: drop exponential buffer growing in name_to_handle_at_loop()

So, it appears name_to_handle_at() always returns the right buffer size
on EOVERFLOW, when it's returned due to a too small buffer. Let's rely
on that exclusively for sizing the buffer, and let's drop the
exponential buffer growing.

The new logic is now: if we see EOVERFLOW and the returned size has
increased, resize our buffer and try again. But if it didn't increase,
then propagate the EOVERFLOW as it likely has other causes.

tests: install `test` as part of BASICTOOLS (#7434)

This makes TEST-19-DELEGATE, which is currently failing, work.

Closes https://github.com/systemd/systemd/issues/7425.

core/manager: check the existance of the special units (#7433)

In the user mode, not all special units exist.
So, we need to check whether the units exist or not before operate
something to the units.
Such the check was mistakenly dropped by e68537f0ba1a4433ecdf58e609b1701ed7091abc.

Fixes #7426.

Fixed Type nmnds-ipv4 -> nmdns-ipv4 (#7435)

cgroup: downgrade the log level of "invocation id" messages to debug (#7422)

Now that d3070fbdf6077d7d has been merged, these errors are not as
critical as they used to be.

Merge pull request #7420 from brauner/2017-11-22/systemd_in_container_unified_cgroup_hierarchy

cgroup: skip unwritable cgroups

cgroup: test whether pure unified hierarchy is writable

If it is not writable we should not mount it.

cgroup: check whether unified hierarchy is writable

When systemd is running inside a container employing user
namespaces it currently mounts the unified cgroup hierarchy
without being able to write to it. This causes systemd to
freeze during boot.
This patch checks whether the unified cgroup hierarchy
is writable. If it is not it will not mount it.

This solution is based on a patch by Evgeny Vereshchagin.

Closes #6408.
Closes https://github.com/lxc/lxc/issues/1678 .

Merge pull request #7416 from keszybz/readd-lost-test

Readd lost test

meson: re-attach rule-syntax-check.py test

 39/248 rule-syntax-check                       OK     0.07 s

--- command ---
/home/zbyszek/src/systemd-work/test/rule-syntax-check.py \
    /home/zbyszek/src/systemd-work/build/../rules/60-block.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-cdrom_id.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-drm.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-evdev.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-input-id.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-persistent-alsa.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-persistent-input.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-persistent-storage.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-persistent-storage-tape.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-persistent-v4l.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-sensor.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-serial.rules \
    /home/zbyszek/src/systemd-work/build/../rules/70-joystick.rules \
    /home/zbyszek/src/systemd-work/build/../rules/70-mouse.rules \
    /home/zbyszek/src/systemd-work/build/../rules/70-touchpad.rules \
    /home/zbyszek/src/systemd-work/build/../rules/75-net-description.rules \
    /home/zbyszek/src/systemd-work/build/../rules/75-probe_mtd.rules \
    /home/zbyszek/src/systemd-work/build/../rules/78-sound-card.rules \
    /home/zbyszek/src/systemd-work/build/../rules/80-drivers.rules \
    /home/zbyszek/src/systemd-work/build/../rules/80-net-setup-link.rules \
    /home/zbyszek/src/systemd-work/build/rules/50-udev-default.rules \
    /home/zbyszek/src/systemd-work/build/rules/64-btrfs.rules \
    /home/zbyszek/src/systemd-work/build/rules/99-systemd.rules
--- stdout ---
...
-------

It got dropped by mistake in 72cdb3e783174dcf9223a49f03e3b0e2ca95ddb8.

rule-test-syntax: modernize syntax and add debug message

Merge pull request #7406 from poettering/timestamp-rework

timestamping rework

networkd: introduce vxcan netdev. (#7150)

Similar to the virtual ethernet driver veth, vxcan implements a
local CAN traffic tunnel between two virtual CAN network devices.
When creating a vxcan, two vxcan devices are created as pair
When one end receives the packet it appears on its pair and vice
versa. The vxcan can be used for cross namespace communication.

Merge pull request #7395 from poettering/nametohandleat-loop

name_to_handle_at() EOVERFLOW handling

networkd:DHCP-client ignore default route if classless static route is set (#6885)

According to RFC 3442:

If the DHCP server returns both a Classless Static Routes option and
a Router option, the DHCP client MUST ignore the Router option.

fixes #5695.

Merge pull request #7381 from poettering/cgroup-unified-delegate-rework

Fix delegation in the unified hierarchy + more cgroup work

Merge pull request #7389 from shawnl/warning

tree-wide: adjust fall through comments so that gcc is happy

README: add requirements for IPAddress{Allow,Deny} (#7414)

Document kernel options needed for IPAddress{Allow,Deny}.

test: fix UDEV-WANTS testcase for non-bash shells (#7407)

testsuite.sh uses "set -o pipefile", which is a bashism, hence use bash
to invoke the script.

Docs: Fix spelling and capitalization (#7408)

meson: "upgrade" -Wimplicit-fallthrough to 5

5 means that only the explicit attribute introduced in previous commit
is accepted. We don't want the comments anymore.

core/exec: Restore SmackProcessLabel setting (#7378)

Smack LSM needs the capability CAP_MAC_ADMIN to allow
setting of the current Smack exec label. Consequently,
dropping capabilities must be done after changing the
current exec label.

This is only related to Smack LSM. But for clarity and
regularity, all setting of security context moved before
dropping capabilities.

See Issue 7108

Merge pull request #7335 from poettering/dissect-meta-info

beef up image dissection, to gather image metadata

Merge pull request #7363 from poettering/success-action

Generalize FailureAction=, and add SuccessAction=

networkd: cleanup do not call link_enter_set_routes after label is set. (#6935)

Remove link_enter_set_routes after label is set.

test: fix UDEV-WANTS testcase for non-bash shells

testsuite.sh uses "set -o pipefile", which is a bashism, hence use bash
to invoke the script.

man: clarify that the controllers listed on Delegate= might not be the only ones

test: add a test case that validates cgroup delegation

This test runs on the unified hierarchy, and ensures that cgroup
delegation works properly, i.e. writ access is granted and the requested
controllers are enabled.

cgroup: fix delegation on the unified hierarchy

Make sure to add the delegation mask to the mask of controllers we have
to enable on our own unit. Do not claim it was a members mask, as such
a logic would mean we'd collide with cgroupv2's "no processes on inner
nodes policy".

This change does the right thing: it means any controller enabled
through Controllers= will be made available to subcrgoups of our unit,
but the unit itself has to still enable it through
cgroup.subtree_control (which it can since that file is delegated too)
to be inherited further down.

Or to say this differently: we only should manipulate
cgroup.subtree_control ourselves for inner nodes (i.e. slices), and
for leaves we need to provide a way to enable controllers in the slices
above, but stay away from the cgroup's own cgroup.subtree_control —
which is what this patch ensures.

Fixes: #7355

cgroup: properly determine cgroups zombie processes belong to

When a process becomes a zombie its cgroup might be deleted. Let's add
some minimal code to detect cases like this, so that we can still
attribute this back to the original cgroup.

cgroup-util: optimization — open subtree_control file only once for all controllers

update TODO

core: unify common code for preparing for forking off unit processes

This introduces a new function unit_prepare_exec() that encapsulates a
number of calls we do in preparation for spawning off some processes in
all our unit types that do so.

This allows us to neatly unify a bit of code between unit types and
shorten our code.

cgroup-util: move Set* allocation into cg_kernel_controllers()

Previously, callers had to do this on their own. Let's make the call do
that instead, making the caller code a bit shorter.

nspawn: minor optimization

no need to prepare the target path if we quite the loop anyway one step
later.

nspawn-mount: rework get_controllers() a bit

Let's rename get_controllers() → get_process_controllers(), in order to
underline the difference to cg_kernel_controllers(). After all, one
returns the controllers available to the process, the other the
controllers enabled in the kernel at all).

Let's also update the code to use read_line() and set_put_strdup() to
shorten the code a bit, and make it more robust.

nspawn: rework mount_systemd_cgroup_writable() a bit

We shouldn't call alloca() as part of function calls, that's not really
defined in C. Hence, let's first do our stack allocations, and then
invoke functions.

Also, some coding style fixes, and minor shuffling around.

No functional changes.

cgroup: move cgroup controller names def.h → cgroup-util.h

These definitions are clearly cgroup specific, hence let's move them out
of def.h

networkd: support incoming/outgoing device for rule matching (#7223)

Closes #7210

test: fix UDEV-WANTS testcase for non-bash shells

testsuite.sh uses "set -o pipefile", which is a bashism, hence use bash
to invoke the script.

udev: port udev_has_devtmpfs() to use path_get_mnt_id()

This means there's a good chance the code also works on kernels that
lack name_to_handle_at().

mount-util: add new path_get_mnt_id() call that queries the mnt ID of a path

This is a simple wrapper around name_to_handle_at_loop() and
fd_fdinfo_mnt_id() to query the mnt ID of a path. It uses
name_to_handle_at() where it can, and falls back to to
fd_fdinfo_mnt_id() where that doesn't work.

This is a best-effort thing of course, since neither name_to_handle_at()
nor the fdinfo logic work on all kernels.

mount-util: add name_to_handle_at_loop() wrapper around name_to_handle_at()

As it turns out MAX_HANDLE_SZ is a lie, the handle buffer we pass into
name_to_handle_at() might need to be larger than MAX_HANDLE_SZ, and we
thus need to invoke name_to_handle_at() in a loop, growing the buffer as
needed.

This adds a new wrapper name_to_handle_at_loop() around
name_to_handle_at() that does the necessary looping, and ports over all
users.

Fixes: #7082

man: bootup(7) is one of our own man pages

core: make use of unit_active_or_pending() where we can

Let's make use of unit_active_or_pending() where we can. Note that this
change changes beaviour in one specific case: when shutdown.target is
active we'll now also return that the system is in "stopping" state, not
only when we try to get into it. That makes sense as shutdown.target is
ordered before the actually shutdown units such as
"systemd-poweroff.service", and if the state is queried between reaching
those we should also report "stopping".

manager: introduce MANAGER_IS_FINISHED() macro

Let's make our finished checks a bit more readable. Checking the
timestamp is not entirely obvious, hence let's abstract that a bit by
adding a macro that shows what we are doing here, not how we doing it.

This is particularly useful if we want to change the definition of
"finished" later on, in particular, when we try to fix #7023.

manager: add manager_get_dump_string()

It's like manager_dump(), but returns a string. This allows us to reduce
some duplicate code. Also, while we are at it, turn off stdio locking
while we write to the memory FILE *f.

core: add manager_dump() call, and make it output timestamp data

It's a wrapper around manager_dump_units() and manager_dump_jobs(), and
outputs some additional timestamp data.

Also, port two users of this over.

manager: rework the timestamps logic, so that they are an enum-index array

This makes things quite a bit more systematic I think, as we can
systematically operate on all timestamps, for example for the purpose of
serialization/deserialization.

This rework doesn't necessarily make things shorter in the individual
lines, but it does reduce the line count a bit.

(This is useful particularly when we want to add additional timestamps,
for example to solve #7023)

shared: silence gcc warning (#7402)

[346/1860] Compiling C object 'src/shared/systemd-shared-235@sha/firewall-util.c.o'.
../src/shared/firewall-util.c: In function ‘entry_fill_basics’:
../src/shared/firewall-util.c:81:79: warning: logical ‘and’ of equal expressions [-Wlogical-op]
[543/1860] Compiling C object 'src/shared/systemd-shared-235@sta/firewall-util.c.o'.
../src/shared/firewall-util.c: In function ‘entry_fill_basics’:
../src/shared/firewall-util.c:81:79: warning: logical ‘and’ of equal expressions [-Wlogical-op]

NEWS: fix minor error (#7399)

tree-wide: adjust fall through comments so that gcc is happy

Distcc removes comments, making the comment silencing
not work.

I know there was a decision against a macro in commit
ec251fe7d5bc24b5d38b0853bc5969f3a0ba06e2

hwdb: Add ACCEL_MOUNT_MATRIX for the Acer Aspire Switch 10 convertible
SW5-012 (#7394)

test: fall back to /boot if bootctl -p fails (#7397)

It doesn't really matter why.

networkd: configure link even if no routes have been received by dhcp (#6886)

Fixes #3752

 networkctl
IDX LINK             TYPE               OPERATIONAL SETUP
  1 lo               loopback           carrier     unmanaged
  2 eth0             ether              no-carrier  configuring
  5 host             ether              routable    configured <==========

5 links listed.

Merge pull request #6910 from ssahani/issue-6359

networkd: For IPv6 addresses do not treat IFA_F_DEPRECATED as not ready. (Fix #6359)

Merge pull request #6918 from ssahani/issue-5625

networkd: ndisc - do not stop ndisc client incase of conf error.

networkd: address - support for /31 IPv4 addresses (rfc3021) (#6938)

When configuring a network address with /31 using networkd, a /31 without a
broadcast specified should be present.

 A /31 which has neither a network nor a broadcast address. See
https://tools.ietf.org/html/rfc3021

Fixes #4038

networkd: Do not send requests to create netdevs if they exists. (#6973)

If the netdev already exists we should not send requests to
kernel to create them.

fixes #5448

networkd: Set RoutingPolicyRule in link_configure (#7235)

The RoutingPolicyRules are not added when we are calling from set_address
the link->message++ and link->message-- never reaches to zero in the callback function
resulting routes are never gets added.

Closes #7200

machinectl: show (some) of the new image metadata bits in "status-image" output

Let's hook it all up, and show the image metadata among the rest of the
output.

machined: port machined's bus APIs to use new image metadata API

Let's rework the D-Bus APIs GetImageOSRelease() to use the new internal
metadata API, to query what it needs to know. Augment it with
GetImageHostname(), GetImageMachineID(), GetImageMachineInfo(), that
expose the other new APIS.

machine-image: add a generic API to determine metadata of any image

This adds an internal API that permits querying metadata from any type
of image, including both subvol/dir images, and raw/block images. In the
latter case we use the new dissection API we just added.

dissect: update dissect tool to show image metadata

Pretty straight-forward: just use the new metadata dissection API to
figure out what an image contains.

dissect: add an API that can read various metadata bits out of a dissected image

We focus on four kinds of metadata:

1. /etc/hostname
2. /etc/machine-id
3. /etc/machine-info
4. /etc/os-release or /usr/lib/os-release

This makes dissected images nicely self-contained as we can figure out
what they are just by dissecting them.

strv: introduce strv_free_and_replace()

it's like free_and_replace() but uses strv_free()

signal-util: use a slightly less likely to conflict variable name instead of 't'

hostname-util: rework read_hostname_config() a bit

First of all, let's rename it to read_etc_hostname(), to make clearer
what kind of configuration it actually reads: the file format defined in
/etc/hostname and nothing else.

Secondly: let's port this to use read_line(), i.e. the new way to read
lines from a file in a safe, bounded way.

Thirdly: let's strip leading/trailing whitespace from what we are
reading. Given that we are already pretty lenient what we read (comments
and empty lines), let's be permissive regarding whitespace too.

Fourthly: let's actually validate the hostname when reading it. So far
we tried to make it valid, but that's not always possible (for example,
we can't make an empty hostname valid, ever).

update TODO

test: add testcase for FailureAction=/SuccessAction=

it also ensures that rebooting once gets us back up. Yay!

core: introduce SuccessAction= as unit file property

SuccessAction= is similar to FailureAction= but declares what to do on
success of a unit, rather than on failure. This is useful for running
commands in qemu/nspawn images, that shall power down on completion. We
frequently see "ExecStopPost=/usr/bin/systemctl poweroff" or so in unit
files like this. Offer a simple, more declarative alternative for this.

While we are at it, hook up failure action with unit_dump() and
transient units too.

core: generalize FailureAction= move it from service to unit

All kinds of units can fail, hence it makes sense to offer this as
generic concept for all unit types.

Merge pull request #7375 from poettering/readme-updates

some README updates

man: fix description of --force in halt(8) (#7392)

https://bugzilla.redhat.com/show_bug.cgi?id=1449751

Merge pull request #7154 from keszybz/bootspec

List bootspec entries in bootctl and use the default for kexec

Merge pull request #7387 from yuwata/fix-7370

core: load() should fail when the corresponding unit file does not exist

README,sysusers: complete and order list of default udev groups we need

Let's make sure the list of default udev groups we need are ordered in
README and in the sysusers.d snippet, and both are complete.

README: slightly update the section about split /usr

It's fine if /usr is actually on a separate fs. What matters is that it
is mounted early enough. Say so.

README: document that prefix *must* be /usr and nss-systemd is not an option

See: #7374

meson: add -Wimplicit-fallthrough=3 to compilation options (#7393)

At some point before gcc-7 was released, -Wimplicit-fallthrough=3 was included
in -Wextra. The documentation for gcc-7.2.1-2.fc27.x86_64 still says that, but
empirical testing shows that it's not. The documentation also misstates that
-Wimplicit-fallthrough is equivalent to -Wimplicit-fallthrough=3.

Let's add -Wimplicit-fallthrough=3 explicitly to get the warnings if we regress.

Prompted by #7389.

Merge pull request #7373 from poettering/analyze-calendar

add nifty little "systemd-analyze calendar" command

systemctl: elapsation → elapse

update TODO

analyze: add new "calendar" command

This little new command can parse, validate, normalize calendar events,
and calculate when they will elapse next. This should be useful for
anyone writing calendar events and who'd like to validate the expression
before running them as timer units.

man: Requires= stops this unit when dependencies get deactivated (#7391)

Fixes: #7372

util: add new helper in_utc_timezone()

As the name suggests it checks whether we are running in an UTC
timezone.

calendarspec: rework destructor to return its own type

Let's make it more alike most of our other destructors.

meson: bump required meson version to 0.41 (#7385)

We need data_dirs argument for i18n.merge_file, added in 0.40.1-11-g82492f5d76.

core/swap: load() should fail when neither of corresponding unit file nor /proc/swap entry does not exist

It is not necessary to label as loaded to a swap unit when neither of
corresponding unit file nor entry in /proc/swap does not exist.
This makes swap_load() to fail such a case.

Partially fixes #7370.

core/automount: load() should fail when the unit file does not exist

It is not necessary to label as loaded to automount unit when its unit
file does not exist. So, let's make automount_load() to fail when the
unit file does not exist.

Partially fixes #7370.

Merge pull request #7376 from keszybz/simplify-root-options

Simplify root configuration options

Merge pull request #7198 from poettering/stdin-stdout

Add StandardInput=data, StandardInput=file:... and more

Merge pull request #7379 from yuwata/follow-up-7309

networkd: small fixes

Merge pull request #7386 from keszybz/spdx

Add some missing license headers and add SPDX identifiers

Add license headers and SPDX identifiers to meson.build files

So far I avoided adding license headers to meson files, but they are pretty
big and important and should carry license headers like everything else.
I added my own copyright, even though other people modified those files too.
But this is mostly symbolic, so I hope that's OK.

Add SPDX license headers to shell completion scripts