core: generalize the cgroup empty check on GC

Let's move the cgroup empty check for all unit types into the generic
unit_check_gc() call, out of the per-unit-type _check_gc() type. This
not only allows us to share some code, but also hooks up mount and
socket units with this kind of check, for free, as it was missing there
previously.

cgroup: remove logic for maintaining /control subcgroup for the service unit type

Previously, in the service unit type we ran all control processes in a
special subcgroup /control of the unit's main cgroup. Remove that, and
run the control program in the main cgroup instead.

The concept conflicts with cgroupv2's logic of "no processes in inner
nodes": if a unit has a main daemon process running in the main cgroup,
and a reload control process would be started in the /control subcgroup,
then this would necessarily fail, as the main daemon process would
become an inner node process that way.

We could in theory continue to support this in cgroupv1, but in the
interest in keeping behaviour similar in both hierarchies, let's drop
this altogether.

Philosophically maybe it wasn't the greatest idea anyway to just go
berserk and SIGKILL all those processes — loud warning logging might
have sufficed, too.

unit: initialize bpf cgroup realization state properly

Before this patch, the bpf cgroup realization state was implicitly set
to "NO", meaning that the bpf configuration was realized but was turned
off. That means invalidation requests for the bpf stuff (which we issue
in blanket fashion when doing a daemon reload) would actually later
result in a us re-realizing the unit, under the assumption it was
already realized once, even though in reality it never was realized
before.

This had the effect that after each daemon-reload we'd end up realizing
*all* defined units, even the unloaded ones, populating cgroupfs with
lots of unneeded empty cgroups.

With this fix we properly set the realiazation state to "INVALIDATED",
i.e. indicating the bpf stuff was never set up for the unit, and hence
when we try to invalidate it later we won't do anything.

cgroup: when dispatching the cgroup realization queue, check again if we shall actually realize

We add units to the cgroup realization queue when propagating realizing
requests to sibling units, and when invalidating cgroup settings because
some cgroup setting changed. In the time between where we add the unit
to the queue until the cgroup is actually dispatched the unit's state
might have changed however, so that the unit doesn't actually need to be
realized anymore, for example because the unit went down. To handle
that, check the unit state again, if realization makes sense.

Redundant realization is usually not a problem, except when the unit is
not actually running, hence check exactly for that.

cgroup: drop unused parameter from function

cgroup-util: merge cg_set_tasks_access() and cg-set_group_access() into one

We never use these functions seperately, hence don't bother splitting
them into to.

Also, simplify things a bit, and maintain tables for the attribute files
to chown. Let's also update those tables a bit, and include thenew
"cgroup.threads" file in it, that needs to be delegated too, according
to the documentation.

mkosi: let's switch to the unified mode for mkosi

This is a toolconfiguration for developers, and hence most likely should
be the first thing to be switched over. Do so.

Added Chuwi HiBook support (#7465)

Merge pull request #7449 from yuwata/clang-warnings

Several cleanups

firstboot: do not write vconsole.conf when arg_keymap is empty

machine: remove unused variables

journald: add _printf_ attribute to server_driver_message()

tests: make "test-execute" work in "sudo ninja -C build test" (#7463)

In this mode USER/LOGNAME still point to the original caller, and our
tests get confused by that.

Follow-up for: #7450

tmpfiles: check if not too many symbolic links. (#7423)

Some filesystems do not set d_type value when
readdir is called, so entry type is unknown.
Therefore check if accessing entry does not
return ELOOP error.

core: remove empty cgroups (#7457)

When we skip an unwritable cgroup also remove the empty mountpoint.

networkd: auto promote links if "promote_secondaries" is unset (#7167)

The DHCP code in systemd-networkd relies on the
`net.ipv4.conf.{default,all,<if>}.promote_secondaries` sysctl to be set
(the kernels default is that it is unset). If this sysctl is not set
DHCP will work most of the time, however when the IP address changes
between leases then the system will loose its IP.

Because some distributions decided to not ship these defaults (Debian
is an example and via downstream Ubuntu) networkd by default will now
enable this sysctl opton automatically.

nspawn: hash the machine name, when looking for a suitable UID base (#7437)

When "-U" is used we look for a UID range we can use for our container.
We start with the UID the tree is already assigned to, and if that
didn't work we'd pick random ranges so far. With this change we'll first
try to hash a suitable range from the container name, and use that if it
works, in order to make UID assignments more likely to be stable.

This follows a similar logic PID 1 follows when using DynamicUser=1.

Merge pull request #7442 from poettering/scope-fixes

some fixes to the scope unit type

systemctl: ignore shutdown's "-t" argument (#7459)

We should not only ignore "-t" itself, but also whatever is passed to
it.

This pretty much reverts the core of
a4420f7b8ed73b05ef6f31622101e7804daef69f, and adds back in the status
quo ante. What a difference a ':' can make.

This also adds a quick comment for this, so that we don't make this
mistake again.

Fixes: #7413

Merge pull request #7446 from poettering/efi-firmware-boot-fixes

logind efi boot-into-firmware fixes

Merge pull request #7458 from keszybz/two-build-fixes

Two build fixes

firstboot: remove some unnecessary code (#7456)

Inspired by #7449.

test: skip DELEGATE test if the kernel can't do cgroupv2 (#7445)

Fixes: #7440

test: handle gracefully if decompressor tools are not installed (#7455)

Fixes: #7441

meson: restore building of man pages on demand even if -Dman=false

I want to configure -Dman=false for speed, but be able to build a specific
man page sometimes to check my edits. Commit 5b316b9ea6c broke this by mistake.
Let's adjust the condition to better match the logic of disabling tests only
if xsltproc is really not found.

Fix build without libkmod

All other places where libkmod.h is included are guarded. Build would
fail with:

In file included from ../src/core/kmod-setup.c:35:0:
../src/basic/module-util.h:23:10: fatal error: libkmod.h: No such file or directory
 #include <libkmod.h>
          ^~~~~~~~~~~
compilation terminated.

Merge pull request #7415 from keszybz/udev-alloca

udev: modernize style in path_id

Merge pull request #7453 from neosilky/coccinelle-fixes

Applied fixes from Coccinelle

Merge pull request #7454 from neosilky/cocci-fixes

Apply more fixes from Coccinelle

efivars: if OsIndicationsSupported does not exist, assume that reboot-to-firmware is not available

It's not advertised and hence not available.

Fixes: #7424

efivars: minor coding style improvements

logind: don't propagate firmware misbehaviours to bus clients

If for some reason we can't query the firmware state, don't propagate
that to clients, but instead log about it, and claim that
reboot-to-firmware is not available (which is the right answer, since it
is not working).

Let's log about this though, as this is certainly relevant to know, even
though not for the client.

Remove NULL as last parameter to strjoin

Replace use of snprintf with xsprintf

Replace free and reassignment with free_and_replace

Replace free and return NULL with return mfree

Replace free and nullify by mfree

Replace empty ternary with helper method

test-execute: test more % specifiers (#7450)

__attribute__((fallthrough)) only when -Wimplicit-fallthrough (#7448)

That is version 7 or greater
https://developers.redhat.com/blog/2017/03/10/wimplicit-fallthrough-in-gcc-7/

Fix regression of https://github.com/systemd/systemd/pull/7389
82a27ba8217d09e4fef4c9550f8b733d174c5705
on older gccs

bumping to re-run CI
upstream             FAIL timed out
boot-smoke           FAIL non-zero exit status 1

journalctl: add --output-fields= to --help text (#7443)

Follow-up for #7181

core: track scope controllers on the bus

This watches controllers on the bus, and unsets them automatically when
they disappear.

Note that this is primarily a cosmetical fix. Since unique bus names are not
recycled, there's strictly no need to forget about them, but it's a lot
nicer to do so.

core: refuse accepting a scope controller unless we are called on the API bus

Let's make sure clients get early errors if they try something weird.

nspawn: make use of the RequestStop logic of scope units

Since time began, scope units had a concept of "Controllers", a bus peer
that would be notified when somebody requested a unit to stop. None of
our code used that facility so far, let's change that.

This way, nspawn can print a nice message when somebody invokes
"systemctl stop" on the container's scope unit, and then react with the
right action to shut it down.

core: serialize the "controller" field in scope units

We forgot to serialize it previously, hence daemon reload flushed it
out, since we also didn't write it to any unit file...

man: reorder/add sections to systemd.exec(5) (#7412)

The long long list of settings is getting too confusing, let's add some
sections and reorder things in them.

This makes no changes regarding contents, it only reorders things,
sometimes reindents them, and adds sections that made sense to me to
some degree.

Within each sections the settings are ordered by relevance (at least
according to how relevant I personally find them), and not
alphabetically.

Merge pull request #7436 from poettering/mount-util-fixup

mount-util.c fixes regarding name_to_handle_at()

networkd: fix commit 5f04a209eae0a2a04eb60fd7235b3fcdf3cc81ba (#7432)

If classless route not provided configure default routes.
Something went wrong in the rebase.

smack: allow comments on smack rules (#7438)

hwdb: Add accel mount settings for Axxo TW-1011 2-in-1 (#7439)

Add accel mount settings for the SMO8500 accelerometer found in
Axxo TW-1011 2-in-1 devices to 60-sensor.hwdb.

meson: do not install RPM macros if rpmmacrosdir is set to no (#7430)

Fixes #7427.

tests: install `test` as part of BASICTOOLS (#7434)

This makes TEST-19-DELEGATE, which is currently failing, work.

Closes https://github.com/systemd/systemd/issues/7425.

test: fix test-mount-util when handling duplicate mounts on the same location

The test was written so far under the assumption that if two mounts are
placed onto the same location the "upper" mount is listed later in
/proc/self/mountinfo. This appears not to be guaranteed however, as
running the tests in a normal nspawn shows.

This patch fixes that: it reverses the hashmap of mounts we build:
instead of keying by path, we key by mnt_id, and if we notice that
path_get_mnt_id() doesn't match what a line in /proc/self/mountinfo
says, we use the returned ID to check if maybe another line agrees.

Fixes: #7431

mount-util: fix bad indenting

mount-util: EOVERFLOW might have other causes than buffer size issues

When we get EOVERFLOW this might be caused by untriggered nfs4 mounts
(see discussion at
https://github.com/systemd/systemd/pull/7395#issuecomment-346164481 and
further down).

Handle this nicely by falling back to fdinfo-based mntid determination.

Fixes: #7082

mount-util: fix error propagation in fd_fdinfo_mnt_id()

mount-util: drop exponential buffer growing in name_to_handle_at_loop()

So, it appears name_to_handle_at() always returns the right buffer size
on EOVERFLOW, when it's returned due to a too small buffer. Let's rely
on that exclusively for sizing the buffer, and let's drop the
exponential buffer growing.

The new logic is now: if we see EOVERFLOW and the returned size has
increased, resize our buffer and try again. But if it didn't increase,
then propagate the EOVERFLOW as it likely has other causes.

core/manager: check the existance of the special units (#7433)

In the user mode, not all special units exist.
So, we need to check whether the units exist or not before operate
something to the units.
Such the check was mistakenly dropped by e68537f0ba1a4433ecdf58e609b1701ed7091abc.

Fixes #7426.

Fixed Type nmnds-ipv4 -> nmdns-ipv4 (#7435)

cgroup: downgrade the log level of "invocation id" messages to debug (#7422)

Now that d3070fbdf6077d7d has been merged, these errors are not as
critical as they used to be.

Merge pull request #7420 from brauner/2017-11-22/systemd_in_container_unified_cgroup_hierarchy

cgroup: skip unwritable cgroups

cgroup: test whether pure unified hierarchy is writable

If it is not writable we should not mount it.

cgroup: check whether unified hierarchy is writable

When systemd is running inside a container employing user
namespaces it currently mounts the unified cgroup hierarchy
without being able to write to it. This causes systemd to
freeze during boot.
This patch checks whether the unified cgroup hierarchy
is writable. If it is not it will not mount it.

This solution is based on a patch by Evgeny Vereshchagin.

Closes #6408.
Closes https://github.com/lxc/lxc/issues/1678 .

Merge pull request #7416 from keszybz/readd-lost-test

Readd lost test

meson: re-attach rule-syntax-check.py test

 39/248 rule-syntax-check                       OK     0.07 s

--- command ---
/home/zbyszek/src/systemd-work/test/rule-syntax-check.py \
    /home/zbyszek/src/systemd-work/build/../rules/60-block.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-cdrom_id.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-drm.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-evdev.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-input-id.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-persistent-alsa.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-persistent-input.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-persistent-storage.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-persistent-storage-tape.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-persistent-v4l.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-sensor.rules \
    /home/zbyszek/src/systemd-work/build/../rules/60-serial.rules \
    /home/zbyszek/src/systemd-work/build/../rules/70-joystick.rules \
    /home/zbyszek/src/systemd-work/build/../rules/70-mouse.rules \
    /home/zbyszek/src/systemd-work/build/../rules/70-touchpad.rules \
    /home/zbyszek/src/systemd-work/build/../rules/75-net-description.rules \
    /home/zbyszek/src/systemd-work/build/../rules/75-probe_mtd.rules \
    /home/zbyszek/src/systemd-work/build/../rules/78-sound-card.rules \
    /home/zbyszek/src/systemd-work/build/../rules/80-drivers.rules \
    /home/zbyszek/src/systemd-work/build/../rules/80-net-setup-link.rules \
    /home/zbyszek/src/systemd-work/build/rules/50-udev-default.rules \
    /home/zbyszek/src/systemd-work/build/rules/64-btrfs.rules \
    /home/zbyszek/src/systemd-work/build/rules/99-systemd.rules
--- stdout ---
...
-------

It got dropped by mistake in 72cdb3e783174dcf9223a49f03e3b0e2ca95ddb8.

rule-test-syntax: modernize syntax and add debug message

Merge pull request #7406 from poettering/timestamp-rework

timestamping rework

udev: "handle" oom in path_id

path_prepend returned a status code, but it wasn't looked at anywhere.
Adding checks for the return value in all the bazillion places where it
is called is not very attractive, so let's just make the whole program
abort cleanly if the (very unlikely) oom is encountered.

udev: modernize style in path_id

No functional change.

networkd: introduce vxcan netdev. (#7150)

Similar to the virtual ethernet driver veth, vxcan implements a
local CAN traffic tunnel between two virtual CAN network devices.
When creating a vxcan, two vxcan devices are created as pair
When one end receives the packet it appears on its pair and vice
versa. The vxcan can be used for cross namespace communication.

Merge pull request #7395 from poettering/nametohandleat-loop

name_to_handle_at() EOVERFLOW handling

networkd:DHCP-client ignore default route if classless static route is set (#6885)

According to RFC 3442:

If the DHCP server returns both a Classless Static Routes option and
a Router option, the DHCP client MUST ignore the Router option.

fixes #5695.

Merge pull request #7381 from poettering/cgroup-unified-delegate-rework

Fix delegation in the unified hierarchy + more cgroup work

Merge pull request #7389 from shawnl/warning

tree-wide: adjust fall through comments so that gcc is happy

README: add requirements for IPAddress{Allow,Deny} (#7414)

Document kernel options needed for IPAddress{Allow,Deny}.

test: fix UDEV-WANTS testcase for non-bash shells (#7407)

testsuite.sh uses "set -o pipefile", which is a bashism, hence use bash
to invoke the script.

Docs: Fix spelling and capitalization (#7408)

meson: "upgrade" -Wimplicit-fallthrough to 5

5 means that only the explicit attribute introduced in previous commit
is accepted. We don't want the comments anymore.

core/exec: Restore SmackProcessLabel setting (#7378)

Smack LSM needs the capability CAP_MAC_ADMIN to allow
setting of the current Smack exec label. Consequently,
dropping capabilities must be done after changing the
current exec label.

This is only related to Smack LSM. But for clarity and
regularity, all setting of security context moved before
dropping capabilities.

See Issue 7108

Merge pull request #7335 from poettering/dissect-meta-info

beef up image dissection, to gather image metadata

Merge pull request #7363 from poettering/success-action

Generalize FailureAction=, and add SuccessAction=

networkd: cleanup do not call link_enter_set_routes after label is set. (#6935)

Remove link_enter_set_routes after label is set.

test: fix UDEV-WANTS testcase for non-bash shells

testsuite.sh uses "set -o pipefile", which is a bashism, hence use bash
to invoke the script.

man: clarify that the controllers listed on Delegate= might not be the only ones

test: add a test case that validates cgroup delegation

This test runs on the unified hierarchy, and ensures that cgroup
delegation works properly, i.e. writ access is granted and the requested
controllers are enabled.

cgroup: fix delegation on the unified hierarchy

Make sure to add the delegation mask to the mask of controllers we have
to enable on our own unit. Do not claim it was a members mask, as such
a logic would mean we'd collide with cgroupv2's "no processes on inner
nodes policy".

This change does the right thing: it means any controller enabled
through Controllers= will be made available to subcrgoups of our unit,
but the unit itself has to still enable it through
cgroup.subtree_control (which it can since that file is delegated too)
to be inherited further down.

Or to say this differently: we only should manipulate
cgroup.subtree_control ourselves for inner nodes (i.e. slices), and
for leaves we need to provide a way to enable controllers in the slices
above, but stay away from the cgroup's own cgroup.subtree_control —
which is what this patch ensures.

Fixes: #7355

cgroup: properly determine cgroups zombie processes belong to

When a process becomes a zombie its cgroup might be deleted. Let's add
some minimal code to detect cases like this, so that we can still
attribute this back to the original cgroup.

cgroup-util: optimization — open subtree_control file only once for all controllers

update TODO

core: unify common code for preparing for forking off unit processes

This introduces a new function unit_prepare_exec() that encapsulates a
number of calls we do in preparation for spawning off some processes in
all our unit types that do so.

This allows us to neatly unify a bit of code between unit types and
shorten our code.

cgroup-util: move Set* allocation into cg_kernel_controllers()

Previously, callers had to do this on their own. Let's make the call do
that instead, making the caller code a bit shorter.

nspawn: minor optimization

no need to prepare the target path if we quite the loop anyway one step
later.

nspawn-mount: rework get_controllers() a bit

Let's rename get_controllers() → get_process_controllers(), in order to
underline the difference to cg_kernel_controllers(). After all, one
returns the controllers available to the process, the other the
controllers enabled in the kernel at all).

Let's also update the code to use read_line() and set_put_strdup() to
shorten the code a bit, and make it more robust.

nspawn: rework mount_systemd_cgroup_writable() a bit

We shouldn't call alloca() as part of function calls, that's not really
defined in C. Hence, let's first do our stack allocations, and then
invoke functions.

Also, some coding style fixes, and minor shuffling around.

No functional changes.

cgroup: move cgroup controller names def.h → cgroup-util.h

These definitions are clearly cgroup specific, hence let's move them out
of def.h

networkd: support incoming/outgoing device for rule matching (#7223)

Closes #7210

test: fix UDEV-WANTS testcase for non-bash shells

testsuite.sh uses "set -o pipefile", which is a bashism, hence use bash
to invoke the script.

udev: port udev_has_devtmpfs() to use path_get_mnt_id()

This means there's a good chance the code also works on kernels that
lack name_to_handle_at().

mount-util: add new path_get_mnt_id() call that queries the mnt ID of a path

This is a simple wrapper around name_to_handle_at_loop() and
fd_fdinfo_mnt_id() to query the mnt ID of a path. It uses
name_to_handle_at() where it can, and falls back to to
fd_fdinfo_mnt_id() where that doesn't work.

This is a best-effort thing of course, since neither name_to_handle_at()
nor the fdinfo logic work on all kernels.

mount-util: add name_to_handle_at_loop() wrapper around name_to_handle_at()

As it turns out MAX_HANDLE_SZ is a lie, the handle buffer we pass into
name_to_handle_at() might need to be larger than MAX_HANDLE_SZ, and we
thus need to invoke name_to_handle_at() in a loop, growing the buffer as
needed.

This adds a new wrapper name_to_handle_at_loop() around
name_to_handle_at() that does the necessary looping, and ports over all
users.

Fixes: #7082