core/manager: just return an error if we fail halfway

We would continue, but still return an error at the end. This isn't useful
because we'd still error-out in main().

Also, add a missing error message when we fail to mkdir.

core: fix message about detected memory hierarchy

Just the error check and message were wrong, otherwise the logic was OK.

test-cgroup-util: add basic test for cg_all_unified/cg_hybrid_unified/cg_unified_controller

util-lib: add debug messages when checking cgroup layout

This has become very complex, let's make it a bit easier to diagnose.

Use plural DelegateControllers= consistently

Update TODO

Remove TODO entry (#7326)

This was documented in b0e8cec2dd (#7317).

man: document > /dev/stderr pitfalls (#7317)

Fixes: #7254
See: #2473

core/dbus-unit: add property_get_requires_mounts_for() to send correct message (#7322)

PR #7186 changes requires_mounts_for from strv to Hashmap.
So, it is necessary to implement a function for getting the property RequiresMountsFor=.
This introduces property_get_requires_mounts_for() which reads the Hashmap
and sends messages to bus.

Fixes #7321.

Fix error message when binding files (#7196)

If you use machinectl to bind a file into a container, it responds with a confusing error message about a temporary directory not being a directory.

I just swapped it to error with the source that was passed, rather than the tmpdir.

It would also be nice to be able to bind files, but that's a separate issue (#7195).

Before the change:

root@epona /var/lib/sandbox $ cat bar/foo
Hello world!
root@epona /var/lib/sandbox $ machinectl bind testing /var/lib/sandbox/bar/foo /foo
Failed to bind mount: Failed to overmount /tmp/propagate.W5TNsj/mount: Not a directory

After the change:

root@epona /var/lib/sandbox $ machinectl bind testing /var/lib/sandbox/bar/foo /foo
Failed to bind mount: Failed to overmount /var/lib/sandbox/bar/foo: Not a directory

systemctl: print a friendly message when systemctl is invoked, but PID 1 is not systemd (#7318)

We only show this message when we can't talk to systemd, so that client
side install can work.

Fixes: https://bugzilla.freedesktop.org/show_bug.cgi?id=69962

core: only warn about BPF/cgroup missing once per runtime (#7319)

Let's reduce the amount of noise a bit, there's little point in
complaining loudly about every single unit like this, let's complain
only about the first one, and then downgrade the log level to LOG_DEBUG
for the other cases.

Fixes: #7188

basic: remove redundant check (#7320)

The check is redundant as the whole block is only evaluated if
__IGNORE_pkey_mprotect is not defined. Change to #else.

man: rework systemd-vconsole-setup man page a bit (#7312)

It's not systemd that invokes the service internally as needed, it's
systemd-localed. Correct that.

Also, stop using the word "helper". To me a "helper" constitutes
something internal, not official API. I doubt systemd-vconsole-setup
really matches that description though, hence let's better avoid the
term.

Also, clean up some other wording, and be less imbiguous, by suggesting
a single command to apply vconsole.conf instead of two.

Follow-up for 597c25d2a7c61453acd723340350e8748a5106dd

Merge pull request #7284 from poettering/cgroup-delegate-mask

add a concept of delegating cgroups per unit while enabling specific controllers

install: drop redundant printing of unit name (#7296)

We already print it as part of log_syntax() internal logic, don't print
it again, and in particular, don't print it at the end of log line, such
a strange place.

Follow-up for: 142468d89508c63262dd59335ea6d4fe82267564

man: remove productname which resulting trademark symbol (#7193)

bpf-firewall: properly handle kernels where BPF cgroup is disabled but TRIE maps are enabled (#7298)

So far, we assumed that kernels where TRIE was on also supported
BPF/cgroup stuff. That's not a correct assumption to make, hence check
for both features separately.

Fixes: #7054

Merge pull request #7310 from keszybz/missing-pkey_mprotect

basic/missing: add numbers for pkey_mprotect

man: document the new Delegate= syntax

core: rework the Delegate= unit file setting to take a list of controller names

Previously it was not possible to select which controllers to enable for
a unit where Delegate=yes was set, as all controllers were enabled. With
this change, this is made configurable, and thus delegation units can
pick specifically what they want to manage themselves, and what they
don't care about.

core: downgrade a log message from error to warning

Messages that do not indicate a failing operation, but where we continue
operation should be at LOG_WARN, not at LOG_ERR.

string-util: add delete_trailing_chars() and skip_leading_chars() helpers

And let's port over a couple of users to the new APIs.

conf-parser: reindent some strangely indented function headers

conf-parser: turn three bool function params into a flags fields

This makes things more readable and fixes some issues with incorrect
flag propagation between the various flavours of config_parse().

conf-parser: simplify things a bit by using strextend()

fileio: make use of DEFINE_TRIVIAL_CLEANUP_FUNC where it makes sense

cgroup: make use of unit_get_subtree_mask() where appropriate

subtree_mask is own_mask | members_mask, let's make use of that to
shorten a few things

cgroup: improve cg_mask_to_string a bit, and add tests for it

cgroup-util: add brief comments clarifying which controllers are v2-only and which v1-only

update TODO

namespace: set up OS hierarchy only after mounting the new root, not before

Otherwise it's a pointless excercise, as we'll set up an empty directory
tree that's never going to be used.

Hence, let's move this around a bit, so that we do the basesystem
initialization exactly when RootImage= or RootDirectory= are used, but
not otherwise.

Fix creating independent VTI tunnel (#7303)

shared/seccomp: skip pkey_mprotect protections if the syscall is unknown

When compiling with an old kernel on architectures for which the
number is not defined in missing.h, a warning is generated in missing.h.
Let's just skip the protection in this case, to allow build to proceed.

basic/missing: add numbers for pkey_mprotect

Follow-up for b835eeb4ec1dd122b6feff2b70881265c529fcdd.

shared/seccomp: disallow pkey_mprotect the same as mprotect for W^X mappings (#7295)

MemoryDenyWriteExecution policy could be be bypassed by using pkey_mprotect
instead of mprotect to create an executable writable mapping.

The impact is mitigated by the fact that the man page says "Note that this
feature is fully available on x86-64, and partially on x86", so hopefully
people do not rely on it as a sole security measure.

Found by Karin Hossen and Thomas Imbert from Sogeti ESEC R&D.

https://bugs.launchpad.net/bugs/1725348

seccomp: include ARM set_tls in @default (#7297)

Fixes: #7135

networkd: improve interface rename log message a bit (#7299)

Let's clarify that it's not networkd that renames interfaces, but
something else (for example, udev's link builtin based on .link files)

This doesn't change any logic, it just rewords the message a bit, to
clarify that we only log this for informational purposes, not because we
execute the rename operation ourselves.

Fixes: #7143

Merge pull request #7301 from poettering/loginctl-ellipsize

Fix loginctl seat sysfs tree ellipsation logic.

Simple reproducer:
loginctl --full seat-status seat0|cat
→ after this PR, all lines are shown in full. Before, lines were ellipsized to terminal width.

Merge pull request #7186 from poettering/track-deps

rework unit dependency data structure to track why deps get created

test-execute: change path to python3 (#7306)

Change python3 path from /bin/python3 to /usr/bin/python3 to make
the test work on Ubuntu Xenial.

Follow-up for #7178.

core/mount: fstype may be NULL

update TODO

core: sd-bus can handle NULL strings nicely, let's use it

No need to set an empty string here, sd-bus serializes NULL as empty
string anway.

Merge pull request #7178 from yuwata/rfe-7169-v2

core: add support to specify errno in SystemCallFilter=

test-execute: update test for SystemCallErrorNumber=

core: allow to specify errno number in SystemCallErrorNumber=

test: add tests for syscall:errno style in SystemCallFilter=

core: add support to specify errno in SystemCallFilter=

This makes each system call in SystemCallFilter= blacklist optionally
takes errno name or number after a colon. The errno takes precedence
over the one given by SystemCallErrorNumber=.

C.f. #7173.
Closes #7169.

test: add test for parse_errno() and parse_syscall_and_errno()

parse-util: add parse_errno() and parse_syscall_and_errno()

basic/errno-list: remove errno_max() and define ERRNO_MAX as 4095

In Linux kernel code, MAX_ERRNO is defined as 4095.
Here, we use that value for ERRNO_MAX.

loginctl: rework sysfs tree dump, to honour --full and friends

Let's hook up the sysfs tree output with the output flags logic,
already used when dumping log lines or process trees. This way we get
very similar output handling for line breaking/ellipsation in all three
outputs of structured data.

Fixes: #7095

string-util: when ellipsizing to a length if (size_t) -1, become a NOP

Let's say that (size_t) -1 (i.e. SIZE_T_MAX) is equivalent to
"unbounded" ellipsation, i.e. ellipsation as NOP. In which case the
relevant functions become little more than strdup()/strndup().

This is useful to simplify caller code in case we want to turn off
ellipsation in certain code paths with minimal caller-side handling for
this.

merge two lines in our get_output_flags() functions

loginctl, machinectl, systemctl all have very similar implementations of
a get_output_flags() functions. Simplify it by merging two lines that
set the same flag.

tree-wide: use  _cleanup_(sd_bus_flush_close_unrefp) at various appropriate places

Let's shorten the code a bit.

pager: cache not only number of columns but also of lines before we open pager

Not that we need it, but let's do this as matter of completeness.

loginctl: invoke sigbus_install()

We show journal data, hence we should install the SIGBUS handler.

Similar for machinectl, where the same applies.

core: make "tmpfs" dependencies on swapfs a "default" dep, not an "implicit"

There should be a way to turn this logic of, and DefaultDependencies=
appears to be the right option for that, hence let's downgrade this
dependency type from "implicit" to "default, and thus honour
DefaultDependencies=.

This also drops mount_get_fstype() as we only have a single user needing
this now.

A follow-up for #7076.

core: when a unit template is specified in SYSTEMD_WANTS=, instantiate it with sysfs path

This should make cases like the user's setup in #7109 a lot easier to
handle, as in that case we'll do the right escaping automatically.

test: add test case for adding/removing dependencies via udev rules

core: remove SYSTEMD_WANTS udev property configured dependencies at the right moment

Previously dependencies configured with SYSTEMD_WANTS would be collected
on a device unit as long as it was loaded. let's fix that, and remove
dependencies again when SYTEMD_WANTS changes.

device: Let's simplify device_add_udev_wants() a bit

Let's drop use of one variable and make the rest more explicit.

core: add internal API to remove dependencies again, based on dependency mask

let's make use of the dependency mask, and add internal API to remove
dependencies ago, based on bits in the dependency mask.

man: extend documentation on the unit name escaping logic

device: rework device_is_bound_by_mounts() a bit

Let's log when we can't parse the udev property, and always use the most
precise, correct types.

core: track why unit dependencies came to be

This replaces the dependencies Set* objects by Hashmap* objects, where
the key is the depending Unit, and the value is a bitmask encoding why
the specific dependency was created.

The bitmask contains a number of different, defined bits, that indicate
why dependencies exist, for example whether they are created due to
explicitly configured deps in files, by udev rules or implicitly.

Note that memory usage is not increased by this change, even though we
store more information, as we manage to encode the bit mask inside the
value pointer each Hashmap entry contains.

Why this all? When we know how a dependency came to be, we can update
dependencies correctly when a configuration source changes but others
are left unaltered. Specifically:

1. We can fix UDEV_WANTS dependency generation: so far we kept adding
   dependencies configured that way, but if a device lost such a
   dependency we couldn't them again as there was no scheme for removing
   of dependencies in place.

2. We can implement "pin-pointed" reload of unit files. If we know what
   dependencies were created as result of configuration in a unit file,
   then we know what to flush out when we want to reload it.

3. It's useful for debugging: "systemd-analyze dump" now shows
   this information, helping substantially with understanding how
   systemd's dependency tree came to be the way it came to be.

gpt-auto-generator: make sure "r" is always set

mkosi: fix build script to use right sysvinit path

On Fedora /etc/init.d is a symlink to /etc/rc.d/init.d. Our build
scripts default to /etc/init.d since that is the LSB default. Let's make
sure the build script thus follows the symlink correctly and configures
to path explicitly, since otherwise our build artifacts in $DESTDIR are
incompatible with the setup we actually need for Fedora.

mkosi: configure mkosi.cache/ and mkosi.builddir/ explicitly

This way these dirs will be created automatically if they are missing,
thus always guaranteeing optimal speedy behaviour.

(Well at least, after https://github.com/systemd/mkosi/pull/181 is
merged)

core: include a bad /var/run symlink in the "tainted" string

virt: trivial whitespace fixes

device : reload when udev generates a "changed" event (#6850)

Merge pull request #7089 from oniko/luks2-support

LUKS2 support for systemd-cryptsetup and dissect-image

networkd: set dhcp_use_routes to true when dhcp_anonymize is true (#7209)

It does not send duplicated options in the PRL.
Fix #7048.

core: add missing error_message cases (#6911)

We neglected to set error_message for errors which occur _after_ the
`finish` label.  These fatal errors only happen in paths where `finish`
was reached successfully, i.e. error_message has not already been set
(and this analysis is simple enough that this need not cause too much
headaches.  Also our new assignments to error_message come immediately
after execve() calls, which would have lost the error_message if it had
been set).

Also print a status message when we fail to exec init, otherwise the only
sign the user will see is `# ` :).

This addresses the lack of error messages pointed out in issue #6827.

Merge pull request #7096 from keszybz/logind-session-killing

Logind session killing fix

basic/hashmap: add cleanup of memory pools (#7164)

It was dropped in 89439d4fc0d29f04ac68432fd06ab84bc4e36e20. As a result, every
process that uses a hashmap allocates and then leaks the hashmap mempools.
The mempools are only allocated in the main thread, but we don't know where
the memory is used.

So let's check if we are the last thread and free the mempools then. This is
fairly heavy, because /proc/self/status has to be opened and parsed, but we do
it only when compiled for valgrind, i.e. not by default, and compared to running
under valgrind or asan, the extra cost is acceptable. The big advantage is that
we don't have to think or filter out this false positive.

As a micro-opt, cleanup is attempted only in the main thread. We could allow
any thread to check if it is the last one and perform cleanup, but that'd mean
that we'd have to _do_ the check in every thread. We don't use threads like
that, our non-main threads are always short-lived, so let's just accept the
possibility that we'll leak memory if a thread survives. The check is also
non-atomic, but it's called in a destructor of the main thread _and_ we do
cleanup only when there are no other threads, so the risk of some library
suddenly spawning another thread is very low. All in all, this is not perfect,
but should work in 999‰ of cases.

Fixes the following valgrind warning:

==22564== HEAP SUMMARY:
==22564==     in use at exit: 8,192 bytes in 2 blocks
==22564==   total heap usage: 243 allocs, 241 frees, 151,905 bytes allocated
==22564==
==22564== 4,096 bytes in 1 blocks are still reachable in loss record 1 of 2
==22564==    at 0x4C2FB6B: malloc (vg_replace_malloc.c:299)
==22564==    by 0x4F08A8C: mempool_alloc_tile (mempool.c:62)
==22564==    by 0x4F08B16: mempool_alloc0_tile (mempool.c:81)
==22564==    by 0x4EF8DE0: hashmap_base_new (hashmap.c:748)
==22564==    by 0x4EF8ED9: internal_hashmap_new (hashmap.c:782)
==22564==    by 0x11045D: test_hashmap_copy (test-hashmap-plain.c:87)
==22564==    by 0x115722: test_hashmap_funcs (test-hashmap-plain.c:914)
==22564==    by 0x10FC9D: main (test-hashmap.c:60)
==22564==
==22564== 4,096 bytes in 1 blocks are still reachable in loss record 2 of 2
==22564==    at 0x4C2FB6B: malloc (vg_replace_malloc.c:299)
==22564==    by 0x4F08A8C: mempool_alloc_tile (mempool.c:62)
==22564==    by 0x4F08B16: mempool_alloc0_tile (mempool.c:81)
==22564==    by 0x4EF8DE0: hashmap_base_new (hashmap.c:748)
==22564==    by 0x4EF8EF8: internal_ordered_hashmap_new (hashmap.c:786)
==22564==    by 0x10A2A0: test_ordered_hashmap_copy (test-hashmap-ordered.c:89)
==22564==    by 0x10F70F: test_ordered_hashmap_funcs (test-hashmap-ordered.c:916)
==22564==    by 0x10FCA2: main (test-hashmap.c:61)
==22564==
==22564== LEAK SUMMARY:
==22564==    definitely lost: 0 bytes in 0 blocks
==22564==    indirectly lost: 0 bytes in 0 blocks
==22564==      possibly lost: 0 bytes in 0 blocks
==22564==    still reachable: 8,192 bytes in 2 blocks
==22564==         suppressed: 0 bytes in 0 blocks

v2:
- check if we are the main thread

v3:
- check if there are no other threads

Fix typo in statx macro (#7180)

This makes statx properly whitelisted in supported systems.

rules: run all persistent-input rules for rmi and i8042 (#7287)

Commit 83b48159 set ID_BUS for these subsystems but copied the intent
of commit c49df207 by not creating symlinks for those devices.

Remove the GOTO so that the rest of the rules are still processed and
symlinks are created for rmi and i8042 devices.

systemctl: fix memory leak (#7289)

Fixes: #7283

systemd-firstboot: add vconsole keymap support (#7035)

Enable systemd-firstboot to set the keymap.

RFE:

https://github.com/systemd/systemd/issues/6346

core/load-fragment: add RemoveIPC= (#7288)

PR #3865 introduced RemoveIPC= but the option is not listed in
load-fragment-gperf.gperf. So, the option could be used only via d-bus.
This adds RemoveIPC= in load-fragment-gperf.gperf. Then, now we can
set the option in unit files.

Fixes #7281.

man: remove restrictions in [Install] section (#7278)

Now [Install] section also supports drop-in files.

Follow-up for 142468d89508c63262dd59335ea6d4fe82267564.

hwdb: Add ACCEL_MOUNT_MATRIX for HP Stream 8 (#7279)

Merge pull request #7280 from yuwata/fix-7270-2

test-event: do not work in assert()

cryptsetup: ignore _netdev, since it is used in generator (#7282)

test-parse-util: add more tests, mainly for empty string

libsystemd-network: coding style fix

tree-wide: do not work in assert()

Follow-up for 85e55d14dea66f5fe412ca8128487d5ea828b7b1.

Merge pull request #7112 from tstellar/udev-for-kfd

udev-rules: Add rules for /dev/kfd

test-bpf: use /bin/ping path (#7276)

This path to ping is compatible with both debian-like and usr-merged
distros. This keeps the test simple, and should thus pass everywhere.

Fixes: #7267

systemctl: respect [Install] section in drop-ins (#7158)

Fixes: #7114

NEWS: Add note about udev changes for /dev/kvm, /dev/dri/renderD*, and /dev/kfd

Merge pull request #7268 from yuwata/rfe-7262

timesync: make poll interval configurable

Merge pull request #7275 from yuwata/fix-7070-7260

core: fixes related to RuntimeDirectory=, ReadWritePaths= and DynamicUser=

udev-rules: Add rule for /dev/kfd

udev-rules: Permission changes for /dev/dri/renderD*

- Remove the uaccess tag from /dev/dri/renderD*.
- Change the owning group from video to render.
- Change default mode to 0666.
- Add an option to allow users to set the access mode for these devices at
compile time.

udev-rules: Permission changes for /dev/kvm

- Remove uaccess tag from /dev/kvm.
- Change the default mode for /dev/kvm to 0666.

umount: always use MNT_FORCE in umount_all() (#7213)

The linux umount2() systemcall accepts a MNT_FORCE flags
which some filesystems honor, particularly FUSE and various
network filesystems such as NFS.
These filesystems can sometimes wait for an indefinite period
for a response from an external service, and the wait if
sometimes "uninterruptible" meaning that the process cannot be
killed.
Using MNT_FORCE causes any such request that are outstanding to
be aborted.  This normally allows the waiting process to
be killed.  It will then realease and reference it has to the
filesytem, this allowing the filesystem to be unmounted.

If there remain active references to the filesystem, MNT_FORCE
is *not* forcefull enough to unmount the filesystem anyway.

By the time that umount_all() is run by systemd-shutdown, all
filesystems *should* be unmounted, and sync() will have been
called.  Anything that remains cannot be unmounted in a
completely clean manner and just nees to be dealt with as firmly
as possible.  So use MNT_FORCE and try to explain why in the
comment.

Also enhance an earlier comment to explain why umount2() is
safe even though mount(MNT_REMOUNT) isn't.