Merge pull request #12877 from poettering/dynamic-user-re-migrate2

DynamicUser=1 → = 0 migration follow-up

some CODING_STYLE additions

man: say D-Bus, not dbus

man: improve --test documentation

Incorporates some suggestions from:

https://github.com/systemd/systemd/pull/12868#discussion_r296738370
https://github.com/systemd/systemd/commit/cd69e88ba3a692618048117b26fc9ea339aa1845#commitcomment-34060775

test: add test for DynamicUser=0 → =1 migration (and back)

core: mention why we do migration for everything but ConfigurationDirectory=

core: log when we convert from DynamicUser=1 to =0 or vice versa

systemd-nspawn(1): update example section

Remove the retired flag -d from Example 4. "Boot a minimal Arch Linux
distribution in a container". It has been retired here:
https://git.archlinux.org/arch-install-scripts.git/commit/pacstrap.in?id=0af6884aca68dcb7eed0b85fbc2960903df3d968

Merge pull request #12869 from poettering/dynamic-user-re-migrate

DynamicUser=1 state directory back migration

bpf-firewall: custom BPF programs through IP(Ingress|Egress)FilterPath=

Takes a single /sys/fs/bpf/pinned_prog string as argument, but may be
specified multiple times. An empty assignment resets all previous filters.

Closes https://github.com/systemd/systemd/issues/10227

Merge pull request #12874 from yuwata/ethtool-make-ubsan-quiet

ethtool: make UBSan quiet and add missing link modes

Merge pull request #12870 from yuwata/tree-wide-further-path-join-cleanups

tree-wide: further path_join() and path_joina() cleanups

Merge pull request #12871 from keszybz/various-printing-fixes

Various printing/logging fixes

ethtool: reindent link mode table

ethtool: add missing link mode

ethtool-util: fix returned value when ethtool_cmd_speed() is SPEED_UNKNOWN

linux: make UBSAN quiet

linux: update kernel headers

bootctl: fix display of options with embedeed newlines

I have an .efi image with embedded newlinews. Now I don't even remember if it
was created for testing or by accident, but it doesn't really matter. We should
display such files correctly.

(This isn't a problem with normal BLS entries, because input is split into lines
so newlines are consumed.)

sd-device: don't accept /sys as a device path

Because it's not a device path and (slightly) bad things happen if it
gets confused with one:

  $ udevadm info /sys/
  Assertion 'device->devpath[0] == '/'' failed at
      ../src/libsystemd/sd-device/sd-device.c:958,
      function sd_device_get_devpath(). Aborting.
  Aborted (core dumped)

udevd: fix a reversed conditional on global property set

  # udevadm control --property=HELLO=WORLD
  Received udev control message (ENV), unsetting 'HELLO'
  # udevadm control --property=HELLO=
  Received udev control message (ENV), setting 'HELLO='

Oh no, it's busted. Let's try removing this one little negation real quick
to see if it helps...

  # udevadm control --property=HELLO=WORLD
  Received udev control message (ENV), setting 'HELLO=WORLD'
  # udevadm control --property=HELLO=
  Received udev control message (ENV), unsetting 'HELLO'

Feels much better now.

man: beef up systemd.exec(5)

Prompted by:

https://lists.freedesktop.org/archives/systemd-devel/2019-May/042773.html

tree-wide: replace strjoina() with prefix_roota()

networkd: rework warning and debug messages about address addition and removal

Those messages were quite confusing. In particular "adding address" suggests
that we are assiging a new address to an interface, but in fact we're just
reacting to a notification about an addition. So let's call that "remembering"
and "forgetting". It's not fully gramatically correct, but I think it's much
clearer than "adding"/"removing" in this context.

And "received address without address" is too cryptic, let's say "address
message" to distinguish the message from its content.

Also, make failure to format address non-fatal, and print more details in
various places.

logind: log operation details when starting actions

For some reason, systemd-logind is trying to handle idle action in one of my containers:

Jun 07 10:28:08 rawhide systemd-logind[42]: System idle. Taking action.
Jun 07 10:28:08 rawhide systemd-logind[42]: Requested operation not supported, ignoring.

But we didn't log what exactly was being done. Let's put the name of the action in messages.

logind: remove unused check

All callers pass either a fixed action, or HANDLE_IGNORE is explicitly filtered
out. Let's remove this case here, because we cannot properly log what opreation
we are ignoring.

tree-wide: replace strjoin() with path_join()

core: introduce NUMAPolicy and NUMAMask options

Make possible to set NUMA allocation policy for manager. Manager's
policy is by default inherited to all forked off processes. However, it
is possible to override the policy on per-service basis. Currently we
support, these policies: default, prefer, bind, interleave, local.
See man 2 set_mempolicy for details on each policy.

Overall NUMA policy actually consists of two parts. Policy itself and
bitmask representing NUMA nodes where is policy effective. Node mask can
be specified using related option, NUMAMask. Default mask can be
overwritten on per-service level.

test: add more testcases for prefix_roota()

path-util: fix an issue when the path argument of prefix_roota() is not absolute

When the first argument is '/' and the second argument is not absolute,
the return value was not prefixed with '/'. This fixes the issue.

core: migrate service directories back from private if needed

Fixes: #12131

core: add missing space to DynamicUser=1 directory comment

(also line break again)

Merge pull request #12868 from poettering/doc-243-fixes

various man page fixes

man: document that sd_bus_creds_get_exec() is not suitable for security decisions

Fixes: #12704

man: drop references to "syslog" and "syslog+console" from man page

These options are pretty much equivalent to "journal" and
"journal+console" anyway, let's simplify things, and drop them from the
documentation hence.

For compat reasons let's keep them in the code.

(Note that they are not 100% identical to 'journal', but I doubt the
distinction in behaviour is really relevant to keep this in the docs.
And we should probably should drop 'syslog' entirely from our codebase
eventually, but it's problematic as long as we semi-support udev on
non-systemd systems still.)

doc: make clear that --system and --user only make sense with --test

Fixes: #12843

man: correct that Sockets= may not be undone

Fixes: #12415

man: document that DynamicUser=1 implied sandboxing cannot be turned off

Fixes: #12476

Merge pull request #12866 from yuwata/strv_consume_cleanups

tree-wide: use _cleanup_ attributes

tree-wide: use _cleanup_ attribute and strv_consume() + TAKE_PTR()

sd-path: use _cleanup_strv_free_ attribute

update TODO

man: fix references to VTABLE property flags

update TODO

Merge pull request #12836 from yuwata/tree-wide-replace-strjoin

tree-wide: replace strjoin() with path_join()

bpf-firewall: optimization for IPAddressXYZ="any" (and unprivileged users)

This is a workaround to make IPAddressDeny=any/IPAddressAllow=any work
for non-root users that have CAP_NET_ADMIN. "any" was chosen since
all or nothing network access is one of the most common use cases for
isolation.

Allocating BPF LPM TRIE maps require CAP_SYS_ADMIN while BPF_PROG_TYPE_CGROUP_SKB
only needs CAP_NET_ADMIN. In the case of IPAddressXYZ="any" we can just
consistently return false/true to avoid allocating the map and limit the user
to having CAP_NET_ADMIN.

cgroup-util: kill also threads

It's possible for a zombie process to have live threads. These are not listed
in /sys in "cgroup.procs" for cgroupsv2, but they show up in
"cgroup.threads" (cgroupv2) or "tasks" (cgroupv1) nodes. When killing a
cgroup (v2 only) with SIGKILL, let's also kill threads after killing processes,
so the live threads of a zombie get killed too.

Closes #12262.

coverity: stop setting _Float*

Should address https://github.com/systemd/systemd/issues/12854

man: drop my copyright

path-util: get rid of prefix_root()

prefix_root() is equivalent to path_join() in almost all ways, hence
let's remove it.

There are subtle differences though: prefix_root() will try shorten
multiple "/" before and after the prefix. path_join() doesn't do that.
This means prefix_root() might return a string shorter than both its
inputs combined, while path_join() never does that. I like the
path_join() semantics better, hence I think dropping prefix_root() is
totally OK. In the end the strings generated by both functon should
always be identical in terms of path_equal() if not streq().

This leaves prefix_roota() in place. Ideally we'd have path_joina(), but
I don't think we can reasonably implement that as a macro. or maybe we
can? (if so, sounds like something for a later PR)

Also add in a few missing OOM checks

nspawn: don't hard fail when setting capabilities

The OCI changes in #9762 broke a use case in which we use nspawn from
inside a container that has dropped capabilities from the bounding set
that nspawn expected to retain. In an attempt to keep OCI compliance
and support our use case, I made hard failing on setting capabilities
not in the bounding set optional (hard fail if using OCI and log only
if using nspawn cmdline).

Fixes #12539

Merge pull request #12846 from poettering/cap-last-cap-fix

cap_last_cap() off by one fixes

bpf: use more TAKE_FD()

sd-path: use _cleanup_ attribute

tree-wide: replace strjoin() with path_join()

bus-creds: fix size calculation for storing caps data

This is a bit confusing, hence let's at an example comment.

capability: fix loops for cap_last_cap()

cap_last_cap() returns the last valid cap (instead of the number of
valid caps). to iterate through all known caps we hence need to use a <=
check, and not a < check like for all other cases. We got this right
usually, but in three cases we did not.

units: deny access to block devices

While the need for access to character devices can be tricky to determine for
the general case, it's obvious that most of our services have no need to access
block devices. For logind and timedated this can be tightened further.

Merge pull request #12762 from yuwata/network-introduce-carrier-and-network-state-12752

network: introduce carrier and address state to fix network_is_online()

Merge pull request #12837 from yuwata/tree-wide-lgtm-fixes

tree-wide: fix issues found by lgtm

cgroup: Continue unit reset if cgroup is busy

When part of the cgroup hierarchy cannot be deleted (e.g. because there
are still processes in it), do not exit unit_prune_cgroup early, but
continue so that u->cgroup_realized is reset.

Log the known case of non-empty cgroups at debug level and other errors
at warning level.

Fixes https://github.com/systemd/systemd/issues/12386

Merge pull request #12806 from yuwata/networkctl-ethtool-12657

networkctl: show speed, duplex, auto negotiation, and port

util: use extract_first_word() instead of strsep()

tree-wide: use htobe{32,16}() instead of hton{l,s}()

tree-wide: drop alloca() in loop

networkctl: show link speed, duplex, auto negotiation, and port

network: change type of BitRates= bus property

table: introduce FORMAT_BPS type

test: add tests for format_bytes()

util: make format_bytes() support e.g. 3.0E

util: introduce format_bytes_full()

And move it into format-util.c.

ethtool-util: introduce ethtool_get_link_info()

Will be used in later commits.

ethtool-util: make ethtool_connect() warn on failure

ethtool-util: use structured initializers

sd-resolve: suppress false positive MSan warnings

MSan dislikes structured initializers for nested structures.

Merge pull request #12828 from yuwata/network-routing-policy-rule-add-missing-entries

network: add missing entries in routing_policy_rule_{hash,compare}_func()

Merge pull request #12815 from irtimmer/dot-strict

resolved: strict mode for DNS-over-TLS

network: add missing entries in routing_policy_rule_{hash,compare}_func()

This also makes routing_policy_rule_get() or friends take
a RoutingPolicyRule object as an input.

util: introduce siphash24_compress_boolean()

resolved: support TLS 1.3 when using GnuTLS for DNS-over-TLS

resolved: add strict mode for DNS-over-TLS

Add strict mode for DNS-over-TLS, which will require TLS support from the server. Closes #10755

resolved: don't require check when importing resolved-dnstls.h

Merge pull request #12829 from yuwata/dhcp-memdup_suffix0

sd-bus,dhcp: use memdup_suffix0() instead of strndup()

sd-bus: use memdup_suffix0() instead of strndup()

dhcp: use memdup_suffix0() instead of strndup()

Merge pull request #12822 from poettering/tmpfiles-is-mount-point

tmpfiles: use common fd_is_mount_point() implementation

ethtool-util: move from src/udev/net/ to src/shared/

journald: use memdup_suffix0() when copying string from potentially binary data

Fixes: #12484

resolved: add missing error code check when initializing DNS-over-TLS

resolved: move TLS data shared by all servers to manager

Instead of having a context and/or trusted CA list per server this is now moved to the server. Ensures future TLS configuration options are global instead of per server.

fix(journal-gatewayd): use relative urls (not starting with '/')

if journal-gatewayd http is not mounted at '/' (proxy request)
the request lose their initial path component

hashmap: avoid using TLS in a destructor

Using C11 thread-local storage in destructors causes uninitialized
read. Let's avoid that using a direct comparison instead of using
the cached values. As this code path is taken only when compiled
with -DVALGRIND=1, the performance cost shouldn't matter too much.

Fixes #12814

Merge pull request #12758 from fbuihuu/nspawn-console-tty

Create nspawn console tty in the child

tmpfiles: use common fd_is_mount_point() implementation in tmpfiles.c

No need to have a private reimplementation here. Let's just use the
common one, which supports "fdinfo" as fallback.

tmpfiles: merge two nested if checks into one

tmpfiles: use path_join() where we can

dhcp: fix comparison with previous lease

Follow-up for f8862395e8f802e4106a07ceaaf02b6a1faa5a6d.

Fixes #12816.

nspawn: make use of openpt_allocate()

terminal-util: introduce openpt_allocate()

Allocating a pty is done in a couple of places so let's introduce a new helper
which does the job.

Also the new function, as well as openpt_in_namespace(), returns both pty
master and slave so the callers don't need to know about the pty slave
allocation details.

For the same reasons machine_openpt() prototype has also been changed to return
both pty master and slave so callers don't need to allocate a pty slave which
might be in a different namespace.

Finally openpt_in_namespace() has been renamed into
openpt_allocate_in_namespace().

Merge pull request #12805 from yuwata/test-network-cleanups

test: further test-network cleanups