Merge pull request #12870 from yuwata/tree-wide-further-path-join-cleanups

tree-wide: further path_join() and path_joina() cleanups

Merge pull request #12871 from keszybz/various-printing-fixes

Various printing/logging fixes

bootctl: fix display of options with embedeed newlines

I have an .efi image with embedded newlinews. Now I don't even remember if it
was created for testing or by accident, but it doesn't really matter. We should
display such files correctly.

(This isn't a problem with normal BLS entries, because input is split into lines
so newlines are consumed.)

sd-device: don't accept /sys as a device path

Because it's not a device path and (slightly) bad things happen if it
gets confused with one:

  $ udevadm info /sys/
  Assertion 'device->devpath[0] == '/'' failed at
      ../src/libsystemd/sd-device/sd-device.c:958,
      function sd_device_get_devpath(). Aborting.
  Aborted (core dumped)

udevd: fix a reversed conditional on global property set

  # udevadm control --property=HELLO=WORLD
  Received udev control message (ENV), unsetting 'HELLO'
  # udevadm control --property=HELLO=
  Received udev control message (ENV), setting 'HELLO='

Oh no, it's busted. Let's try removing this one little negation real quick
to see if it helps...

  # udevadm control --property=HELLO=WORLD
  Received udev control message (ENV), setting 'HELLO=WORLD'
  # udevadm control --property=HELLO=
  Received udev control message (ENV), unsetting 'HELLO'

Feels much better now.

man: beef up systemd.exec(5)

Prompted by:

https://lists.freedesktop.org/archives/systemd-devel/2019-May/042773.html

tree-wide: replace strjoina() with prefix_roota()

networkd: rework warning and debug messages about address addition and removal

Those messages were quite confusing. In particular "adding address" suggests
that we are assiging a new address to an interface, but in fact we're just
reacting to a notification about an addition. So let's call that "remembering"
and "forgetting". It's not fully gramatically correct, but I think it's much
clearer than "adding"/"removing" in this context.

And "received address without address" is too cryptic, let's say "address
message" to distinguish the message from its content.

Also, make failure to format address non-fatal, and print more details in
various places.

logind: log operation details when starting actions

For some reason, systemd-logind is trying to handle idle action in one of my containers:

Jun 07 10:28:08 rawhide systemd-logind[42]: System idle. Taking action.
Jun 07 10:28:08 rawhide systemd-logind[42]: Requested operation not supported, ignoring.

But we didn't log what exactly was being done. Let's put the name of the action in messages.

logind: remove unused check

All callers pass either a fixed action, or HANDLE_IGNORE is explicitly filtered
out. Let's remove this case here, because we cannot properly log what opreation
we are ignoring.

tree-wide: replace strjoin() with path_join()

core: introduce NUMAPolicy and NUMAMask options

Make possible to set NUMA allocation policy for manager. Manager's
policy is by default inherited to all forked off processes. However, it
is possible to override the policy on per-service basis. Currently we
support, these policies: default, prefer, bind, interleave, local.
See man 2 set_mempolicy for details on each policy.

Overall NUMA policy actually consists of two parts. Policy itself and
bitmask representing NUMA nodes where is policy effective. Node mask can
be specified using related option, NUMAMask. Default mask can be
overwritten on per-service level.

test: add more testcases for prefix_roota()

path-util: fix an issue when the path argument of prefix_roota() is not absolute

When the first argument is '/' and the second argument is not absolute,
the return value was not prefixed with '/'. This fixes the issue.

Merge pull request #12868 from poettering/doc-243-fixes

various man page fixes

man: document that sd_bus_creds_get_exec() is not suitable for security decisions

Fixes: #12704

man: drop references to "syslog" and "syslog+console" from man page

These options are pretty much equivalent to "journal" and
"journal+console" anyway, let's simplify things, and drop them from the
documentation hence.

For compat reasons let's keep them in the code.

(Note that they are not 100% identical to 'journal', but I doubt the
distinction in behaviour is really relevant to keep this in the docs.
And we should probably should drop 'syslog' entirely from our codebase
eventually, but it's problematic as long as we semi-support udev on
non-systemd systems still.)

doc: make clear that --system and --user only make sense with --test

Fixes: #12843

man: correct that Sockets= may not be undone

Fixes: #12415

man: document that DynamicUser=1 implied sandboxing cannot be turned off

Fixes: #12476

Merge pull request #12866 from yuwata/strv_consume_cleanups

tree-wide: use _cleanup_ attributes

tree-wide: use _cleanup_ attribute and strv_consume() + TAKE_PTR()

sd-path: use _cleanup_strv_free_ attribute

update TODO

man: fix references to VTABLE property flags

update TODO

Merge pull request #12836 from yuwata/tree-wide-replace-strjoin

tree-wide: replace strjoin() with path_join()

bpf-firewall: optimization for IPAddressXYZ="any" (and unprivileged users)

This is a workaround to make IPAddressDeny=any/IPAddressAllow=any work
for non-root users that have CAP_NET_ADMIN. "any" was chosen since
all or nothing network access is one of the most common use cases for
isolation.

Allocating BPF LPM TRIE maps require CAP_SYS_ADMIN while BPF_PROG_TYPE_CGROUP_SKB
only needs CAP_NET_ADMIN. In the case of IPAddressXYZ="any" we can just
consistently return false/true to avoid allocating the map and limit the user
to having CAP_NET_ADMIN.

cgroup-util: kill also threads

It's possible for a zombie process to have live threads. These are not listed
in /sys in "cgroup.procs" for cgroupsv2, but they show up in
"cgroup.threads" (cgroupv2) or "tasks" (cgroupv1) nodes. When killing a
cgroup (v2 only) with SIGKILL, let's also kill threads after killing processes,
so the live threads of a zombie get killed too.

Closes #12262.

coverity: stop setting _Float*

Should address https://github.com/systemd/systemd/issues/12854

man: drop my copyright

path-util: get rid of prefix_root()

prefix_root() is equivalent to path_join() in almost all ways, hence
let's remove it.

There are subtle differences though: prefix_root() will try shorten
multiple "/" before and after the prefix. path_join() doesn't do that.
This means prefix_root() might return a string shorter than both its
inputs combined, while path_join() never does that. I like the
path_join() semantics better, hence I think dropping prefix_root() is
totally OK. In the end the strings generated by both functon should
always be identical in terms of path_equal() if not streq().

This leaves prefix_roota() in place. Ideally we'd have path_joina(), but
I don't think we can reasonably implement that as a macro. or maybe we
can? (if so, sounds like something for a later PR)

Also add in a few missing OOM checks

nspawn: don't hard fail when setting capabilities

The OCI changes in #9762 broke a use case in which we use nspawn from
inside a container that has dropped capabilities from the bounding set
that nspawn expected to retain. In an attempt to keep OCI compliance
and support our use case, I made hard failing on setting capabilities
not in the bounding set optional (hard fail if using OCI and log only
if using nspawn cmdline).

Fixes #12539

Merge pull request #12846 from poettering/cap-last-cap-fix

cap_last_cap() off by one fixes

bpf: use more TAKE_FD()

sd-path: use _cleanup_ attribute

tree-wide: replace strjoin() with path_join()

bus-creds: fix size calculation for storing caps data

This is a bit confusing, hence let's at an example comment.

capability: fix loops for cap_last_cap()

cap_last_cap() returns the last valid cap (instead of the number of
valid caps). to iterate through all known caps we hence need to use a <=
check, and not a < check like for all other cases. We got this right
usually, but in three cases we did not.

units: deny access to block devices

While the need for access to character devices can be tricky to determine for
the general case, it's obvious that most of our services have no need to access
block devices. For logind and timedated this can be tightened further.

Merge pull request #12762 from yuwata/network-introduce-carrier-and-network-state-12752

network: introduce carrier and address state to fix network_is_online()

Merge pull request #12837 from yuwata/tree-wide-lgtm-fixes

tree-wide: fix issues found by lgtm

cgroup: Continue unit reset if cgroup is busy

When part of the cgroup hierarchy cannot be deleted (e.g. because there
are still processes in it), do not exit unit_prune_cgroup early, but
continue so that u->cgroup_realized is reset.

Log the known case of non-empty cgroups at debug level and other errors
at warning level.

Fixes https://github.com/systemd/systemd/issues/12386

Merge pull request #12806 from yuwata/networkctl-ethtool-12657

networkctl: show speed, duplex, auto negotiation, and port

util: use extract_first_word() instead of strsep()

tree-wide: use htobe{32,16}() instead of hton{l,s}()

tree-wide: drop alloca() in loop

networkctl: show link speed, duplex, auto negotiation, and port

network: change type of BitRates= bus property

table: introduce FORMAT_BPS type

test: add tests for format_bytes()

util: make format_bytes() support e.g. 3.0E

util: introduce format_bytes_full()

And move it into format-util.c.

ethtool-util: introduce ethtool_get_link_info()

Will be used in later commits.

ethtool-util: make ethtool_connect() warn on failure

ethtool-util: use structured initializers

sd-resolve: suppress false positive MSan warnings

MSan dislikes structured initializers for nested structures.

Merge pull request #12828 from yuwata/network-routing-policy-rule-add-missing-entries

network: add missing entries in routing_policy_rule_{hash,compare}_func()

Merge pull request #12815 from irtimmer/dot-strict

resolved: strict mode for DNS-over-TLS

network: add missing entries in routing_policy_rule_{hash,compare}_func()

This also makes routing_policy_rule_get() or friends take
a RoutingPolicyRule object as an input.

util: introduce siphash24_compress_boolean()

resolved: support TLS 1.3 when using GnuTLS for DNS-over-TLS

resolved: add strict mode for DNS-over-TLS

Add strict mode for DNS-over-TLS, which will require TLS support from the server. Closes #10755

resolved: don't require check when importing resolved-dnstls.h

Merge pull request #12829 from yuwata/dhcp-memdup_suffix0

sd-bus,dhcp: use memdup_suffix0() instead of strndup()

sd-bus: use memdup_suffix0() instead of strndup()

dhcp: use memdup_suffix0() instead of strndup()

Merge pull request #12822 from poettering/tmpfiles-is-mount-point

tmpfiles: use common fd_is_mount_point() implementation

ethtool-util: move from src/udev/net/ to src/shared/

journald: use memdup_suffix0() when copying string from potentially binary data

Fixes: #12484

resolved: add missing error code check when initializing DNS-over-TLS

resolved: move TLS data shared by all servers to manager

Instead of having a context and/or trusted CA list per server this is now moved to the server. Ensures future TLS configuration options are global instead of per server.

fix(journal-gatewayd): use relative urls (not starting with '/')

if journal-gatewayd http is not mounted at '/' (proxy request)
the request lose their initial path component

hashmap: avoid using TLS in a destructor

Using C11 thread-local storage in destructors causes uninitialized
read. Let's avoid that using a direct comparison instead of using
the cached values. As this code path is taken only when compiled
with -DVALGRIND=1, the performance cost shouldn't matter too much.

Fixes #12814

Merge pull request #12758 from fbuihuu/nspawn-console-tty

Create nspawn console tty in the child

tmpfiles: use common fd_is_mount_point() implementation in tmpfiles.c

No need to have a private reimplementation here. Let's just use the
common one, which supports "fdinfo" as fallback.

tmpfiles: merge two nested if checks into one

tmpfiles: use path_join() where we can

dhcp: fix comparison with previous lease

Follow-up for f8862395e8f802e4106a07ceaaf02b6a1faa5a6d.

Fixes #12816.

nspawn: make use of openpt_allocate()

terminal-util: introduce openpt_allocate()

Allocating a pty is done in a couple of places so let's introduce a new helper
which does the job.

Also the new function, as well as openpt_in_namespace(), returns both pty
master and slave so the callers don't need to know about the pty slave
allocation details.

For the same reasons machine_openpt() prototype has also been changed to return
both pty master and slave so callers don't need to allocate a pty slave which
might be in a different namespace.

Finally openpt_in_namespace() has been renamed into
openpt_allocate_in_namespace().

Merge pull request #12805 from yuwata/test-network-cleanups

test: further test-network cleanups

nspawn: allocate the pty used for /dev/console within the container

The console tty is now allocated from within the container so it's not
necessary anymore to allocate it from the host and bind mount the pty slave
into the container. The pty master is sent to the host.

/dev/console is now a symlink pointing to the pty slave.

This might also be less confusing for applications running inside the container
and the overall result looks cleaner (we don't need to apply manually the
passed selinux context, if any, to the allocated pty for instance).

nspawn: use correct error variable when logging errors returned by send_one_fd()

namespace-util: make use of TAKE_FD()

No functional changes.

fs-util: no need for fchmod_and_chown() to access /proc/self/fd directly

fstat(2) is fine with O_PATH fds.

For changing owership of a file opened with O_PATH, there's fchownat(2).

Only changing permissions is problematic but we introduced fchmod_opath() for
that purpose.

test-network: change default sleep time of start_networkd()

test-network: use wait-online in NetworkdBridgeTests

network: do not configure routing policy rule if it is already configured

network: make routing_policy_rule_get() require Manager

test-network: use wait-online in NetworkdBondTests

test-network: use setUp() and tearDown() to clear routing policy rule tables

Merge pull request #12807 from keszybz/net-naming-scheme-yet-again

Extend naming scheme to mac address policy and introduce NAMING_STABLE_VIRTUAL_MACS

test-network: rename l2tp_tunnel_remove -> remove_l2tp_tunnels

test-network: remove all routing policy rules in specified table

docs: CGROUP_DELEGATION: fix a typo in "that"

travis: turn on all default UBSan checks except for pointer-overflow, object-size and float-cast-overflow

core: set fs.file-max sysctl to LONG_MAX rather than ULONG_MAX

Since kernel 5.2 the kernel thankfully returns proper errors when we
write a value out of range to the sysctl. Which however breaks writing
ULONG_MAX to request the maximum value. Hence let's write the new
maximum value instead, LONG_MAX.

/cc @brauner

Fixes: #12803

Merge pull request #12810 from evverx/nonnull-attribute

travis: turn on nonnull-attribute on Fuzzit

udev: introduce NAMING_STABLE_VIRTUAL_MACS (retroactively)

This is for 6d3646406560. It turns out that this is causing more problems than
expected. Let's retroactively introduce naming scheme v241 to conditionalize
this change.

Follow-up for #12792 and 6d36464065601f7. See also
https://bugzilla.suse.com/show_bug.cgi?id=1136600.

$ SYSTEMD_LOG_LEVEL=debug NET_NAMING_SCHEME=v240 build/udevadm test-builtin net_setup_link /sys/class/net/br11
$ SYSTEMD_LOG_LEVEL=debug NET_NAMING_SCHEME=v241 build/udevadm test-builtin net_setup_link /sys/class/net/br11
...
@@ -20,11 +20,13 @@
 link_config: could not set ethtool features for br11
 Could not set offload features of br11: Operation not permitted
 br11: Device has name_assign_type=3
-Using interface naming scheme 'v240'.
+Using interface naming scheme 'v241'.
 br11: Policy *keep*: keeping existing userspace name
 br11: Device has addr_assign_type=1
-br11: No stable identifying information found
-br11: Could not generate persistent MAC: No data available
+br11: Using "br11" as stable identifying information
+br11: Using generated persistent MAC address
+Could not set Alias=, MACAddress= or MTU= on br11: Operation not permitted
+br11: Could not apply link config, ignoring: Operation not permitted
 Unload module index
 Unloaded link configuration context.
 ID_NET_DRIVER=bridge