Merge pull request #12887 from fbuihuu/coredump-cleanup-part-1

Coredump cleanup part 1

cryptsetup-generator: fix luks-* entry parsing from crypttab

This reverts a part of commit 49fe5c099639 ('tree-wide: port various places
over to STARTSWITH_SET()') that replaced a pair of startswith() calls
with STARTSWITH_SET().

They were in fact for a different strings (device vs. name), botching
the crypttap parsing.

bash-completion: support systemd-analyze condition

coredump: make use of the iovec-array helpers

Previous code was allocating an array of iovecs big enough to store all the
fields added later by various functions.

This forced us to calculate the size of the array in advance which is too error
prone if for example one wants to add new fields or simply rework the
code. Various assertions were added to make sure there's no overflow but it's
still more code for no good reasons.

Instead, this patch switches to the new iovec array handling interface so the
array is grown dynamically when needed.

The other contraint was that some iovecs were supposed to be freed whereas some
others were not. This makes the code hard to (re)organize. The new code always
allocates fields so it becomes easier to rework the code.

Merge pull request #12889 from keszybz/analyze-condition

Add systemd-analyze condition

io-util: introduce iovw_put_string_field() helper

journal-import: extract helpers for handling arrays of iovec and make them available for others

coredump: drop 2 useless assertions

coredump: slighlty simplify stack trace generation logic

The main advantage is to avoid the code duplication used to build MESSAGE=
field.

No functional changes.

coredump: fix the check on the number of passed args in backtrace mode

In backtrace mode, '--backtrace' option should also be counted.

coredump: gather_pid_metadata() doesn't return 1 anymore

Since commit 92e92d71faea0f107312f296b7756cc04281ba99, gather_pid_metadata()
returns only 0 or a negative value.

coredump: rename set_iovec_field_free() into set_iovec_string_field_free()

It's more in line with its counterpart set_iovec_string_field().

Also move the definition to io-util next to set_iovec_string_field().

Merge pull request #12760 from zachsmith/systemd-sleep_resume_offset

systemd-sleep: use resume_offset value if set

core: skip whitespace after "|" and "!" in the condition parser

We'd skip any whitespace immediately after "=", but then we'd treat whitespace
that is between "|" or "!" and the value as significant. This is rather
confusing, let's ignore it too.

shared/condition: fix printing of ConditionNull=

ConditionNull= is the only condition where parameter==NULL is allowed,
and we'd print ConditionNull=(null) or ConditionNull=!(null).

analyze: add 'condition' verb

We didn't have a straightforward way to parse and evaluate those strings.
Prompted by #12881.

Merge pull request #12894 from stapelberg/patch-1

cryptsetup: comment: crypt_setup → crypt_format

docs: fix typos and duplicate words

s/and and/and/
s/explicity/explicitly/
s/that that/that/
s/the the/the/
s/is is/it is/
s/overriden/overridden/

cryptsetup: comment: crypt_setup → crypt_format

Merge pull request #12890 from yuwata/fix-conf-parser-12883

conf-parse: fix continuation handling

systemd-sleep: refuse to calculate swapfile offset on Btrfs

If hibernation is requested but /sys/power/resume and
/sys/power/resume_offset are not configured correctly, systemd-sleep
attempts to calculate swapfile offset using fstat and fiemap.
Btrfs returns virtual device number for stat and a virtual offset
for fiemap which results in incorrect offset calculations. In the
case where offset would be calculated and the user is using Btrfs,
log a debug message and fail to write device and offset values.

systemd-sleep: (bug) use resume_offset value if set

Use hibernation configuration as defined in
/sys/power/resume and /sys/power/resume_offset
if present before inspecting /proc/swaps and
attempting to calculate swapfile offset

Merge pull request #12892 from yuwata/fix-test-format-util-12891

test: fix argument type of test_format_bytes_one()

test: fix argument type of test_format_bytes_one()

Closes #12891.

util,test: rename variable non_iec -> si

test: add testcase for issue #12883

conf-parser: fix continuation handling

Before this commit, empty lines cannot break continuation.
The bug was introduced by 9adbfeb38ac101d6f73a033bb120d63513ffb240.

Closes #12883.

core: do not enumerate units in MANAGER_TEST_RUN_MINIMAL mode

In this mode we are not supposed to "interact with the environment", so loading
all units and printing warnings about syntax errors and /var/run usage seems
inappropriate.

man: move description of how conditions are combined to the beginning

Originally the description of conditions was brief, so it was acceptable
to put this part at the end. But now we have a myriad conditions, and
this crucial bit of information is easy to miss.

core: move assert before actual use of the variable

No point in using u->id first, and doing assert(u) later.
-std=c89 strikes again.

coredump: rely on /proc exclusively to get the name of the crashing process

I couldn't see any reason why the kernel could provide COMM to the coredump
handler via the core_pattern command line but could not make it available in
/proc. So let's assume that this info is always available in /proc.

For "backtrace" mode (when --backtrace option is passed), I assumed that the
crashing process still exists at the time systemd-coredump is called.

Also changing the core_pattern line is an API breakage for any users of the
backtrace mode but given that systemd-coredump is installed in
/usr/lib/systemd, it's a private tool which has no internal users. At least no
one complained when the hostname was added to the core_pattern line
(f45b8015513)...

Indeed it's much easier to get it from /proc since the kernel substitutes '%e'
specifier with multiple strings if the process name contains spaces (!).

coredump: fix one memleak in backtrace mode

Journal importer internal structures need to be freed.

coredump: make use of STRINGIFY

execute: drop SYNTHETIC_ERRNO because error code was received from the apply_numa_policy()

network: further log message update

Follow-up for 44e891bbf6908e494856fcf3011e88a70a12e087.

core: factor root_directory application out of apply_working_directory

Fixes: #12498

core: move config_parse_* functions to a shared module

Apart from making the code a little bit more clean, it should allow us
to write a fuzzer around the config-parsing functions in the future

man: change true/false to yes/no for DefaultDependencies.

Merge pull request #12877 from poettering/dynamic-user-re-migrate2

DynamicUser=1 → = 0 migration follow-up

some CODING_STYLE additions

man: say D-Bus, not dbus

man: improve --test documentation

Incorporates some suggestions from:

https://github.com/systemd/systemd/pull/12868#discussion_r296738370
https://github.com/systemd/systemd/commit/cd69e88ba3a692618048117b26fc9ea339aa1845#commitcomment-34060775

test: add test for DynamicUser=0 → =1 migration (and back)

core: mention why we do migration for everything but ConfigurationDirectory=

core: log when we convert from DynamicUser=1 to =0 or vice versa

systemd-nspawn(1): update example section

Remove the retired flag -d from Example 4. "Boot a minimal Arch Linux
distribution in a container". It has been retired here:
https://git.archlinux.org/arch-install-scripts.git/commit/pacstrap.in?id=0af6884aca68dcb7eed0b85fbc2960903df3d968

Merge pull request #12869 from poettering/dynamic-user-re-migrate

DynamicUser=1 state directory back migration

bpf-firewall: custom BPF programs through IP(Ingress|Egress)FilterPath=

Takes a single /sys/fs/bpf/pinned_prog string as argument, but may be
specified multiple times. An empty assignment resets all previous filters.

Closes https://github.com/systemd/systemd/issues/10227

Merge pull request #12874 from yuwata/ethtool-make-ubsan-quiet

ethtool: make UBSan quiet and add missing link modes

Merge pull request #12870 from yuwata/tree-wide-further-path-join-cleanups

tree-wide: further path_join() and path_joina() cleanups

Merge pull request #12871 from keszybz/various-printing-fixes

Various printing/logging fixes

ethtool: reindent link mode table

ethtool: add missing link mode

ethtool-util: fix returned value when ethtool_cmd_speed() is SPEED_UNKNOWN

linux: make UBSAN quiet

linux: update kernel headers

bootctl: fix display of options with embedeed newlines

I have an .efi image with embedded newlinews. Now I don't even remember if it
was created for testing or by accident, but it doesn't really matter. We should
display such files correctly.

(This isn't a problem with normal BLS entries, because input is split into lines
so newlines are consumed.)

sd-device: don't accept /sys as a device path

Because it's not a device path and (slightly) bad things happen if it
gets confused with one:

  $ udevadm info /sys/
  Assertion 'device->devpath[0] == '/'' failed at
      ../src/libsystemd/sd-device/sd-device.c:958,
      function sd_device_get_devpath(). Aborting.
  Aborted (core dumped)

udevd: fix a reversed conditional on global property set

  # udevadm control --property=HELLO=WORLD
  Received udev control message (ENV), unsetting 'HELLO'
  # udevadm control --property=HELLO=
  Received udev control message (ENV), setting 'HELLO='

Oh no, it's busted. Let's try removing this one little negation real quick
to see if it helps...

  # udevadm control --property=HELLO=WORLD
  Received udev control message (ENV), setting 'HELLO=WORLD'
  # udevadm control --property=HELLO=
  Received udev control message (ENV), unsetting 'HELLO'

Feels much better now.

man: beef up systemd.exec(5)

Prompted by:

https://lists.freedesktop.org/archives/systemd-devel/2019-May/042773.html

tree-wide: replace strjoina() with prefix_roota()

networkd: rework warning and debug messages about address addition and removal

Those messages were quite confusing. In particular "adding address" suggests
that we are assiging a new address to an interface, but in fact we're just
reacting to a notification about an addition. So let's call that "remembering"
and "forgetting". It's not fully gramatically correct, but I think it's much
clearer than "adding"/"removing" in this context.

And "received address without address" is too cryptic, let's say "address
message" to distinguish the message from its content.

Also, make failure to format address non-fatal, and print more details in
various places.

logind: log operation details when starting actions

For some reason, systemd-logind is trying to handle idle action in one of my containers:

Jun 07 10:28:08 rawhide systemd-logind[42]: System idle. Taking action.
Jun 07 10:28:08 rawhide systemd-logind[42]: Requested operation not supported, ignoring.

But we didn't log what exactly was being done. Let's put the name of the action in messages.

logind: remove unused check

All callers pass either a fixed action, or HANDLE_IGNORE is explicitly filtered
out. Let's remove this case here, because we cannot properly log what opreation
we are ignoring.

tree-wide: replace strjoin() with path_join()

core: introduce NUMAPolicy and NUMAMask options

Make possible to set NUMA allocation policy for manager. Manager's
policy is by default inherited to all forked off processes. However, it
is possible to override the policy on per-service basis. Currently we
support, these policies: default, prefer, bind, interleave, local.
See man 2 set_mempolicy for details on each policy.

Overall NUMA policy actually consists of two parts. Policy itself and
bitmask representing NUMA nodes where is policy effective. Node mask can
be specified using related option, NUMAMask. Default mask can be
overwritten on per-service level.

test: add more testcases for prefix_roota()

path-util: fix an issue when the path argument of prefix_roota() is not absolute

When the first argument is '/' and the second argument is not absolute,
the return value was not prefixed with '/'. This fixes the issue.

core: migrate service directories back from private if needed

Fixes: #12131

core: add missing space to DynamicUser=1 directory comment

(also line break again)

Merge pull request #12868 from poettering/doc-243-fixes

various man page fixes

man: document that sd_bus_creds_get_exec() is not suitable for security decisions

Fixes: #12704

man: drop references to "syslog" and "syslog+console" from man page

These options are pretty much equivalent to "journal" and
"journal+console" anyway, let's simplify things, and drop them from the
documentation hence.

For compat reasons let's keep them in the code.

(Note that they are not 100% identical to 'journal', but I doubt the
distinction in behaviour is really relevant to keep this in the docs.
And we should probably should drop 'syslog' entirely from our codebase
eventually, but it's problematic as long as we semi-support udev on
non-systemd systems still.)

doc: make clear that --system and --user only make sense with --test

Fixes: #12843

man: correct that Sockets= may not be undone

Fixes: #12415

man: document that DynamicUser=1 implied sandboxing cannot be turned off

Fixes: #12476

Merge pull request #12866 from yuwata/strv_consume_cleanups

tree-wide: use _cleanup_ attributes

tree-wide: use _cleanup_ attribute and strv_consume() + TAKE_PTR()

sd-path: use _cleanup_strv_free_ attribute

update TODO

man: fix references to VTABLE property flags

update TODO

Merge pull request #12836 from yuwata/tree-wide-replace-strjoin

tree-wide: replace strjoin() with path_join()

bpf-firewall: optimization for IPAddressXYZ="any" (and unprivileged users)

This is a workaround to make IPAddressDeny=any/IPAddressAllow=any work
for non-root users that have CAP_NET_ADMIN. "any" was chosen since
all or nothing network access is one of the most common use cases for
isolation.

Allocating BPF LPM TRIE maps require CAP_SYS_ADMIN while BPF_PROG_TYPE_CGROUP_SKB
only needs CAP_NET_ADMIN. In the case of IPAddressXYZ="any" we can just
consistently return false/true to avoid allocating the map and limit the user
to having CAP_NET_ADMIN.

cgroup-util: kill also threads

It's possible for a zombie process to have live threads. These are not listed
in /sys in "cgroup.procs" for cgroupsv2, but they show up in
"cgroup.threads" (cgroupv2) or "tasks" (cgroupv1) nodes. When killing a
cgroup (v2 only) with SIGKILL, let's also kill threads after killing processes,
so the live threads of a zombie get killed too.

Closes #12262.

coverity: stop setting _Float*

Should address https://github.com/systemd/systemd/issues/12854

man: drop my copyright

path-util: get rid of prefix_root()

prefix_root() is equivalent to path_join() in almost all ways, hence
let's remove it.

There are subtle differences though: prefix_root() will try shorten
multiple "/" before and after the prefix. path_join() doesn't do that.
This means prefix_root() might return a string shorter than both its
inputs combined, while path_join() never does that. I like the
path_join() semantics better, hence I think dropping prefix_root() is
totally OK. In the end the strings generated by both functon should
always be identical in terms of path_equal() if not streq().

This leaves prefix_roota() in place. Ideally we'd have path_joina(), but
I don't think we can reasonably implement that as a macro. or maybe we
can? (if so, sounds like something for a later PR)

Also add in a few missing OOM checks

nspawn: don't hard fail when setting capabilities

The OCI changes in #9762 broke a use case in which we use nspawn from
inside a container that has dropped capabilities from the bounding set
that nspawn expected to retain. In an attempt to keep OCI compliance
and support our use case, I made hard failing on setting capabilities
not in the bounding set optional (hard fail if using OCI and log only
if using nspawn cmdline).

Fixes #12539

Merge pull request #12846 from poettering/cap-last-cap-fix

cap_last_cap() off by one fixes

bpf: use more TAKE_FD()

sd-path: use _cleanup_ attribute

tree-wide: replace strjoin() with path_join()

bus-creds: fix size calculation for storing caps data

This is a bit confusing, hence let's at an example comment.

capability: fix loops for cap_last_cap()

cap_last_cap() returns the last valid cap (instead of the number of
valid caps). to iterate through all known caps we hence need to use a <=
check, and not a < check like for all other cases. We got this right
usually, but in three cases we did not.

units: deny access to block devices

While the need for access to character devices can be tricky to determine for
the general case, it's obvious that most of our services have no need to access
block devices. For logind and timedated this can be tightened further.

Merge pull request #12762 from yuwata/network-introduce-carrier-and-network-state-12752

network: introduce carrier and address state to fix network_is_online()

Merge pull request #12837 from yuwata/tree-wide-lgtm-fixes

tree-wide: fix issues found by lgtm

cgroup: Continue unit reset if cgroup is busy

When part of the cgroup hierarchy cannot be deleted (e.g. because there
are still processes in it), do not exit unit_prune_cgroup early, but
continue so that u->cgroup_realized is reset.

Log the known case of non-empty cgroups at debug level and other errors
at warning level.

Fixes https://github.com/systemd/systemd/issues/12386

Merge pull request #12806 from yuwata/networkctl-ethtool-12657

networkctl: show speed, duplex, auto negotiation, and port