errno-util: add new errno_or_else() helper

Merge pull request #13025 from poettering/tmpfiles-fixo

unbreak the build

Merge pull request #13017 from yuwata/network-neighbor-lladdr-13015

network: rename Neighbor.MACAddress= and also support IPv4 address

tmpfiles: use path_join() where it makes sense

tmpfiles: fix build

After I merged #12750 we don't build anymore, since the merged PR (which
passed CI) uses prefix_root() which doesn't exist anymore. Let's fix
that.

tests: turn on the "object-size" UBSan check on Fuzzit

Now that 2eb1c19881678851a7e is merged it should be safe.

Merge pull request #12750 from keszybz/tmpfiles-c-copy

Make tmpfiles C use --root

udevadm: ensure 'udevadm info -w' show updated result

This seems not necessary, but just for safety.

Merge pull request #12461 from Werkov/fix-job-ordering

Refactor job ordering implementation (and fix cycle detection)

test-network: add testcase that Neighbor.LinkLayerAddress= is IP address

test-network: use Neighbor.LinkLayerAddress= instead of deprecated Neighbor.MACAddress=

network: fdb: use ether_addr_from_string()

network: fdb: do not allocate separated memory for lladdr

network: drop invalid [Neighbor] section earlier

network: rename Neighbor.MACAddress= to Neighbor.LinkLayerAddress=

And make it support IPv4 address.

Closes #13015.

network: NDA_LLADDR attribute can also take struct in_addr

sd-netlink: make sd_netlink_message_read() returns size of read data

Merge pull request #12176 from poettering/clean-dir2

add "systemctl clean" operation for clearing out StateDirectory=, CacheDirectory=, … of a service unit

json: always allocate at least sizeof(JsonVariant) bytes

ubsan apparently doesn't like us being too smart here. Given the
difference is just a few bytes, let's avoid the noise.

Fixes: #13020

update TODO

man: document new "systemctl clean…" operation

test: add testcase for new CleanUnit logic

systemctl: port "systemctl start --wait" logic to new bus-wait-for-units.c API

systemctl: add new "clean" operation to systemctl

This exposes the CleanUnit() bus calls in systemctl, i.e. makes all the
infrastructure we previously added useful to people.

shared: add generic logic for waiting for a unit to enter some state

This is a generic implementation of a client-side logic of waiting until
a unit enters or leaves some state.

This is a more generic implementation of the WaitContext logic currently
in systemctl.c, and is supposed to replace it (a later commit does
this). It's similar to bus-wait-for-jobs.c and we probably should fold
that one into it later on.

This code is more powerful and cleaner than the WaitContext logic
however. In addition to waiting for a unit to exit this also allows us
to wait for a unit to leave the "maintainance" state.

This commit only implements the generic logic, and adds no users of it
yet.

core: expose per-service cleaning properties on the bus, too

core: expose new clean operation on the bus

This adds CanClean() and Clean() as new methods on the Unit object that
initiate the cleaning operation.

core: add type of resource string table

core: hook up timer unit type with clean operation

timer units maintain state on disk (the persistent touch file), hence
let's expose cleaning it up generically with the new cleaning operation
for units.

This is a much simpler implementation as for the service unit type:
instead of forking out a worker process we just remove the touch file
directly. That should be OK since we only need to remove a single
(empty) file, instead of a recursive user-controlled directory tree.

Fixes: #4930

core: hook up service unit type with the new clean operation

The implementation is pretty straight-foward: when we get a request to
clean some type of resources we fork off a process doing that, and while
it is running we are in the "cleaning" state.

core: add generic "clean" operation to units

This adds basic infrastructure to implement a "clean" operation for unit
types. This "clean" operation is supposed to remove on-disk resources of
units, and is supposed to be used in a later commit to clean our
RuntimeDirectory=, StateDirectory= and so on of service units.

Later commits will open this up to the bus, and hook up service units
with this.

This also adds a new generic ActiveState called UNIT_MAINTENANCE. It's
supposed to cover all kinds of "maintainance" state of units.
Specifically, this is supposed to cover the "cleaning" operations later
added for service units which might take a bit of time. This high-level,
generic, abstract state is called UNIT_MAINTENANCE instead of the
more specific "UNIT_CLEANING", since I think this should be kept open
for different operations possibly later on that could be nicely subsumed
under this (for example, maybe a recursive chown()ing operation could be
covered by this, and similar).

rm-rf: introduce new flag REMOVE_MISSING_OK

This new flag suppresses error if the top-level path specified doesn't
exist. This is useful since suppressing this on the caller side isn't
easy, since ENOENT migh be propagate for some reason from further inside
and we can't distuingish that.

While we are at it, also be a bit more careful witht the various
combinations of flags.

(Note that in some cases rm_rf() was already ignoring ENOENT from
unlink() or rmdir(), however that was pretty useless, since we always
open() the top-level path with O_DIRECTORY and if that hit ENOENT we
didn't ignore the failure).

sd-bus: when installing a match make sure not to apply it to already queued messages

This tweaks match installation a bit: the match callbacks are now only
called for messages read after the AddMatch() reply was received and
never anything already read before. Thus, installing a match gives you a
time guarantee: only messages received after it will be matched.

This is useful when listening to PropertiesChanged signals as an example
to ensure that only changes after the point the match was installed are
honoured, nothing before.

sd-bus: destroy AddMatch() reply slot in failure case too

If AddMatch() doesn't work, let's destroy the slot for it too as soon as
we received the failure for it.

This way the mere existance of the slot tells us whether the AddMatch()
method call is still pending or is complete.

sd-bus: maintain a counter for incoming msgs

Let's count incoming messages and attach the current counter when we
first read them to the message objects. This allows us to nicely order
messages later on.

Merge pull request #13018 from yuwata/network-tunnel-follow-up-13016

network: drop assertions about Tunnel.family

test-network: drop test_udev_driver as it is unstable

The test unexpectedly succeeds on KVM with sanitizer CI.
At least tentatively, let's drop the test.

Merge pull request #13006 from yuwata/network-split-dhcp-12917

networkd: DHCPv6 - separate DHCPv6 options from DHCPv4 options

Merge pull request #13010 from poettering/fsck-usr-wants

generator: downgrade Requires= → Wants= of fsck from /usr mount unit

test-network: add testcases Tunnel.Remote=any and Local=any

network: ip6tnl and vti6 does not support the case both Local= and Remote= are any

This partially revert feb0c8b86f05330c8c7581463b8adf35ea68e5a9.

This also drop assertions about Tunnel.family.

Merge pull request #13013 from yuwata/network-xfrm-follow-ups

network: follow-ups for XFRM netdevs and introduce AssignToLoopback= for Tunnel devices

test-network: add test for Xfrm netdev

test-network: add test for AssignToLoopback= setting

network: add AssignToLoopback= setting to [Tunnel] section

networkd does not manage loopback interface lo. So, previously, we have
no way to assign tunnel devices to lo.

network: simplify the condition about xfrm

Merge pull request #13011 from keszybz/auto-erase

Remove string_erase and friends

network: support gre tunnel or friends with Local=any Remote=any

Fixes #13014.

Merge pull request #12755 from keszybz/short-identifiers

Allow using unit names in status messages

Merge pull request #12926 from keszybz/urlify-logs

Urlify CONFIG_FILE and improve SYSTEMD_LOG_LOCATION

Merge pull request #13009 from keszybz/efi-feature-xbootldr

sd-boot feature xbootldr

Merge pull request #12965 from keszybz/auto-erase

_cleanup_(erase_and_freep)

Merge pull request #13005 from keszybz/fix-gcc-warning

Fix two gcc warnings

tmpfiles: use log_syntax() for complaining about configuration file errors

In the light of #12926 I needed some log messages for testing. This
tmpfiles one came to mind, since it's frequently seen on typical Fedora
systems. Alas, they didn't actually use log_syntax, and thus weren't
recognizable by the new config file urlifaction code. Let's fix that.

generator: downgrade Requires= → Wants= of fsck from /usr mount unit

Fixes #5099

core: spaces rock

Merge pull request #12863 from 1848/if_xfrm

Added support for xfrm interfaces

Fixed condition checked twice

Added support for xfrm interfaces

bootctl,sd-boot: define EFI_LOADER_FEATURE_XBOOTLDR

It was added back in fa2a3bbdd8bfcc3402c2ad9e941eb3911971e09a, but we
forgot to add the feature define.

boot,shared: share the definitions of EFI_LOADER_FEATURE macros

This means the the code needs to be kept compatible in the shared header,
but I think that still nicer than having two places to declare the same
things.

I added src/boot to -I, so that efi/foo.h needs to be used. This reduces
the potential for accidentally including the wrong header.

Merge pull request #12939 from yuwata/lgtm-fixes

make LGTM quiet

test-strv: test strv_free_erase() a little bit

Remove string_erase

shared/logs-show: urlify CONFIG_FILE in verbose mode

Now all short-*, verbose, with-unit modes are handled. cat, export, json-* are
not, but those are usually used for post-processing, so I don't think it'd be
useful there.

shared/logs-show: urlify CONFIG_FILE in short mode

v2:
- check that the filename is terminated by ':', ' ', or EOS
- fix grep highlight overlap check

Remove string_free_erase

Use unit->id instead of description in messages

v2:
- rename unit_identifier to unit_status_string

Add config and kernel commandline option to use short identifiers

No functional change, just docs and configuration and parsing.

v2:
- change ShortIdentifiers=yes|no to StatusUnitFormat=name|description.

pid1: tiny simplification

v2:
- use empty_to_root()

systemctl: allow "cat" on units with bad settings

That's precisely the state where 'cat' is particularly useful ;).

network: fix memleak

set_put() does not return -EEXIST.

Fixes #12995 and oss-fuzz#15678.

reply-password: define main through macro

Use _cleanup(free_and_erasep) where appropriate

Replaces #12959.

test: add _cleanup_(erase_and_freep)

Based on the macro and test case by Lennart Poettering and
Topi Miettinen suggestion.

test-network: add tests for UseDNS= in [DHCP] section

test-network: enable systemd-resolved.service

network: rename [DHCP] section to [DHCPv4]

To keep the backward compatibility broken by the previous commit.

networkd: silence bogus gcc warning about %s

Fixes #12931.

In file included from ../src/basic/macro.h:558,
                 from ../src/basic/alloc-util.h:9,
                 from ../src/network/networkd-link.c:7:
../src/network/networkd-link.c: In function ‘link_sysctl_ipv6_enabled’:
../src/basic/log.h:107:9: error: ‘%s’ directive argument is null [-Werror=format-overflow=]
  107 |         log_internal_realm(LOG_REALM_PLUS_LEVEL(LOG_REALM, (level)), __VA_ARGS__)
      |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../src/shared/log-link.h:21:25: note: in expansion of macro ‘log_internal’
   21 |                         log_internal(level, error, _FILE_, __LINE__, __func__, ##__VA_ARGS__); \
      |                         ^~~~~~~~~~~~
../src/shared/log-link.h:33:50: note: in expansion of macro ‘log_link_full’
   33 | #define log_link_warning_errno(link, error, ...) log_link_full(link, LOG_WARNING, error, ##__VA_ARGS__)
      |                                                  ^~~~~~~~~~~~~
../src/network/networkd-link.c:83:24: note: in expansion of macro ‘log_link_warning_errno’
   83 |                 return log_link_warning_errno(link, r,
      |                        ^~~~~~~~~~~~~~~~~~~~~~
../src/network/networkd-link.c:84:77: note: format string is defined here
   84 |                                               "Failed to read net.ipv6.conf.%s.disable_ipv6 sysctl property: %m",
      |                                                                             ^~
cc1: some warnings being treated as errors

shared/dm-util: use strncpy_exact() to silence gcc

With gcc-9.1.1-2.fc31.x86_64 and -Doptimization=2:
../src/shared/dm-util.c: In function ‘dm_deferred_remove’:
../src/shared/dm-util.c:35:9: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   35 |         strncpy(dm.name, name, sizeof(dm.name));
      |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

gcc is plain wrong here, because we checked strlen(name) a few lines above, so
there can be no truncation and even the terminator always fits. But let's avoid
the warning.

networkd: DHCPv6 - separate DHCPv6 options from DHCPv4 options

Closes https://github.com/systemd/systemd/issues/12917

fuzzbuzz: rename fuzz.yaml to fuzzbuzz.yaml

fuzz.yaml will stop working in a week

importd: Avoid need for fd translation table

Make use of curl_multi_assign to associate each IO sd_event_source with
a CURL object. This means we always get passed the right event source
and don't need to worry about looking up the associated CURL object,
particularly in the case where the FD has been closed on a REMOVE event.

network: read sysctl value only once (#12990)

Follow-up for bafa9641446852f7fa15ca12d08a223d345c78ea.

When the value is changed, networkd needs to be restarted.

util: fix sign-compare warning

test/udev-test.pl: cleanup if skipping test

In Ubuntu CI, udev-test.pl is run from the debian/test/udev script,
in a test dir created for it; but udev-test.pl setup mounts a
dir, so if it doesn't cleanup/unmount before exiting, the test dir
autopkgtest created for it can't be removed, and autopkgtest
aborts the entire test suite, for example this output (from a
test run inside an armhf container):

autopkgtest [12:45:36]: test udev: [-----------------------
umount: test/tmpfs: no mount point specified.
mknod: test/tmpfs/dev/null: Operation not permitted
unable to create test/tmpfs/dev/null at ./udev-test.pl line 1611.
Failed to set up the environment, skipping the test at ./udev-test.pl line 1731.
autopkgtest [12:45:41]: test udev: -----------------------]
autopkgtest [12:45:44]: test udev:  - - - - - - - - - - results - - - - - - - - - -
udev                 FAIL non-zero exit status 77
rm: cannot remove '/tmp/autopkgtest.ocPFA6/autopkgtest_tmp/test/tmpfs': Device or resource busy
autopkgtest [12:46:22]: ERROR: "rm -rf /tmp/autopkgtest.ocPFA6/udev-artifacts /tmp/autopkgtest.ocPFA6/autopkgtest_tmp" failed with stderr "rm:

Merge pull request #12992 from mrc0mmand/test-functions-fixes

Various test/test-functions fixes/improvements

pid1: fix serialization/deserialization of commmands with spaces

Fixes #12258.

This is enough to reproduce:
$ systemd-run bash -c 'sleep 10' && systemctl daemon-reload
would result in
Current command vanished from the unit file.

We would serialize as:
ExecStart 0 /usr/bin/bash /usr/bin/bash -c sleep 10000
which of course can't work.
Now we serialize as
ExecStart 0 /usr/bin/bash "/usr/bin/bash" "-c" "sleep 10".

nspawn: fix abort when we cannot execve

If execve failed, we would die in safe_close(), because master was already
closed by fdset_close_others() on line 3123. IIUC, we don't need to keep the
fd open after sending it, so let's just close it immediately.

Reproducer:
sudo build/systemd-nspawn -M rawhide fooooooo

Fixup for 3acc84ebd9aebe8cf1771b42644ebbfbecdfaa37.

Merge pull request #12972 from intelfx/cryptsetup-enable-libcryptsetup-debug

cryptsetup: properly handle libcryptsetup debug logging

test: install missing dependencies for CIs

test: drop || return 1 expression which is incompatible with set -e

The `set -e` option is incompatible with a subshell/compound command,
which is followed by || <EXPR>. In such case, the -e option is ignored
in all affected subshells/functions (see man bash(1) for command `set`).

test: be a little bit more verbose when installing service binaries

test: correctly handle installation of newly introduced binaries

In certain cases we might attempt to install a binary which is already
present in the test image, yet it's missing from the host system.
In such cases, let's check if the binary indeed exists in the image
before doing any other chcecks. If it does, immediately return with
success.

This was discovered during installation of
/usr/lib/systemd/systemd-bless-boot, which was not present in Ubuntu CI
(as the installed systemd was from the Ubuntu repositories), and the
binary itself was already in the image thanks to `ninja install`.
However, during extraction of binaries from the systemd service files,
another attempt to install this binary was made, which failed due to
`find_binary` being unable to find it.

test: make ASAN/UBSAN_OPTIONS overridable from the outside

This should allow us to tweak the ASAN_OPTIONS and UBSAN_OPTIONS env
variables for integration tests as well

FUNDING: this needs to be yaml

Create FUNDING.yml

growfs: call crypt_set_debug_level() correctly, skip if not needed

cryptsetup: enable libcryptsetup debug logging if we want it

Even if we set a log callback that would accept debug messages, libcryptsetup
needs debug logging enabled explicitly for it to happen.

Merge pull request #12970 from ddstreet/gh12969

src/network/networkd-dhcp4.c: set prefsrc for classless or static routes