Merge pull request #13006 from yuwata/network-split-dhcp-12917

networkd: DHCPv6 - separate DHCPv6 options from DHCPv4 options

Merge pull request #13010 from poettering/fsck-usr-wants

generator: downgrade Requires= → Wants= of fsck from /usr mount unit

Merge pull request #13013 from yuwata/network-xfrm-follow-ups

network: follow-ups for XFRM netdevs and introduce AssignToLoopback= for Tunnel devices

test-network: add test for Xfrm netdev

test-network: add test for AssignToLoopback= setting

network: add AssignToLoopback= setting to [Tunnel] section

networkd does not manage loopback interface lo. So, previously, we have
no way to assign tunnel devices to lo.

network: simplify the condition about xfrm

Merge pull request #13011 from keszybz/auto-erase

Remove string_erase and friends

network: support gre tunnel or friends with Local=any Remote=any

Fixes #13014.

Merge pull request #12755 from keszybz/short-identifiers

Allow using unit names in status messages

Merge pull request #12926 from keszybz/urlify-logs

Urlify CONFIG_FILE and improve SYSTEMD_LOG_LOCATION

Merge pull request #13009 from keszybz/efi-feature-xbootldr

sd-boot feature xbootldr

Merge pull request #12965 from keszybz/auto-erase

_cleanup_(erase_and_freep)

Merge pull request #13005 from keszybz/fix-gcc-warning

Fix two gcc warnings

tmpfiles: use log_syntax() for complaining about configuration file errors

In the light of #12926 I needed some log messages for testing. This
tmpfiles one came to mind, since it's frequently seen on typical Fedora
systems. Alas, they didn't actually use log_syntax, and thus weren't
recognizable by the new config file urlifaction code. Let's fix that.

generator: downgrade Requires= → Wants= of fsck from /usr mount unit

Fixes #5099

core: spaces rock

Merge pull request #12863 from 1848/if_xfrm

Added support for xfrm interfaces

Fixed condition checked twice

Added support for xfrm interfaces

bootctl,sd-boot: define EFI_LOADER_FEATURE_XBOOTLDR

It was added back in fa2a3bbdd8bfcc3402c2ad9e941eb3911971e09a, but we
forgot to add the feature define.

boot,shared: share the definitions of EFI_LOADER_FEATURE macros

This means the the code needs to be kept compatible in the shared header,
but I think that still nicer than having two places to declare the same
things.

I added src/boot to -I, so that efi/foo.h needs to be used. This reduces
the potential for accidentally including the wrong header.

Merge pull request #12939 from yuwata/lgtm-fixes

make LGTM quiet

test-strv: test strv_free_erase() a little bit

Remove string_erase

shared/logs-show: urlify CONFIG_FILE in verbose mode

Now all short-*, verbose, with-unit modes are handled. cat, export, json-* are
not, but those are usually used for post-processing, so I don't think it'd be
useful there.

shared/logs-show: urlify CONFIG_FILE in short mode

v2:
- check that the filename is terminated by ':', ' ', or EOS
- fix grep highlight overlap check

Remove string_free_erase

Use unit->id instead of description in messages

v2:
- rename unit_identifier to unit_status_string

Add config and kernel commandline option to use short identifiers

No functional change, just docs and configuration and parsing.

v2:
- change ShortIdentifiers=yes|no to StatusUnitFormat=name|description.

pid1: tiny simplification

v2:
- use empty_to_root()

systemctl: allow "cat" on units with bad settings

That's precisely the state where 'cat' is particularly useful ;).

network: fix memleak

set_put() does not return -EEXIST.

Fixes #12995 and oss-fuzz#15678.

reply-password: define main through macro

Use _cleanup(free_and_erasep) where appropriate

Replaces #12959.

test: add _cleanup_(erase_and_freep)

Based on the macro and test case by Lennart Poettering and
Topi Miettinen suggestion.

test-network: add tests for UseDNS= in [DHCP] section

test-network: enable systemd-resolved.service

network: rename [DHCP] section to [DHCPv4]

To keep the backward compatibility broken by the previous commit.

networkd: silence bogus gcc warning about %s

Fixes #12931.

In file included from ../src/basic/macro.h:558,
                 from ../src/basic/alloc-util.h:9,
                 from ../src/network/networkd-link.c:7:
../src/network/networkd-link.c: In function ‘link_sysctl_ipv6_enabled’:
../src/basic/log.h:107:9: error: ‘%s’ directive argument is null [-Werror=format-overflow=]
  107 |         log_internal_realm(LOG_REALM_PLUS_LEVEL(LOG_REALM, (level)), __VA_ARGS__)
      |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~
../src/shared/log-link.h:21:25: note: in expansion of macro ‘log_internal’
   21 |                         log_internal(level, error, _FILE_, __LINE__, __func__, ##__VA_ARGS__); \
      |                         ^~~~~~~~~~~~
../src/shared/log-link.h:33:50: note: in expansion of macro ‘log_link_full’
   33 | #define log_link_warning_errno(link, error, ...) log_link_full(link, LOG_WARNING, error, ##__VA_ARGS__)
      |                                                  ^~~~~~~~~~~~~
../src/network/networkd-link.c:83:24: note: in expansion of macro ‘log_link_warning_errno’
   83 |                 return log_link_warning_errno(link, r,
      |                        ^~~~~~~~~~~~~~~~~~~~~~
../src/network/networkd-link.c:84:77: note: format string is defined here
   84 |                                               "Failed to read net.ipv6.conf.%s.disable_ipv6 sysctl property: %m",
      |                                                                             ^~
cc1: some warnings being treated as errors

shared/dm-util: use strncpy_exact() to silence gcc

With gcc-9.1.1-2.fc31.x86_64 and -Doptimization=2:
../src/shared/dm-util.c: In function ‘dm_deferred_remove’:
../src/shared/dm-util.c:35:9: warning: ‘strncpy’ specified bound 128 equals destination size [-Wstringop-truncation]
   35 |         strncpy(dm.name, name, sizeof(dm.name));
      |         ^~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

gcc is plain wrong here, because we checked strlen(name) a few lines above, so
there can be no truncation and even the terminator always fits. But let's avoid
the warning.

networkd: DHCPv6 - separate DHCPv6 options from DHCPv4 options

Closes https://github.com/systemd/systemd/issues/12917

fuzzbuzz: rename fuzz.yaml to fuzzbuzz.yaml

fuzz.yaml will stop working in a week

importd: Avoid need for fd translation table

Make use of curl_multi_assign to associate each IO sd_event_source with
a CURL object. This means we always get passed the right event source
and don't need to worry about looking up the associated CURL object,
particularly in the case where the FD has been closed on a REMOVE event.

network: read sysctl value only once (#12990)

Follow-up for bafa9641446852f7fa15ca12d08a223d345c78ea.

When the value is changed, networkd needs to be restarted.

util: fix sign-compare warning

test/udev-test.pl: cleanup if skipping test

In Ubuntu CI, udev-test.pl is run from the debian/test/udev script,
in a test dir created for it; but udev-test.pl setup mounts a
dir, so if it doesn't cleanup/unmount before exiting, the test dir
autopkgtest created for it can't be removed, and autopkgtest
aborts the entire test suite, for example this output (from a
test run inside an armhf container):

autopkgtest [12:45:36]: test udev: [-----------------------
umount: test/tmpfs: no mount point specified.
mknod: test/tmpfs/dev/null: Operation not permitted
unable to create test/tmpfs/dev/null at ./udev-test.pl line 1611.
Failed to set up the environment, skipping the test at ./udev-test.pl line 1731.
autopkgtest [12:45:41]: test udev: -----------------------]
autopkgtest [12:45:44]: test udev:  - - - - - - - - - - results - - - - - - - - - -
udev                 FAIL non-zero exit status 77
rm: cannot remove '/tmp/autopkgtest.ocPFA6/autopkgtest_tmp/test/tmpfs': Device or resource busy
autopkgtest [12:46:22]: ERROR: "rm -rf /tmp/autopkgtest.ocPFA6/udev-artifacts /tmp/autopkgtest.ocPFA6/autopkgtest_tmp" failed with stderr "rm:

Merge pull request #12992 from mrc0mmand/test-functions-fixes

Various test/test-functions fixes/improvements

pid1: fix serialization/deserialization of commmands with spaces

Fixes #12258.

This is enough to reproduce:
$ systemd-run bash -c 'sleep 10' && systemctl daemon-reload
would result in
Current command vanished from the unit file.

We would serialize as:
ExecStart 0 /usr/bin/bash /usr/bin/bash -c sleep 10000
which of course can't work.
Now we serialize as
ExecStart 0 /usr/bin/bash "/usr/bin/bash" "-c" "sleep 10".

nspawn: fix abort when we cannot execve

If execve failed, we would die in safe_close(), because master was already
closed by fdset_close_others() on line 3123. IIUC, we don't need to keep the
fd open after sending it, so let's just close it immediately.

Reproducer:
sudo build/systemd-nspawn -M rawhide fooooooo

Fixup for 3acc84ebd9aebe8cf1771b42644ebbfbecdfaa37.

Merge pull request #12972 from intelfx/cryptsetup-enable-libcryptsetup-debug

cryptsetup: properly handle libcryptsetup debug logging

test: install missing dependencies for CIs

test: drop || return 1 expression which is incompatible with set -e

The `set -e` option is incompatible with a subshell/compound command,
which is followed by || <EXPR>. In such case, the -e option is ignored
in all affected subshells/functions (see man bash(1) for command `set`).

test: be a little bit more verbose when installing service binaries

test: correctly handle installation of newly introduced binaries

In certain cases we might attempt to install a binary which is already
present in the test image, yet it's missing from the host system.
In such cases, let's check if the binary indeed exists in the image
before doing any other chcecks. If it does, immediately return with
success.

This was discovered during installation of
/usr/lib/systemd/systemd-bless-boot, which was not present in Ubuntu CI
(as the installed systemd was from the Ubuntu repositories), and the
binary itself was already in the image thanks to `ninja install`.
However, during extraction of binaries from the systemd service files,
another attempt to install this binary was made, which failed due to
`find_binary` being unable to find it.

test: make ASAN/UBSAN_OPTIONS overridable from the outside

This should allow us to tweak the ASAN_OPTIONS and UBSAN_OPTIONS env
variables for integration tests as well

FUNDING: this needs to be yaml

Create FUNDING.yml

growfs: call crypt_set_debug_level() correctly, skip if not needed

cryptsetup: enable libcryptsetup debug logging if we want it

Even if we set a log callback that would accept debug messages, libcryptsetup
needs debug logging enabled explicitly for it to happen.

Merge pull request #12970 from ddstreet/gh12969

src/network/networkd-dhcp4.c: set prefsrc for classless or static routes

Add accel mount matrix for Irbis TW90

units: add SystemCallErrorNumber=EPERM to systemd-portabled.service

We use that on all other services, and hence should here too. Otherwise
the service will be killed with SIGSYS when doing something not
whitelisted, which is a bit crass.

semaphore: pass allow-releaseinfo-change to apt-get

https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=929248

cryptsetup: set libcryptsetup global log callback too

basic/log: fix SYSTEMD_LOG_* parsing error messages

(likely a copy-paste gone wrong)

test-network: add tests for DHCP.UseRoutes=no with custom route settings

This adds test for b5799eeb0787deacb30d5984f6ac78f88f23b97e.

Closes #12951.

test-network: add testcase for DHCP client with static address

Testcase for #12969.

src/network/networkd-dhcp4.c: set prefsrc for classless or static routes

When a DHCP server provides only a gateway, the networkd-dhcp4 code adds a
default route using that gateway, and sets the just-provided address as
the route's prefsrc; this was added in commit
46b0c76e2c355c0d0cc4792abb98cde07b28bc53

However, if the DHCP server has also provided classless route(s), these
are used instead of a default route using the provided gateway; the
networkd-dhcp4 code sets up the classless routes, but does not use the
just-provided dhcp address as the prefsrc of the route(s).  Note that
it also doesn't set the prefsrc for static routes, though it should.

If the interface has only the dhcp-provided address, this is not usually
a problem, but if it has another address (e.g. a static address), then
traffic sent through the dhcp-provided gateway might not use the
dhcp-provided source address.  If the gateway router only will route
traffic from the dhcp-provided address, then the dhcp client system's
networking through the router will not work.

Fixes: #12969

login: move file definitions outside of the conditionalization

Merge pull request #12964 from yuwata/network-bridge-vlan-issue-12958

network: fix BridgeVLAN issue

Merge pull request #12963 from keszybz/analyze-timestamp

systemd-analyze dump fixup

test-network: add tests for BridgeVLAN

network: fix issue found by UBSan

network: fix the initial value of the counter for brvlan

Fixes #12958.

network: re-implement parse_vid_range()

network: minor coding-style update

varlink: add varlink server to event loop only if there is one

pid1: use monotonic timestamp in dump if realtime is not available

$ systemd-analyze dump | head -3
Timestamp firmware: (null)
Timestamp loader: (null)
Timestamp kernel: Mon 2019-07-01 17:21:02 CEST

Since this is a debugging interface, it is OK to change the output format.
The user can infer what "Timestamp firmware: 123.456ms" means.

test-network: show debug logs of networkd

portabled: Make use of SYNTHETIC_ERRNO()

firewall-util: use fixed size array for chain name

xt_chainlabel is defined as
```
typedef char xt_chainlabel[32];
```

tree-wide: introduce strerror_safe()

dhcp: replace strerror() with %m

sd-event: replace snprintf() with strpcpyf()

fsck: split out fsck return code definitions into a header file of its own

This way we can make use of it from other components too, such as
systemd-homed.

dissect: split out DM deferred remove into src/shared/dm-util.c

The function is generally useful, let's split it out so that we can make
use of it later on in systemd-homed.

basic/time-util: add helper function to check if timestamp is set

No functional change.

man: Add some notes about variable $prefix for StateDirectory=

tl;dr: It isn’t supported.

Wording by Zbigniew Jędrzejewski-Szmek.

See https://twitter.com/pid_eins/status/1102639279614906369 and
https://gitlab.freedesktop.org/libfprint/fprintd/merge_requests/5#note_125536
onwards.

Signed-off-by: Philip Withnall <withnall@endlessm.com>

Merge pull request #12949 from yuwata/sd-netlink-sd-netlink-message-enter-array

sd-netlink: introduce sd_netlink_message_enter_array()

Merge pull request #12954 from keszybz/var-log-dir

/var/log-related cleanups

udevd: open log output early

We'd log to the "console", losing structured logs during configuration file parsing.
Let's be nice to journalctl users, and log to the journal immediately.

basic/log: omit ":0" from message when line number is not specified

And obviously CONFIG_LINE=0 is also not logged.

The way that log_syntax_internal now looks is becoming a bit crazy, but we
can't easily conditionalize on both unit and config_file, and we have different
types, so it's not easy to make this more compact.

udev: warn when we fail to parse udev.conf

This should be like any other parse error and a warning should be emitted.
Let's use log_syntax() so we get the CONFIG_FILE= set.

test: add test for sd_netlink_message_enter_array()

tree-wide: use PROJECT_FILE instead of __FILE__

This replaces the internal uses of __FILE__ with the new macro.

basic/log: add a define for path relative to source root

When using build/ directory inside of the source directory:
__FILE__: ../src/test/test-log.c
RELATIVE_SOURCE_PATH: ..
PROJECT_FILE: src/test/test-log.c

When using a build directory outside of the source directory:
__FILE__: ../../../home/zbyszek/src/systemd-work/src/test/test-log.c
RELATIVE_SOURCE_PATH: ../../../home/zbyszek/src/systemd-work
PROJECT_FILE: src/test/test-log.c

meson: drop varlogdir variable

It was only used for exactly one thing: to substitute in the text in
/var/log/README. But it's use there was completely wrong, because the text
talks about "missing" log files from syslog, so even if we configured systemd
to log to a different directory, the "missing" log files would still be
"missing" from the old location.

meson: create /var/log/journal/{,remote/} conditionally

Not everybody has those dirs in the filesystem (and they don't need to).
When creating an installation package using $DESTDIR, it is easy enough to
remove or ignore those directories, but if installing into a real root, it
is ugly to create and remove them. Let's add an option so people can skip
it if they want.

Inspired by #12930.

sd-netlink: add CTRL_ATTR_MCAST_GROUPS