Merge pull request #11772 from c0d3z3r0/master

Make systemd-boot compliant with the Linux Boot / EFI Handover Protocol

resolve: fix null pointer dereferences

Follow-up for 8227cfa137d8a930519717b752128b8d035b83e5.

Fixes CID#1398986.

cgtop: Fix processing of controllers other than CPU

After debugging the issue with gdb, I found that the following change

 94ddb08 "cgtop: Still try to get CPU statistics if controller-free"

has introduced a bug, which prevents process(..) method processing
memory and io controllers when cpu_accounting_is_cheap() is true.
The obvious fix is to move this branch to be the last one, keeping
the intended behavior of the above change, without having a negative
effect on the other controllers.

Fixes #11773 [systemd-cgtop no longer shows memory (and io) usage]

generator: rename systemd-mkfs@.service to systemd-makefs@.service

The second name was used in documentation, and the first in the code that
generated the unit. 'systemd-makefs' is the name we want, for example for
consistency with the systemd-makefs executable.

In principle this breaks compatibility, but in practice this is unlikely to be
noticeable. Each instance of the unit is created by writing out a full
definition, so the template was never defined. So the name could only be used
for ordering, and there is not reason to order things against this unit from
the outside: the ordering would rather be against the final mount unit.

Fixes #11769.

Make systemd-boot compliant with the Linux Boot / EFI Handover Protocol

The current implementation copied the *complete* header to boot_params,
thus making the kernel ignore many of the fields.

As mentioned in the code comment for the sentinel variable in
bootparam.h a bootloader should only copy the setup_header, set some
fields in boot_params and zero out anything else.

This change makes systemd-boot (mostly) compliant with the Linux Boot
Protocol and the EFI Handover Protocol described in bootparam.h and
Documentation/boot.txt to fix various issues:

- Secure boot not being detected corretly by Linux (#11717)
- tboot error message / warning on boot (#11717)
- Strange purple text color when booting in qemu with OVMF
- Hopefully even more ...

Fix typo - "do note use guessable names"

Fix typo - "do note use guessable names" to "do not use guessable names"

Revert "Set secure_boot flag in Kernel Zero-Page (#7482)"

This reverts commit b4f9f2a62fd003a30a304a25b3b6ffc4048d0f24.

Revert this because a) the quiet bug is fixed in linux and b)
Documentation/boot.txt says "All other fields should be zero."

hwdb: rotation for Trekstor Surf Tab Twin 11.6 aka VolksTablet (#11771)

Merge pull request #11512 from poettering/resolved-stub-pipeline

support incoming pipelined TCP stream queries in DNS stub server

Merge pull request #11725 from poettering/temp-dir

docs: document semantics of /tmp and /var/tmp

Merge pull request #11482 from poettering/tmpfiles-bsd-lock

adds a fully safe way how apps can pin files into /tmp temporarily, excepting them from the tmpfiles aging algorithm, based on BSD file locks on dirs we descend into

man,units: link up new documentation about temporary directories

docs: document semantics of /tmp and /var/tmp

core: add ':' prefix to ExecXYZ= skip env var substitution

Merge pull request #11556 from yuwata/udev-ctrl-use-sd-event

udev: make `udevadm control` send multiple control commands in a single connection

Merge pull request #11682 from topimiettinen/private-utsname

core: ProtectHostname feature

units: enable ProtectHostname=yes

core: ProtectHostname= feature

Let services use a private UTS namespace. In addition, a seccomp filter is
installed on set{host,domain}name and a ro bind mounts on
/proc/sys/kernel/{host,domain}name.

namespace: make MountFlags=shared work again

Since commit 0722b359342d2a9f9e0d453875624387a0ba1be2, the root mountpoint is
unconditionnally turned to slave which breaks units that are using explicitly
MountFlags=shared (and no other options that would implicitly require a slave
root mountpoint).

Here is a test case:

  $ systemctl cat test-shared-mount-flag.service
  # /etc/systemd/system/test-shared-mount-flag.service
  [Service]
  Type=simple
  ExecStartPre=/usr/bin/mkdir -p /mnt/tmp
  ExecStart=/bin/sh -c "/usr/bin/mount -t tmpfs -o size=10M none /mnt/tmp && sleep infinity"
  ExecStop=-/bin/sh -c "/usr/bin/umount /mnt/tmp"
  MountFlags=shared

  $ systemctl start test-shared-mount-flag.service
  $ findmnt /mnt/tmp
  $

Mount on /mnt/tmp is not visible from the host although MountFlags=shared was
used.

This patch fixes that and turns the root mountpoint to slave when it's really
required.

man: udevadm: mention that no control command can be specified after --exit

udev-ctrl: split out logic of waiting for reply to udev_ctrl_wait()

This makes `udevadm control` can send multiple commands in one
connection.

udevadm: print error if the commands fail

We'd exit with an error but no output. Print the error in the usual fashion.

udev-ctrl: use sd_event and introduce udev_ctrl_start()

Now the new callback function get enum udev_ctrl_msg_type.
So, this commit also drops udev_ctrl_connection and udev_ctrl_msg.

udev: drop unused Manager::uevent_event

udev-ctrl: refactor udev_ctrl_enable_receiving()

udev-ctrl: make udev_ctrl_new() return negative errno on failure

util: make base64_append() add a whitespace before appending data

Follow-up for 4bb91a950a0f2eae27bb4c7aaff9a87e86ef0c44.

Merge pull request #11764 from yuwata/network-verify

network: introduce network_verify() and drop incompatible settings

test-network: add tests for meaningless settings which should be ignored by networkd

network: introduce network_verify()

Some settings cannot set simultaneously. Let's warn and drop
incompatible settings.

Currently, it is not comprehensive. But this may be a good first step.

network: warn about deprecated value in DHCP=

network: update enum value assignments for AddressFamilyBoolean

Merge pull request #11759 from yuwata/fix-test-dropin

 test-network: check whether ethtool support driver field for dummy interfaces

Merge pull request #11757 from yuwata/test-udev-continuation

test-udev: add more tests for line continuations and comments

test-network: check whether ethtool support driver field for dummy interfaces

Fixes #11758.

dhcp: don't stop receiving packets when the link goes down

When the link goes down, DHCP client_receive_message*() functions return an
error and the related I/O source is removed from the main loop. With the
current implementation of systemd-networkd this doesn't matter because the DHCP
client is always stopped on carrier down and restarted on carrier up. However
it seems wrong to have the DHCP client crippled (because no packet can be
received anymore) once the link goes temporarily down.

Change the receive functions to ignore a ENETDOWN event so that the client will
be able to receive packets again after the link comes back.

network: do not log wrong error cause

If sd_dhcp_lease_get_router() returns a positive value and the first
router is null, then invalid error cause was logged.

Follow-up for f8862395e8f802e4106a07ceaaf02b6a1faa5a6d.

man: drop unnecessary parenthesis

Merge pull request #11754 from poettering/bus-path-limit

sd-bus path limit fixes

Merge pull request #11763 from yuwata/disable-test-dropin-driver

test-network: tentatively disable Driver field test

test-network: disable test for Driver field in networkctl

CentOS CI does not like the test. Let's at least tentatively disable the test.

test-network: update format used by networkctl status

test-udev: add more tests for line continuations and comments

test-udev: use proper semantics for too long line with continuation

Follow-up for 1e797cf596df50a6bdd8cbf8e9b2467a3a934171.

Allocate temporary strings to hold dbus paths on the heap

Paths are limited to BUS_PATH_SIZE_MAX but the maximum size is anyway too big
to be allocated on the stack, so let's switch to the heap where there is a
clear way to understand if the allocation fails.

Refuse dbus message paths longer than BUS_PATH_SIZE_MAX limit.

Even though the dbus specification does not enforce any length limit on the
path of a dbus message, having to analyze too long strings in PID1 may be
time-consuming and it may have security impacts.

In any case, the limit is set so high that real-life applications should not
have a problem with it.

Merge pull request #11478 from yuwata/enumerate-match-parent

sd-device-enumerator: support multiple parents

resolved: correctly prove the non-existense of wildcard

* Current logic:
For each NSEC RR find the common suffix between the owner name and
the next name, append asterisk to that suffix and check that
generated wildcard is covered by the NSEC RR in question.

* New logic:
Find NSEC RR covering queried name, generate wildcard as
<asterisk>.<closest encloser> using this RR, then check if any
of the NSEC RRs covers generated wildcard.

core: Allow to configure execute_directories execution behavior

This adds a new bitfield to `execute_directories()` which allows to
configure whether to ignore non-zero exit statuses of binaries run and
whether to allow parallel execution of commands.
In case errors are not ignored, the exit status of the failed script
will now be returned for error reposrting purposes or other further
future use.

Merge pull request #10408 from keszybz/analyze-cat-presets

systemd-analyze cat-presets

Merge pull request #11729 from yuwata/fix-11721

sd-device: also store properties read from udev database to sd_device::properties_db

Merge pull request #11208 from thom311/dhcp-router-option-list

dhcp: have DHCP library support multiple router entries in Router option (3)

netlink: fix routing-policy-rule integer type for FRA_TUN_ID

FRA_TUN_ID is a 64 big endian integer. Fix the policy.

FRA_TUN_ID is unused by networkd, hence I think this bug
has no actual consequences.

Fixes: bce67bbee359eec19e6778619b6651100a1c1477

Merge pull request #11457 from grooverdan/sendsigkill_no

service: killmode=cgroup|mixed, SendSIGKILL=no services are not multiprocess

network: avoid inet_ntoa() in favor of inet_ntop()

inet_ntop() is not documented to be thread-safe, so it should not
be used in the DHCP library. Arguably, glibc uses a thread local
buffer, so indeed there is no problem with a suitable libc. Anyway,
just avoid it.

dhcp: move filtering of bogus DNS/NTP addresses out of DHCP client

The DHCP client should not pre-filter addresses beyond what RFC
requires. If a client's user (like networkd) wishes to skip/filter
certain addresses, it's their responsibility.

The point of this is that the DHCP library does not hide/abstract
information that might be relevant for certain users. For example,
NetworkManager exposes DHCP options in its API. When doing that, the
options should be close to the actual lease.

This is related to commit d9ec2e632df4905201facf76d6a205edc952116a
(dhcp4: filter bogus DNS/NTP server addresses silently).

dhcp: handle multiple addresses for "Router" (option 3) in DHCP library

The Router DHCP option may contain a list of one or more
routers ([1]). Extend the API of sd_dhcp_lease to return a
list instead of only the first.

Note that networkd still only uses the first router (if present).
Aside from extending the internal API of the DHCP client, there
is almost no change in behavior. The only visible difference in
behavior is that the "ROUTER" variable in the lease file is now a
list of addresses.

Note how RFC 2132 does not define certain IP addresses as invalid for the
router option. Still, previously sd_dhcp_lease_get_router() would never
return a "0.0.0.0" address. In fact, the previous API could not
differenciate whether no router option was present, whether it
was invalid, or whether its first router was "0.0.0.0". No longer let
the DHCP client library impose additional restrictions that are not
part of RFC. Instead, the caller should handle this. The patch does
that, and networkd only consideres the first router entry if it is not
"0.0.0.0".

[1] https://tools.ietf.org/html/rfc2132#section-3.5

network: don't return allocated buffer of zero length from deserialize_in_addrs()

deserialize_in_addrs() allocates the buffer before trying to parse
the IP address. Since a parsing error is silently ignored, the returned
size might be zero. In such a case we shouldn't return any buffer.

Anyway, there was no leak, because there are only two callers like

    r = deserialize_in_addrs(&lease->dns, dns);

which both keep the unused buffer and later release it.

Note that deserialize_in_addrs() doesn't free the pointer before
reassigning the new output. The caller must take care to to pass
"ret" with an allocated buffer that would be leaked when returning
the result.

Merge pull request #11746 from yuwata/udev-rules-cleanup

udev-rules: several cleanups for udev-rules.c

meson: drop unused HAVE_STRUCT_FIB_RULE_{UID,PORT}_RANGE

Merge pull request #11681 from yuwata/network-link-enslaved-operstate

network: introduce new 'enslaved' operstate

Merge pull request #11698 from yuwata/fix-network-route-table

network: honor specified route table

udev-event: make subst_format_var() always provide null-terminated string on success

Fixes #11731.

netlink: fix routing-policy-rule netlink type for FRA_GOTO/FRA_UNUSED2

- RTA_OIF has no business in the routing-rule policy. It is numerical
  identical to FRA_GOTO. Fix using the correct enum value. Note that
  RTA_OIF/FRA_GOTO was not used by networkd, and the type was already
  correct at uint32. So, there is no change in behavior.

- RTA_GATEWAY also does not belong to the routing-rules. It is numerical
  identical to FRA_UNUSED2. Obviously, that value is unused as well,
  so there is no actual change in behavior either. In particular
  that is because:
    - kernel would not send messages with FRA_UNUSED2 attribute.
    - networkd would not try to parse/send RTA_GATEWAY/FRA_UNUSED2
      attributes.

Fixes: bce67bbee359eec19e6778619b6651100a1c1477

Merge pull request #11226 from keszybz/enable-remount-fs-dynamically

Enable systemd-remount-fs.service dynamically

Merge pull request #11747 from yuwata/fstab-generator-log

fstab-generator: fix and update log message

Merge pull request #11743 from keszybz/two-memory-fixups

Two fixups for issues found by scanners

core: update comment

Initially, the check was that /usr is not a separate fs, and was later relaxed
to allow /usr to be mounted in the initramfs. Documentation was updated in 9e93f6f09229ffdbc46ab,
but this comment wasn't. Let's update it too.

meson: drop unused "udevhomedir"

analyze: generalize cat-config to apply to tmpfiles, presets, hwdb.d, etc.

Fixes #10256.

What works:

systemd-analyze cat-config systemd/system-preset
systemd-analyze cat-config systemd/user-preset
systemd-analyze cat-config tmpfiles.d
systemd-analyze cat-config sysusers.d
systemd-analyze cat-config systemd/sleep.conf
systemd-analyze cat-config systemd/user.conf
systemd-analyze cat-config systemd/system.conf
systemd-analyze cat-config udev/udev.conf
(and other .conf files)
systemd-analyze cat-config udev/rules.d
systemd-analyze cat-config environment.d
systemd-analyze cat-config environment

Directories may be specified with the trailing dash or not.

The caveat is that for user configuration, systemd and other tools also look
at ~/.config/. It would be nice to support this, but this patch doesn't.
"cat-config --user" is rejected, and we may allow it in the future and then
extend the search path with directories under ~/.config.

What doesn't work (and probably shouldn't because those files cannot be
meaningfully concatenated):

systemd-analyze cat-config systemd/system  (.service, .slice, .socket, ...)
systemd-analyze cat-config systemd/user
systemd-analyze cat-config systemd/network (.network, .link, and .dnssd)

The hardcoding of information about paths in this manner is a bit ugly, but
OTOH, it is not too onerous, and at least we have one place where all the
schemes are "documented" through code. It'll make us think twice before adding
yet another slightly different scheme.

analyze: use SYNTHETIC_ERRNO

udev: use the usual set of load paths for udev rules

This adds /usr/local/lib/udev/rules.d to the search path on non-split-usr systems.
On split-usr systems, the paths with /usr/-prefixes are added too.
In the past, on split-usr systems, it made sense to only load rules from
/lib/udev/rules.d, because /usr could be mounted late. But we don't support running
without /usr since 80758717a63, so in practice it doesn't matter whether the
rules files are in /lib/udev/rules.d or /usr/lib/udev/rules.d. Distributions
that maintain the illusion of functional split-usr are welcome to simply not put any
files in /usr/lib/udev/rules.d/.

In practice this doesn't change much, but it makes udev more consistent with the
rest of the systemd suite.

environment-d-generator: do not include /lib/environment.d in the list

This makes the code match documentation (opposite compared to previous
commits). This is user configuration, hence it should not depend on stuff
in /lib/ even when split-usr is used.

udev,network: use standard paths for .network and .link files

This centralizes the configuration to one header file.
/usr/local/lib is now included in the search list, and documentation is
updated accordingly.

resolved: use standard paths for .dnssd files

/usr/local/lib/systemd/dnssd is now also included in the search path. This
path is of limited usefulness, but it makes sense to be consistent.

Documentation is updated to match. Outdated advice against drop-ins in /usr
is removed.

man: fix section numbers

man: add missing spdx header

man: document paths under /usr/local in standard-conf.xml

standard-conf.xml is currently included by:
man/binfmt.d.xml
man/environment.d.xml
man/modules-load.d.xml
man/sysctl.d.xml
man/coredump.conf.xml
man/journal-remote.conf.xml
man/journal-upload.conf.xml
man/journald.conf.xml
man/logind.conf.xml
man/networkd.conf.xml
man/resolved.conf.xml
man/systemd-sleep.conf.xml
man/systemd-system.conf.xml

All those programs actually use CONF_PATHS_NULSTR or CONF_PATHS_STRV,
so this changes the documentation to match code.

resolved: add missing spdx header

Introduce CONF_PATHS_USR_STRV to mirror CONF_PATHS_STRV

shared/install: generate list of files in separate function

No functional change.

test-network: add tests for bonding

man: mention that bond master follows slave operstates

man: mention new enslaved operational state

networkctl: make enslaved operstate green

network: make bond master follow operstates of slaves

If one of bond slaves is in off, no-carrier, or dormant, then
bond master is set to degraded.

udev-rules: use parse_uid() or parse_gid()

udev-rules: use new() macro instead of malloc_multiply()

test-udev: add a testcase of too long line

udev-rules: use read_line() and drop fgets()

fstab-generator: also logs about x-systemd.growfs mount option

fstab-generator: fix debug log

udev-rules: use size_t for array index

udev-rules: use GREEDY_REALLOC() macro where it applicable

This also changes types of several variables e.g. token_max to size_t.

test-network: decrease sleep time in test_bind_carrier()

This effectively reverts 63eb09569aa90721be4accbea4b78421f3c1ba7c,
as the commit does not fix #11724.

network: always drop configs when corresponding network file does not exist

Follow-up for 93b4dab57e2e13bd804cbee999241be65a443e2e.

Fixes #11724.

shared/calendarspec: do not allocate a big string on stack

The string can be as long as a logical line in a unit file — so no unlimited,
but quite big. Let's use a normal heap allocation when making a copy.

https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=13125

resolve: drop unnecessary %n fields from dns_resource_record_to_string()

And use returned value by asprintf() instead.

This hopefully fixes #11733.

basic/hexdecoct: be more careful in overflow check

CID #139583: plen + 1 is evaluated as int, and could in principle overflow.
So cast to ssize_t and add an additional check that our overflow calculation
doesn't overflow itself.

test-network: add tests for VRF=