Merge pull request #11243 from poettering/nspawn-root-overlay

add systemd-nspawn --volatile=overlay support, as well as the same for host systems

Merge pull request #11701 from poettering/discover-bls

sd-boot,bootctl,gpt-auto: support Extended Boot Loader Partition

man: document new systemd.volatile=overlay kernel command line option

man: document nspawn's new --volatile=overlay switch

copy: don't synthesize a 'user.crtime_usec' xattr on copy unless explicitly requested

Previously, when we'd copy an individual file we'd synthesize a
user.crtime_usec xattr with the source's creation time if we can
determine it. As the creation/birth time was until recently not
queriable form userspace this effectively just propagated the same xattr
on the source to the same xattr on the destination. However, current
kernels now allow to query the birthtime using statx() and we do make
use of that now. Which means that suddenly we started synthesizing these
xattrs much more regularly.

Doing this actually does make sense, but only in very few cases:
not for the typical regular files we copy, but certainly when dealing
with disk images. Hence, let's keep this kind of propagation, but let's
make it a flag and default to off. Then turn it on whenever we deal with
disk images, and leave it off otherwise.

This is particularly relevant as overlayfs combining a real fs, and a
tmpfs on top will result in EOPNOTSUPP when it is attempted to open a
file with xattrs for writing, as tmpfs does not support xattrs, and
hence the copy-up cannot work. Hence, let's avoid synthesizing this
needlessly, to increase compat with overlayfs.

gpt-auto-generator: use new /run/systemd/volatile-root symlink as fallback when we otherwise cannot determine root device node

gpt-auto-generator: rename open_parent() → open_parent_devno() so that we can include fs-util.h later

As that header also defines a function open_parent() which does
something different.

volatile-root: export original root

volatile-root: add overlay mode for host boots, too

volatile-root: fail if we can't parse specified parameter

volatile-root: add missing logging to volatile-root

volatile-util: tweak query_volatile_mode() a bit

nspawn: rework how arg_read_only is initialized in --volatile= mode

Previously, we'd refuse the combination, and claimed we'd imply it, but
actually didn't. Let's allow the combination and imply read-only from
--volatile=, because that's what's documented, what we claim we do, and
what makes sense.

nspawn: refactor how we determine whether it's OK to write to /etc

nspawn: no need to make top-level directory a bind mount if we just dissected an image

nspawn: slightly reorder mount logic

Let's first setup the volatile logic, and only then mount secondary
partitions of the image in.

nspawn: add --volatile=overlay support

Fixes: #11054 #3847

nspawn: fix an error path

nspawn: add volatile mode multiplexer call setup_volatile_mode()

Just some refactoring, no change in behaviour.

nspawn: explicitly refuse mounts over /

Previously this would fail later on, but let's filter this out at the
time of parsing.

update TODO

man: document XBOOTLDR partition logic in bootctl's man page

man: document XBOOTLDR search logic for sd-boot

man: extend systemd-gpt-auto-generator with XBOOTLDR info

docs: enclose all uuids in ``

meson: sort header list again

mkosi: let's update the boot loader also in /efi

This is after all where we preferable mount the ESP today.

bootspec: stat() on an autofs mount point doesn't trigger it, let's hence do it explicitly

stub: don't override LoaderDevicePartUUID EFI var

We document and all our code assumes that LoaderDevicePartUUID is
initialized to the ESP's UUID. Let's hence not override the variable if
it is already set, in order to not confuse userspace if the kernel's EFI
image is run from a different partition than the ESP.

This matches behaviour for all other variables set by the EFI stub, in
particular the closely related LoaderImageIdentifier variable.

stub: don't ask for variable data we actually don't care about

Let's take benefit of the fact that efivar_get_xyz() take NULL pointers
for the return data: let's shorten the code a bit.

stub: fix GUID to check EFI vars in

Our own variables are in the the "loader" GUID namespace, but our code
so far checked the "global" GUID namespace (i.e. EFI's own), before
setting the variables. Correct that, so that we always check the right
namespace for existing variables before we write them.

efi: beef up efivar_get_xyz() to accept NULL return values

sd-boot: don't print error string where there's no error code known

sd-boot: also look for boot loader entries in the XBOOTLDR partition

The specification always said so, let's actually implement this.

Unfortunately UEFI's own APIs don't allow us to search for partition
type GUID, hence we have to implement a minimal GPT parser ourselves.

sd-boot: don't dereference NULL ptr if loaded_image_path is NULL

In a follow-up commit we'd like to invoke config_entry_add_from_file()
on partitions that are not the ESP, let's prepare fpr that and allow
loaded_image_path to be passed as NULL.

sd-boot: pass device handle to config_entry_add_linux()

This makes the code a bit simpler (after all the call is not interested
in the loaded image, just where it is found), and more like
config_load_entries() which takes the same arguments.

This also makes things easier for us later on, when we add support for
discovering images in $XBOOTLDR partitions.

bootspec: only sort entries list once

Instead of re-sorting entries list each time we loaded enrties from a
specific source, let's just sort them once at the end.

bootspec: also look for boot loader spec type 2 entries (i.e. unified kernel images)

sd-boot reads them, and hence we should from our userspace side too

bootctl: properly handle readdir() errors

bootctl: let's make sure we always add empty line after EFI binary output

Let's make sure we output another "\n", even if we fail this function,
so that the output we started is separated properly from what is
following.

bootspec: use verify_fsroot_dir() in verify_xbootldr() too

Let's share some code between verify_xbootldr() and verify_esp().

bootspec: also optoinally validate XBOOTLDR partition with udev insteado of blkid

bootspec: split out code that validates whether directory is top-level dir of fs

Let's add a new function that checks whether some directory is the
top-level directory inside an fs, splitting out the code for this from
verify_esp().

While we are at it, let's slightly improve the code, so that we can
correctly work if we have no priviliges but the ESP is mounted
unaccessible: if we can't stat() the path "$ESP/.." then manually remove
the last component of $ESP and check that instead. Which is very similar
in behaviour, and hopefully good enough in the unprivileged case.

bootspec: if unprivileged validate partition data with udev rather than blkid directly

udev metadata access works unprivileged, which the blkid stuff doesn't
(as that needs raw device node access). Hence let's use udev if we lack
privs, and raw device access only if root.

bootspec: also split out XBOOTLDR partition blkid code into its own function

bootspec: split out ESP blkid validation into function of its own

This makes it easier to add an alternative implementation for this that
uses sd-device instead of blkid directly.

bootspec: add comment explaining verify_esp() return codes

bootspec: use SYNTHETIC_ERRNO() where appropriate

boot-bless: port over to new $BOOT discovery calls

bootctl: output where we found $BOOT

bootctl: teach bootctl the new partition type

bootspec: load entries from both the ESP and XBOOTLDR partitions

Let's simply search in both.

systemctl: add missing OOM checks

systemctl: use SYNTHETIC_ERRNO() where appropriate

systemctl: drop arg_esp_path variable from systemctl

It's not set ever (and there's no real need to make it settable, since
users can as well set $SYSTEMD_ESP_PATH to configure this.

bootspec: store 'root' field in each bootspec entry we load

This 'root' field contains the root path of the partition we found the
snippet in. The 'kernel', 'initrd', 'efi', … fields are relative to this
path.

This becomes particularly useful later when we add support for loading
snippets from both the ESP and XBOOTLDR, but already simplifies the code
for us a bit in systemctl.

bootspec: add internal APIs to discover the XBOOTLDR partition

gpt-auto: also load the boot loader partition during regular boots

dissect: when mounting an image mount the XBOOTLDR partition to /boot

Previously, we'd mount the ESP to /efi if that existed and was empty,
falling back to /boot if that existed and was empty.

With this change, the XBOOTLDR partition is mounted to /boot
unconditionally. And the EFI is mounted to /efi if that exists (but it
doesn't have to be empty — after all the name is very indicative of what
this is supposed to be), and to /boot as a fallback but only if it
exists and is empty (we insist on emptiness for that, since it might be
used differently than what we assume).

The net effect is that $BOOT should be reliably found under /boot, and
the ESP is either /efi or /boot.

(Note that this commit only is relevant for nspawn and suchlike, i.e.
the codepaths that mount an image without involving udev during boot.)

dissect: automatically detect boot loader spec $BOOT partition

The boot loader spec supports two places to store boot loader
configuration: the ESP and a generic replacement for it in case the ESP
is not available or not suitable. Let's look for both.

gpt: add definition for boot loader spec partition

As listed in the boot loader spec since a long time:

https://systemd.io/BOOT_LOADER_SPECIFICATION#technical-details

bootctl: safety check for regular file when reading EFI images

bootctl: use SYNTHETIC_ERRNO() where appropriate

dissect: use SYNTHETIC_ERRNO() where appropriate

bootspec: use SYNTHETIC_ERRNO() at one more place

bootspec: update log message, to indicate the error is ignored

fs-util: add new helper syncfs_path()

env-file: (void)ify an unlink() call

json: don't call va_end() twice in json_build()

This was apparently left-over when json_buildv() was added, and
json_build() just became a wrapper for it.

semaphoreci: Run subset of autopkgtests in LXC (#11814)

Run build/test in LXC for now, as full nested QEMU is too brittle right
now: https://github.com/semaphoreci/semaphore/issues/37
But this at least runs some tests. It ensures that systemd generally
works in containers, as well as provides some backup results if the main
Ubuntu CI is down.

Merge pull request #11852 from keszybz/coverity-memory-issues

Two small fixes for memory issues found by coverity

Merge pull request #11856 from xtopherwong/new-time-zone-list

Use new time zone list

Merge pull request #11857 from rossburton/acrn

virt: detect the ACRN hypervisor

Merge pull request #11834 from martinpitt/network-test-fixes

networkd-test fix/improvement

man: add ACRN hypervisor

Better C code formatting of arguments in Emacs

In [PR#11696][1] it came up that the formatting of continued arguments should
follow the default Emacs style. To ensure this happens when someone has changed
his setting in her private config, the value should be set by *dir-locals.el*.

[1]: https://github.com/systemd/systemd/pull/11696#pullrequestreview-205463987

Merge pull request #11853 from keszybz/man-rules-update

man/rules update

virt: detect the ACRN hypervisor

Add magic string and enumeration for the ACRN hypervisor
(https://projectacrn.org).

test-time-util: use standard intro and print timezones read from file

The asserts are OK, but it's also nice to see the list by eye.

README: mention that we need tzdata >= 2014f

zone1970.tab was added in that version. Not that it makes sense to use
outdata timezone tables, but people do strange things.

C.f. https://github.com/nodatime/nodatime/issues/319.

man/shutdown: Fix grammar

Use new time zone list

When systemd retrieve the time zone it read what is in the file
/usr/share/zoneinfo/zone.tab provided by the Time Zone Database.
According to the comments in zone.tab its content is for backward-
compatibility aid for older programs. New programs should use
zone1970.tab. This patch replaces zone.tab with zone1970.tab.

sd-bus: deal with cookie overruns

Apparently this happens IRL. Let's carefully deal with issues like this:
when we overrun, let's not go back to zero but instead leave the highest
cookie bit set. We use that as indication that we are in "overrun
territory", and then are particularly careful with checking cookies,
i.e. that they haven't been used for still outstanding replies yet. This
should retain the quick cookie generation behaviour we used to have, but
permits dealing with overruns.

Replaces: #11804
Fixes: #11809

man: create .so links for sd_bus_close_{unref,unrefp}

Follow-up for bd62b7448623fbe36665e089977731efb55524c0.

meson: remove workaround for old meson bug with command quoting

Those bugs were fixed a long time ago. Let's take advantage of this and use the
usual $() syntax.

Merge pull request #11840 from yuwata/network-route-onlink

network: enable GatewayOnLink= if no static address is configured

udev-builtin-usb_id: guard against overflow when reading descriptor data

CID#996458. Coverity warns that we trust desc->bLength as read in
the input data to adjust our position in the buffer. This value could
be anything, leading to overflow. It's unlikely that the kernel feeds
us invalid data, but let's me more careful.

If any error is encountered, more logs are given.

udev-builtin-usb_id: use strjoina to simplify code

shared/install: do not use a temporary variable outside of its scope

Coverity says:
> Pointer to local outside scope (RETURN_LOCAL)9.
> use_invalid: Using dirs, which points to an out-of-scope temporary variable of type char const *[5].

And indeed, the switch statement forms a scope. Let's use an if to
avoid creating a scope.

fuzz: do not assume the existence of /sys/class/net/lo

Hopefully fixes oss-fuzz#13440.

network: wrap long lines

network: simplify config_parse_lifetime()

network: avoid address section freed

Otherwise, if HomeAddress= or friends are specified at the first line of
a section, then its assignment will be ignored.

network: cleanup logging in route related config parsers

network: do not override previously specified family

test-network: add testcase for #1850

network: enable GatewayOnLink= if Gateway= without static address configured

And warn about that.

But this only done if GatewayOnLink= is not specified. When it is
explicitly disabled, then the flag will not be set.

network: save GatewayOnLink= value as tristate in Route

This should not change any behavior. But used in the later commit.

network: relax the .network file check

Previously, if a .networ file contains invalid [Address] or [Route]
section, then the file is completely dropped. This makes networkd
just drops invalid sections.

network: rename GatewayOnlink= to GatewayOnLink=

But still GatewayOnlink= is supported for backward compatibility.