core: bring manager_startup() and manager_reload() more inline

Both functions do partly the same, let's make sure they do it in the
same order, and that we don't miss some calls.

This makes a number of changes:

1. Moves exec_runtime_vacuum() two calls down in manager_startup(). This
   should not have any effect but makes manager_startup() more like
   manager_reload().

2. Calls manager_recheck_journal(), manager_recheck_dbus(),
   manager_enqueue_sync_bus_names() in manager_startup() too. This is a
   good idea since during reeexec we pass through manager_startup() and
   hence can't assume dbus and journald weren't up yet, hence let's
   check if they are ready to be connected to.

3. Include manager_enumerate_perpetual() in manager_reload(), too. This
   is not strictly necessary, since these units are included in the
   serialization anyway, but it's still a nice thing, in particular as
   theoretically the deserialization could fail.

core: break lines in comments

core: log in all cases in manager_startup()

We missed some cases where we'd fail without any logging at all. Let's
fix that.

manager: rework error handling and logging in manager_reload()

let's clean up error handling and logging in manager_reload() a bit.
Specifically: make sure we log about every error we might encounter at
least and at most once.

When we encounter an error before the "point of no return" then log at
LOG_ERR about it and propagate it. Otherwise, eat it up, but warn about
it and proceed, it's the best we can do.

core: add comments about n_reloading to manager_deserialize()

core: handle OOM during deserialization always the same way

OOM failures we consider fatal, while other failures we generally skip
over.

core: clean up deserialization log messages a bit

Always, say that we ignore these kind of issues. We already say that for
many fields, but for a few this was missing.

core: make sure manager_run_generators() logs about all errors

Since it's mostly a wrapper around execute_directories() it already logs
in most cases, but a few were missing. Fix that.

core: allow manager_serialize() to fail correctly

If manager_serialize() fails in the middle (which it hopefully doesn't)
make sure to fix up m->n_reloading correctly again so that we don't
leave it > 0 when it really shouldn't be.

path-lookup: downgrade logging in lookup_paths_init() a bit

So far lookup_paths_init() did not log on its own beyond LOG_DEBUG,
fix one exception, in order to avoid duplicate logging.

core: clean up test run flags

Let's make them typesafe, and let's add a nice macro helper for checking
if we are in a test run, which should make testing for this much easier
to read for most cases.

manager: normalize /run disk space checks

Let's avoid using a variable needlessly. More importantly, special case
the error, not the regular case.

core: tiny tweak for cgroup trimming during manager_free()

Instead of blacklisting when not to trim the cgroup tree, let's instead
whitelist when to do it, as an excercise of being careful when being
destructive.

This should not change behaviour with exception that during switch roots
we now won't attempt to trim the cgroup tree anymore. Which is more
correct behaviour after all we serialize/deserialize during the
transition and should be needlessly destructive.

core: use structure initialization for Manager

No changes in behaviour, just a nicer way to fill in the Manager
initially.

manager: rework test flags set

No reason to avoid bit 0.

Also, fix some tests that pass "true" as flags value, which is just
wrong.

core: rename ManagerExitCode → ManagerObjective

"ExitCode" is a bit of a misnomer in two ways: it suggests this was
about the "exit code" concept that exit()/waitid() deal with, but really
isn't. Moreover, it's not event just about exiting either, but more
often about reloading/reexecing or rebooting. Let's hence pick a new
name for this that is a bit more correct.

I initially thought about naming this the "state", but that'd be a
misnomer too, as the value really encodes a "goal" more than a current
state. Also we already have the externally visible ManagerState.

No actual changes in behaviour, just the rename.

manager: add explanatory comment regarding ManagerState

main: minor coding style update

Merge pull request #10331 from keszybz/tests-ip6-and-readme

Test suite fix and README update

More polite passphrase prompt

Instead of

Please enter passphrase for disk <disk-name>!

use

Please enter passphrase for disk <disk-name>:

which is more polite and matches Plymouth convention.

Merge pull request #10136 from yuwata/run-unit-tests

test: run unit tests under containers

README.testsuite: update the documentation for meson

Merge pull request #10307 from poettering/portable-path

finishing touches to portable services, and let's move portablectl to /usr/bin to make it official

sd-hwdb: update error log a bit

tree-wide: use CMP() macros where applicable

hwdb: Map 45 to bookmarks on the ThinkPad L380

The ThinkPad L380 has a F12(Favorate) key. The keycode 0x45 is mapped
to KEY_FAVORITES(0x16c) in kernel thinkpad_acpi driver, but this
keycode is too big for xorg to handle.
xkeyboard-config mapped KEY_BOOKMARKS to XF86Favorites:

keycodes/evdev:
    <I164> = 164;   // #define KEY_BOOKMARKS           156

symbols/inet:
    key <I164>   {      [ XF86Favorites         ]       };

So map 45 to bookmarks to correct keycode.

Signed-off-by: Zhang Xianwei <zhang.xianwei8@zte.com.cn>

test-execute: filter out ip6tnl0@ and ip6gre0@ interfaces

Those interfaces are created automatically when ip6_tunnel and ip6_gre loaded.
They break the test with exec-privatenetwork-yes.service.

C.f. 6b08180ca6f1ceb913f6a69ffcaf96e9818fbdf5.

test: add TEST-24-UNIT-TESTS running all basic tests under containers

test: do not use global variable to pass error

test: replace duplicated Makefile by symbolic link

test: make install_keymaps() optionally install more keymaps

test: add paths of keymaps in install_keymaps()

It seems that the paths of directories storing keymaps are changed.

test: introduce install_zoneinfo()

But it is not called by default.

test: install libraries required by tests

Merge pull request #10324 from poettering/audit-serialize-bool

properly serialize in_audit boolean

meson: use same compilers to build fuzzers

nspawn: add comments explaining the namespacing situation and the inner/outer children

Merge pull request #10323 from keszybz/test-udev-cleanup

Small cleanup for test-udev

ptyfwd: when we can't copy the window size from caller, use $LINES and $COLUMNS

This way users can directly influence the tty size if they like when
nspawn is invoked as a service and thus stdin/stdout/stderr are not
connected to a TTY.

core: introduce systemd.early_core_pattern= kernel cmdline option

Until a core dump handler is installed by systemd-sysctl, the generation of
core dump for services is turned OFF which can make the debugging of the early
boot process harder especially since there's no easy way to restore the core
dump generation.

This patch introduces a new kernel command line option which specifies an
absolute path where the kernel should write the core dump file when an early
process crashes.

This will take effect until systemd-coredump (or any other handlers) takes
over.

test-udev: sprinkle (void) and assert_se() as necessary

CID #996263.

test-udev: remove unsatisfiable conditionals

CID #1396013.

core: properly serialize "in_audit" per-unit boolean

Fixes: #9962

core: rearrange conditions in unit_notify() a bit

This shouldn't change control flow, with one exception: we won't send
notifications for boot progress to plymouth anymore during reload, which
is something we really shouldn't.

terminal-util: extra safety checks when parsing $COLUMNS or $LINES (#10314)

Let's make sure the integers we parse out are not larger than USHRT_MAX.
This is a good idea as the kernel's TIOCSWINSZ ioctl for sizing
terminals can't take larger values, and we shouldn't risk an overflow.

machine: use size_t for array sizes (#10309)

Some uses of n_netif already assumed it had time size_t. Others were a
bit sloppy. Let's clean this up.

logs-show: make highlight parameter const (#10311)

Merge pull request #10175 from poettering/sd-boot-count-bootctl

the bootctl changes from PR #9437 (the boot counting PR)

bootctl: include boot entries discovered by the boot loader but not in $BOOT in the "list" output

Let's use the new LoaderEntries efi var for this, and show all entries
we couldn't find via the config snippets.

bootctl: add new verbs for setting the default boot/oneshot entry

Fixes: #5739 #8574

efivars: newer efivarfs sets FS_IMMUTABLE_FL by default, deal with that

On EFI variables that aren't whitelisted in the kernel the
FS_IMMUTABLE_FL is set, as protection against accidental
removal/modification. Since our own variables do not appear in those
whielists, and we are not changing these variables, let's unset the flag
temporarily when needed. We restore the flag after all writes, just in
case.

chattr: optionally, return the old flags when updating them

efi: allow ESP validity checks to be turned off

let's add an env var for this, as this really shouldn't be a top-level
feature, as it turning off the validity checks certainly isn't
advisable.

Fixes: #4925

man: various updates to the bootctl man page

man: document the new --no-pager switch of bootctl

Also, let's move the --help and --version items to the end of the list.

bootctl: add auto-paging

bootctl: highlight various title/product fields in output

bootctl: unify the code which we use to show boot loader entries

bootctl: downgrade to log messages that aren't actually errors

bootctl: reword status/list section headers a bit

This is really confusing, let's try to clean this up a bit, in
particular as there are two very similar concepts:

1. The boot loaders, i.e. the category you find systemd-boot, the
   Windows and Apple boot loaders in. These may typically be listed in the
   firmware's EFI variables.

2. The boot loader entries, as defined by the Boot Loader Spec. In this
   category you find the various Linux kernels that are installed, i.e.
   the stuff systemd-boot shows on screen. To make things confusing, the
   Windows and Apple boot loaders can appear both as boot loaders and as
   boot loader entries.

This tries to establish the following nomenclature: "boot loaders" and
"boot loader entries" for these two concepts.

bootspec: access EFI variables on on EFI boots

bootctl: show 'Default Boot Entry' header only when we found something

bootspec: it's fine if loader.conf is absent

We shouldn't generate an error in that case, as the file is optional.

bootspec: reduce number of functions we export

Let's internalize these four calls as noone else calls them.

bootspec: remove redundant logging

boot_loader_read_conf(), boot_entries_find(), boot_entries_load_config()
all log their errors internally, hence no need to log a second or third
time about the same error when they return.

test: shorten test-boot-timestamps a bit

efivars: some trivial coding style updates

efivars: check whether we are booted with EFI before reading/writing to variables

We do these checks only for the high-level calls as for the low-level
ones it might make sense in some exotic uses to read the host EFI data
from a container or so.

efi: detect containers in is_efi_boot()

Let's make sure that we never assume we booted up in EFI mode if we are
run in a container.

bootctl: tiny shortification

bootctl: let's be paranoid and synchronize the ESP in full after all changes

We already synchronize all files we write individually, as well as the
directories they are stored in. Let's also synchronize the ESP as a
whole after our work, just in case.

Merge pull request #10262 from keszybz/hibres-disable

Switches to disable hibernation and/or resuming

mount-util: show mount source in failure log message (#10312)

ptyfwd: voidify more calls (#10310)

Merge pull request #10159 from poettering/killall-spree-kernel-thread

killall.c fixes regarding kernel thread detection

update TODO

portabled: generate a more useful error when invalid image types are attempted to be attached

Fixes: #10095

sd-bus: add three missing entries from bus-common.c that are listed in the .h file

portable: move portablectl to /usr/bin

Let's declare this a supported API. After all feedback I got at
conferences I think we are good to consider this stable now and make it
official API.

portable: create/remove the 'attached' unit file directory when we can

Let's not litter the system with this unit directory unnecessarily, and
let's try to create/remove it when necessary.

man: explain the two search paths in the SYNOPSIS with a header

man,docs: document the new unit file directory for attached images

portable: properly handle if the unit file directory for portable service images doesn't exist

if the dir doesn#t exist then let's consider this indication for "this
image isn't attached".

portable: make use of the new unit file path

Note that this breaks compatibility with older versions, as the detach
code won't find unit files attached with older releases anymore. But
given that the portable service logic was not deemed stable so far, and
this was explicitly documented and enforced through portablectl's
installation to /usr/lib/systemd/ such a compat breakage should be fine.

path-lookup: define explicit unit file directory for attached unit files

Let's separate out the unit files copied from attached portable service
image files from the admin's own files. Let's introduce
/etc/systemd/system.attached/ + /run/systemd/system.attached/ for the
files of portable services, and leave /etc/systemd/system/ and
/run/systemd/system/ for the admin.

path-lookup: TAKE_PTRify more things

Merge pull request #10281 from yuwata/follow-up-10277

meson: add more compile tests

meson: use c_args in generator scripts (#10289)

May be useful in some cases.

nspawn: optionally don't mount a tmpfs over /tmp (#10294)

nspawn: optionally, don't mount a tmpfs on /tmp

Fixes: #10260

meson: only build src/shared/tests.c if tests are enabled

It's only needed for tests and leaks build directories into
libsystemd-shared.

libsystemd: drop *_unrefp from symbol list

Follow-up for 3f608087bd57c4d9134754cdad562fa057a97c9e and
6083c4b763eb3c890396974335a47b880a55cdfd.

TODO: remove entry

Swap on luks works great. Nothing to do here.

shared/sleep-config: add switches to kill specific sleep modes

/etc/systemd/sleep.conf gains four new switches:
AllowSuspend=, AllowHibernation=, AllowSuspendThenHibernate=, AllowHybridSleep=.

Disabling specific modes was already possible by masking suspend.target,
hibernate.target, suspend-then-hibernate.target, or hybrid-sleep.target.
But this is not convenient for distributions, which want to set some defaults
based on what they want to support. Having those available as configuration
makes it easy to put a config file in /usr/lib/systemd/sleep.conf.d/ that
overrides the defaults and gives instructions how to undo that override.

shared/sleep-config: forbid hibernation if resume= is not configured

test-sleep: print function names

basic/proc-cmdline: allow parsing of cmdline from a string

Comes with tests.

Also add direct test for $SYSTEMD_PROC_CMDLINE.

In test-proc-cmdline, "true" was masquerading as PROC_CMDLINE_STRIP_RD_PREFIX,
fix that. Also, reorder functions to match call order.

Drop empty lines in proc-cmdline.c

shared/bootspec: remember the full path to boot entry and use it in logging

It's much easier to understand what is going on when the full path is
logged.

Move logic to find default sd-boot entry from systemctl to shared

In preparation for use in other places. No functional change.

hib-res-generator: add "noresume"

This is an override parameter, to totally skip dehiberanation.