Merge pull request #10174 from poettering/sd-boot-counter-efi

the EFI changes from PR #9437 (the boot counting PR)

bus-unit-util: use streq() instead of STR_IN_SET()

Follow-up for 90fc172e191f44979005a524521112f2bd1ff21b (#10308).

docs: use h2 headers

The primer theme does not add a mouse-over anchor link for h1 headers.
So use h2 for subsection headers which looks nicer anyway.

Followup for #10421

core: implement per unit journal rate limiting

Add LogRateLimitIntervalSec= and LogRateLimitBurst= options for
services. If provided, these values get passed to the journald
client context, and those values are used in the rate limiting
function in the journal over the the journald.conf values.

Part of #10230

resolve: set IP_RECVERR

Closes #10345.

Merge pull request #10438 from poettering/path-is-valid

be a bit more carful when processing transient socket paths via the bus

Merge pull request #10439 from poettering/job-struct-init

three trivial simplifications/clean-ups

Merge pull request #10440 from poettering/fflush-and-check-some-more

use fflush_and_check() and free_and_replace() where we can

Merge pull request #10428 from keszybz/failure-actions

Implement manager status changes using SuccessAction=

service: use free_and_replace() where we can

exec-util: use fflush_and_check() where appropriate

execute: shorten things a bit

job: add lots of colons to log messages

job: use structured initialization

core: use structured initialization

core: shorten list appending a bit, by using better macros

dbus: add missing OOM check

core: validate socket path with path_is_valid()

path-util: add new path_is_valid() helper

list: fix double avaluation in LIST_APPEND()

sulogin-shell: Use force if SYSTEMD_SULOGIN_FORCE set

When the root account is locked sulogin will either inform you of
this and not allow you in or if --force is used it will hand
you passwordless root (if using a recent enough version of util-linux).

Not being allowed a shell is ofcourse inconvenient, but at the same
time handing out passwordless root unconditionally is probably not
a good idea everywhere.

This patch thus allows to control which behaviour you want by
setting the SYSTEMD_SULOGIN_FORCE environment variable to true
or false to control the behaviour, eg. via adding this to
'systemctl edit rescue.service' (or emergency.service):

[Service]
Environment=SYSTEMD_SULOGIN_FORCE=1

Distributions who used locked root accounts and want the passwordless
behaviour could thus simply drop in the override file in
/etc/systemd/system/rescue.service.d/override.conf

Fixes: #7115
Addresses: https://bugs.debian.org/802211

core: do not "warn" about mundane emergency actions

For example in a container we'd log:
Oct 17 17:01:10 rawhide systemd[1]: Started Power-Off.
Oct 17 17:01:10 rawhide systemd[1]: Forcibly powering off: unit succeeded
Oct 17 17:01:10 rawhide systemd[1]: Reached target Power-Off.
Oct 17 17:01:10 rawhide systemd[1]: Shutting down.
and on the console we'd write (in red)
[  !!  ] Forcibly powering off: unit succeeded

This is not useful in any way, and the fact that we're calling an "emergency action"
is an internal implementation detail. Let's log about c-a-d and the watchdog actions
only.

units: allow and use SuccessAction=exit-force in system systemd-exit.service

C.f. 287419c119ef961db487a281162ab037eba70c61: 'systemctl exit 42' can be
used to set an exit value and pulls in exit.target, which pulls in systemd-exit.service,
which calls org.fdo.Manager.Exit, which calls method_exit(), which sets the objective
to MANAGER_EXIT. Allow the same to happen through SuccessAction=exit.

v2: update for 'exit' and 'exit-force'

units: use SuccessAction=poweroff-force in systemd-poweroff.service

Explicit systemctl calls remain in systemd-halt.service and the system
systemd-exit.service. To convert systemd-halt, we'd need to add
SuccessAction=halt-force. Halting doesn't make much sense, so let's just
leave that is. systemd-exit.service will be converted in the next commit.

units: use SuccessAction=reboot-force in systemd-reboot.service

units: use SuccessAction=exit-force in systemd-exit.service

Fixes #10414.

v2:
- rename .service.in to .service
- rename 'exit' to 'exit-force'

core: limit service-watchdogs=no to actual "watchdog" commands

The setting is now only looked at when considering an action for a job timeout
or unit start limit. It is ignored for ctrl-alt-del, SuccessAction, SuccessFailure.

v2: turn the parameter into a flag field
v3: rename Options to Flags

core: allow services with no commands but SuccessAction set

core: accept system mode emergency action specifiers with a warning

Before we would only accept those "system" values, so there wasn't other
chocie. Let's provide backwards compatiblity in case somebody made use of
this functionality in user mode.

v2: use 'exit-force' not 'exit'
v3: use error value in log_syntax

core: define "exit" and "exit-force" actions for user units and only accept that

We would accept e.g. FailureAction=reboot-force in user units and then do an
exit in the user manager. Let's be stricter, and define "exit"/"exit-force" as
the only supported actions in user units.

v2:
- rename 'exit' to 'exit-force' and add new 'exit'
- add test for the parsing function

man: move description of *Action= modes to FailureAction=/SuccessAction=

FailureAction=/SuccessAction= were added later then StartLimitAction=, so it
was easiest to refer to the existing description. But those two settings are
somewhat simpler (they just execute the action unconditionally) while
StartLimitAction= has additional timing and burst parameters, and they are
about to take on a more prominent role, so let's move the description of
allowed values.

core: consider service with no start command immediately started

The service would always be in state == SERVICE_INACTIVE, but it needs to go
through state == SERVICE_START so that SuccessAction/FailureAction are executed.

udev: make sd_device_get_devname() failure non-fatal

As it is just for logging.

Follow-up for eb276e98419af59d4a587f2dd37e0b923e4c6fd2.

Merge pull request #10244 from poettering/nofile-bump

bump RLIMIT_NOFILE

core: return true from cg_is_empty* on ENOENT

meson: simplify definition of MEMORY_ACCOUNTING_DEFAULT

Let's just use the simplest form, it doesn't really matter how the define
looks after preprocessing.

meson: define @HIGH_RLIMIT_NOFILE@ and use it everywhere

main: introduce a define HIGH_RLIMIT_MEMLOCK similar to HIGH_RLIMIT_NOFILE

main: bump fs.nr_open + fs.max-file to their largest possible values

After discussions with kernel folks, a system with memcg really
shouldn't need extra hard limits on file descriptors anymore, as they
are properly accounted for by memcg anyway. Hence, let's bump these
values to their maximums.

This also adds a build time option to turn thiss off, to cover those
users who do not want to use memcg.

Merge pull request #10429 from yuwata/drop-udev-list

udev: replace udev_list by Hashmap

udev: use Hashmap for storing global properties

udev: use Hashmap for storing PROGRAM or BUILTIN

udev: use Hashmap for storing SECLABEL

systemctl: fix typo

Merge pull request #10419 from yuwata/fix-prioq

Fix segfault in prioq_remove() with empty Prioq object

tree-wide: use CMP() macro where applicable

Follow-up for 6dd91b368298e3b3b264a5f2cb5647b2c5cb692b.

hwdb: add Aiptek Hyperpen 12000U (#10424)

Closes #9834.

Merge pull request #10412 from poettering/sockaddr-sun-path

various fixes related to struct sockaddr_un handling

Merge pull request #10422 from poettering/network-xml-route-fix

man: systemd.network man page fix

test: add one more test for prioq_remove()

This adds a testcase for e6e637a11a6c62eff31d36f5fc4b49c2a10c7ea8.

prioq: use structrued initializer

prioq: fix index range check

prioq: add one more assertion

tree-wide: CMP()ify all the things

Let's employ coccinelle to fix everything up automatically for us.

Set theme jekyll-theme-primer

This theme uses anchorjs to provide mouse-over anchor links.

Closes: #10418

man: fix spurious uppercasing

man: an attempt to reword the [Route] Type= man page

A follow-up for #10388.

networkd: type support for "throw" in [Route] section

sd-boot: factor out searching for loader entry

sd-boot: also set an ID for the reboot-into-firmware entry

sd-boot: write the IDs of all discovered entries to an EFI variable

This is primarily useful for debugging, but can be useful for other
purposes too. For example userspace could check whether "auto-windows"
is included in the list, before triggering a boot-into-windows
operation.

efi: make efivar_set_raw() buffer argument VOID*

No need to define a type if it is just some arbitrary buffer for us
anyway.

sd-boot: add boot counting mechanism

sd-boot: coding style fix, don't rely on C's downgrade-to-bool feature for numerical values

sd-boot: remove left-over lgpl blurb

sd-boot: simplify memory management in processing of unified kernel image a bit

sd-boot: properly free all config entry fields

sd-boot: rename ConfigEntry field 'file' to 'id'

The field derives from a file name only in very specific cases, for
many cases it's a fixed string (for example, all "auto-" items are like
this). Also, even when it derives from a file name, it is processed a
bit, as suffixes are removed and the string is converted to lower case.

hence, let's name this field "id" instead, because that's what it is
used for: as general identification token.

sd-boot: break overly long function argument lists following our usual coding style

sd-boot: drop initialization of 'line' which we override in the next line anyway

efi: explicity check for NULL in FreePoolp()

Firmware implementations are generally pretty bad, hence let's better
add an explicit check for NULL before invokin FreePool(), in particular
is it doesn't appear to be documented whether FreePool() is supposed to
be happy with NULL.

efi: add cleanup handler for closing file descriptors

efi: add poor man's offsetof() implementation

mkosi: update the boot loader from our freshly built one

mkosi: make kmsg work in our mkosi builds at least

NEWS: explain the RLIMIT_NOFILE bump

rlimit-util: don't call setrlimit() needlessly if it wouldn't change anything

Just a tiny tweak to avoid generating an error if there's no need to.

core: bump RLIMIT_NOFILE soft+hard limit for systemd itself in all cases

Previously we'd do this for PID 1 only. Let's do this when running in
user mode too, because we know we can handle it.

units: bump the RLIMIT_NOFILE soft limit for all services that access the journal

This updates the unit files of all our serviecs that deal with journal
stuff to use a higher RLIMIT_NOFILE soft limit by default. The new value
is the same as used for the new HIGH_RLIMIT_NOFILE we just added.

With this we ensure all code that access the journal has higher
RLIMIT_NOFILE. The code that runs as daemon via the unit files, the code
that is run from the user's command line via C code internal to the
relevant tools. In some cases this means we'll redundantly bump the
limits as there are tools run both from the command line and as service.

core: raise the RLIMIT_NOFILE hard limit for all services by default

Following the discussions with the kernel folks, let's substantially
increase the hard limit (but not the soft limit) of RLIMIT_NOFILE to
256K for all services we start.

Note that PID 1 itself bumps the limit even further, to the max the
kernel allows. We can deal with that after all.

tree-wide: uniformly bump RLIMIT_NOFILE in all our tools that access the journal

This makes use of rlimit_nofile_bump() in all tools that access the
journal. In some cases this replaces older code to achieve this, and
others we add it in where it was missing.

core: add a new call for bumping RLIMIT_NOFILE to "high" values

Following discussions with some kernel folks at All Systems Go! it
appears that file descriptors are not really as expensive as they used
to be (both memory and performance-wise) and it should thus be OK to allow
programs (including unprivileged ones) to have more of them without ill
effects.

Unfortunately we can't just raise the RLIMIT_NOFILE soft limit
globally for all processes, as select() and friends can't handle fds
>= 1024, and thus unexpecting programs might fail if they accidently get
an fd outside of that range. We can however raise the hard limit, so
that programs that need a lot of fds can opt-in into getting fds beyond
the 1024 boundary, simply by bumping the soft limit to the now higher
hard limit.

This is useful for all our client code that accesses the journal, as the
journal merging logic might need a lot of fds. Let's add a unified
function for bumping the limit in a robust way.

def: add a "high" limit for RLIMIT_NOFILE

This simply adds a new constant we can use for bumping RLIMIT_NOFILE to
a "high" value. It default to 256K for now, which is pretty high, but
smaller than the kernel built-in limit of 1M.

Previously, some tools that needed a higher RLIMIT_NOFILE bumped it to
16K. This new define goes substantially higher than this, following the
discussion with the kernel folks.

update TODO

siphash24: add helper for calculating the hash value for a string

Let's shorten some code.

Merge pull request #10416 from poettering/udev-coverity

three simple coverity fixes

util: fix segfault in prioq_remove() with empty Prioq object

util,test: introduce cleanup function prioq_freep()

This also simplifies test-prioq.c.

test: use CMP() macro at one more place

udev: (void)ify calls to kill() where we knowingly ignore the return values

CID 1368231
CID 1368229

udev: don't use devname before we acquired it

CID 1396107

core: log about unit_watch_pid() failing

CID 1237509

Merge pull request #10327 from yuwata/test-sd-device-enumerator-subsystem

sd-device-enumerator: dedup enumerated devices and add test for subsystem filtering

Set theme jekyll-theme-cayman

catalog: fix name of variable

All the messages would (literally) say "The start-up result is RESULT."
because @RESULT@ was not defined.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1639482
and the first part of #8005.

Fixup for 646cc98dc81c4d0edbc1b57e7bca0f474b47e270.

rules: Add ID_REVISION environment var for NVMe devices

Merge pull request #9824 from poettering/login-unit-fixes

many logind improvements

Merge pull request #10391 from poettering/systemctl-exit-code-fixes

systemctl exit code fixes

nspawn: TAKE_FD() is your friend

tree-wide: use sockaddr_un_unlink() at two more places where appropriate