core: implement per unit journal rate limiting

Add LogRateLimitIntervalSec= and LogRateLimitBurst= options for
services. If provided, these values get passed to the journald
client context, and those values are used in the rate limiting
function in the journal over the the journald.conf values.

Part of #10230

resolve: set IP_RECVERR

Closes #10345.

Merge pull request #10438 from poettering/path-is-valid

be a bit more carful when processing transient socket paths via the bus

Merge pull request #10439 from poettering/job-struct-init

three trivial simplifications/clean-ups

Merge pull request #10440 from poettering/fflush-and-check-some-more

use fflush_and_check() and free_and_replace() where we can

Merge pull request #10428 from keszybz/failure-actions

Implement manager status changes using SuccessAction=

service: use free_and_replace() where we can

exec-util: use fflush_and_check() where appropriate

execute: shorten things a bit

job: add lots of colons to log messages

job: use structured initialization

core: use structured initialization

core: shorten list appending a bit, by using better macros

dbus: add missing OOM check

core: validate socket path with path_is_valid()

path-util: add new path_is_valid() helper

list: fix double avaluation in LIST_APPEND()

sulogin-shell: Use force if SYSTEMD_SULOGIN_FORCE set

When the root account is locked sulogin will either inform you of
this and not allow you in or if --force is used it will hand
you passwordless root (if using a recent enough version of util-linux).

Not being allowed a shell is ofcourse inconvenient, but at the same
time handing out passwordless root unconditionally is probably not
a good idea everywhere.

This patch thus allows to control which behaviour you want by
setting the SYSTEMD_SULOGIN_FORCE environment variable to true
or false to control the behaviour, eg. via adding this to
'systemctl edit rescue.service' (or emergency.service):

[Service]
Environment=SYSTEMD_SULOGIN_FORCE=1

Distributions who used locked root accounts and want the passwordless
behaviour could thus simply drop in the override file in
/etc/systemd/system/rescue.service.d/override.conf

Fixes: #7115
Addresses: https://bugs.debian.org/802211

core: do not "warn" about mundane emergency actions

For example in a container we'd log:
Oct 17 17:01:10 rawhide systemd[1]: Started Power-Off.
Oct 17 17:01:10 rawhide systemd[1]: Forcibly powering off: unit succeeded
Oct 17 17:01:10 rawhide systemd[1]: Reached target Power-Off.
Oct 17 17:01:10 rawhide systemd[1]: Shutting down.
and on the console we'd write (in red)
[  !!  ] Forcibly powering off: unit succeeded

This is not useful in any way, and the fact that we're calling an "emergency action"
is an internal implementation detail. Let's log about c-a-d and the watchdog actions
only.

units: allow and use SuccessAction=exit-force in system systemd-exit.service

C.f. 287419c119ef961db487a281162ab037eba70c61: 'systemctl exit 42' can be
used to set an exit value and pulls in exit.target, which pulls in systemd-exit.service,
which calls org.fdo.Manager.Exit, which calls method_exit(), which sets the objective
to MANAGER_EXIT. Allow the same to happen through SuccessAction=exit.

v2: update for 'exit' and 'exit-force'

units: use SuccessAction=poweroff-force in systemd-poweroff.service

Explicit systemctl calls remain in systemd-halt.service and the system
systemd-exit.service. To convert systemd-halt, we'd need to add
SuccessAction=halt-force. Halting doesn't make much sense, so let's just
leave that is. systemd-exit.service will be converted in the next commit.

units: use SuccessAction=reboot-force in systemd-reboot.service

units: use SuccessAction=exit-force in systemd-exit.service

Fixes #10414.

v2:
- rename .service.in to .service
- rename 'exit' to 'exit-force'

core: limit service-watchdogs=no to actual "watchdog" commands

The setting is now only looked at when considering an action for a job timeout
or unit start limit. It is ignored for ctrl-alt-del, SuccessAction, SuccessFailure.

v2: turn the parameter into a flag field
v3: rename Options to Flags

core: allow services with no commands but SuccessAction set

core: accept system mode emergency action specifiers with a warning

Before we would only accept those "system" values, so there wasn't other
chocie. Let's provide backwards compatiblity in case somebody made use of
this functionality in user mode.

v2: use 'exit-force' not 'exit'
v3: use error value in log_syntax

core: define "exit" and "exit-force" actions for user units and only accept that

We would accept e.g. FailureAction=reboot-force in user units and then do an
exit in the user manager. Let's be stricter, and define "exit"/"exit-force" as
the only supported actions in user units.

v2:
- rename 'exit' to 'exit-force' and add new 'exit'
- add test for the parsing function

man: move description of *Action= modes to FailureAction=/SuccessAction=

FailureAction=/SuccessAction= were added later then StartLimitAction=, so it
was easiest to refer to the existing description. But those two settings are
somewhat simpler (they just execute the action unconditionally) while
StartLimitAction= has additional timing and burst parameters, and they are
about to take on a more prominent role, so let's move the description of
allowed values.

core: consider service with no start command immediately started

The service would always be in state == SERVICE_INACTIVE, but it needs to go
through state == SERVICE_START so that SuccessAction/FailureAction are executed.

udev: make sd_device_get_devname() failure non-fatal

As it is just for logging.

Follow-up for eb276e98419af59d4a587f2dd37e0b923e4c6fd2.

Merge pull request #10244 from poettering/nofile-bump

bump RLIMIT_NOFILE

core: return true from cg_is_empty* on ENOENT

meson: simplify definition of MEMORY_ACCOUNTING_DEFAULT

Let's just use the simplest form, it doesn't really matter how the define
looks after preprocessing.

meson: define @HIGH_RLIMIT_NOFILE@ and use it everywhere

main: introduce a define HIGH_RLIMIT_MEMLOCK similar to HIGH_RLIMIT_NOFILE

main: bump fs.nr_open + fs.max-file to their largest possible values

After discussions with kernel folks, a system with memcg really
shouldn't need extra hard limits on file descriptors anymore, as they
are properly accounted for by memcg anyway. Hence, let's bump these
values to their maximums.

This also adds a build time option to turn thiss off, to cover those
users who do not want to use memcg.

Merge pull request #10429 from yuwata/drop-udev-list

udev: replace udev_list by Hashmap

udev: use Hashmap for storing global properties

udev: use Hashmap for storing PROGRAM or BUILTIN

udev: use Hashmap for storing SECLABEL

systemctl: fix typo

Merge pull request #10419 from yuwata/fix-prioq

Fix segfault in prioq_remove() with empty Prioq object

tree-wide: use CMP() macro where applicable

Follow-up for 6dd91b368298e3b3b264a5f2cb5647b2c5cb692b.

hwdb: add Aiptek Hyperpen 12000U (#10424)

Closes #9834.

Merge pull request #10412 from poettering/sockaddr-sun-path

various fixes related to struct sockaddr_un handling

Merge pull request #10422 from poettering/network-xml-route-fix

man: systemd.network man page fix

test: add one more test for prioq_remove()

This adds a testcase for e6e637a11a6c62eff31d36f5fc4b49c2a10c7ea8.

prioq: use structrued initializer

prioq: fix index range check

prioq: add one more assertion

tree-wide: CMP()ify all the things

Let's employ coccinelle to fix everything up automatically for us.

Set theme jekyll-theme-primer

This theme uses anchorjs to provide mouse-over anchor links.

Closes: #10418

man: fix spurious uppercasing

man: an attempt to reword the [Route] Type= man page

A follow-up for #10388.

networkd: type support for "throw" in [Route] section

mkosi: make kmsg work in our mkosi builds at least

NEWS: explain the RLIMIT_NOFILE bump

rlimit-util: don't call setrlimit() needlessly if it wouldn't change anything

Just a tiny tweak to avoid generating an error if there's no need to.

core: bump RLIMIT_NOFILE soft+hard limit for systemd itself in all cases

Previously we'd do this for PID 1 only. Let's do this when running in
user mode too, because we know we can handle it.

units: bump the RLIMIT_NOFILE soft limit for all services that access the journal

This updates the unit files of all our serviecs that deal with journal
stuff to use a higher RLIMIT_NOFILE soft limit by default. The new value
is the same as used for the new HIGH_RLIMIT_NOFILE we just added.

With this we ensure all code that access the journal has higher
RLIMIT_NOFILE. The code that runs as daemon via the unit files, the code
that is run from the user's command line via C code internal to the
relevant tools. In some cases this means we'll redundantly bump the
limits as there are tools run both from the command line and as service.

core: raise the RLIMIT_NOFILE hard limit for all services by default

Following the discussions with the kernel folks, let's substantially
increase the hard limit (but not the soft limit) of RLIMIT_NOFILE to
256K for all services we start.

Note that PID 1 itself bumps the limit even further, to the max the
kernel allows. We can deal with that after all.

tree-wide: uniformly bump RLIMIT_NOFILE in all our tools that access the journal

This makes use of rlimit_nofile_bump() in all tools that access the
journal. In some cases this replaces older code to achieve this, and
others we add it in where it was missing.

core: add a new call for bumping RLIMIT_NOFILE to "high" values

Following discussions with some kernel folks at All Systems Go! it
appears that file descriptors are not really as expensive as they used
to be (both memory and performance-wise) and it should thus be OK to allow
programs (including unprivileged ones) to have more of them without ill
effects.

Unfortunately we can't just raise the RLIMIT_NOFILE soft limit
globally for all processes, as select() and friends can't handle fds
>= 1024, and thus unexpecting programs might fail if they accidently get
an fd outside of that range. We can however raise the hard limit, so
that programs that need a lot of fds can opt-in into getting fds beyond
the 1024 boundary, simply by bumping the soft limit to the now higher
hard limit.

This is useful for all our client code that accesses the journal, as the
journal merging logic might need a lot of fds. Let's add a unified
function for bumping the limit in a robust way.

def: add a "high" limit for RLIMIT_NOFILE

This simply adds a new constant we can use for bumping RLIMIT_NOFILE to
a "high" value. It default to 256K for now, which is pretty high, but
smaller than the kernel built-in limit of 1M.

Previously, some tools that needed a higher RLIMIT_NOFILE bumped it to
16K. This new define goes substantially higher than this, following the
discussion with the kernel folks.

update TODO

siphash24: add helper for calculating the hash value for a string

Let's shorten some code.

Merge pull request #10416 from poettering/udev-coverity

three simple coverity fixes

util: fix segfault in prioq_remove() with empty Prioq object

util,test: introduce cleanup function prioq_freep()

This also simplifies test-prioq.c.

test: use CMP() macro at one more place

udev: (void)ify calls to kill() where we knowingly ignore the return values

CID 1368231
CID 1368229

udev: don't use devname before we acquired it

CID 1396107

core: log about unit_watch_pid() failing

CID 1237509

Merge pull request #10327 from yuwata/test-sd-device-enumerator-subsystem

sd-device-enumerator: dedup enumerated devices and add test for subsystem filtering

Set theme jekyll-theme-cayman

catalog: fix name of variable

All the messages would (literally) say "The start-up result is RESULT."
because @RESULT@ was not defined.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1639482
and the first part of #8005.

Fixup for 646cc98dc81c4d0edbc1b57e7bca0f474b47e270.

rules: Add ID_REVISION environment var for NVMe devices

Merge pull request #9824 from poettering/login-unit-fixes

many logind improvements

Merge pull request #10391 from poettering/systemctl-exit-code-fixes

systemctl exit code fixes

nspawn: TAKE_FD() is your friend

tree-wide: use sockaddr_un_unlink() at two more places where appropriate

udev: use safe_close() where we can

tree-wide: add a single version of "static const int one = 1"

All over the place we define local variables for the various sockopts
that take a bool-like "int" value. Sometimes they are const, sometimes
static, sometimes both, sometimes neither.

Let's clean this up, introduce a common const variable "const_int_one"
(as well as one matching "const_int_zero") and use it everywhere, all
acorss the codebase.

socket-util: tighten socket_address_verify() checks a bit

socket-util: tweak commenting in socket_address_get_path()

Let's make clear explicitly that there's always a NUL byte following the
path, and how.

socket-util: include trailing NUL byte in SOCKADDR_UN_LEN() count for fs sockets

This is what unix(7) recommends, hence do so.

sd-bus: rework how we initialize struct sockaddr_un

Let's use structured initialization, but more importantly, let's
increase salen by 1, if we reference AF_UNIX sockets in the file system,
so that they also contain the trailing NUL byte. This is what unix(7)
suggests to do, hence follow it.

sd-bus: make parsing of AF_UNIX socket addresses more strict

Insist on NUL termination, just to be safe rather than sorry. The kernel
doesn't require it, but it's really annoying if people rely on this,
hence refuse this early.

tree-wide: port various users over to sockaddr_un_set_path()

CID 1396140
CID 1396141

socket-util: add sockaddr_un_set_path() helper

Properly initializing sun_path from foreign data is not easy, given the
size constraints, and NUL confusion. Let's add a helper function for
this.

tree-wide: use structured initialization for sockaddr_un

core: be more specific in error message

strxcpyx: minor coding style updates

socket-address: document socket address parsing size restrictions in a comment

socket-util: use structured initialization

tree-wide: make use of TAKE_FD() at two more places

tree-wide: use sockaddr_un_unlink() whereever appropriate

Let's port everything over.

socket-util: add new sockaddr_un_unlink() helper

The helper is supposed to properly handle cases where .sun_path does not
contain a NUL byte, and thus copies out the path suffix a NUL as
necessary.

This also reworks the more specific socket_address_unlink() to be a
wrapper around the more generic sockaddr_un_unlink()

alloc-util: add alloca() counterparts for memdup() and memdup_suffix0()

Merge pull request #10373 from poettering/systemd-io

adopt systemd.io urls