os-util: add helpers for finding /etc/os-release

Place this new helpers in a new source file os-util.[ch], and move the
existing and related call path_is_os_tree() to it as well.

fileio: add parse_env_filev() that is like parse_env_file() but takes a va_list

fileio: accept FILE* in addition to path in parse_env_file()

Most our other parsing functions do this, let's do this here too,
internally we accept that anyway. Also, the closely related
load_env_file() and load_env_file_pairs() also do this, so let's be
systematic.

process-util: add a new FORK_MOUNTNS_SLAVE flag for safe_fork()

We already have a flag for creating a new mount namespace for the child.
Let's add an extension to that: a new FORK_MOUNTNFS_SLAVE flag. When
used in combination will mark all mounts in the child namespace as
MS_SLAVE so that the child can freely mount or unmount stuff but it
won't leak into the parent.

dissect: optionally, validate that the image we dissect is a valid OS image

We already do this kind of validation in nspawn when we operate on a
plain directory, let's also do this on raw images under the same
condition: that we are about too boot the image. Also, do this when we
are about to read OS metadata from it.

fd-util: add new helper call fd_duplicate_data_fd()

This call creates an fd from another fd containing the same data.
Specifically, repeated read() on the returned fd should return the same
data as the original fd. This call is useful when we want to copy data
out of disk images and suchlike, and want to be pass fds with the data
around without having to keep the disk image continously mounted.

The implementation tries to be somewhat smart and tries to prefer
memfds/pipes over files in /tmp or /var/tmp based on the size of the
data, but has appropropriate fallbacks in place.

Merge pull request #8817 from yuwata/cleanup-nsflags

core: allow to specify RestrictNamespaces= multiple times

networkd: Support the ability to set MTU in [Route] sections

Add support to set the route MTU.

Closes #9047

Merge pull request #9020 from poettering/physical-memory-cgroupsv2

make sure physical_memory() groks cgroupsv2

Merge pull request #9024 from poettering/nspawn-attrs-more

make even more nspawn concepts configurable

Merge pull request #9068 from poettering/nspawn-pty-deadlock

nspawn logging deadlock fix

logind: let's change the type of the runtime directory size to uint64_t

Externally it's an uint64_t anyway, and internally we most just
initialize it to physical_memory() which returns uint64_t, hence there's
exactly zero value in using it as size_t internally. Hence, let's fix
that, and use uint64_t everywhere.

util: add debug logging to system_tasks_max()

We should always do debug logging when we eat up error conditions. Let's
do so here too.

util: fix physical_memory() to work correctly on cgroupsv2

Let's look into the right cgroupsv2 attribute.

Also, while we are at it, add debug logging for all error conditions we
eat up silently otherwise.

doc: mention in NEWS that AF_INET{,6} are dropped from logind

Closes #9072.

Merge pull request #9040 from yuwata/resolved-networkd-use-dynamic-user

Set DynamicUser= to resolved and networkd

install: "user" and "global" scopes are equivalent for user presets

Otherwise querying the preset status of a unit to the user instance gives
incorrect results since in this case the scope used by the manager is
UNIT_FILE_USER.

Merge pull request #9039 from yuwata/fix-device-allow

 core: support unit specifiers in IODeviceWeight= and friends

Merge pull request #9067 from thedrow/patch-1

Enable ccache and mount it into the build/test container

tmpfiles: fix documented constant for exit code 73

sysexits.h has:

    #define EX_CANTCREAT 73 /* can't create (user) output file */

EX_DATAERR is a copy-paste error from the previous sentence, which is
correct.

Merge pull request #9065 from poettering/fixup-tab-double-newline

tree-wide: fix some TABs and double newlines

nspawn: make sure our container PID 1 keeps logging to the original stderr as long as possible

If we log to the pty that is configured as stdin/stdout/stderr of the
container too early we risk filling it up in full before we start
processing the pty from the parent process, resulting in deadlocks.
Let's hence keep a copy of the original tty we were started on before
setting up stdin/stdout/stderr, so that we can log to it, and keep using
it as long as we can.

Since the kernel's pty internal buffer is pretty small this actually
triggered deadlocks when we debug logged at lot from nspawn's child
processes, see: https://github.com/systemd/systemd/pull/9024#issuecomment-390403674

With this change we won't use the pty at all, only the actual payload we
start will, and hence we won't deadlock on it, ever.

nspawn: make use of log_set_open_when_needed() in nspawn too

Let's make use of log_set_open_when_needed() in nspawn too, i.e. at the
point where we close logging because we are about to rearrange fds,
let's automatically reopen the logging fds when we need them, the same
way as we do that in the service manager. This makes things simpler and
more robust.

Install ccache in container.

Enable ccache and mount it into the build/test container.

update TODO

nspawn: let's rename _FORCE_ENUM_WIDTH → _SETTING_FORCE_ENUM_WIDTH

Just some preparation in case we need a similar hack in another enum one
day.

nspawn: similar to the previous patches, also make /etc/localtime handling more configurable

Fixes: #9009

nspawn: complain if people still use --share-system

nspawn: make --link-journal= configurable through .nspawn files, too

nspawn: add a bit of debug logging to resolved_listening()

nspawn: add greater control over how /etc/resolv.conf is handled

Fixes: #8014 #1781

Merge pull request #9062 from poettering/parse-conf-macro

add new CONFIG_PARSER_PROTOTYPE() macro

pid1: fix ShowStatus property

It is not const, because a) systemd can bump it on its own if
errors occur, and b) the user can change it using signals.
Also it's not boolean.

$ busctl get-property org.freedesktop.systemd1 /org/freedesktop/systemd1 org.freedesktop.systemd1.Manager ShowStatus
b true
$ sudo kill -SIGRTMIN+21 1
$ busctl get-property org.freedesktop.systemd1 /org/freedesktop/systemd1 org.freedesktop.systemd1.Manager ShowStatus
b false

Fixes #4503.

tree-wide: remove some double newlines in headers, too

find-double-newline: look in headers too

tree-wide: fix a couple of TABs

tools: add a script for fixing up TABs

This is similar to "find-double-newline.sh" but looks for TABs that
should not be there.

network: set DynamicUser= to systemd-networkd.service

resolve: enable DynamicUser= for systemd-resolved.service

core: chown RuntimeDirectory= if DynamicUser= is set

When DynamicUser= is set, then RuntimeDirectory= should be always
chowned, as the service unit may enable RuntimeDirectoryPreserve=,
and the uid or gid may changed from the last run.
This also makes easier to migrate the service to use DynamicUser=.

timesync,shared: move logic requesting bus name to shared

Preparation for setting DynamicUser= to other services which
request bus names.

unit: drop After=systemd-sysusers.service from timesyncd

After=systemd-sysusers.service is not necessary, as timesyncd
already enables DynamicUser=.

nspawn: support pivot-root option during directory validation

Signed-off-by: Arnaud Rebillout <arnaud.rebillout@collabora.com>

Merge pull request #9059 from keszybz/rm-rf-generators

Allow removing generators dirs on real fs

Merge pull request #9061 from poettering/dump-string-table

add new DUMP_STRING_TABLE() macro and make use of it everywhere

Merge pull request #9058 from keszybz/fun-with-uint64_c

Fun with UINT64_C

conf-parser: make use of free_and_replace() at one more place

tree-wide: port over all code to the new CONFIG_PARSER_PROTOTYPE() macro

This makes most header files easier to look at. Also Emacs gets really
slow when browsing through large sections of overly long prototypes,
which is much improved by this macro.

We should probably not do something similar with too many other cases,
as macros like this might help readability for some, but make it worse
for others. But I think given the complexity of this specific prototype
and how often we use it, it's worth doing.

config-parser: introduce new CONFIG_PARSER_PROTOTYPE() macro

This builds on the previous GENERIC_PARSER_ARGS macro work. I think in
general it is a better idea to declare macros that generate full C
statements instead of just parts of them, hence, let's introduce
CONFIG_PARSER_PROTOTYPE() which defines a full C function prototype,
instead of the pre-existing way of defining the C function prototype
manually, but then using GENERIC_PARSER_ARGS to define its arguments.

This doesn't drop GENERIC_PARSER_ARGS though, but renames it to
CONFIG_PARSER_ARGUMENTS, and changes the ConfigParserCallback function
type to use it. The new name follows more closely how the other symbols
in the header are named.

detect-virt: add new --list command for showing all currently known VM/container envs

tree-wide: port various bits of the tree over to the new DUMP_STRING_TABLE() macro

volatile-mode: use the usual string table macros for implementing volatile_mode_from_string()

Let's shorten our code a bit, and also add the matching _to_string()
call.

coredumpctl: always output proper english sentence

Let's uppercase the first character, and finish them in a full stop.

string-table: add new DUMP_STRING_TABLE() macro

The macro is inspired by the other string table macros, and takes the
same arguments in the same order and dumps a string table to stdout.
Since it's typesafe it's nice to implement this as macro rather than
regular function.

This new macro is useful for implementing commands such as "systemctl -t
help" and similar, i.e. wherever we want to dump all values of an enum
to stdout.

Generator dirs might be on a real filesystem

Most of the time, tmpfs is used for /tmp, but this is not required.
Applied to both pid1 and systemd-analyze verify.

Fixes #8592.

basic/rm-rf: include the path in error messages

Attempted to remove disk file system under "/tmp/systemd-temporary-aWPkbQ", and we can't allow that.

systemd-nspawn: make SettingsMask 64 bit wide

The use of UINT64_C() in the SettingsMask enum definition is misleading:
it does not mean that individual fields have this width. E.g., with
enum {
   FOO = UINT64_C(1)
}
sizeof(FOO) gives 4. It only means that the shift is done properly. So
1 << 35 is undefined, but UINT64_C(1) << 35 is the expected 64 bit
constant. Thus, the use UINT64_C() is useful, because we know that the shifts
are done properly, no matter what the value of _RLIMIT_MAX is, but when those
fields are used in expressions, we don't know what size they will be
(probably 4). Let's add a define which "hides" the enum definition behind a
define which gives the same value but is actually 64 bit. I think this is a
nicer solution than requiring all users to cast SETTING_RLIMIT_FIRST before
use.

Fixes #9035.

sd-resolve: remove misleading casts

As shown in previous commit, UINT64_C() has no effect here, the field can still
be smaller. Remove it.

test-sizeof: show that a small 64 field is not enough to force the enum to be 64 bits

On both 32 and 64 bits, the result is:
enum Enum → 32 bits, unsigned
enum BigEnum → 32 bits, unsigned
enum BigEnum2 → 64 bits, unsigned
big_enum2_pos → 4
big_enum2_neg → 8

The last two lines show that even if the enum is 64 bit, and the field of an
enum is defined with UINT64_C(), the field can still be smaller.

man: fix typo in man page citation

Fixes #9045.

core/job: shortening

Follow-up for a7a7163df7fc8a9f794f6803b2f6c9c9b0745a1f.

Merge pull request #9036 from keszybz/rpm-macro-cleanup

rpm macro cleanup

core: support unit specifiers in IODeviceWeight= and friends

core/load-fragment: update log messages

rpm: add macros for common configuration dirs

%_environmnentdir /usr/lib/environment.d
%_modulesloaddir /usr/lib/modules-load.d
%_modprobedir /usr/lib/modprobe.d

This makes installing files there more convenient because people don't need to
construct the path from %_prefix/lib/… .

See https://lists.fedoraproject.org/archives/list/devel@lists.fedoraproject.org/thread/GBF5WJLTQVSXMHGYGBF3723ZYCWFBR7C/.

fs-util: don't alter errno in unlink_tempfilep()

Functions whose only purpose is to be used with _cleanup_() should not
touch errno, so that failing removals do not alter errno at unexpected
places.

This is already done in unlink_and_freep(), rmdir_and_freep(),
rm_rf_physical_and_freep(), hence do so for unlink_tempfilep(), too.

Follow-up for #9013

meson: use run_target for generating tags with ctags

In https://github.com/systemd/systemd/pull/6561, `run_target`
was changed to `custom_target`, which inadvertently caused
relative paths to be passed to ctags due to
https://github.com/mesonbuild/meson/issues/3589.
The switch to `run_target` causes absolute paths to be
passed again and makes it easier to jump from file to
file, hopefully delaying the need to exit Vim :-)

sd-resolve: tweak error assignment code a bit, use abs() and regular functions

Let's tweak the assignment of errors a bit, and automatically abs()
errnos, similar to how log_error_errno() and friends does it.

Macros are fine to use, but regular functions usually preferable if
there's no reason to use macros, because they avoid multiple evaluation
and suchlike. Hence, let's just use a regular funciton for assigning
errors, instead of macros.

Follow-up for #8993

rpm: simplify redirects to /dev/null

rpm: remove confusing --user before --global

Fixes #9027.

fix race between daemon-reload and other commands

When "systemctl daemon-reload" is run at the same time as "systemctl
start foo", the latter might hang. That's because commands like start
wait for JobRemoved signal to know when the job is finished. But if the
job is finished during reloading, the signal is never sent.

The hang can be easily reproduced by running

    # for ((N=1; N>0; N++)) ; do echo $N ; systemctl daemon-reload ; done
    # for ((N=1; N>0; N++)) ; do echo $N ; systemctl start systemd-coredump.socket ; done

in two different terminals. The start command will hang after 1-2
iterations.

This keeps track of jobs that were started before reload and finished
during it and sends JobRemoved after the reload has finished.

man: fix typo

Merge pull request #8981 from keszybz/ratelimit-and-dbus

Ratelimit renaming and dbus error message fix

core: keep the kernel coredump defaults when systemd-coredump is disabled

If systemd-coredump is disabled (at build time), PID1 should keep the
(old) kernel defaults as they are.

localectl: drop duplicate property entry

Merge pull request #8993 from keszybz/sd-resolve-coverity-and-related-fixes

sd-resolve coverity and related fixes

Merge pull request #8985 from yuwata/bus-macro-3

tree-wide: use BUS_DEFINE_PROPERTY_GET* macros

fs-util,test: add helper to remove tempfiles

This simplifies the use of tempfiles in tests and fixes "leaked"
temporary files in test-fileio, test-catalog, test-conf-parser.

Not the whole tree is converted.

Merge pull request #9026 from yuwata/followup-9021

core: refuse StateDirectory=private

core: use free_and_replace()

core: fix coding style

Merge pull request #8940 from poettering/nspawn-attrs

nspawn: make a couple of additional container parameters configurable

tmpfiles: fix up and complain paths referring to /var/run (instead of /run) automatically

tmpfiles.d relies on merging lines for the same file paths, as well as
detecting conflicts between lines for the same file paths. /var/run is a
prominent case that is an alias for /run, any many tmpfiles snippets
refer to paths in /var/run rather than /run currently, which breaks the
conflict detection and merging.

We can't really fix this comprehensively, as doing so would require us
to resolve symlinks early on, but that's precisely not what we want to
do, as tmpfiles is usually run very early on where the paths might not
be fully available yet (in particular as we might likely create them
ourselves).

Hence, let's at least detect and fix this case for the most prominent
case of this ambiguity, and also log explicitly about this, asking users
to fix the snippets in question so that the merging and conflict
detection works properly again.

inhibit: use pager for systemd-inhibit --list

core: refuse StateDirectory=private

Follow-up for e8865688735ba3bd34297fa89cca6bde7ba33997 (#9021).

tmpfiles: create /var/{lib,log,cache}/private during early boot

This directory is used by the DynamicUer= stuff when used in combination
with StateDirectory=/LogDirectory=/CacheDirectory=. Let's make sure the
dir exists early on with the right perms. This is not strictly necessary
as we'll also create the dir on demand if it is missing, but in the
interest of grabbing the name early on, and making things more explicit
let's also list this in a tmpfiles.d/ snippet.

core: refuse StateDirectory=private, as our internal DynamicUser=1 symlink is called that way

Let's better be safe than sorry.

nspawn: voidify more things

path-util: one more empty_or_root() change

nspawn: split out merging of settings object

Let's separate the loading of the settings object and the merging into
our arg_xyz fields into two.

This will become particularly useful when we eventually are able to load
settings from OCI runtime files in addition to .nspawn files.

nspawn: add a new --cpu-affinity= switch

Similar as the other options added before, this is primarily useful to
provide comprehensive OCI runtime compatbility, but might be useful
otherwise, too.

nspawn: show --help text in a pager

The text is long enough now, and we do auto-paging for systemctl
already, hence let's do it here too.

nspawn: add a new --oom-score-adjust= command line switch

This is primarily useful in order to provide comprehensive OCI runtime
compatibility with nspawn, but might have uses outside of it.

nspawn: properly handle and log about hostname setting errors

process-util: add new helper call for adjusting the OOM score

And let's make use of it in execute.c

basic: split parsing of the OOM score adjust value into its own function in parse-util.c

And port config_parse_exec_oom_score_adjust() over to use it.

While we are at it, let's also fix config_parse_exec_oom_score_adjust()
to accept an empty string for turning off OOM score adjustments set
earlier.

nspawn: add a new --no-new-privileges= cmdline option to nspawn

This simply controls the PR_SET_NO_NEW_PRIVS flag for the container.
This too is primarily relevant to provide OCI runtime compaitiblity, but
might have other uses too, in particular as it nicely complements the
existing --capability= and --drop-capability= flags.

nspawn: make the hostname of the container explicitly configurable with a new --hostname= switch

Previously, the container's hostname was exclusively initialized from
the machine name configured with --machine=, i.e. the internal name and
the external name used for and by the container was synchronized. This
adds a new option --hostname= that optionally allows the internal name
to deviate from the external name.

This new option is mainly useful to ultimately implement the OCI runtime
spec directly in nspawn, but it might be useful on its own for some
other usecases too.

conf-parser: shorten config_parse_string() by using free_and_strdup() and empty_to_null()