Merge pull request #10457 from yuwata/fuzz-11019

sd-dhcp: fixes oss-fuzz#11019 and several cleanups

core: stop ignoring errors in connect_logger_as

When journald reaches the maximum number of active streams, it,
basically, starts to decline new connections. On the client
side it can be detected by getting EPIPE and, if the writing
process isn't lucky enough, getting SIGPIPE soon afterwards.
systemd has always ignored EPIPE, which makes it very hard
to keep track of services losing logs. This patch should make
it easier to detect such services by just staring at the logs
carefully.

In case anyone is interested, the following one-liner run as any user
can be used to paralyze all the stream logging on a machine:

for i in {1..4096}; do systemd-cat -t HEY-$i & done

Merge pull request #10460 from yuwata/setsockopt_int-more

tree-wide: use setsockopt_int() more

core: beautify per-unit consumed resources log message a bit. (#10390)

Shorten message to say "no IP traffic" if there is no IP traffic, rather
than "received 0B IP traffic, sent 0B IP traffic".

Fixes: #9816

Merge pull request #10437 from poettering/env-util-love

some env-util.c love

Merge pull request #10389 from poettering/nspawn-path-fix

nspawn $PATH execvpe() fix

Merge pull request #10450 from poettering/foreach-line-excorcism

FOREACH_LINE excorcism

Merge pull request #10447 from poettering/fgets-excorcism

let's get rid of fgets()

sd-dhcp6: drop empty 'error' label

test-dhcp6-client: normalize logs

fuzz: add testcase of oss-fuzz#11019

sd-dhcp6: make dhcp6_option_parse_domainname() not store empty domain

This improves performance of fuzzer.
C.f. oss-fuzz#11019.

sd-dhcp6: do not update serverid when ENOMEM

sd-dhcp6: coding style cleanups

sd-dhcp6: fix argument and error handling of dhcp6_option_parse_status()

resolved-mdns: use TAKE_FD()

resolved-llmnr: use TAKE_FD()

tree-wide: use setsockopt_int() more

Merge pull request #10456 from poettering/setsockopt-int

add a setsockopt_int() helper and make use of it everywhere

tests: clean up again after running tests (#10446)

Currently, if I run the full "run-integration-tests.sh" script it will
fail on my machine because it fills up /var/tmp whith just too much
crap until the disk is full.

Let's make sure that "run-integration-tests.sh" cleans up after every
test. For that change the make targets to run from "clean setup run" to
"clean setup run clean" — except that that doesn't work since make is
smart enough to realize that the same target appears twice on the
command line and will only execute it once. Let's fix that by defining
another target "clean-again" which is just like "clean", but allows us
to be added to the same command line a second time. Then, let's build
with "clean setup run clean-again" and all is good.

While we are at it, let's also add .PHONY where appropriate, after all
these all are phony targets.

job: add a comment that JOB_DONE also means skipped due to condition (#10453)

util: drop const_int_one/const_int_zero again

There's only a single user remaining now that we have setsockopt_int(),
let's define those variables locally.

This more or less reverts 6d5e65f6454212cd400d0ebda34978a9f20cc26a.

tree-wide: introduce setsockopt_int() helper and make use of it everywhere

As suggested by @heftig:

https://github.com/systemd/systemd/commit/6d5e65f6454212cd400d0ebda34978a9f20cc26a#commitcomment-30938667

efi: rework OFFSETOF() based on __builtin_offsetof()

Since both LLVM and gcc supported this for a long time, we are not
adding a fallback compat kludge. And even if there's some relevant
compiler that doesn't know this concept, it'll fail with a compiler
error, and we'll fix it then.

As suggested by @keszybz:

https://github.com/systemd/systemd/pull/10174#discussion_r226266540

Merge pull request #10239 from yuwata/sd-device-monitor

sd-device: introduce sd_device_monitor

Merge pull request #10407 from yuwata/netlink-slot

sd-netlink: introduce sd_netlink_slot object and relevant functions

test: check for putenv() failures, the call might theortically fail

exec-util: errors are reported by non-zero, not negative by putenv()

nspawn: use container $PATH (not host $PATH) when searching for PID 1 binaries to execute

Fixes: #10377

mkosi: use Fedora 29

F29 is at beta now, but should be out within two or three weeks, by the time
next systemd release happens.

tmpfiles: FOREACH_LINE excorcism

sysv-generator: FOREACH_LINE excorcism

sysusers: FOREACH_LINE excorcism

install: pass encountered error number to log_syntax()

install: FOREACH_LINE excorcism

clean-ipc: FOREACH_LINE excorcism

resolved-resolv-conf: FOREACH_LINE excorcism

resolved-etc-hosts: FOREACH_LINE excorcism

resolved-dns-trust-anchor: FOREACH_LINE excorcism

Also, properly ignore these read errors, and say so.

localectl: FOREACH_LINE excorcism

sd-path: FOREACH_LINE exorcism

bus-creds: FOREACH_LINE excorcism

coredump: FOREACH_LINE excorcism

smack-setup: include error cause in log message

smcak-setup: FOREACH_LINE excorcism

shutdown: FOREACH_LINE() excorcism

ima-setup: prefer safe_close() over plain close()

ima-setup: include error cause in failure messages

ima-setup: FOREACH_LINE excorcism

cgroup: FOREACH_LINE excorcism

time-util: FOREACH_LINE excorcism

process-util: FOREACH_LINE excorcism

mount-util: FOREACH_LINE() excorcism

cgroup-util: FOREACH_LINE() excorcism

Merge pull request #10174 from poettering/sd-boot-counter-efi

the EFI changes from PR #9437 (the boot counting PR)

bus-unit-util: use streq() instead of STR_IN_SET()

Follow-up for 90fc172e191f44979005a524521112f2bd1ff21b (#10308).

udev-rules: fgets() excorcism

condition: fgets() excorcism

reply-password: fgets() excorcism

modules-load: fgets() excorcism

keymap-util: fgets() excorcism

hwdb: fgets() excorcism

catalog: fgets() excorcism

cryptsetup-generator: fgets() excorcism

cgtop: fgets() excorcism

binfmt: fgets() excorcism

Also, let's not claim we ignored errors when we don't.

binfmt: validate rule file name before using it

terminal-util: use fgetc() carefully instead of fread()

terminal-util: excorcise fgets()

clock-util: excorcise fgets()

docs: use h2 headers

The primer theme does not add a mouse-over anchor link for h1 headers.
So use h2 for subsection headers which looks nicer anyway.

Followup for #10421

core: implement per unit journal rate limiting

Add LogRateLimitIntervalSec= and LogRateLimitBurst= options for
services. If provided, these values get passed to the journald
client context, and those values are used in the rate limiting
function in the journal over the the journald.conf values.

Part of #10230

resolve: set IP_RECVERR

Closes #10345.

Merge pull request #10438 from poettering/path-is-valid

be a bit more carful when processing transient socket paths via the bus

Merge pull request #10439 from poettering/job-struct-init

three trivial simplifications/clean-ups

Merge pull request #10440 from poettering/fflush-and-check-some-more

use fflush_and_check() and free_and_replace() where we can

Merge pull request #10428 from keszybz/failure-actions

Implement manager status changes using SuccessAction=

service: use free_and_replace() where we can

exec-util: use fflush_and_check() where appropriate

execute: shorten things a bit

job: add lots of colons to log messages

job: use structured initialization

core: use structured initialization

core: shorten list appending a bit, by using better macros

dbus: add missing OOM check

core: validate socket path with path_is_valid()

path-util: add new path_is_valid() helper

list: fix double avaluation in LIST_APPEND()

env-util: drop ARG_MAX define

It's not a constant, hence don't pretend it was.

env-util: modernize strv_env_set() a bit

env-util: modernize strv_env_replace()

env-util: rework strv_env_merge()

Let's clean up the failure codepaths, by using _cleanup_.

This relies on the new behaviour of env_append() introduced in the
previous commit that guarantess the list always remains properly NULL
terminated

env-util: rework env_append()

Let's make sure the strv we are putting together always remains valid
(i.e. is NULL terminated). Also document the parameters to pass in
correctly.

env-util: use strv_contains() where appropriate

man: mention µs

sulogin-shell: Use force if SYSTEMD_SULOGIN_FORCE set

When the root account is locked sulogin will either inform you of
this and not allow you in or if --force is used it will hand
you passwordless root (if using a recent enough version of util-linux).

Not being allowed a shell is ofcourse inconvenient, but at the same
time handing out passwordless root unconditionally is probably not
a good idea everywhere.

This patch thus allows to control which behaviour you want by
setting the SYSTEMD_SULOGIN_FORCE environment variable to true
or false to control the behaviour, eg. via adding this to
'systemctl edit rescue.service' (or emergency.service):

[Service]
Environment=SYSTEMD_SULOGIN_FORCE=1

Distributions who used locked root accounts and want the passwordless
behaviour could thus simply drop in the override file in
/etc/systemd/system/rescue.service.d/override.conf

Fixes: #7115
Addresses: https://bugs.debian.org/802211

core: do not "warn" about mundane emergency actions

For example in a container we'd log:
Oct 17 17:01:10 rawhide systemd[1]: Started Power-Off.
Oct 17 17:01:10 rawhide systemd[1]: Forcibly powering off: unit succeeded
Oct 17 17:01:10 rawhide systemd[1]: Reached target Power-Off.
Oct 17 17:01:10 rawhide systemd[1]: Shutting down.
and on the console we'd write (in red)
[  !!  ] Forcibly powering off: unit succeeded

This is not useful in any way, and the fact that we're calling an "emergency action"
is an internal implementation detail. Let's log about c-a-d and the watchdog actions
only.

units: allow and use SuccessAction=exit-force in system systemd-exit.service

C.f. 287419c119ef961db487a281162ab037eba70c61: 'systemctl exit 42' can be
used to set an exit value and pulls in exit.target, which pulls in systemd-exit.service,
which calls org.fdo.Manager.Exit, which calls method_exit(), which sets the objective
to MANAGER_EXIT. Allow the same to happen through SuccessAction=exit.

v2: update for 'exit' and 'exit-force'

units: use SuccessAction=poweroff-force in systemd-poweroff.service

Explicit systemctl calls remain in systemd-halt.service and the system
systemd-exit.service. To convert systemd-halt, we'd need to add
SuccessAction=halt-force. Halting doesn't make much sense, so let's just
leave that is. systemd-exit.service will be converted in the next commit.

units: use SuccessAction=reboot-force in systemd-reboot.service