Merge pull request #12221 from keszybz/test-cleanups

Script indentation cleanups

Merge pull request #12287 from keszybz/patches-for-coverity-warnings

Patches for coverity warnings

seccomp: check more error codes from seccomp_load()

We noticed in our tests that occasionally SystemCallFilter= would
fail to set and the service would run with no syscall filtering.
Most of the time the same tests would apply the filter and fail
the service as expected. While it's not totally clear why this happens,
we noticed seccomp_load() in the systemd code base would fail open for
all errors except EPERM and EACCES.

ENOMEM, EINVAL, and EFAULT seem like reasonable values to add to the
error set based on what I gather from libseccomp code and man pages:

-ENOMEM: out of memory, failed to allocate space for a libseccomp structure, or would exceed a defined constant
-EINVAL: kernel isn't configured to support the operations, args are invalid (to seccomp_load(), seccomp(), or prctl())
-EFAULT: addresses passed as args are invalid

core: vodify one more call to mkdir

CID #1400460.

test-exec-util: do not call setenv with NULL arg

The comment explains that $PATH might not be set in certain circumstances and
takes steps to handle this case. If we do that, let's assume that $PATH indeed
might be unset and not call setenv("PATH", NULL, 1). It is not clear from the
man page if that is allowed.

CID #1400497.

test-env-util: allow $PATH to be unset

Coverity was unhappy, because it doesn't know that $PATH is pretty much always
set. But let's not assume that in the test. CID #1400496.

$ (unset PATH; build/test-env-util)
[1]    31658 segmentation fault (core dumped)  ( unset PATH; build/test-env-util; )

CODING_STYLE: adjust indentation rules, and add note about config loading

shell-completion/zsh: add -*type*- headers

Since there's no file extension, emacs and other editors do not know that this is
supposed to be in shell syntax.

shell-completion: use 4 space indentation too

The same as in other places, indentation levels were all over the place.

scripts: use 4 space indentation

We had all kinds of indentation: 2 sp, 3 sp, 4 sp, 8 sp, and mixed.
4 sp was the most common, in particular the majority of scripts under test/
used that. Let's standarize on 4 sp, because many commandlines are long and
there's a lot of nesting, and with 8sp indentation less stuff fits. 4 sp
also seems to be the default indentation, so this will make it less likely
that people will mess up if they don't load the editor config. (I think people
often use vi, and vi has no support to load project-wide configuration
automatically. We distribute a .vimrc file, but it is not loaded by default,
and even the instructions in it seem to discourage its use for security
reasons.)

Also remove the few vim config lines that were left. We should either have them
on all files, or none.

Also remove some strange stuff like '#!/bin/env bash', yikes.

test: filter out messages when stripping binaries

We would get an error for every script, which is just noise.

Merge pull request #12267 from keszybz/udev-settle-warning

Udev settle warning

tree-wide: drop several missing_*.h and import relevant headers from kernel-5.0

Merge pull request #12153 from benjarobin/killall-show-not-killed

shutdown/killall: Show in the console the processes not yet killed

Merge pull request #12226 from poettering/22bit-pids

sysctl: let's by default increase the numeric PID range from 2^16 to …

Merge pull request #12037 from poettering/oom-state

add cgroupv2 oom killer event handling to service management

Merge pull request #12219 from keszybz/bootctl-check-entries

bootctl: check entries when showing them

NEWS: update contributors and date

hwdb: mark Apple Magic Trackpads as external

Applies only to USB - when connected via Bluetooth it already gets marked correctly.

fstab-generator: use DefaultDependencies=no for /sysroot mounts

Otherwise we can end up with an ordering cycle. Since d54bab90, all
local mounts now gain a default `Before=local-fs.target` dependency.
This doesn't make sense for `/sysroot` mounts in the initrd though,
since those happen later in the boot process.

Closes: #12231

Merge pull request #12279 from keszybz/sd-bus-long-signatures

sd-bus: properly handle messages with overlong signatures

Merge pull request #12274 from poettering/nss-fixlets

some nss module fixlets

sd-bus: add define for the maximum name length

Less magic numbers in the code…

sd-bus: add define for the maximum signature length

Less magic numbers in the code…

bus-message: validate signature in gvariant messages

We would accept a message with 40k signature and spend a lot of time iterating
over the nested arrays. Let's just reject it early, as we do for !gvariant
messages.

nss-resolve: list more errors as cause for fallback

If dbus-daemon kicks us from the bus or hangs, we should fallback too.

Fixes: #12203

nss-resolve: simplify condition

Of course, if the error is NXDOMAIN then it's not one of the errors
listed for fallback, hence don't bother...

nss-mymachines: return NO_RECOVERY instead of NO_DATA when we fail to do D-Bus and similar

This makes more semantical sense and is what we do in nss-resolve in a
similar case, hence let's remove the differences here.

nss-myhostname: unify code that handles NOT_FOUND case

Just some minor rework to make this more like nss-resolve.

nss-resolve: resue a jump target

We can reuse "fail" here, since it does the same thing.

nss-resolve: return error properly

nss-resolve: drop unnecessary variable

We assign the same value to "ret" always, let's just return the value
literally.

Merge pull request #12271 from poettering/errno-accept-again

accept() errno fixes

test: make directory for drop-in config

Follow-up for a2fbac5875776e9e327f30cf2a8b3070a4c1552a.

Merge pull request #12270 from yuwata/test-set-longer-timeout

test: set longer timeout

tree-wide: port users over to use new ERRNO_IS_ACCEPT_AGAIN() call

test: set longer watchdog timeout for timedated

errno-util: add new ERRNO_IS_ACCEPT_AGAIN() test

This is modelled after the existing ERRNO_IS_RESOURCES() and in
particular ERRNO_IS_DISCONNECT(). It returns true for all transient
network errors that should be handled like EAGAIN whenever we call
accept() or accept4(). This is per documentation in the accept(2) man
page that explicitly says to do so in the its "RETURN VALUE" section.

The error list we cover is a bit more comprehensive, and based on
existing code of ours. For example EINTR is included too (since we need
that to cover cases where we call accept()/accept4() on a blocking
socket), and of course ERRNO_IS_DISCONNECT() is a bit more comprehensive
than the list in the man page too.

errno-util: rework ERRNO_IS_RESOURCE() from macro into static inline function

No technical reason, except that later on we want to add a new
ERRNO_IS() which uses the parameter twice and where we want to avoid
double evaluation, and where we'd like to keep things in the same style.

errno-util: add three more error codes to ERRNO_IS_DISCONNECT()

This is based on the recommendations in accept4() and the listed error
codes there.

tree-wide: voidify some socket calls

lgtm: complain about accept() [people should use accept4() instead, due to O_CLOEXEC]

core/killall: Add documentation about broadcast_signal()

core/killall: Log the process names not killed after 10s

shutdown: Bump sysctl kernel.printk log level in order to see info msg

test: set longer timeout for 'udevadm control'

systemd-udev-settle.service: emit deprecation notice

network: fix use-of-uninitialized-value or null dereference

This fixes a bug introduced by 6ef5c881dd5568f08dc35013e24f7d857f36b207.

Fixes oss-fuzz#14157 and oss-fuzz#14158.

man: add a page for systemd-udev-settle.service

Update UEFI URLs (#12260)

* Use more secure https://www.uefi.org

http://www.uefi.org directs to https://uefi.org/, so this saves one
redirect.

    $ curl -I http://www.uefi.org
    HTTP/1.1 302 Found
    Server: nginx
    Date: Tue, 09 Apr 2019 14:54:46 GMT
    Content-Type: text/html; charset=iso-8859-1
    Connection: keep-alive
    X-Content-Type-Options: nosniff
    Location: https://uefi.org/
    Cache-Control: max-age=1209600
    Expires: Tue, 23 Apr 2019 14:54:46 GMT

Run the command below to update all occurrences.

    git grep -l http://www.uefi.org | xargs sed -i 's,http://www.uefi.org,https://www.uefi.org,'

* Use https://uefi.org to save redirect

Save one redirect by using the target location.

    $ curl -I https://www.uefi.org
    HTTP/1.1 301 Moved Permanently
    Server: nginx
    Date: Tue, 09 Apr 2019 14:55:42 GMT
    Content-Type: text/html; charset=iso-8859-1
    Connection: keep-alive
    X-Content-Type-Options: nosniff
    Location: https://uefi.org/
    Cache-Control: max-age=1209600
    Expires: Tue, 23 Apr 2019 14:55:42 GMT

Run the command below to update all occurrences.

    git grep -l https://www.uefi.org | xargs sed -i 's,https://www.uefi.org,https://uefi.org,'

Merge pull request #12252 from keszybz/libmount-dont-unescape

Don't unescape paths from libmount

sysctl: let's by default increase the numeric PID range from 2^16 to 2^22

This should PID collisions a tiny bit less likely, and thus improve
security and robustness.

2^22 isn't particularly a lot either, but it's the current kernel
limitation.

Bumping this limit was suggested by Linus himself:

https://lwn.net/ml/linux-kernel/CAHk-=wiZ40LVjnXSi9iHLE_-ZBsWFGCgdmNiYZUXn1-V5YBg2g@mail.gmail.com/

Let's experiment with this in systemd upstream first. Downstreams and
users can after all still comment this easily.

Besides compat concern the most often heard issue with such high PIDs is
usability, since they are potentially hard to type. I am not entirely sure though
whether 4194304 (as largest new PID) is that much worse to type or to
copy than 65563.

This should also simplify management of per system tasks limits as by
this move the sysctl /proc/sys/kernel/threads-max becomes the primary
knob to control how many processes to have in parallel.

update TODO

test: add test case for new OOM logic

man: document new OOMPolicy= setting

catalog: add a new catalog entry explaining the new OOM killer event log msg

core: implement OOMPolicy= and watch cgroups for OOM killings

This adds a new per-service OOMPolicy= (along with a global
DefaultOOMPolicy=) that controls what to do if a process of the service
is killed by the kernel's OOM killer. It has three different values:
"continue" (old behaviour), "stop" (terminate the service), "kill" (let
the kernel kill all the service's processes).

On top of that, track OOM killer events per unit: generate a per-unit
structured, recognizable log message when we see an OOM killer event,
and put the service in a failure state if an OOM killer event was seen
and the selected policy was not "continue". A new "result" is defined
for this case: "oom-kill".

All of this relies on new cgroupv2 kernel functionality: the
"memory.events" notification interface and the "memory.oom.group"
attribute (which makes the kernel kill all cgroup processes
automatically).

service: beautify debug log message a bit

core: rename cgroup_inotify_wd → cgroup_control_inotify_wd

Let's rename the .cgroup_inotify_wd field of the Unit object to
.cgroup_control_inotify_wd. Let's similarly rename the hashmap
.cgroup_inotify_wd_unit of the Manager object to
.cgroup_control_inotify_wd_unit.

Why? As preparation for a later commit that allows us to watch the
"memory.events" cgroup attribute file in addition to the "cgroup.events"
file we already watch with the fields above. In that later commit we'll
add new fields "cgroup_memory_inotify_wd" to Unit and
"cgroup_memory_inotify_wd_unit" to Manager, that are used to watch these
other events file.

No change in behaviour. Just some renaming.

core: check for redundant operation before doing allocation

core: rearrange cgroup empty events a bit

So far the priorities for cgroup empty event handling were pretty weird.
The raw events (on cgroupsv2 from inotify, on cgroupsv1 from the agent
dgram socket) where scheduled at a lower priority than the cgroup empty
queue dispatcher. Let's swap that and ensure that we can coalesce events
more agressively: let's process the raw events at higher priority than
the cgroup empty event (which remains at the same prio).

Merge pull request #12223 from yuwata/network-wireguard-preshared-key-file

network: add PresharedKeyFile= setting and make reading key file failure fatal

pid1,shutdown: do not cunescape paths from libmount

The test added in previous commit shows that libmount does the unescaping
internally.

test-libmount: let's see how libmount parses stuff

With libmount-2.33.1-3.fc30.x86_64 I get:
/* test_libmount_unescaping_one escaped space + utf8 */
from '729 38 0:59 / /tmp/\342\200\236zupa\\040z\304\231bowa\342\200\235 rw,relatime shared:395 - tmpfs die\\040Br\303\274he rw,seclabel'
source: 'die Brühe'
source: 'die Br\303\274he'
source: 'die Brühe'
expected: 'die Brühe'
target: '/tmp/„zupa zębowa”'
target: '/tmp/\342\200\236zupa z\304\231bowa\342\200\235'
target: '/tmp/„zupa zębowa”'
expected: '/tmp/„zupa zębowa”'
/* test_libmount_unescaping_one escaped newline */
from '729 38 0:59 / /tmp/x\\012y rw,relatime shared:395 - tmpfs newline rw,seclabel'
source: 'newline'
source: 'newline'
source: 'newline'
expected: 'newline'
target: '/tmp/x
y'
target: '/tmp/x\ny'
target: '/tmp/x
y'
expected: '/tmp/x
y'
/* test_libmount_unescaping_one empty source */
from '760 38 0:60 / /tmp/emptysource rw,relatime shared:410 - tmpfs  rw,seclabel'
source: ''
source: ''
source: ''
expected: ''
target: '/tmp/emptysource'
target: '/tmp/emptysource'
target: '/tmp/emptysource'
expected: '/tmp/emptysource'
/* test_libmount_unescaping_one foo\rbar */
from '790 38 0:61 / /tmp/foo\rbar rw,relatime shared:425 - tmpfs tmpfs rw,seclabel'
source: 'tmpfs'
source: 'tmpfs'
source: 'tmpfs'
expected: 'tmpfs'
target: '/tmp/foo'
target: '/tmp/foo'
target: '/tmp/foo'
expected: 'n/a'

With https://github.com/karelzak/util-linux/issues/780 fixed, we get

/* test_libmount_unescaping_one foo\rbar */
from '790 38 0:61 / /tmp/foo\rbar rw,relatime shared:425 - tmpfs tmpfs rw,seclabel'
source: 'tmpfs'
source: 'tmpfs'
source: 'tmpfs'
expected: 'tmpfs'
target: '/tmp/foo
bar'
target: '/tmp/foo\rbar'
target: '/tmp/foo
bar'
expected: '/tmp/foo
bar'

l10n: Updated Lithuanian translation

NEWS: mention PresharedKeyFile=

test-network: add tests for WireGuardPeer.PresharedKey= and PresharedKeyFile=

network: make wireguard_decode_key_and_warn() take uint8_t buf[static WG_KEY_LEN]

network: warn when wireguard keys are stored in world readable files

network: add WireGuardPeer.PresharedKeyFile= setting

network: clear wireguard keys on failure or on exit

network: make reading PrivateKeyFile= failure always fatal

This also refactor wireguard_read_key_file().

fileio: add READ_FULL_FILE_UNBASE64 flag for read_full_file_full()

fileio: read_full_file_full() also warns when file is world readable and secure flag is set

fileio: introduce warn_file_is_world_accessible()

util: introduce READ_FULL_FILE_SECURE flag for reading secure data

Merge pull request #12241 from keszybz/two-man-link-additions

Two man link additions

core/killall: Propagate errors and return the number of process left

inhibit: fix argv[] usage

Another fix in style of ed179fd71030ddd657500591dac37e7499fc7b2c and
bd169c2be0fbdaf6eb2ea7951e650d5e5983fbf6..

I hope we are soon complete with these.

Fixes: #12246

NEWS: add mention of time-set.target

man: add a lengthy example for NamePolicy= debugging

This is still rather opaque, and test-builtin is quite useful in this
case, let's advertise it a bit more.

man: say that .link NamePolicy= should be empty for Name= to take effect

The description of NamePolicy= implied this, but didn't spell it out. It's a
very common use case, so let's add a bit of explanation and ehance the example
a bit.

Inspired by https://bugzilla.redhat.com/show_bug.cgi?id=1695894.

Merge pull request #12244 from poettering/242-news-final

final 242 NEWS tweaks + another hwdb update

man: add references from the .mount and .service man pages to systemd-{mount,run} pages

Fixes: #12235

Merge pull request #12245 from poettering/empty-or-dash

introduce empty_or_dash() helper

man: elaborate on fd ownership in sd_event_add_io(3)

Replaces: #12239

units: add time-set.target

time-sync.target is supposed to indicate system clock is synchronized
with a remote clock, but as used through 241 it only provided a system
clock that was updated based on a locally-maintained timestamp.  Systems
that are powered off for extended periods would not come up with
accurate time.

Retain the existing behavior using a new time-set.target leaving
time-sync.target for cases where accuracy is required.

Closes #8861

coccinelle: add coccinelle script for empty_or_dash() use

man/systemd-sysusers: Fix typo in *from* to *form*

basic: add new helper call empty_or_dash_to_null()

We have a function like this at two places already. Let's unify it in
one generic location and let's port a number of users over.

tree-wide: introduce empty_or_dash() helper

At quite a few places we check isempty() || streq(…, "-"), let's add a
helper to simplify that, and replace that by a single function call.

hwdb: update hwdb

update NEWS for 242 final

Merge pull request #12238 from keszybz/one-genuine-bugfix+lots-of-line-wrapping

One genuine bugfix and lots of line wrapping

pam-systemd: use secure_getenv() rather than getenv()

And explain why in a comment.

man: correct units path usage according to FHS (#11388)

According to the Filesystem Hierarchy Standard, "The /usr/local hierarchy is for use by the system administrator when installing software locally. It needs to be safe from being overwritten when the system software is updated". So it should not be used by installed packages.

sysusers: use return_error_errno() where possible

sysusers: add missing initalizer

I assume that this is the error causing the invalid free in
https://bugzilla.redhat.com/show_bug.cgi?id=1670679.

logind: linewrap some long lines and remove unnecessary conditional

util: extend unbase64mem() to accept secure flag

When the flag is set, buffer is cleared on failure.