bootspec: split out ESP blkid validation into function of its own

This makes it easier to add an alternative implementation for this that
uses sd-device instead of blkid directly.

bootspec: add comment explaining verify_esp() return codes

bootspec: use SYNTHETIC_ERRNO() where appropriate

boot-bless: port over to new $BOOT discovery calls

bootctl: output where we found $BOOT

bootctl: teach bootctl the new partition type

bootspec: load entries from both the ESP and XBOOTLDR partitions

Let's simply search in both.

systemctl: add missing OOM checks

systemctl: use SYNTHETIC_ERRNO() where appropriate

systemctl: drop arg_esp_path variable from systemctl

It's not set ever (and there's no real need to make it settable, since
users can as well set $SYSTEMD_ESP_PATH to configure this.

bootspec: store 'root' field in each bootspec entry we load

This 'root' field contains the root path of the partition we found the
snippet in. The 'kernel', 'initrd', 'efi', … fields are relative to this
path.

This becomes particularly useful later when we add support for loading
snippets from both the ESP and XBOOTLDR, but already simplifies the code
for us a bit in systemctl.

bootspec: add internal APIs to discover the XBOOTLDR partition

gpt-auto: also load the boot loader partition during regular boots

dissect: when mounting an image mount the XBOOTLDR partition to /boot

Previously, we'd mount the ESP to /efi if that existed and was empty,
falling back to /boot if that existed and was empty.

With this change, the XBOOTLDR partition is mounted to /boot
unconditionally. And the EFI is mounted to /efi if that exists (but it
doesn't have to be empty — after all the name is very indicative of what
this is supposed to be), and to /boot as a fallback but only if it
exists and is empty (we insist on emptiness for that, since it might be
used differently than what we assume).

The net effect is that $BOOT should be reliably found under /boot, and
the ESP is either /efi or /boot.

(Note that this commit only is relevant for nspawn and suchlike, i.e.
the codepaths that mount an image without involving udev during boot.)

dissect: automatically detect boot loader spec $BOOT partition

The boot loader spec supports two places to store boot loader
configuration: the ESP and a generic replacement for it in case the ESP
is not available or not suitable. Let's look for both.

gpt: add definition for boot loader spec partition

As listed in the boot loader spec since a long time:

https://systemd.io/BOOT_LOADER_SPECIFICATION#technical-details

bootctl: safety check for regular file when reading EFI images

bootctl: use SYNTHETIC_ERRNO() where appropriate

dissect: use SYNTHETIC_ERRNO() where appropriate

bootspec: use SYNTHETIC_ERRNO() at one more place

bootspec: update log message, to indicate the error is ignored

fs-util: add new helper syncfs_path()

env-file: (void)ify an unlink() call

json: don't call va_end() twice in json_build()

This was apparently left-over when json_buildv() was added, and
json_build() just became a wrapper for it.

semaphoreci: Run subset of autopkgtests in LXC (#11814)

Run build/test in LXC for now, as full nested QEMU is too brittle right
now: https://github.com/semaphoreci/semaphore/issues/37
But this at least runs some tests. It ensures that systemd generally
works in containers, as well as provides some backup results if the main
Ubuntu CI is down.

Merge pull request #11852 from keszybz/coverity-memory-issues

Two small fixes for memory issues found by coverity

Merge pull request #11856 from xtopherwong/new-time-zone-list

Use new time zone list

Merge pull request #11857 from rossburton/acrn

virt: detect the ACRN hypervisor

Merge pull request #11834 from martinpitt/network-test-fixes

networkd-test fix/improvement

man: add ACRN hypervisor

Better C code formatting of arguments in Emacs

In [PR#11696][1] it came up that the formatting of continued arguments should
follow the default Emacs style. To ensure this happens when someone has changed
his setting in her private config, the value should be set by *dir-locals.el*.

[1]: https://github.com/systemd/systemd/pull/11696#pullrequestreview-205463987

Merge pull request #11853 from keszybz/man-rules-update

man/rules update

virt: detect the ACRN hypervisor

Add magic string and enumeration for the ACRN hypervisor
(https://projectacrn.org).

test-time-util: use standard intro and print timezones read from file

The asserts are OK, but it's also nice to see the list by eye.

README: mention that we need tzdata >= 2014f

zone1970.tab was added in that version. Not that it makes sense to use
outdata timezone tables, but people do strange things.

C.f. https://github.com/nodatime/nodatime/issues/319.

man/shutdown: Fix grammar

Use new time zone list

When systemd retrieve the time zone it read what is in the file
/usr/share/zoneinfo/zone.tab provided by the Time Zone Database.
According to the comments in zone.tab its content is for backward-
compatibility aid for older programs. New programs should use
zone1970.tab. This patch replaces zone.tab with zone1970.tab.

sd-bus: deal with cookie overruns

Apparently this happens IRL. Let's carefully deal with issues like this:
when we overrun, let's not go back to zero but instead leave the highest
cookie bit set. We use that as indication that we are in "overrun
territory", and then are particularly careful with checking cookies,
i.e. that they haven't been used for still outstanding replies yet. This
should retain the quick cookie generation behaviour we used to have, but
permits dealing with overruns.

Replaces: #11804
Fixes: #11809

man: create .so links for sd_bus_close_{unref,unrefp}

Follow-up for bd62b7448623fbe36665e089977731efb55524c0.

meson: remove workaround for old meson bug with command quoting

Those bugs were fixed a long time ago. Let's take advantage of this and use the
usual $() syntax.

Merge pull request #11840 from yuwata/network-route-onlink

network: enable GatewayOnLink= if no static address is configured

udev-builtin-usb_id: guard against overflow when reading descriptor data

CID#996458. Coverity warns that we trust desc->bLength as read in
the input data to adjust our position in the buffer. This value could
be anything, leading to overflow. It's unlikely that the kernel feeds
us invalid data, but let's me more careful.

If any error is encountered, more logs are given.

udev-builtin-usb_id: use strjoina to simplify code

shared/install: do not use a temporary variable outside of its scope

Coverity says:
> Pointer to local outside scope (RETURN_LOCAL)9.
> use_invalid: Using dirs, which points to an out-of-scope temporary variable of type char const *[5].

And indeed, the switch statement forms a scope. Let's use an if to
avoid creating a scope.

fuzz: do not assume the existence of /sys/class/net/lo

Hopefully fixes oss-fuzz#13440.

network: wrap long lines

network: simplify config_parse_lifetime()

network: avoid address section freed

Otherwise, if HomeAddress= or friends are specified at the first line of
a section, then its assignment will be ignored.

network: cleanup logging in route related config parsers

network: do not override previously specified family

test-network: add testcase for #1850

network: enable GatewayOnLink= if Gateway= without static address configured

And warn about that.

But this only done if GatewayOnLink= is not specified. When it is
explicitly disabled, then the flag will not be set.

network: save GatewayOnLink= value as tristate in Route

This should not change any behavior. But used in the later commit.

network: relax the .network file check

Previously, if a .networ file contains invalid [Address] or [Route]
section, then the file is completely dropped. This makes networkd
just drops invalid sections.

network: rename GatewayOnlink= to GatewayOnLink=

But still GatewayOnlink= is supported for backward compatibility.

networkd-test: ignore failures of test_route_only_dns* in containers

This test exposes a race condition when running in LXC, see issue #11848
for details. Until that is understood and fixed, skip the test as it's
not a recent regression.

networkd-test: specify Address= with prefix length

This avoids a warning:

    An address '192.168.42.100' is specified without prefix length. The
    behavior of parsing addresses without prefix length will be changed
    in the future release. Please specify prefix length explicitly.

networkd-test: show service journal on startup failure

This provides easier evaluation of failed tests.

Merge pull request #11795 from yuwata/fix-network-routing-policy-11280

network: fix routing policy rule issue #11280

journalctl: New option --cursor-file

The option cursor-file takes a filename as argument. If the file exists and
contains a valid cursor, this is used to start the output after this position.
At the end, the last cursor gets written to the file.

This allows for an easy implementation of a timer that regularly looks in the
journal for some messages.

    journalctl --cursor-file err-cursor -b -p err
    journalctl --cursor-file audit-cursor -t audit --grep DENIED

Or you might want to walk the journal in steps of 10 messages:

    journalctl --cursor-file ./curs -n10 --since=today -t systemd

Merge pull request #11844 from keszybz/networkd-fuzzer-fixes

Networkd fuzzer fixes

Merge pull request #11807 from yuwata/test-vlan-mtu

network: increase MTU if VLAN= or MACVLAN= requests higher value

analyze security: check for ProtectHostname=yes

networkd: refuse more than 128 NTP servers

This test case is a bit silly, but it shows that our code is unprepared to
handle so many network servers, with quadratic complexity in various places.
I don't think there are any valid reasons to have hundres of NTP servers
configured, so let's just emit a warning and cut the list short.

https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=13354

networkd: fix memleak when the same NetDev is specified twice

hashmap_put() returns 0 if the (key, value) pair is already present in the
hashmap, and -EEXIST if the key exists, but the value is different.

https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=13433

network: wrap some long lines

selinux: don't log SELINUX_INFO and SELINUX_WARNING messages to audit

Previously we logged even info message from libselinux as USER_AVC's to
audit. For example, setting SELinux to permissive mode generated
following audit message,

time->Tue Feb 26 11:29:29 2019
type=USER_AVC msg=audit(1551198569.423:334): pid=1 uid=0 auid=4294967295 ses=4294967295 subj=system_u:system_r:init_t:s0 msg='avc:  received setenforce notice (enforcing=0)  exe="/usr/lib/systemd/systemd" sauid=0 hostname=? addr=? terminal=?'

This is unnecessary and wrong at the same time. First, kernel already
records audit event that SELinux was switched to permissive mode, also
the type of the message really shouldn't be USER_AVC.

Let's ignore SELINUX_WARNING and SELINUX_INFO and forward to audit only
USER_AVC's and errors as these two libselinux message types have clear
mapping to audit message types.

man: clarify whitespace handling in systemd.syntax

Merge pull request #11837 from yuwata/network-tiny-cleanups

network: tiny cleanups

test-network: add testcase for issue #11280

test-network: drop relevant ip routing policy rules before testing

network: fix error code in log

network: merge conditions and use FLAGS_SET() macro

network: make ndisc_router_process_options() propagate error

And its caller ignore the error.

fs-util: add missing linux/falloc.h include

network: do not remove rule when it is requested by existing links

Otherwise, the first link once removes all saved rules in the foreign
rule database, and the second or later links create again...

network: remove routing policy rule from foreign rule database when it is removed

Previously, When the first link configures rules, it removes all saved
rules, which were configured by networkd previously, in the foreign rule
database, but the rules themselves are still in the database.
Thus, when the second or later link configures rules, it errnously
treats the rules already exist.
This is the root of issue #11280.

This removes rules from the foreign database when they are removed.

Fixes #11280.

test-network: add test for MTUBytes= in vlan or macvlan devices

network: bump mtu if stacked vlan or macvlan requests larger size

Closes #5972.

Merge pull request #11824 from keszybz/fuzzer-fixes

Fuzzer fixes

Merge pull request #11827 from keszybz/pkgconfig-variables

Allow overriding pkgconfig prefixes

Merge pull request #11357 from GiacintoCifelli/dbus_labels

sd-bus: add methods and signals parameter names

Merge pull request #11823 from keszybz/more-fuzz-coverage

More fuzz coverage

fuzz-ndisc-rs: avoid assertion failure on samples which dont fit in pipe

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=11605.

fuzz-lldp: avoid assertion failure on samples which dont fit in pipe

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=11603.

fuzz-journal-stream: avoid assertion failure on samples which don't fit in pipe

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=11587.
We had a sample which was large enough that write(2) failed to push all the
data into the pipe, and an assert failed. The code could be changed to use
a loop, but then we'd need to interleave writes and sd_event_run (to process
the journal). I don't think the complexity is worth it — fuzzing works best
if the sample is not too huge anyway. So let's just reject samples above 64k,
and tell oss-fuzz about this limit.

sd-bus: add methods and signals parameter names. Fixes: #1564

shared/ask-password-api: when echoing multi-byte characters, print the whole sequence

This is untested, but I don't see how the previous code could have worked
for multibyte characters (with echo on).

basic/utf8: do not read past end of string when looking for a multi-byte character

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=9341.

basic/utf8: change type of function to emphasize that it only looks at one character

Merge pull request #11822 from yuwata/fuzz-udev-database

fuzz: add fuzzer for udev database

core: consider non-SERVICE_EXEC_START commands for EXIT_CLEAN_COMMAND

When there are multiple ExecStop= statements, the next command would continue
to run even after TimeoutStopSec= is up and sends SIGTERM. This is because,
unless Type= is oneshot, the exit code/status would evaluate to SERVICE_SUCCESS
in service_sigchld_event()'s call to is_clean_exit(). This success indicates
following commands would continue running until the end of the list
is reached, or another timeout is hit and SIGKILL is sent.

Since long running processes should not be invoked in non-SERVICE_EXEC_START
commands, consider them for EXIT_CLEAN_COMMAND instead of EXIT_CLEAN_DAEMON.
Passing EXIT_CLEAN_COMMAND to is_clean_exit() evaluates the SIGTERM exit
code/status to failure and will stop execution after the first timeout is hit.

Fixes #11431

Merge pull request #11780 from yuwata/fix-4211

network: skip .network files earlier when conditions do not match system environment

fuzz: add a sample for fuzz-udev-database

fuzz: add fuzzer for udev database

sd-device: split device_read_db_internal() into two part

The new device_read_db_internal_filename() will be used by a fuzzer.

cryptsetup: Treat key file errors as a failed password attempt

6f177c7dc092eb68762b4533d41b14244adb2a73 caused key file errors to immediately fail, which would make it hard to correct an issue due to e.g. a crypttab typo or a damaged key file.

Closes #11723.

network: assign Network::manager when it is listed to the manager object.

Now Network::manager is not necessary during parsing configs.

C.f. 838b2f7a30dbb68f4d6939626a165b313cc94542.

network: make resolving NetDev names delayed and moved to network_verify()

And before resolving NetDev names, check conditions in .network,
and if they do not match the system environment, drop the network
unit earlier.

Fixes #4211.

network: add debug log when conditions do not match system environment