network: remove routing policy rule from foreign rule database when it is removed

Previously, When the first link configures rules, it removes all saved
rules, which were configured by networkd previously, in the foreign rule
database, but the rules themselves are still in the database.
Thus, when the second or later link configures rules, it errnously
treats the rules already exist.
This is the root of issue #11280.

This removes rules from the foreign database when they are removed.

Fixes #11280.

Merge pull request #11824 from keszybz/fuzzer-fixes

Fuzzer fixes

Merge pull request #11827 from keszybz/pkgconfig-variables

Allow overriding pkgconfig prefixes

Merge pull request #11357 from GiacintoCifelli/dbus_labels

sd-bus: add methods and signals parameter names

Merge pull request #11823 from keszybz/more-fuzz-coverage

More fuzz coverage

fuzz-ndisc-rs: avoid assertion failure on samples which dont fit in pipe

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=11605.

fuzz-lldp: avoid assertion failure on samples which dont fit in pipe

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=11603.

fuzz-journal-stream: avoid assertion failure on samples which don't fit in pipe

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=11587.
We had a sample which was large enough that write(2) failed to push all the
data into the pipe, and an assert failed. The code could be changed to use
a loop, but then we'd need to interleave writes and sd_event_run (to process
the journal). I don't think the complexity is worth it — fuzzing works best
if the sample is not too huge anyway. So let's just reject samples above 64k,
and tell oss-fuzz about this limit.

sd-bus: add methods and signals parameter names. Fixes: #1564

shared/ask-password-api: when echoing multi-byte characters, print the whole sequence

This is untested, but I don't see how the previous code could have worked
for multibyte characters (with echo on).

basic/utf8: do not read past end of string when looking for a multi-byte character

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=9341.

basic/utf8: change type of function to emphasize that it only looks at one character

Merge pull request #11822 from yuwata/fuzz-udev-database

fuzz: add fuzzer for udev database

core: consider non-SERVICE_EXEC_START commands for EXIT_CLEAN_COMMAND

When there are multiple ExecStop= statements, the next command would continue
to run even after TimeoutStopSec= is up and sends SIGTERM. This is because,
unless Type= is oneshot, the exit code/status would evaluate to SERVICE_SUCCESS
in service_sigchld_event()'s call to is_clean_exit(). This success indicates
following commands would continue running until the end of the list
is reached, or another timeout is hit and SIGKILL is sent.

Since long running processes should not be invoked in non-SERVICE_EXEC_START
commands, consider them for EXIT_CLEAN_COMMAND instead of EXIT_CLEAN_DAEMON.
Passing EXIT_CLEAN_COMMAND to is_clean_exit() evaluates the SIGTERM exit
code/status to failure and will stop execution after the first timeout is hit.

Fixes #11431

Merge pull request #11780 from yuwata/fix-4211

network: skip .network files earlier when conditions do not match system environment

fuzz: add a sample for fuzz-udev-database

fuzz: add fuzzer for udev database

sd-device: split device_read_db_internal() into two part

The new device_read_db_internal_filename() will be used by a fuzzer.

cryptsetup: Treat key file errors as a failed password attempt

6f177c7dc092eb68762b4533d41b14244adb2a73 caused key file errors to immediately fail, which would make it hard to correct an issue due to e.g. a crypttab typo or a damaged key file.

Closes #11723.

network: assign Network::manager when it is listed to the manager object.

Now Network::manager is not necessary during parsing configs.

C.f. 838b2f7a30dbb68f4d6939626a165b313cc94542.

network: make resolving NetDev names delayed and moved to network_verify()

And before resolving NetDev names, check conditions in .network,
and if they do not match the system environment, drop the network
unit earlier.

Fixes #4211.

network: add debug log when conditions do not match system environment

Merge pull request #11767 from yuwata/network-bridge-enslaved

network: extend 'enslaved' state to bridge slave

meson: declare version.h as dependency for systemd

This is a followup to #11815 and adds the last missing dependency.
With this #11565 is hopefully really fixed.

fuzz-unit-file: also run manager_dump()

This should increase coverage a bit.

fuzz-unit-file: add some directives for stuff coverage reports as not covered

Some of those directives appear in the corpus, but without arguments, so maybe
the fuzzing libraries can't trigger the right cases. Let's help them.

Merge pull request #11798 from keszybz/mem-sanitizer-fix

meson: make sure preprocesor warnings are not treated as errors

meson: declare version.h as dep for various targets that include build.h

Should fix #11565.

test-json: use standard test intro

test-json: avoid deep stack recursion under msan

test-mountpoint-util: unpoison string allocated by sscanf %ms

Add wrapper for __msan_unpoinson() to reduce #ifdeffery

This isn't really necessary for the subsequent commit, but I expect that we'll
need to unpoison more often once we turn on msan in CI, so I think think this
change makes sense in the long run.

meson: make sure preprocesor warnings are not treated as errors

Clang includes -W#warning in -Werror, so the #warning used for msan would
be an error.

v2:
- use -Wno-error=... so that the warning is still emitted, but not as an error.

Merge pull request #11796 from yuwata/fuzz-link-parser

fuzz: add fuzzer for .link files

tools: check all directives even if it detects non-updated files

tools: update check-directives.sh to support fuzz-link-parser

fuzz: add directives.link and 99-default.link for fuzz-link-parser

Also adds several reproducers of errors fixed in earlier commits.

fuzz: add fuzzer for parsing .link files

This also renames load_link() to link_load_one()

fuzz: use fflush() and drop unnecessary rewind()

udev/ethtool: fix error detection of ethtool_link_mode_bit_from_string()

udev: fix memleak in conditions for .link file

udev/net: drop .link files earlier when their conditions do not match system environment

udev/net: use structured initializer at one more place

udev/net: use size_t for index at one more place

udev/net: ignore errors in loading .link files but warn about that

udev/net: shorten load_link() a little bit

udev: drop unused Ethernet section

man: update explanation about operational state of network interfaces

man: mention that LinkLocalAddressing= is disabled by default when Bridge= is set

test-network: add more tests for IgnoreCarrierLoss=

Suggested by @amishmm in #9262.

test-network: add more tests for Bridge=

network: make bridge master also follow operstates of slave interfaces

If one of bridge slaves is in off, no-carrier, or dormant, then
operstate of the bridge master is set to degraded.

network: extend 'enslaved' state to bridge slave interfaces

Currently, the interface's operstate is set to 'enslaved' only when
it is managed by networkd.

network: disable LinkLocalAddressing= and IPv6AcceptRA= on bridge slaves by default

If they are not explicitly configured, then let's disable these
functionality on bridge slaves.

network: do not disable dynamic addressing for bridge slaves

This effectively reverts 5971cb9de9081b537945d28895df70992e5664d0 and
2b00a4e03dc375465de7f60f3a6937cbe8ffdf31.

Usually, it is not necessary to assign addresses to bridge slaves,
but such functionality is supported by kernel. If users explicitly
request such configuration, networkd should support that.

network: fix invalid memory access

This fixes a bug introduced by 959f65d32ec15cf84afe3efff1a18b0987b56c60.

Merge pull request #11808 from yuwata/fix-11806

test-network: testing with two bond slaves

test-network: testing with two bond slaves

logind: don't print warning when user@.service template is masked

User instance of systemd is optional feature and if user@.service
template is masked then administrator most likely doesn't want --user
instances of systemd for logged in users. We don't need to be verbose
about it.

Fix manpage typo: abrubtly

Fix a minor typo: abrubtly -> abruptly.

Merge pull request #11797 from keszybz/analyze-calendar-highlight

Highlight in systemd-analyze calendar

logind: udev rule for Parallels video adapter

This enables graphical capability for a video adapter of Parallels
virtualization platform (Parallels Desktop for Mac product) which is not
a DRM device at the moment.

This fixes GUI in Fedora 29 guest on Parallels Desktop where gdm now
strictly checks for CanGraphical property of a seat, see [1].

Should be noted that there's no in-kernel driver for Parallels video at
the moment so device matching is done by vid/pid.

[1] https://gitlab.gnome.org/GNOME/gdm/merge_requests/37

mkosi: (Archlinux) increase the size of root partition.

Currently "mkosi --default .mkosi/mkosi.arch" fails to build the image due to pacman error:

"error: Partition /var/tmp/mkosi-xxx/root too full: yyy blocks needed, zzz blocks free"
"error: not enough free disk space"
"error: failed to commit transaction (not enough free disk space)"

So increase the size to 3G.

Merge pull request #11781 from yuwata/udev-rule-continuation-fix

udev-rules: fix line continuation

analyze: add color highlighting when printing calendar elapses

With multiple iterations, I found it hard to pick out the interesting bits in
the column of text. I tried plain highlighting first, but it doesn't seem
enough. But blue/yellow makes it easy to jump to the right iteration.

analyze: split out loop innards into a separate function

This was intended to be just a refactoring, but it also fixes a minor bug:
after printing "never", we would skip subsequent expressions:

$ systemd-analyze calendar --iterations=20 @0 @1
systemd-analyze calendar --iterations=20 @0 @1
  Original form: @0
Normalized form: 1970-01-01 00:00:00 UTC
    Next elapse: never

(the second expression was skipped).

analyze: optionally, show more than one elapse time for calendar expressions

units: re-drop ProtectHostname from systemd-hostnamed.service (#11792)

This was an overzealous setting from commit 99894b867f. Without this,
`hostnamectl set-hostname` fails with

    Could not set property: Access denied

as `sethostname()` fails with `EPERM`.

libsystemd: check if _POSIX_C_SOURCE is defined

This can cause issues if sd-event.h is included in a source file that doesn't
define _POSIX_C_SOURCE and is compiled with -Wundef.

test-udev: fix alignment and drop unnecessary white spaces

test-udev: add more tests for line continuation

udev-rules: do not ignore short lines

Otherwise, a short line continues the previous continuation.

This fixes a bug introduced by f10aa08e3e48de7dcb71be348f021c6b1385304f.

hwdb: Add accelerometer orientation quirk for the Medion Akoya E2212T

Add accelerometer orientation quirk for the Medion Akoya E2212T 2-in-1.

Merge pull request #11608 from taro-yamada/add_persistent_randmized_delay

core: add "Persistent=delay" to delay persistent timers after boot

Merge pull request #11776 from keszybz/networkd-ordered-sets

Store domains lists in OrderedSets in networkd

Merge pull request #11784 from martinpitt/networkd-tests

Various networkd test fixes

Add a work-around for memsan

Fixes #11735.

networkd-test: fix test_dropin()

 - This test needs resolved, so make sure it is started. In some Debian
   environments it is not.
 - It was an unnecessary, and now failing assumption that name servers
   get atomically written to the resolved's resolv.conf. Wait until both
   expected name servers are in the file.

networkd-test: use a complete domain name in test_route_only_dns()

Since version 241 (commit ea4678?), querying MX type records for
single-label domains does not actually forward the query to the DNS
server any more. Use "example.com" instead, which is the recommended
test domain anyway.

networkd-test: disable DNSSEC in domain-restricted DNS test

dnsmasq 2.80 changed behaviour when being queried by resolved with
enabled DNSSEC: It returns errors for SOA and DS queries which cause the
entire query to fail. As we don't configure DNSSEC in this test anyway,
just disable it so that we retain compatibility with old and new dnsmasq
versions.

core: delay persistent timers by "RandomizedDelaySec=" at boot.

Fixes #5659.
Currently, if Persistent=true and the machine is off at the scheduled time of the timer unit, the timer
will be triggered immediately at the next boot even if RandomizedDelaySec= is specified.

As a result, if multiple timers meet that condition, they will be triggered at the same time and too
much CPU/IO work makes boot slow down.

With this commit, if the scheduled time of the persistent timer has already elapsed at boot,
set the time when systemd first started as the scheduled time and RandomizedDelaySec= is applied to it.

tests: shorten the fuzz test case

The test was failing in Ubuntu CI with a 30s timeout. It makes
sense to keep the file so exercise the set allocation logic, but
we can make it shorter.

shared/hashmap: trivial style updates

networkd: use OrderedSets instead of strvs to store lists of domains

We were already using OrderedSets in the manager object, but strvs in the
configuration parsing code. Using sets gives us better scaling when many
domains are used.

In oss-fuzz #13059 the attached reproducer takes approximately 30.5 s to be
parsed. Converting to sets makes this go down to 10s. This is not _vastly_
faster, but using sets seems like a nicer approach anyway. In particular, we
avoid the quadratic de-unification operation after each addition.

basic/ordered-set: export networkd function to print string sets

Tests are added.

basic/ordered-set: add functions to operate on OrderedSets of strings

socket-util: re-implement socket_address_parse_netlink() by using extract_first_word()

This drops support of trailing white space when a multicast group is
specified.

Fixes one of issues in #11738.

Merge pull request #11748 from yuwata/fix-11711

network: handle disable_ipv6 sysctl property

Merge pull request #11772 from c0d3z3r0/master

Make systemd-boot compliant with the Linux Boot / EFI Handover Protocol

resolve: fix null pointer dereferences

Follow-up for 8227cfa137d8a930519717b752128b8d035b83e5.

Fixes CID#1398986.

cgtop: Fix processing of controllers other than CPU

After debugging the issue with gdb, I found that the following change

 94ddb08 "cgtop: Still try to get CPU statistics if controller-free"

has introduced a bug, which prevents process(..) method processing
memory and io controllers when cpu_accounting_is_cheap() is true.
The obvious fix is to move this branch to be the last one, keeping
the intended behavior of the above change, without having a negative
effect on the other controllers.

Fixes #11773 [systemd-cgtop no longer shows memory (and io) usage]

generator: rename systemd-mkfs@.service to systemd-makefs@.service

The second name was used in documentation, and the first in the code that
generated the unit. 'systemd-makefs' is the name we want, for example for
consistency with the systemd-makefs executable.

In principle this breaks compatibility, but in practice this is unlikely to be
noticeable. Each instance of the unit is created by writing out a full
definition, so the template was never defined. So the name could only be used
for ordering, and there is not reason to order things against this unit from
the outside: the ordering would rather be against the final mount unit.

Fixes #11769.

test-network: add testcases for handling disable_ipv6 sysctl property

test-network: update cosmetic workaround

Almost all tests call copy_unit_to_networkd_unit_path() at first.
So, let's move the line break there.

network: check whether ipv6 is enabled in sysctl

Currently, the value is read only once.

Fixes #11711.

network: use sysctl_read_ip_property()

sysctl-util: add sysctl_read_ip_property()

network: use sysctl_write_ip_property() and friends

sysctl-util: introduce sysctl_write_ip_property() and friends

Make systemd-boot compliant with the Linux Boot / EFI Handover Protocol

The current implementation copied the *complete* header to boot_params,
thus making the kernel ignore many of the fields.

As mentioned in the code comment for the sentinel variable in
bootparam.h a bootloader should only copy the setup_header, set some
fields in boot_params and zero out anything else.

This change makes systemd-boot (mostly) compliant with the Linux Boot
Protocol and the EFI Handover Protocol described in bootparam.h and
Documentation/boot.txt to fix various issues:

- Secure boot not being detected corretly by Linux (#11717)
- tboot error message / warning on boot (#11717)
- Strange purple text color when booting in qemu with OVMF
- Hopefully even more ...