network: use asynchronous call for creating FOU tunnels

Otherwise, multiple FOU tunnels cannot be created correctly.

network: do not ignore FooOverUDP.Encapsulation= setting

Previously the setting is ignored and always FOU_ENCAP_GUE is sent.

network: merge ipip_init() and sit_init()

network: add FooOverUDP support for SIT and GRE tunnels

test-network: add more tests for SerializeTunneledPackets=, Key=, and friends

hwdb: Fix micmute on ASUS FX503VD

The micmute key needs to be remapped to F20 for userspace to consume it.

See https://gitlab.gnome.org/GNOME/gnome-settings-daemon/issues/121

test: set longer StartLimitIntervalSec= and fewer StartLimitBurst=

Some test environment may be in heavy load. In that case, rate limit
never hit, and the test fails...

Merge pull request #12164 from keszybz/units-use-presets

Enable our units using presets in the usual fashion

udev: move udev_ctrl_cleanup() into manager_free()

Merge pull request #12157 from yuwata/network-netdev-name-conflict

network: handle NetDev.Name= conflict nicely

meson: stop creating enablement symlinks in /etc during installation

This patch was initially prompted by a report on a Fedora update [1], that the
upgrade causes systemd-resolved.service and systemd-networkd.service to be
re-enabled. We generally want to preserve the enablement of all services during
upgrades, so a reset like this is not expected.

Both services declare two symlinks in their [Install] sections, for their dbus
names and for multi-user.target.wants/.  It turns out that both services were
only partially enabled, because their dbus unit symlinks
/etc/systemd/system/dbus-org.freedesktop.{resolve1,network1}.service were
created, by the symlinks in /etc/systemd/system/multi-user.target.wants/ were
not. This means that the units could be activated by dbus, but not in usual
fashion using systemctl start. Our tools make it rather hard to figure out when
something like this happens, and it is definitely an area for improvement on its
own. The symlink in .wants/ was filtered out by during packaging, but the dbus
symlink was left in (I assume by mistake).

Let's simplify things by not creating the symlinks statically during 'ninja
install'. This means that the units shipped by systemd have to be enabled in
the usual fashion, which in turns means that [Install] section and presets
become the "single source of truth" and we don't have two sets of conflicting
configuration.

Let's consider a few cases:
- developer: a developer installs systemd from git on a running system, and they
  don't want the installation to reset enablement of anything. So this change is
  either positive for them, or has no effect (if they have everything at
  defaults).

- package creation: we want to create symlinks using 'preset-all' and 'preset'
  on upgraded packages, we don't want to have any static symlinks. This change
  will remove the need to filter out symlinks in packaging and of course fix
  the original report.

- installation of systemd from scratch: this change means that without
  'preset-all' the system will not be functional. This case could be affected
  negatively by this change, but I think it's enough of a corner case to accept
  this. In practice I expect people to build a package, not installl directly
  into the file system, so this might not even matter in practice.

Creating those symlinks was probably the right thing in the beginning, but
nowadays the preset system is very well established and people expect it to
be honoured. Ignoring the presets and doing static configuration is not welcome
anymore.

Note: during package installation, either 'preset-all' or 'preset getty@.service
machines.target remote-cryptsetup.target remote-fs.target
systemd-networkd.service systemd-resolved.service
systemd-networkd-wait-online.service systemd-timesyncd.service' should be called.

[1] https://bodhi.fedoraproject.org/updates/FEDORA-2019-616045ca76

meson: indentation

Merge pull request #12156 from yuwata/fix-bootspec-memleaks

bootspec: fix memleaks

po: update ja.po

test-network: add test for NetDev.Name= conflict

udev: shorten code a bit

network: add '=' to config key names in log

Also, long lines are wrapped.

network: do not abort execution when NetDev.Name= conflicts

This also changes that .netdev files are loaded in ascending order.
Otherwise, when NetDev.ifname= setting conflicts with other .netdev file,
then .netdev file with large prefix number wins.

test-network: add test for drop-in [WireGuardPeer] section

This also merges the two wireguard tests, and use wait_online()
to speed up the test.

bootspec: fix memleak caused by setting invalid cleanup function

bootspec: add missing free() in boot_config_free()

Merge pull request #12147 from yuwata/network-gre-key-12144

network: make GRE and GRETAP support Key= or friends

test-network: test stacked erspan tunnels

man: update Tunnel.Key= and friends

network: make GRE and GRETAP support Key=, InputKey=, OutputKey=, and SerializeTunneledPackets=

This also merge netdev_gre_fill_message_create() and netdev_erspan_fill_message_create().

Merge pull request #12048 from jengelh/master

rpm: avoid hiding errors from systemd commands

Merge pull request #12146 from yuwata/test-network-wait-online

test-network: use wait-online to speed up tests

network: make erspan netdev can be specified in Network.Tunnel=

network: do not continue when appending data to netlink message fails

test-network: merge tests for [Route] section

test-network: use wait_online() in test_sysctl_disable_ipv6()

test-network: use wait_online() in test_sysctl()

This also disables IPv6AcceptRA= to speed up the test.

test-network: use wait_online() in test_link_local_addressing()

This also disables IPv6AcceptRA= to speed up the test.

test-network: fix addr_gen_mode

If stable_secret is set, then networkd sets addr_gen_mode 2.

test-network: move tests related to bonding

test-network: merge tests about static addresses

And use wait_online()

test-network: add wait_online() helper function

Merge pull request #12138 from poettering/doc-ip-allow-src-dst

man: expand IPAddressAllow= docs a bit

update TODO

man: clarify which addresses are affected by IPAddressAllow=/IPAddressDeny=

For ingress traffic it's the source address of IP packets we check, for
egress traffic it's the destination address. Mention that.

po: update Polish translation

Merge pull request #12140 from poettering/copy-early

chattr/copy.c fixes

Merge pull request #12137 from poettering/socket-var-run

warn about sockets in /var/run/ too

Merge pull request #12133 from poettering/rseq-whitelist

whitelist rseq() system call in `@default` syscall group

analyze: check both possible mount points of tracefs

Let's try the new one first, the old one second.

fsck: copy out device argument from argv[] before forking

We nowadays rename our child processes, hence argv[] will be clobbered,
let's hence copy the device path to dynamic memory before forking.

This is fall-out from 60ffa37a65a96c3af857a3dfc4a6fd47b20cc90e since we
now a lot more often end up overriding the argv[] buffer than before,
simple because we know what to override.

These kind of bugs kinda suck. THere are only two options here: stop
overriding argv[] for all cases (or just these cases) or explicitly
copying out everything we need in child processes before forking. With
this patch I opt for the latter, though I am not 100% convinced this is
a great solution. Just a better solution than everything else, i.e.
allowing argv[] to remain out of sync with what others see.

Fixes: #12135

wireguard: fix exponential backoff when resolving hosts

It should stop at 25s, not start.
Fixes #12134

headers: add missing includes

Fixes #12125.

sd-bus: change "int" → "signed int" on bitfield

Apparently by the C standard "int" bitfields can have any signedness
(unlike non-bitfield declarations which are "signed" if the signedness
is not specified).

Let's fix the LGTM warning about this hence and be explicit that we mean
"signed" here.

tmpfiles: move full chattr flag set to chattr-util.h

It's a pretty generic concept and fits will there, hence let's move it.

update NEWS

update TODO

tmpfiles: support the FS_PROJINHERIT_FL chattr flag

util-lib: when copying files make sure to apply some chattrs early, some late

Some chattrs only work sensible if you set them right after opening a
file for create (think: FS_NOCOW_FL). Others only work when they are
applied when the file is fully written (think: FS_IMMUTABLE_FL). Let's
take that into account when copying files and applying a chattr to them.

missing: add FS_PROJINHERIT_FL

It's available since kernel 4.5, but not in older kernels.

update TODO

core: complain and correct /var/run/ → /run/ for listening sockets

We already do that for PIDFile= paths, and for tmpfiles.d/ snippets,
let's also do this for .socket paths.

load-fragment: use TAKE_PTR() where we can

cryptsetup-generator: set high OOM score for systemd-cryptsetup instances

With new LUKS2 header format it is possible to use Argon2 key derivation
function. This function is "memory-hard" hence keyslot unlocking can
potentially use a lot of RAM as this increases resistance to massively
parallel GPU based password cracking.

However, when multiple systemd-cryptsetup binaries run at the same
time it is very likely that system using Argon2 (e.g. Fedora 30)
will encounter memory-pressure during early boot, following OOM killing
spree.

This patch aims to lower the damage done by OOM killer and sets OOMScore
for systemd-cryptsetup units to 500. Hopefully OOM killer will then
shoot us down and leave rest of the system services alone.

Merge pull request #12130 from keszybz/fix-ndebug-builds

Fix ndebug builds

update TODO

seccomp: add rseq() to default list of syscalls to whitelist

Apparently glibc is going to call this implicitly soon, hence let's
whitelist this by default.

Fixes: #12127

core: break overly long line

core: parse '@default' seccomp group permissively

We are about to add system calls (rseq()) not available on old
libseccomp/old kernels, and hence we need to be permissive when parsing
our definitions.

Merge pull request #12115 from poettering/verbose-job-enqueue

add "systemctl --show-transaction start" as a more verbose "systemctl start" that shows enqueued jobs

meson: disable warnings about unused variables for NDEBUG builds

With assertions disabled, we'd get a bunch of warnings that really bring no
value. With this change, a default meson build with -Db_ndebug=true generates
no warnings.

core: avoid unnecessary cast

test-terminal-util: fix sigsegv when compiled without asserts

I couldn't figure out what is going on here, because LTO inlines everything and
then the backtrace reported a different spot. But when compiled with NDEBUG but
no LTO, it's fairly obvious ;)

C.f. #12008.

Remove variable only used for an assert

When compiled with -DNDEBUG, we get warnings about set-but-unused variables.
In general, it's not something we care about, but since removing those
variables arguably makes the code nicer, let's just to it in this case.

test-terminal-util: add function logging

tree-wide: reorder various structures to make them smaller and use fewer cache lines

Some "pahole" spelunking.

tree-wide: (void)ify a few unlink() and rmdir()

Let's be helpful to static analyzers which care about whether we
knowingly ignore return values. We do in these cases, since they are
usually part of error paths.

Merge pull request #12119 from keszybz/voidify-mkdir-p

Voidify mkdir_p() and normalize util.h includes

Merge pull request #12113 from poettering/terminal-util-fixlets

tiny terminal-util.c fixlets

man: clarify the role of OnBootSec= in containers

https://github.com/systemd/systemd/pull/12104#pullrequestreview-218627236

journalctl: voidify mkdir_p() call and unify two similar code paths

Let's unify the two similar code paths to watch /run/systemd/journal.
The code in manager.c is similar, but it uses mkdir_p_label(), and unifying
that would be too much trouble, so let's just adjust the error messages to
be the same.

CID #1400224.

terminal-util: add paranoid overflow check

terminal-util: modernize things with TAKE_PTR a bit

man: document the new systemctl --show-transaction option

test: add some basic testing that "systemctl start -T" does something

systemctl: add new --show-transaction switch

This new switch uses the new method call EnqueueUnitJob() for enqueuing
a job and showing the jobs it enqueued.

Fixes: #2297

systemctl: split out extra args generation into helper function of its own

systemctl: reindent table

systemctl: more SYNTHETIC_ERRNO() conversion

systemctl: replace switch statement by table of structures

core: add new API for enqueing a job with returning the transaction data

Voidify more mkdir_p calls

headers: remove unneeded includes from util.h

This means we need to include many more headers in various files that simply
included util.h before, but it seems cleaner to do it this way.

test-fileio: do not use variable before checking return value

Coverity is unhappy because we use "line" in the assert that checks
the return value. It doesn't matter much, but let's clean this up.
Also, let's not assume that /proc/cmdline contains anything.

CID #1400219.

Merge pull request #12110 from keszybz/sysv-compat-fix

Sysv-compat compilation fix

Merge pull request #12116 from keszybz/mock-compilation-fixes

Fixes for compilation in Fedora 30 mock

shared/install: try even harder to make sure variable is initalized

Apparently the fix in a05294ff05923563087b53c1db64816130be3b34 was
not sufficient. Let's declare the two arrays as static variables.

Merge pull request #12109 from poettering/sleep-minifixes

tiny fixes to sleep.c

util-lib: fix sentence in comment

systemctl: define less stuff when !HAVE_SYSV_COMPAT

We'd translate our action to sysv runlevel action, only to discard the result
in talk_initctl(). Let's just ifdef the whole thing away.

Fixes #12103.

test-execute: skip flaky test when we can't unshare namespaces

When running in Fedora "mock", / is a tmpfs and /home is not mounted. The test
assumes that /home will be a tmpfs only and only if we can unshare. Obviously,
this does not hold in this case, because unsharing is not possible, but /home
is still a tmpfs. Let's just skip the test, since it's fully legitimate to
mount either or both of / and /home as tmpfs.

test-execute: provide custom failure message

test_exec_ambientcapabilities: exec-ambientcapabilities-nobody.service: exit status 0, expected 1

Sometimes we get just the last line, for example from the failure summary,
so make it as useful as possible.

update TODO

sleep: (void)ify some call

sleep: use negative_errno() where appropriate