test-network: add testcase for DHCP client with static address

Testcase for #12969.

src/network/networkd-dhcp4.c: set prefsrc for classless or static routes

When a DHCP server provides only a gateway, the networkd-dhcp4 code adds a
default route using that gateway, and sets the just-provided address as
the route's prefsrc; this was added in commit
46b0c76e2c355c0d0cc4792abb98cde07b28bc53

However, if the DHCP server has also provided classless route(s), these
are used instead of a default route using the provided gateway; the
networkd-dhcp4 code sets up the classless routes, but does not use the
just-provided dhcp address as the prefsrc of the route(s).  Note that
it also doesn't set the prefsrc for static routes, though it should.

If the interface has only the dhcp-provided address, this is not usually
a problem, but if it has another address (e.g. a static address), then
traffic sent through the dhcp-provided gateway might not use the
dhcp-provided source address.  If the gateway router only will route
traffic from the dhcp-provided address, then the dhcp client system's
networking through the router will not work.

Fixes: #12969

login: move file definitions outside of the conditionalization

Merge pull request #12964 from yuwata/network-bridge-vlan-issue-12958

network: fix BridgeVLAN issue

Merge pull request #12963 from keszybz/analyze-timestamp

systemd-analyze dump fixup

test-network: add tests for BridgeVLAN

network: fix issue found by UBSan

network: fix the initial value of the counter for brvlan

Fixes #12958.

network: re-implement parse_vid_range()

network: minor coding-style update

varlink: add varlink server to event loop only if there is one

pid1: use monotonic timestamp in dump if realtime is not available

$ systemd-analyze dump | head -3
Timestamp firmware: (null)
Timestamp loader: (null)
Timestamp kernel: Mon 2019-07-01 17:21:02 CEST

Since this is a debugging interface, it is OK to change the output format.
The user can infer what "Timestamp firmware: 123.456ms" means.

test-network: show debug logs of networkd

portabled: Make use of SYNTHETIC_ERRNO()

fsck: split out fsck return code definitions into a header file of its own

This way we can make use of it from other components too, such as
systemd-homed.

dissect: split out DM deferred remove into src/shared/dm-util.c

The function is generally useful, let's split it out so that we can make
use of it later on in systemd-homed.

basic/time-util: add helper function to check if timestamp is set

No functional change.

man: Add some notes about variable $prefix for StateDirectory=

tl;dr: It isn’t supported.

Wording by Zbigniew Jędrzejewski-Szmek.

See https://twitter.com/pid_eins/status/1102639279614906369 and
https://gitlab.freedesktop.org/libfprint/fprintd/merge_requests/5#note_125536
onwards.

Signed-off-by: Philip Withnall <withnall@endlessm.com>

Merge pull request #12949 from yuwata/sd-netlink-sd-netlink-message-enter-array

sd-netlink: introduce sd_netlink_message_enter_array()

Merge pull request #12954 from keszybz/var-log-dir

/var/log-related cleanups

test: add test for sd_netlink_message_enter_array()

meson: drop varlogdir variable

It was only used for exactly one thing: to substitute in the text in
/var/log/README. But it's use there was completely wrong, because the text
talks about "missing" log files from syslog, so even if we configured systemd
to log to a different directory, the "missing" log files would still be
"missing" from the old location.

meson: create /var/log/journal/{,remote/} conditionally

Not everybody has those dirs in the filesystem (and they don't need to).
When creating an installation package using $DESTDIR, it is easy enough to
remove or ignore those directories, but if installing into a real root, it
is ugly to create and remove them. Let's add an option so people can skip
it if they want.

Inspired by #12930.

sd-netlink: add CTRL_ATTR_MCAST_GROUPS

sd-netlink: drop unnecessary 'else'

sd-netlink: introduce sd_netlink_message_enter_array()

sd-netlink: fix inverted log message

Merge pull request #12946 from poettering/blockdev-tweaks

three small blockdev-util.[ch] tweaks

varlink: allow using varlink_wait() even with a server

This call can be useful even if a server object is declared.

(Originally this was not supported, because a server typically needs to
handle multiple connections, and thus a synchronous wait on one would
starve the others out. But in some cases it might make sense to have
varlink point-to-point connections — i.e. where the server only handles
a single connection ever — and there it makes sense to synchronously
wait on the one connection).

json: use JSON_VARIANT_ARRAY_FOREACH() where we can

logind: drop old-style header from .sym file in favour of SPDX

Added ACCEL_MOUNT_MATRIX for Asus Q551LN in hwdb/60-sensor.hwdb

blockdev-util: let us know if block_get_whole_disk() did anything

blockdev: filter out invalid block devices early

blockdev-util: propagate actual error

man: document tmpfiles.d/ user/group resolvability needs

debug-generator: enable custom systemd.debug_shell tty

Merge pull request #12912 from yuwata/network-move-functions

network: move functions

test-network: add udev related tests for networkctl

Merge pull request #12888 from yuwata/network-udev-property-support

network,udev: add Property= setting in [Match] section

udev: accept lines which have only PROGRAM=

As PROGRAM= may cause side effect, and users may expect that.

Merge pull request #12916 from yuwata/meson-drop-duplicated-line

meson: drop duplicated source

test-network: add test for Property= in [Match] section

meson: drop duplicated source

test: add tests for config_parse_match_{strv,ifnames}()

man: fix wrong udev property name

network,udev: add Property= setting in [Match] section

Closes #5665.

network,udev: make net_match_config() take sd_device

network,udev: fix multiple invert matching lines

Previously,
```
[Match]
Name=!aaa
Name=!bbb
```
does not work. This fixes the issue.

networkctl: do not show '(null)' in HW Address entry

This also fixes indentation.

network: move prototypes related to network Network bus objects to networkd-network-bus.h

Merge pull request #12910 from keszybz/udev-kvm

Fix permissions on /dev/kvm

network: move DHCP server related functions to networkd-dhcp-server.c

network: move DHCP6 related code from networkd-manager.c to networkd-dhcp6.c

network: move conf parsers and function prototypes

Merge pull request #12903 from keszybz/condition-quoting

Condition quoting

test-condition: do not accidentally treat error as passing condition

condition_test returns 0, 1, or error.

Treat kernel version condition as a list of quoted checks

Before only one comparison was allowed. Let's make this more flexible:
ConditionKernelVersion = ">=4.0" "<=4.5"

Fixes #12881.

This also fixes expressions like "ConditionKernelVersion=>" which would
evaluate as true.

test-execute: add test for ConditionKernelVersion= with quotation

Merge pull request #12907 from yuwata/meson-default-libidn2

meson: use libidn2 and drop udev debug option

udev: fix wrong event source to set description

Merge pull request #12908 from yuwata/udevadm-completion-action

udevadm: support special value 'help' for --action option

udev: don't force device ownership and mode on every event

This partially reverts 25de7aa7b90c23d33ea50ada1e50c5834a414237. I don't think the
change was intended there.

The problem I'm trying to solve: for /dev/kvm we get first an ADD uevent, and
then CHANGE whenever something connects or disconnects to the character device.
The rules in 50-default-udev.rules set UID, GID, and MODE on ADD, but not on
CHANGE. When the change event happens, we would reset the ownership and
permissions.

This happens because node_permissions_apply() would (after 25de7aa7b90c23d33)
set uid=gid=0 if they weren't set by the rules.

So let's only pass uid/gid/mode to node_permissions_apply() if appropriately
configured. Also let node_permissions_apply() do the skip of uid/gid/mode if
not set, and rename "always_apply" to more closely reflect its meaning.

udev: tiny fix to debug message

bash-completion: udevadm: list all possible values for --action option

udevadm: support special value 'help' for --action option

sd-device: introduce dump_device_action_table()

Will be used in later commits.

Merge pull request #12905 from keszybz/udev-warnings

Udev warnings

NEWS: mention that the libidn2 is used by default

meson: default to use libidn2 if both libidn2 and libidn are installed

meson: drop unused debug option

Merge pull request #12887 from fbuihuu/coredump-cleanup-part-1

Coredump cleanup part 1

udev-rules: add more info to errors about attr formats

udev-rules: add precise information to rule failure logs

It is pretty hard to figure out what the problem actually is, esp. when the rule
is long.

On my machine:
systemd[1]: Starting udev Kernel Device Manager...
systemd-udevd[217399]: /usr/lib/udev/rules.d/11-dm-lvm.rules:40 Invalid value for OPTIONS key, ignoring: 'event_timeout=180'
systemd-udevd[217399]: /usr/lib/udev/rules.d/11-dm-lvm.rules:40 The line takes no effect, ignoring.
systemd-udevd[217399]: /etc/udev/rules.d/60-ipath.rules:4 Invalid value "kcopy/%02n" for NAME (char 7: invalid substitution type), ignoring, but please fix it.
systemd-udevd[217399]: /usr/lib/udev/rules.d/65-md-incremental.rules:28 Invalid value "/sbin/mdadm -I $env{DEVNAME} --export $devnode --offroot ${DEVLINKS}" for IMPORT (char 58: invalid substitution type), ignoring, but please fix it.
systemd-udevd[217399]: /etc/udev/rules.d/73-special-net-names.rules:14 Invalid value "/bin/sh -ec 'D=${DEVPATH#*/vio/}; D=${D%%%%/*}; D=${D#????}; D=${D#0}; D=${D#0}; D=${D#0}; D=${D#0}; echo ${D:-0}'" for PROGRAM (char 16: invalid substitution type), ignoring, but please fix it.
systemd-udevd[217399]: /usr/lib/udev/rules.d/84-nm-drivers.rules:10 Invalid value "/bin/sh -c 'ethtool -i $1 | sed -n s/^driver:\ //p' -- $env{INTERFACE}" for PROGRAM (char 24: invalid substitution type), ignoring, but please fix it.
systemd-udevd[217399]: /usr/lib/udev/rules.d/90-libgpod.rules:19 IMPORT key takes '==' or '!=' operator, assuming '==', but please fix it.
systemd-udevd[217399]: /usr/lib/udev/rules.d/90-libgpod.rules:23 IMPORT key takes '==' or '!=' operator, assuming '==', but please fix it.
systemd-udevd[217399]: /usr/lib/udev/rules.d/99-vmware-scsi-udev.rules:5 Invalid value "/bin/sh -c 'echo 180 >/sys$DEVPATH/device/timeout'" for RUN (char 27: invalid substitution type), ignoring, but please fix it.
systemd-udevd[217399]: /usr/lib/udev/rules.d/99-vmware-scsi-udev.rules:6 Invalid value "/bin/sh -c 'echo 180 >/sys$DEVPATH/device/timeout'" for RUN (char 27: invalid substitution type), ignoring, but please fix it.
systemd[1]: Started udev Kernel Device Manager.

udev-event: use normal pointer ops where appropriate

udev: move rule structure definitions into the .c file

They are (and should) only be used there, no need to expose them.

udev: move rules logging functions into the .c file

They are (and can) only be used there, no need to expose them.

Rename EXTRACT_QUOTES to EXTRACT_UNQUOTE

Whenever I see EXTRACT_QUOTES, I'm always confused whether it means to
leave the quotes in or to take them out. Let's say "unquote", like we
say "cunescape".

Reindent some things for readability

cryptsetup-generator: fix luks-* entry parsing from crypttab

This reverts a part of commit 49fe5c099639 ('tree-wide: port various places
over to STARTSWITH_SET()') that replaced a pair of startswith() calls
with STARTSWITH_SET().

They were in fact for a different strings (device vs. name), botching
the crypttap parsing.

bash-completion: support systemd-analyze condition

coredump: make use of the iovec-array helpers

Previous code was allocating an array of iovecs big enough to store all the
fields added later by various functions.

This forced us to calculate the size of the array in advance which is too error
prone if for example one wants to add new fields or simply rework the
code. Various assertions were added to make sure there's no overflow but it's
still more code for no good reasons.

Instead, this patch switches to the new iovec array handling interface so the
array is grown dynamically when needed.

The other contraint was that some iovecs were supposed to be freed whereas some
others were not. This makes the code hard to (re)organize. The new code always
allocates fields so it becomes easier to rework the code.

Merge pull request #12889 from keszybz/analyze-condition

Add systemd-analyze condition

io-util: introduce iovw_put_string_field() helper

journal-import: extract helpers for handling arrays of iovec and make them available for others

coredump: drop 2 useless assertions

coredump: slighlty simplify stack trace generation logic

The main advantage is to avoid the code duplication used to build MESSAGE=
field.

No functional changes.

coredump: fix the check on the number of passed args in backtrace mode

In backtrace mode, '--backtrace' option should also be counted.

coredump: gather_pid_metadata() doesn't return 1 anymore

Since commit 92e92d71faea0f107312f296b7756cc04281ba99, gather_pid_metadata()
returns only 0 or a negative value.

coredump: rename set_iovec_field_free() into set_iovec_string_field_free()

It's more in line with its counterpart set_iovec_string_field().

Also move the definition to io-util next to set_iovec_string_field().

Merge pull request #12760 from zachsmith/systemd-sleep_resume_offset

systemd-sleep: use resume_offset value if set

core: skip whitespace after "|" and "!" in the condition parser

We'd skip any whitespace immediately after "=", but then we'd treat whitespace
that is between "|" or "!" and the value as significant. This is rather
confusing, let's ignore it too.

shared/condition: fix printing of ConditionNull=

ConditionNull= is the only condition where parameter==NULL is allowed,
and we'd print ConditionNull=(null) or ConditionNull=!(null).

analyze: add 'condition' verb

We didn't have a straightforward way to parse and evaluate those strings.
Prompted by #12881.

Merge pull request #12894 from stapelberg/patch-1

cryptsetup: comment: crypt_setup → crypt_format

docs: fix typos and duplicate words

s/and and/and/
s/explicity/explicitly/
s/that that/that/
s/the the/the/
s/is is/it is/
s/overriden/overridden/

cryptsetup: comment: crypt_setup → crypt_format

Merge pull request #12890 from yuwata/fix-conf-parser-12883

conf-parse: fix continuation handling

systemd-sleep: refuse to calculate swapfile offset on Btrfs

If hibernation is requested but /sys/power/resume and
/sys/power/resume_offset are not configured correctly, systemd-sleep
attempts to calculate swapfile offset using fstat and fiemap.
Btrfs returns virtual device number for stat and a virtual offset
for fiemap which results in incorrect offset calculations. In the
case where offset would be calculated and the user is using Btrfs,
log a debug message and fail to write device and offset values.

systemd-sleep: (bug) use resume_offset value if set

Use hibernation configuration as defined in
/sys/power/resume and /sys/power/resume_offset
if present before inspecting /proc/swaps and
attempting to calculate swapfile offset