Handle d_type == DT_UNKNOWN correctly

As documented in the man-page, readdir() may return a directory entry with
d_type == DT_UNKNOWN. This must be handled for regular filesystems.

dirent_ensure_type() is available to set d_type if necessary. Use it in
some more places.

Without this systemd will fail to boot correctly with nfsroot and some
other filesystems.

Closes #13609

test: allow use of nested KVM

Introduce TEST_NESTED_KVM variable, which allows use of nested KVM for
QEMU VMs (which is disabled by default by KVM autodetection).

Merge pull request #13651 from cdown/find_binary_2

util-lib: Don't propagate EACCES from find_binary PATH lookup to caller

shared: fix a copy-paste error in ethtool-util

CID#1405818

util-lib: Don't propagate EACCES from find_binary PATH lookup to caller

On one of my test machines, test-path-util was failing because the
find_binary("xxxx-xxxx") was returning -EACCES instead of -ENOENT. This
happens because the PATH entry on that host contains a directory which
the user in question doesn't have access to. Typically applications
ignore permission errors when searching through PATH, for example in
bash:

    $ whoami
    cdown
    $ PATH=/root:/bin type sh
    sh is /bin/sh

This behaviour is present on zsh and other shells as well, though. This
patch brings our PATH search behaviour closer to other major Unix tools.

dhcp4: make IPServiceType configurable

IPServiceType set to CS6 (network control) causes problems on some old
network setups that continue to interpret the field as IP TOS.

Make DHCP work on such networks by allowing this field to be set to
CS4 (Realtime) instead, as this maps to IPTOS_LOWDELAY.

Signed-off-by: Siddharth Chandrasekaran <csiddharth@vmware.com>

network: drop noisy log message

Closes #13595.

Merge pull request #13649 from keszybz/arphrd-minimization

Arphrd minimization

Updated log message when the timesync happens for the first time (#13624)

units: make systemd-binfmt.service easier to work with no autofs

See https://bugzilla.redhat.com/show_bug.cgi?id=1731772:
when autofs4 is disabled in the kernel,
proc-sys-fs-binfmt_misc.automount is not started, so the binfmt_misc module is
never loaded. If we added a dependency on proc-sys-fs-binfmt_misc.mount
to systemd-binfmt.service, things would work even if autofs4 was disabled, but
we would unconditionally pull in the module and mount, which we don't want to do.
(Right now we ony load the module if some binfmt is configured.)
But let's make it easier to handle this case by doing two changes:
1. order systemd-binfmt.service after the .mount unit (so that the .service
   can count on the mount if both units are pulled in, even if .automount
   is skipped)
2. add [Install] section to the service unit. This way the user can do
   'systemctl enable proc-sys-fs-binfmt_misc.mount' to get the appropriate behaviour.

basic/arphrd: stop discriminating against NETROM and CISCO

ARPHRD_NETROM was excluded, most likely just because it is protocol No. 0,
and ARPHRD_CISCO was reported under its alias name "HDLC". Let's just
allow defined aliases under the main name.

basic: massively reduce the size of arphdr lookup functions

Our biggest object in libsystemd was a table full of zeros, for the arphdr
names. Let's use a switch (which gcc nicely optimizes for us), instead a
table with a gap between 826 and 65534:

$ ls -l build{,2}/src/basic/a6ba3eb@@basic@sta/arphrd-list.c.o
-rw-rw-r--. 1 zbyszek zbyszek 540232 Sep 22 00:29 build/src/basic/a6ba3eb\@\@basic\@sta/arphrd-list.c.o
-rw-rw-r--. 1 zbyszek zbyszek  20512 Sep 25 11:56 build2/src/basic/a6ba3eb\@\@basic\@sta/arphrd-list.c.o

$ ls -l build{,2}/src/shared/libsystemd-shared-243.so
-rwxrwxr-x. 1 zbyszek zbyszek 6774368 Sep 22 00:29 build/src/shared/libsystemd-shared-243.so
-rwxrwxr-x. 1 zbyszek zbyszek 6254808 Sep 25 12:16 build2/src/shared/libsystemd-shared-243.so

No functional change.

Merge pull request #13648 from evverx/unbreak-semaphore

semaphore: turn on systemd-networkd in lxc-containers on Semaphore

test-arphdr-list: modernize and provide some useful output

Merge pull request #13636 from traylenator/manpage

Corect man page reference in systemd-nologin.conf comments

Merge pull request #13641 from pwithnall/machinectl-docs-typo

man: Add a missing space in machinectl(1)

log: Add missing "%" in "%m" log format strings

These were clearly intended to be "%m" to display the human readable version
of the error stored in errno.

semaphore: turn on systemd-networkd in lxc-containers on Semaphore

It appears networking.service has broken down on Debian Buster.

Merge pull request #13481 from Antique/cgroupv2

cgroup: introduce support for cgroup v2 CPUSET controller

man: Add a missing space in machinectl(1)

Signed-off-by: Philip Withnall <withnall@endlessm.com>

link: Add support to configure NIC ring buffer size

test-mountpoint-util: improve output a bit

cgroup-util: fix obsolete comment about supported controllers

The list might grow so make the comment more generic to not worry about
it if some controller is implemented.

cgroup: introduce support for cgroup v2 CPUSET controller

Introduce support for configuring cpus and mems for processes using
cgroup v2 CPUSET controller.  This allows users to limit which cpus
and memory NUMA nodes can be used by processes to better utilize
system resources.

The cgroup v2 interfaces to control it are cpuset.cpus and cpuset.mems
where the requested configuration is written.  However, it doesn't mean
that the requested configuration will be actually used as parent cgroup
may limit the cpus or mems as well.  In order to reflect the real
configuration cgroup v2 provides read-only files cpuset.cpus.effective
and cpuset.mems.effective which are exported to users as well.

Corect man page reference in systemd-nologin.conf comments

The reference to the man page of `systemd-user-sessions.service`
in the comments of `tmpfiles.d/systemd-nologin.conf` is corrected.

Merge pull request #13600 from keszybz/ratelimit

Clean up ratelimit functions and disable /dev/kmsg ratelimit

Merge pull request #11883 from yuwata/network-dhcp-renew

network: dhcp renew

Merge pull request #13610 from yuwata/network-check-one-more-section

network: assorted follow-ups

man: fix typo

tree-wide: various code-formatting improvements

Reported/found by Coccinelle

networkctl: add renew command

network: introduce new bus method Renew() and RenewLink()

network: add one more section validty check

Follow-up for 203d4df5732b1fdcf50db498ddeb74a934b21f87.

po: update Japanese translations

Follow-up for ea2552639b22004c89df26f2374e3d3f1d2acace.

l10n: update Czech Translation

Merge pull request #13605 from cdown/ono

Fixes for recent SIP work

basic/log: put a ratelimit on our logging to /dev/kmsg

See the inline comment for details.

pid1: disable printk ratelimit in early boot

We have the problem that many early boot or late shutdown issues are harder
to solve than they could be because we have no logs. When journald is not
running, messages are redirected to /dev/kmsg. It is also the time when many
things happen in a rapid succession, so we tend to hit the kernel printk
ratelimit fairly reliably. The end result is that we get no logs from the time
where they would be most useful. Thus let's disable the kernels ratelimit.

Once the system is up and running, the ratelimit is not a problem. But during
normal runtime, things also log to journald, and not to /dev/kmsg, so the
ratelimit is not useful. Hence, there doesn't seem to be much point in trying
to restore the ratelimit after boot is finished and journald is up and running.

See kernel's commit 750afe7babd117daabebf4855da18e4418ea845e for the
description of the kenrel interface. Our setting has lower precedence than
explicit configuration on the kenrel command line.

tree-wide: say "ratelimit" not "rate_limit"

"ratelimit" is a real word, so we don't need to use the other form anywhere.
We had both forms in various places, let's standarize on the shorter and more
correct one.

pid1: rename start_limit to start_ratelimit

This way it is clearer what the type is. We also have auto_stop_ratelimit adjacent,
and it feels ugly to have a different suffix for those two.

Drop RATELIMIT macros

Using plain structure initialization is both shorter _and_ more clearer.
We get type safety for free.

sd-radv: if lifetime < SD_RADV_DEFAULT_MAX_TIMEOUT_USEC, adjust timeout (#13491)

The RFC states that lifetime (AdvDefaultLifetime) must be at least
MaxRtrAdvInterval (which more or less corresponds to SD_RADV_DEFAULT_MAX_TIMEOUT_USEC
in systemd).

To fulfill this limit, virtually lower MaxRtrAdvInterval and MinRtrAdvInterval
accordingly.

Also check that min is not lower than 3s and max is not lower than 4s.

networkd: Fix SIP double-free

This is already strv_freed right above

dhcp: Log SIP server information correctly

network: DHCP server Add support to transmit SIP server

1. DHCP server trasmit
2. Client parses and saves in leases
Implements http://www.rfc-editor.org/rfc/rfc3361.txt

```
Frame 134: 348 bytes on wire (2784 bits), 348 bytes captured (2784 bits) on interface 0
Ethernet II, Src: 42:65:85:d6:4e:32 (42:65:85:d6:4e:32), Dst: 1e:04:f8:b8:2f:d4 (1e:04:f8:b8:2f:d4)
Internet Protocol Version 4, Src: 192.168.5.1, Dst: 192.168.5.11
User Datagram Protocol, Src Port: 67, Dst Port: 68
Dynamic Host Configuration Protocol (ACK)
    Message type: Boot Reply (2)
    Hardware type: Ethernet (0x01)
    Hardware address length: 6
    Hops: 0
    Transaction ID: 0x7cc87cb4
    Seconds elapsed: 0
    Bootp flags: 0x0000 (Unicast)
    Client IP address: 0.0.0.0
    Your (client) IP address: 192.168.5.11
    Next server IP address: 0.0.0.0
    Relay agent IP address: 0.0.0.0
    Client MAC address: 1e:04:f8:b8:2f:d4 (1e:04:f8:b8:2f:d4)
    Client hardware address padding: 00000000000000000000
    Server host name not given
    Boot file name not given
    Magic cookie: DHCP
    Option: (53) DHCP Message Type (ACK)
        Length: 1
        DHCP: ACK (5)
    Option: (51) IP Address Lease Time
        Length: 4
        IP Address Lease Time: (3600s) 1 hour
    Option: (1) Subnet Mask (255.255.255.0)
        Length: 4
        Subnet Mask: 255.255.255.0
    Option: (3) Router
        Length: 4
        Router: 192.168.5.1
    Option: (6) Domain Name Server
        Length: 4
        Domain Name Server: 192.168.5.1
    Option: (42) Network Time Protocol Servers
        Length: 4
        Network Time Protocol Server: 192.168.1.1
    Option: (120) SIP Servers <=====here
        Length: 9
        SIP Server Encoding: IPv4 Address (1)
        SIP Server Address: 192.168.1.1
        SIP Server Address: 192.168.5.2
    Option: (101) TCode
        Length: 13
        TZ TCode: Europe/Berlin
    Option: (54) DHCP Server Identifier (192.168.5.1)
        Length: 4
        DHCP Server Identifier: 192.168.5.1
    Option: (255) End
        Option End: 255
```

```
cat /run/systemd/netif/state                                                                                                   ✔  ⚡  3148  16:40:51
OPER_STATE=routable
CARRIER_STATE=carrier
ADDRESS_STATE=routable
DNS=192.168.94.2 192.168.5.1
NTP=192.168.5.1
SIP=192.168.1.1 192.168.5.2

```

aa

network dhcp4: Add support send request options in a generic manner

polkit: fix typo

test-network: Drop start dnsmasq

dhcp6: use unaligned_read_be32()

Closes #13591.

pid1: do not warn if /run/systemd/relabel-extra.d/ doesn't exist

After all, that is the expected state.

Merge pull request #13582 from yuwata/udevadm-reload

udevadm: use 'udevadm control' to reload udevd

Merge pull request #13583 from keszybz/networkd-hash-compare-equality

Networkd hash compare equality

dhcp6: add missing option length check

Closes #13578.

Merge pull request #13577 from yuwata/network-fix-ci-failure

network: fix CI failure

networkd: unbreak routing_policy_rule_compare_func()

!r is the same r == 0, so this was short-circuiting the comparison when
streq(a->iff, b->iff) or streq(a->off, b->off). Before the parent commit which
moved those comparisons to the end, this was short-circuiting quite a bit
of the comparison function.

Merge pull request #13508 from yuwata/network-route-fix-13506

network: takes more route information into hash func

networkd: make neighbor_hash_func() handle the same data as neighbor_compare_func()

In practice this probably makes little difference, because we only use AF_INET
and AF_INET6, but it's cleaner to use the same logic in both places.

networkd: use same order in _hash_func() and _compare_func()

This makes it easier to see that the same data is handled in both cases.
No functional change.

networkd: split out helper function for address extraction

unit: add ExecReload= in systemd-udevd.service

udevadm: use usec_add()

Also fixes description of event source.

udevadm: missing initialization of descriptor

core: add ExecXYZEx= bus hook ups to all exec command properties

The "Ex" variant was originally only added for ExecStartXYZ= but it makes
sense to have feature parity for the rest of the exec command properties
as well (e.g. ExecReload=, ExecStop=, etc).

test: rename TEST-EXECRELOAD to avoid name conflict

Merge pull request #13559 from ssahani/ipv6ra-route

network: make networkd able to advertise IPv6 routes on links

core: coldplug possible nop_job

network: also take Route::initcwnd and ::initrwnd into hash func

Fixes #13506.

network: take more route information into hash func

network: make route_get() or friends take Route object

sd-netlink: fix invalid assertion

It is natural that n_attiributes is less than type. But in that case,
the message does not contain any message about the type. So, we should
not abort execution with assertion, but just return -ENODATA.

Merge pull request #13567 from keszybz/logind-two-refactoring-patches

Logind two refactoring patches

network: do not enter failed state if device's sysfs entry does not exist yet

network: add missing link->network checks

When the function is called, no network file may be assigned to the
link.

Merge pull request #13573 from fbuihuu/ask-password-small-fixes

Ask password small fixes

Add test for IPv6 Route advertisement

network: Add support to advertie ipv6 route

Implements https://tools.ietf.org/html/rfc4191

cat veth99.network
```
[Match]
Name=veth99

[Network]
DHCP=no
IPv6PrefixDelegation=yes
Address=2001:db8:0:1::1/64

[IPv6Prefix]
Prefix=2001:db8:0:1::4/64

[IPv6RoutePrefix]
Route=2001:db0:fff::/48

```
Wireshark

```
Frame 481: 142 bytes on wire (1136 bits), 142 bytes captured (1136 bits) on interface 0
Ethernet II, Src: 1e:04:f8:b8:2f:d4 (1e:04:f8:b8:2f:d4), Dst: IPv6mcast_01 (33:33:00:00:00:01)
Internet Protocol Version 6, Src: fe80::1c04:f8ff:feb8:2fd4, Dst: ff02::1
Internet Control Message Protocol v6
    Type: Router Advertisement (134)
    Code: 0
    Checksum: 0xec77 [correct]
    [Checksum Status: Good]
    Cur hop limit: 0
    Flags: 0x00, Prf (Default Router Preference): Medium
    Router lifetime (s): 0
    Reachable time (ms): 0
    Retrans timer (ms): 0
    ICMPv6 Option (Source link-layer address : 1e:04:f8:b8:2f:d4)
        Type: Source link-layer address (1)
        Length: 1 (8 bytes)
        Link-layer address: 1e:04:f8:b8:2f:d4 (1e:04:f8:b8:2f:d4)
    ICMPv6 Option (MTU : 1500)
        Type: MTU (5)
        Length: 1 (8 bytes)
        Reserved
        MTU: 1500
    ICMPv6 Option (Prefix information : 2001:db8:0:1::4/64)
        Type: Prefix information (3)
        Length: 4 (32 bytes)
        Prefix Length: 64
        Flag: 0xc0, On-link flag(L), Autonomous address-configuration flag(A)
        Valid Lifetime: 2592000
        Preferred Lifetime: 604800
        Reserved
        Prefix: 2001:db8:0:1::4
    ICMPv6 Option (Route Information : Medium 2001:db0:fff::/48)
        Type: Route Information (24)
        Length: 3 (24 bytes)
        Prefix Length: 48
        Flag: 0x00, Route Preference: Medium
            ...0 0... = Route Preference: Medium (0)
            000. .000 = Reserved: 0
        Route Lifetime: 604800
        Prefix: 2001:db0:fff::
```

Merge pull request #13300 from mrc0mmand/test-execreload

 test: introduce TEST-37-EXECRELOAD

path: stop watching path specs once we triggered the target unit

We start watching them again once we get a notification that triggered
unit entered inactive or failed state.

Fixes: #10503

Merge pull request #13565 from yuwata/network-drop-ipv6ll-address

network: drop IPv6LL address when LinkLocalAddressing=no|ipv4

tty-ask-pwd-agent: simplify handling of --wall a bit

"wall" was always NULL when passed to parse_password() so let's simplify this
part a bit.

The effective changes are small but wall_tty_match() needed to be moved so it's
still visible from parse_password().

No functional changes.

Merge pull request #13494 from yuwata/dhcp6-delay

dhcp6: rfc8415 fixes

core: Fix setting StatusUnitFormat from config files

test-network: add one more test case for LinkLocalAddressing=

network: drop IPv6LL address when LinkLocalAddressing=no|ipv4

C.f. disscussion in #13533.

Hopefully fixes #12886.

network DHCP4: Dont mislead the logs.

The debug log making sense to the end user as an error.

tty-ask-pwd-agent: fix message forwarded to wall(1)

Commit a1c111c2d12429d2 wrongly replaced '!' with ':' when the message is
forwarded to wall(1).

Indeed in this case we are not requesting the user for providing a password but
instead we are simply displaying a message to suggest starting
tty-ask-password-agent for providing the password.

Update m4 for selective utmp support.
modified:   tmpfiles.d/systemd.conf.m4

hwdb: add Medion Akoya E2292 (#13498)

Fixes #13480.

po: update Brazilian Portuguese translation

core: restore initialization of u->source_mtime

During the rework of unit file loading, commit e8630e695232bdfc dropped the
initialization u->source_mtime. This had the bad side effect that generated
units always needed daemon reloading.

Merge pull request #13551 from keszybz/ll-no-default-route

Link local no default route

Merge pull request #13354 from keszybz/two-refactoring-patches

Two or more refactoring patches

basic/conf-files: make conf_files_list() take just a single directory

This function had two users (apart from tests), and both only used one
argument. And it seems likely that if we need to pass more directories,
either the _nulstr() or the _strv() form would be used. Let's simplify
the code.

core/mount-setup: use conf_files_list_strv() for relabel-extra.d/

update-utmp: define main() through macro

Update logging a bit: drop logging of the pid, nowadays pid1 and journald
do a very good job of logging that. Always log about failure to open audit
fd, but at DEBUG_LEVEL if not important.

logind: shorten code a bit

logind: use newer ret var naming style

mount-setup: relabel items mentioned directly in relabel-extra.d

relabel_extra() relabels the descendants of directories listed in
relabel-extra.d, but doesn't relabel the files or directories
explicitly named there.  This makes it impossible to use
relabel-extra.d to relabel the root of a filesystem.  Fix by
relabeling the named items too.

Call getgroups() to know size of supplementary groups array to allocate

Resolves RHBZ #1743230 - journalctl dumps core when stack limit is reduced to 256 KB

ndisc: make first solicit delayed randomly

Closes #13460.