networkd: Routes should take the gateway into account

Otherwise, changing the default gateway doesn't purge old gateway routes
left on the system during daemon restart. This also fixes removing other
foreign gateway routes that don't match the expected configuration.

Tested:
    Changed gateway addresses prior to the patch and they lingered on
    the system during each reconfiguration. Applied this patch and
    reconfigured gateways and other routes multiple times and it removed
    the foreign routes that had gateways that didn't match.

Signed-off-by: William A. Kennington III <william@wkennington.com>

Merge pull request #13265 from keszybz/timedated-ntp-logging

Timedated logging and service priority

timedated: always enable&start the service with highest priority

This removes a special case that was implemented before: if some service
was already enabled, we'd treat it as having higher priority.

From https://bugzilla.redhat.com/show_bug.cgi?id=1735584#c4:
> Setting ntp off and on should give the same result as just setting it
> on. There should be no stickiness (hidden state). It should behave like
> running an ansible role.
>
> The other service might have been enabled because no other was installed at
> the time. If I install a new NTP service with a higher priority, setting ntp
> on should enable and start the new service, and disable all other. Also, if
> for some reason multiple services are enabled, after setting ntp on there
> should be only one enabled to avoid systemd selecting between them randomly
> on the next boot.

systemctl: Add unit file states to state help message

man: fix typo in resolvectl(1) man page

timedated: log about unit enablement actions and enhance logs in general

The general idea is that for things which can occur repeatedly, like SetNTP
being called with the same argument, we only log at debug level. For things
which change state, like when we realize that a unit that wasn't enabled
before needs to be enabled, we log at info level.

Also, don't return success if there are no units loaded.

unit: drop Before=sysinit.target from systemd-random-seed.service

Follow-up for 26ded55709947d936634f1de0f43dcf88f594621.

The commit says,

> Note that with this change sysinit.target (and thus early boot) is NOT
systematically delayed until the entropy pool is initialized,

But the dependency was not dropped.

This was found by David Seifert (@SoapGentoo).

meson: create (empty) /etc/systemd/system during installation

We explicitly create /etc/systemd/user and other parts of the basic directory
tree. I think we should create /etc/systemd/system too. (The alternative would
be to not create those other directories too, but I think it's nice to have
the basic directory structure in place after installation.)

https://bugzilla.redhat.com/show_bug.cgi?id=1737362

Merge pull request #12884 from mrc0mmand/numapolicy-test

test: introduce TEST-36-NUMAPOLICY

shared/exit-status: fix off-by-one in comment

shared/exit-status: fix lookup

FLAGS_SET() is the wrong operator here, because we want to see if
*any* bits are set. Add test.

https://github.com/systemd/systemd/pull/12884#issuecomment-518238410

Merge pull request #13258 from yuwata/login-revert-handle-ignore-assertion

Revert "logind: remove unused check"

test: add a simple sanity check for systems without NUMA support

test: give strace some time to initialize

The `coproc` implementation seems to be a little bit different in older
bash versions, so the `strace` is sometimes started AFTER `systemctl
daemon-reload`, which causes unexpected fails. Let's help it a little by
sleeping for a bit.

test: skip the test on systems without NUMA support

test: make sure the strace process is indeed dead

It may take a few moments for the strace process to properly terminate
and write all logs to the backing storage

test: support MPOL_LOCAL matching in unpatched strace versions

The MPOL_LOCAL constant is not recognized in current strace versions.
Let's match at least the numerical value of this constant until the
strace patch is approved & merged.

test: replace `tail -f` with journal cursor which should be...

more reliable

test: introduce TEST-36-NUMAPOLICY

test: allow overriding QEMU_OPTIONS from the outside

udev: do not try to import properties on commented out lines

Fixes #13257.

timedated: minor code simplifications

Merge pull request #13256 from keszybz/minor-sd-network-cleanup

Minor sd-network cleanup and other coverity-inspired changes

Revert "logind: remove unused check"

This reverts commit f2330acda408a34451d5e15380fcdd225a672473.

Fixes #13255.

login: drop space in empty line

pid1: replace asprintf() with strjoin()

It's nicer. And coverity doesn't need to complain about unchecked return
value (CID#1401780).

sd-hwdb: use return value from ordered_hashmap_iterate()

Why not? Coverity CID#1402329.

libsystemd-network: make option_append() atomic and make the code a bit clearer

Comparisons are done in the normal order (if (need > available), not if (available < need)),
variables have reduced scope and are renamed for clarity.

The only functional change is that if we return -ENAMETOOLONG, we do that
without modifying the options[] array.

I also added an explanatory comment. The use of one offset to point into three
buffers is not obvious.

Coverity (in CID#1402354) says that sname might be accessed at bad offset, but
I cannot see this happening. We check for available space before writing anything.

unit: make logind can access ESP

Fixes the following error:
```
logind[601]: Failed to open file system "/dev/block/259:1": Operation not permitted
```

Merge pull request #13253 from yuwata/udev-update-logs

udev: update log messages

udev-node: fix misleading log messages

This fixes the following logs:
```
drm_dp_aux2: Handling device node '/dev/drm_dp_aux2', devnum=c238:2, mode=037777777777, uid=4294967295, gid=4294967295
drm_dp_aux2: Preserve permissions of /dev/drm_dp_aux2, 037777777777, uid=4294967295, gid=4294967295
```

udev-event: log device name on spawning commands

time-util: improve detection of synchronized clock

Instead of checking for the STA_UNSYNC flag in the timex status, check
the maximum error. It is updated by the kernel, increasing at a rate of
500 ppm. The maximum value is 16 seconds, which triggers the STA_UNSYNC
flag.

This follows timedatex and allows timedated to correctly detect a clock
synchronized by chronyd when configured to not synchronize the RTC.

Merge pull request #13243 from keszybz/two-cryptsetup-quickfixes

Two cryptsetup quickfixes

cryptsetup: don't assert on variable which is optional

https://github.com/systemd/systemd/commit/50d2eba27b9bfc77ef6b40e5721713846815418b#commitcomment-34519739

In add_crypttab_devices() split_keyspec is called on the keyfile argument,
which may be NULL.

cryptsetup: use unabbrieviated variable names

Now that "ret_" has been added to the output variables, we can name
the internal variables without artificial abbrevs.

Merge pull request #13225 from mrc0mmand/networkd-test-replace-adduser-with-useradd

test: use `useradd` instead of `adduser`

test: print an error when networkctl returns an unexpected EC

If networkctl crashes, like recently with SIGABRT, it returns absolutely
no output, which may be confusing during debugging. Help it a little
with a short informative message.

analyze-security: move assert above first use of the variable (#13238)

Merge pull request #13239 from poettering/coverity-fixes

four coverity fixes

man: reword DeviceAllow= documentation

Don't claim we'd use cgroup.deny much. It's just a way to remove stuff
from device lists, which is nothing we allow users to explicitly
configure.

Also, extend documentation when wildcards may be used, and when not.

job: fix coverity issue

Fixes coverity issue 1403550

test-chase-symlinks: fix coverity issue

Fixes coverity issue 1403708

unit-file: fix coverity issue

Fixes coverity issue 1403820

cryptsetup-generator: fix coverity issue

Fixes coverity issue 1403772

NEWS: Remove DisableControllers from v243

We already released this in v240 and had a NEWS entry then.

test-execute: skip test_exec_systemcallfilter_system under ASan

This particular test case keeps intermittently failing due to crashing
LSan  when running under clang+ASan. Generally, sanitizers don't
like seccomp filters, so the best option here is to just switch this
test off for this scenario.

analyze: declare dump_exit_status outside of HAVE_SECCOMP block

Fixes: 76ed04d936f757763c32db5dbaaebd8b13785d7b
Closes: https://github.com/systemd/systemd/issues/13230

po: update Polish translation

test: use `useradd` instead of `adduser`

`adduser` is in certain cases a standalone package which provides a
better user experience. In other cases it's just a symlink to `useradd`.
And some distributions don't have `adduser` at all, like Arch Linux.
Let's use the `useradd` binary instead, which should provide the same
functionality everywhere.

boot: fix build with gnu-efi older than 3.0.5

Merge pull request #13119 from keszybz/unit-loading-2

Rework unit loading to take into account all aliases

NEWS: more entries and some rewordings

bash-completion: support "systemd-analyze exit-status"

Merge pull request #13189 from yuwata/network-initrd-generator-unit

unit: update initrd-network-generator.service

networkctl: TABLE_BPS requires uint64_t

test-unit-file: allow printing of information about specific units

Useful for manual debugging.

pid1: drop unit caches only based on mtime

v2:
- do not watch mtime of transient and generated dirs

  We'd reload the map after every transient unit we created, which we don't
  need to do, since we create those units ourselves and know their fragment
  path.

analyze: add "unit-files" to dump the unit fragment map

I'm not convinced that this is useful enough to be included... But it is
certainly nice when debugging.

pid1: use a cache for all unit aliases

This reworks how we load units from disk. Instead of chasing symlinks every
time we are asked to load a unit by name, we slurp all symlinks from disk
and build two hashmaps:
1. from unit name to either alias target, or fragment on disk
   (if an alias, we put just the target name in the hashmap, if a fragment
    we put an absolute path, so we can distinguish both).
2. from a unit name to all aliases

Reading all this data can be pretty costly (40 ms) on my machine, so we keep it
around for reuse.

The advantage is that we can reliably know what all the aliases of a given unit
are. This means we can reliably load dropins under all names. This fixes #11972.

shared/unit-file: add a function to validate unit alias symlinks

It turns out most possible symlinks are invalid, because the type has to match,
and template units can only be linked to template units.

I'm not sure if the existing code made the same checks consistently. At least
I don't see the same rules expressed in a single place.

TEST-15-DROPIN: add test for details of unit aliasing

I adjusted the tests to pass. I don't think the behaviour makes much sense,
even if we ignore the issue with "lazy loading" of aliases. E.g. in the
last section, the fact that dropins for yup@.service and yup@3.service are
not loaded seems to be a plain old bug.

test: use "ln -fs"

Without this, repeated runs of "make -C TEST/... setup" fail when trying
to create the symlink.

docs: fix typo

Merge pull request #13219 from poettering/named-exit-codes-tweaks

quick follow-up for the symbolic exit status PR #13207

update TODO

Merge pull request #13216 from poettering/busctl-format-table

port "busctl list" to format-table.h

Merge pull request #13217 from poettering/TODO-updates

udev: warn if rules files are executable

shared/install: typo

Merge pull request #13004 from shinygold/master

cryptsetup: Improve support for keyfiles on removable storage

analyze: clarify that 'exit-status' optionally takes arguments

Merge pull request #13201 from yuwata/networkctl-merge-table_add_cell

networkctl cleanups and improvements

unit: rename initrd-network-generator.service -> systemd-network-generator.service

network-generator: rename generated unit files

The tool may be used in the initrd-less systems.

logind: notify dbus of changes to session State

This adds the option to monitor transitions between the state Opening ->
Active.

man: remove trailing space in link in HTML output

analyze: right-align exit status column

analyze: rename "exit-codes" to "exit-status"

waitid(2) and the libc function signature calls this "exit status", and
uses "exit code" for something different. Let's stick to the same
nomenclature hence.

analyze: always use "int" to display exit status values

That's what it actually is, hence let's use that and cast when the type
is bigger.

exit-status: rename EXIT_STATUS_GLIBC → EXIT_STATUS_LIBC

After all these two exit codes are defined by ISO C as part of the C
library, and it's not the GNU implementation defines them.

Merge pull request #13207 from keszybz/symbolic-exit-code-names

Symbolic exit code names

update TODO

TODO: drop udev access mode item we just implemented

udev: warn on rules files with weird access modes

TODO: remove item implemented in f05e1ae6660

pid1: use LOG_DEBUG/INFO/NOTICE for unit resource consumption message

We now log at LOG_INFO for any unit. Let's vary the log level
a bit, so that for normal short lived-units (less than 1 sec CPU),
we only log if debugging is enabled.

busctl: port "busctl list" to format_table.h

Among generally being prettier this gives us JSON output for basically
free.

format-table: add TABLE_PID cell type

format-table: automatically show empty cells in grey

format-table: add table_fill_empty() to fill in empty cells until the specified column is reached

format-table: if NULL is spcified as data, let's patch to an empty cell

This should make various calls easier that currently generate either an
empty cell or a regular cell depending on whether they have data to
show.

format-table: optionally show a specific string in empty cells

For some cases it might make sense to show "-" instead of just spaces
for empty cells.

test-network: add tests for new entries in "networkctl status"

networkctl : Add support to display vxlan properties

networkctl: Add support to display bridge properties

time-util: introduce jiffies_to_usec()

table: add missing NULL initialization

table: add TABLE_UINT8 or friends

table: add TABLE_IN_ADDR and TABLE_IN6_ADDR

networkctl: merge multiple table_add_cell() by using table_add_many()