test-network: make wait_online() check setup state

Previously, event if link's setup state is in failed, tests may pass,
as systemd-networkd-wait-online success if the state is in failed state.
This makes tests be checked more strictly.

network: make link enter failed state when a configuration fails

Some path of configuring address, route or etc., go to failed state, but
some do not. E.g., failure in address configuration which is provided by
DHCPv4 goes to failed state, but static address does not.

This is just for consistency. This should not change anything if
everything is fine.

This also voidify manager_rtnl_process_address().

systemctl: do not suggest passing --all if the user passed --state=

"systemctl --failed" suggested I pass "--all" to see units in the inactive
state as well.  I thought this was not very useful.  If you explicitly
asked for units in a specific state, then you already know you have
narrowed it down.  And if you ran "systemctl --state=inactive", it is even
more strange to see this message.

@keszybz suggests we probably don't want to suggest "list-unit-files"
either :-).  Let's only suggest that if the user passed "--state=inactive".

Finally, this means the output for "systemctl --failed" could be just
"0 loaded units listed".  In this case, we don't need any highlight on that
text, to distinguish it from the hint.  This matches "list-unit-files".
This also means we happen to avoid using red highlight, when there are zero
failed units, as if that itself was a failure.  @kesbyz pointed out that
old behaviour was a bit weird.

Merge pull request #13054 from yuwata/network-dhcp-use-domains-8174

network:dhcp4: request domain search list if UseDomains=yes

network: show known route protocol name nicely in debugging logs

test-network: add tests for DHCPv4.UseDomains=

Update NEWS

NEWS: add some notes for v243

Let's get this ball rolling.

network: honor IPv6AcceptRA.UseDomains= setting

network:dhcp4: request domain search list if UseDomains=yes

Closes #8174.

Merge pull request #13042 from poettering/locale-utf8-fix

Locale utf8 fix

man: offline-updates: make dependence on system-update.target explicit

Current operation of system-update-cleanup.service (removing /system-update
symlink and rebooting) implies that any update must complete *before*
system-update.target is reached.

Update recommendations to include explicitly setting
Before=system-update.target in services that use offline-updates mode.

Signed-off-by: Michael Zhivich <mzhivich@akamai.com>

locale-util: suppress non-UTF-8 locales when enumerating them

Let's hide non-UTF-8 locales by default. It's 2019 after all.

Let's add an undocumented env var to reenable listing them though.

This should substantially shorten the list of choices we offer users,
and only show realistic choices.

note that only firstboot and localectl make use of this information, and
both allow configuration of values outside of these lists, hence all
this change does is hide legacy options, but they are still available if
you know what you do, and that's how it should be.

locale-util: normalize UTF-8 locale names

Let's generate out lists in the format people expect.

network: do not change to configuring state needlessly

When DHCP or any other dynamic addresses are changed, then
link_request_set_routes() is invoked, and even if no static routes
are configured, the operational state is needlessly changed to
configuring state.
This makes the state is changed only when static routes are configured.

po: Fix typo in German translation

po: update Polish translation

Merge pull request #13037 from poettering/shutdown-log-fixes

Shutdown log fixes

Merge pull request #13041 from poettering/firstboot-fixes

two systemd-firstboot fixes

udev: make Match.OriginalName=* matches all interfaces

Fixes #13035.

Merge pull request #13043 from poettering/strip-tab-ansi-no-static-size

util-lib: [static] array argument sizes are apparently not OK for NUL…

firstboot: use color in welcome text

firstboot: suppress locale menu if there's nothing to choose from

main: use sysctl_writef() where appropriate

shutdown: merge variable declaration lines a bit

shutdown: bump kmsg log level to LOG_WARNING only

Fixes: #12337

shutdown: rework bump_sysctl_printk_log_level() to use sysctl_writef()

sysctl: add sysctl_writef() helper

shutdown: use "int" for log level type

Let's remove some unnecessary confusion around signed/unsigned types for
log levels. Let's just stick to signed, because that is what glibc
generally appears to use.

While we are at it, add explicit logging for all error causes.

killall: bump log message about unkilled processes to LOG_WARNING

By raising this, we can raise the kernel kmsg log level safely, and
still see these messages.

alloc-util: drop _alloc_ decorator from memdup_suffix0()

Fixes: https://github.com/systemd/systemd/pull/13034#issuecomment-510801671

semaphore: avoid running autopkgtest with --apt-upgrade

by getting rid of the cache and upgrading images once every
time they are built from scratch.

tree-wide: some more [static] related fixes

let's add [static] where it was missing so far

Drop [static] on parameters that can be NULL.

Add an assert() around parameters that have [static] and can't be NULL
hence.

Add some "const" where it was forgotten.

util-lib: [static] array argument sizes are apparently not OK for NULL parameters

Let's drop the 'static' logic when a parameter can be NULL.

I think asan/ubsan are right here, judging by the C99 spec language:

"A declaration of a parameter as ‘‘array of type’’ shall be adjusted to
‘‘qualified pointer to type’’, where the type qualifiers (if any) are
those specified within the [ and ] of the array type derivation. If the
keyword static also appears within the [ and ] of the array type
derivation, then for each call to the function, the value of the
corresponding actual argument shall provide access to the first element
of an array with at least as many elements as specified by the size
expression."

If we specify NULL, then we certainly don't pvode access to any valid
array.

Fixes: #13039

Merge pull request #13036 from poettering/more-doc-fixes

Six documentation fixes

man: add example for setting multiple properties at once

Fixes: #4908

man: CPUShares= is so 2015

Let's update our example to the brave new cgroupsv2 world, and use
CPUWeight= in our example.

man: document that WakeSystem= requires privs

Fixes: #11677

man: document that "systemd-analyze blame/critical-chain" is not useful to track down job latency

Fixes: #12272

man: be more explicit that Type=oneshot services are not "active" after starting

Fixes: #13000

man: document that the supplementary groups list is initialized from User='s database entry

Fixes: #12936

Merge pull request #13034 from poettering/memdup-suffix0-multiply-fixo

memdup_suffix0_multiply fix

util-lib: fix comment

As suggested by @ralt.

Fixes: #12896

test: modernize test-alloc-util.c test a bit

alloc-util: drop _alloc_(2, 3) decorator from memdup_suffix0_multiply()

This decorator tells compilers that the memory we return is shorter than
it actually is, thus triggering misleading bad memory access complaints.

Fixes: #13026

Merge pull request #13022 from keszybz/coverity-cleanups

Coverity cleanups

Merge pull request #13031 from yuwata/network-route-type-local-12975-2

network: make Route.Type= support local or friends

tree-wide: get rid of strappend()

It's a special case of strjoin(), so no need to keep both. In particular
as typing strjoin() is even shoert than strappend().

test-network: add tests for route with type local, multicast, anycast, or broadcast

network: also show route protocol in debugging logs

network: use string table for route protocol

network: use string table to parse route table or scope

network: show route scope, table, and type in debugging logs

network: update log message

Follow-up for 7f474ed78df138677557fb43701efeb6e2588c6f and
44e891bbf6908e494856fcf3011e88a70a12e087.

network: make Route.Type= support local, broadcast, anycast, multicast, nat, and xresolve

Closes #12975.

network: use string table to parse route type

test-network: test more bridge properties

Imported from networkd-test.py

Merge pull request #12971 from yuwata/network-reassign-static-routes

network: reassign static routes and process reply address messages

Merge pull request #13024 from poettering/errno-or-else

Errno or else

shared/ask-password-api: backspace all chars at once

We'd call loop_write() separately for each char. Let's be nice to
serial console users, and write the full string in one go.

Coverity was complaining that we're not checking the return value
from loop_write(). Rework the code a bit and add voidify.
CID#1402323.

test-process-util: invert reporting to make sure that we're not dividing by 0

CID#1402334.

udevd: add helper with error handling to synthesize "change" events

Coverity was unhappy that we ignore the return value from write_string_file().
We should at least warn. CID#1302373.

test: minor modernization

Coverity was complaining that read() does not terminate the data. But
we did that termination earlier, so covirity is wrong (CID#1402306, CID#1402340).
Let's modernize the style a bit nevertheless.

(size_t) cast is needed to avoid the warning about comparison, iff
the value is not a constant.

tree-wide: make use of errno_or_else() everywhere

errno-util: add new errno_or_else() helper

Merge pull request #13025 from poettering/tmpfiles-fixo

unbreak the build

Merge pull request #13017 from yuwata/network-neighbor-lladdr-13015

network: rename Neighbor.MACAddress= and also support IPv4 address

tmpfiles: use path_join() where it makes sense

tmpfiles: fix build

After I merged #12750 we don't build anymore, since the merged PR (which
passed CI) uses prefix_root() which doesn't exist anymore. Let's fix
that.

tests: turn on the "object-size" UBSan check on Fuzzit

Now that 2eb1c19881678851a7e is merged it should be safe.

Merge pull request #12750 from keszybz/tmpfiles-c-copy

Make tmpfiles C use --root

udevadm: ensure 'udevadm info -w' show updated result

This seems not necessary, but just for safety.

Merge pull request #12461 from Werkov/fix-job-ordering

Refactor job ordering implementation (and fix cycle detection)

test-network: add test for route reassignment

network: re-assign static routes when dynamic address is updated

Follow-up for b5799eeb0787deacb30d5984f6ac78f88f23b97e.

Closes #7354.

network: process address reply message

network: rework route_scope_from_address()

util: introduce in4_addr_equal()

network: route_configure() do nothing when it returns 0

test-network: add testcase that Neighbor.LinkLayerAddress= is IP address

test-network: use Neighbor.LinkLayerAddress= instead of deprecated Neighbor.MACAddress=

network: fdb: use ether_addr_from_string()

network: fdb: do not allocate separated memory for lladdr

network: drop invalid [Neighbor] section earlier

network: rename Neighbor.MACAddress= to Neighbor.LinkLayerAddress=

And make it support IPv4 address.

Closes #13015.

network: NDA_LLADDR attribute can also take struct in_addr

sd-netlink: make sd_netlink_message_read() returns size of read data

Merge pull request #12176 from poettering/clean-dir2

add "systemctl clean" operation for clearing out StateDirectory=, CacheDirectory=, … of a service unit

json: always allocate at least sizeof(JsonVariant) bytes

ubsan apparently doesn't like us being too smart here. Given the
difference is just a few bytes, let's avoid the noise.

Fixes: #13020

update TODO

man: document new "systemctl clean…" operation

test: add testcase for new CleanUnit logic

systemctl: port "systemctl start --wait" logic to new bus-wait-for-units.c API

systemctl: add new "clean" operation to systemctl

This exposes the CleanUnit() bus calls in systemctl, i.e. makes all the
infrastructure we previously added useful to people.

shared: add generic logic for waiting for a unit to enter some state

This is a generic implementation of a client-side logic of waiting until
a unit enters or leaves some state.

This is a more generic implementation of the WaitContext logic currently
in systemctl.c, and is supposed to replace it (a later commit does
this). It's similar to bus-wait-for-jobs.c and we probably should fold
that one into it later on.

This code is more powerful and cleaner than the WaitContext logic
however. In addition to waiting for a unit to exit this also allows us
to wait for a unit to leave the "maintainance" state.

This commit only implements the generic logic, and adds no users of it
yet.

core: expose per-service cleaning properties on the bus, too

core: expose new clean operation on the bus

This adds CanClean() and Clean() as new methods on the Unit object that
initiate the cleaning operation.

core: add type of resource string table

core: hook up timer unit type with clean operation

timer units maintain state on disk (the persistent touch file), hence
let's expose cleaning it up generically with the new cleaning operation
for units.

This is a much simpler implementation as for the service unit type:
instead of forking out a worker process we just remove the touch file
directly. That should be OK since we only need to remove a single
(empty) file, instead of a recursive user-controlled directory tree.

Fixes: #4930

core: hook up service unit type with the new clean operation

The implementation is pretty straight-foward: when we get a request to
clean some type of resources we fork off a process doing that, and while
it is running we are in the "cleaning" state.