core: never propagate reload failure to service result

Fixes: #11238

Merge pull request #13047 from niedbalski/fix-5552-pr

resolved: add new option to only cache positive answers

Merge pull request #13086 from yuwata/network-dhcp6-cleanups

network: dhcp6 cleanups

Merge pull request #13093 from keszybz/two-assert-cc-cleanups

Two assert_cc cleanups

resolved: switch cache option to a tri-state option (systemd#5552).

Change the resolved.conf Cache option to a tri-state "no, no-negative, yes" values.

If a lookup returns SERVFAIL systemd-resolved will cache the result for 30s (See 201d995),
however, there are several use cases on which this condition is not acceptable (See systemd#5552 comments)
and the only workaround would be to disable cache entirely or flush it , which isn't optimal.

This change adds the 'no-negative' option when set it avoids putting in cache
negative answers but still works the same heuristics for positive answers.

Signed-off-by: Jorge Niedbalski <jnr@metaklass.org>

network: update state file after dhcp6 events

E.g. DNS servers may be received from DHCPv6 server. If the link is
already in configured state, the DNS servers are not written in the
state file.

Revert "test-network: extend sleep time"

This reverts commit 7d7bb5c8613b774bf77c531f46d31ee20d7a1b1e.

Still the CIs are flaky and the commit just slow down them.

man: fix wrong section name

network: fix use after free()

The hashmap will be accessed by client_stop().

network: drop unnecessary line breaks

network: drop fallback mechanism to assign DHCPv6 addresses with IFA_F_NOPREFIXROUTE

The flag IFA_F_NOPREFIXROUTE was introduced in kernel-3.14. But even if
the kernel does not support the flag, it should be just ignored. So, it
is not necessary to do the fallback logic. Moreover, the current logic
is not a fallback mechanism but just retrying. So, it should not work.
Let's drop that.

Merge pull request #13080 from keszybz/firstboot-fixes

Firstboot fixes

test/TEST-16: don't copy systemd-notify or lib from $BUILD_DIR

On Ubuntu CI, these don't exist because it tests installed
binaries, not just-built binaries.

Rewrite IN_SET()

This restores proper speed with asan builds with gcc 9.1.1.
Fixes #12997.

$ rpm -q gcc
gcc-9.1.1-2.fc31.x86_64

$ time ASAN_OPTIONS=strict_string_checks=1:detect_stack_use_after_return=1:check_initialization_order=1:strict_init_order=1 UBSAN_OPTIONS=print_stacktrace=1:print_summary=1:halt_on_error=1 build-rawhide-sanitize/test-conf-parser

(old) 86.99s user 20.22s system 361% cpu 29.635 total
(new)  3.05s user  0.29s system  99% cpu  3.377 total

Size is increased a bit:

$ size build/systemd
(old) 1683421  246100    1208 1930729  1d75e9 build/systemd
(new) 1688237  246100    1208 1935545  1d88b9 build/systemd

... but that's <0.1%, so we don't really care.

Merge pull request #13092 from keszybz/coverity-fixes

Coverity fixes

Merge pull request #13091 from poettering/nspawn-copy

nspawn: allow nspawn's copy operation to be abortable via C-c

Drop trailing slash from assert_cc() definition

We use assert_cc(...); almost everywhere. Let's always require that.

https://github.com/systemd/systemd/issues/12997#issuecomment-510103988

basic/macro: drop do {} while(0) from assert_not_reached

log_assert_failed_unreachable is just a normal function call, no need to wrap
it.

https://github.com/systemd/systemd/issues/12997#issuecomment-510103988

Merge pull request #12675 from yuwata/network-set-dns

resolvectl: support to modify interfaces managed by networkd

firstboot: actually accept empty input to mean skip

We'd loop if the input was empty. We need to return to the caller.

firstboot: fix hang waiting for second Enter on input

The comment explains the reason: we'd wait for the second \n
and then ungetc() it. Then the buffered \n would cause a problem
when the next prompt was issued, so in effect it wasn't possible
to answer the second question.

firstboot: only list all options on demand

The user most likely knows the name of their locale/keymap/whatever,
and paging through multiple pages of output has little benefit.

The header that was printed before is now not printed anymore. But
now it's obvious from the context what we are printing, so we don't
need to print the header.

firstboot: use free_and_strdup, free_and_replace

mount-util: bind_remount: avoid calling statvfs

The commit
"util: Do not clear parent mount flags when setting up namespaces"
introduced a statvfs call read the flags of the original mount
and have them applied to the bind mount.

This has two problems:

(1) The mount flags returned by statvfs(2) do not match the flags
accepted by mount(2). For example, the value 4096 means ST_RELATIME
when returned by statvfs(2), but means MS_BIND when passed to mount(2).

(2) A call to statvfs blocks indefinitely when ran against a disconnected
network drive ( https://github.com/systemd/systemd/issues/12667 ).

We already use libmount to parse `/proc/self/mountinfo` but did not use the
mount flag information from there. This patch changes that to use the mount
flags parsed by libmount instead of calling statvfs. Only if getting the
flags through libmount fails we call statvfs.

Fixes https://github.com/systemd/systemd/issues/12667

sd-device: voidify and simplify calls to ordered_hashmap_iterate()

Coverity CID#1402356 and CID#1402335.

sd-bus: voidify two calls to hashmap_iterate()

Coverity CID#1402304 and CID#1402307.

test-networkd-conf: add missing assert

The test would not pass before, because EXTRACT_UNQUOTE|EXTRACT_RETAIN_ESCAPE
didn't work (we'd get "KEY3=val with \\quotation\\" as the last string. Now we
are only doing EXTRACT_UNQUOTE, so we get the expected "KEY3=val with \"quotation\"".

Coverity CID#1402781.

shared/conf-parser,networkd: EXTRACT_UNQUOTE|EXTRACT_RETAIN_ESCAPE → EXTRACT_UNQUOTE

It's hard to even say what exactly this combination means. Escaping is
necessary when quoting to have quotes within the string. So the escaping of
quote characters is inherently tied to quoting. When unquoting, it seems
natural to remove escaping which was done for the quoting purposes. But with
both flags we would be expected to re-add this escaping after unqouting? Or
maybe keep the escaping which is not necessary for quoting but otherwise
present? This all seems too complicated, let's just forbid such usage and
always fully unescape when unquoting.

nspawn: fix misplaced parenthesis and merge two error handling paths

I don't think we need to provide the two separate error messages,
let's shorten the code a bit by merging them.

Coverity CID#1402320.

nspawn: fix memleak in argument parsing

Coverity CID#1402297.

coredumpctl: check return value

retrieve() allocates memory, so it may fail.
Coverity CID#1402338.

coredumpctl: use free_and_replace in one more place

shared: voidify call to loop_write() and trim duplicate code

Coverity CID#1402375.

shared: fix assert call

Fixup for 3572d3df8f8. Coverity CID#1403013.

core: ExecCondition= for services

Closes #10596

nspawn: make use of SIGINT handling when copying files

Fixes: #13079

btrfs-util: expose SIGINT behaviour in snapshot copy fallback, too

copy: optionally check for SIGINT regularly, and abort operation safely

Merge pull request #12927 from fbuihuu/coredump-cleanup-part-2

Coredump cleanup part 2

Merge pull request #13082 from ddstreet/minor

Minor fixes in test framework

test/test-functions: fix install_dmeventd to correctly install bin/libs

Free up some resources on Azure Pipelines

Let's drop the tests we also run on CentOS CI to free up some resources
for something more useful.

test/test-functions: instmods call to find should use -type f

without using -type f, the logs print an error such as:

E:  E: modprobe: FATAL: Module asymmetric_keys not found in directory /lib/modules/4.15.0-54-generic

while this doesn't appear to cause problems, it can be extremely
distracting when trying to debug real failures.

test: when stripping binaries, ignore case in suppressing "File format not recognized"

The grep -v matches all lowercase, but "file" is captialized; just ignore case so
it's suppressed for either all lowercase or capital File.

test: ignore errors during test cleanup, so cleanup can finish

Also move TESTDIR and STATEFILE removal into test_cleanup

test: add create_empty_image_rootdir() to simplify testcase setup

Almost all tests were manually mounting/unmounting $TESTDIR/root
from the loopback image; this moves all that into test-functions
so the test setup functions are simplier.

Also add test_setup_cleanup() function, to cleanup what is mounted
by create_empty_image_rootdir()

test-network: drop warn_about_firewalld() as it is not necessary any more

test-network: stop firewalld in setUpModule()

test-network: add tests for link state file vs resolvectl or timedatectl

resolve: fix memleak

bash-completion: support ntp-servers and revert command for timedatectl

timedatectl: add 'ntp-servers' and 'revert' commands to modify link NTP servers

resolvectl: support networkd managed interfaces

Closes #9808.

network: implement DBus methods to set DNS related properties

resolve: expose dns_server_address_valid()

network: introduce GetLinkByName and GetLinkByIndex bus methods

network: implement ListLinks DBus method

network: move manager dbus prototypes to networkd-manager-bus.h

Merge pull request #13069 from yuwata/network-do-not-set-routes-when-carrier-lost

network: do not configure routes when dropping addresses

pid1: make sure to restore correct default values for some rlimits

Commit fb39af4ce42d7ef9af63009f271f404038703704 forgot to restore the default
rlimit values (RLIMIT_NOFILE and RLIMIT_MEMLOCK) while PID1 is reloading.

This patch extracts the code in charge of initializing the default values for
those rlimits in order to create dedicated functions, which take care of their
initialization.

These functions are then called in parse_configuration() so we make sure that
the default values for these rlimits get restored every time PID1 is reloading
its configuration.

Merge pull request #12851 from evverx/test-01-basic-asan

tests: run TEST-01-BASIC under ASAN+UBSan again

Merge pull request #13077 from poettering/activate-n-fds

activate: move array allocation to heap

Merge pull request #13076 from keszybz/pr/13062

Timer formatting fixes

test-network: extend sleep time

Even if addresses provided by DHCP is assigned, the state file may not
be written yet, or resolved may not receive the state change signal
yet, or resolved may not process the signal yet...

network: do not configure routes when dropping addresses

Follow-up for 4ff296b02411bb4f0dc38f48cbab06f8645d2a08.

coredump: (void)ify all calls of iovw_put_string_field() where we ignore failure on purpose

All those calls are dealing with optional metadata.

coredump: gather all process metadata in iovecs first and then cache them

Now we first gather all process metadata and populate the process info cache
with them. In this way, the cache only references metadata recorded in iovecs[]
so there's no need to bother freeing (part of) cached metadata later.

The other advantage is that the coredump handler mode and the service mode are
more similar as the cache is populated in the same way for both cases.

It also renames the array indexes so it becomes clear which metadata are passed
by the kernel and which ones are retrieved from the runtime environment.

coredump: use 'input_fd' name for the pipe fd passed by the kernel everywhere

'input_fd' variable name is used mostly everywhere except in process_socket()
where it's named 'coredump_fd', which is pretty confusing since 'coredump_fd'
is used for the coredump filename in submit_coredump().

So let's use 'input_fd' consistently as name for the pipe fd passed by the
kernel.

No functional changes.

Merge pull request #13038 from poettering/pam-fixes

tmpfiles factory PAM tweaks

tests: bump up QEMU_MEM

tests: run TEST-01-BASIC under ASAN+UBSan again

Not that `journalctl --flush` is no longer flaky, it should be
safe to bring the test back.

Merge pull request #12925 from yuwata/network-generator

network-generator: introduce new tool systemd-network-generator

Merge pull request #13074 from poettering/format-tree-many

table_add_many() improvements

Merge pull request #13073 from poettering/variety-galore

Variety galore

journal: properly read unaligned le64 integers

Fixes: #13051

Replaces: #13064

activate: move array allocation to heap

In theory 'n' could get quite large, and some sanitizers notice that,
let's hence avoid the stack, and use the heap instead.

Moreover, there's no need to include the first 3 fds in the array,
close_all() excludes those anyway.

See: #13064

wait-online: change log level

During boot, systemd-networkd-wait-online writes following logs many
times:
```
systemd-networkd-wait-online[753]: lo: link is ignored
```

Merge pull request #13067 from yuwata/news-network-section

NEWS: update section name

doc: update explanation of IPv6AcceptRA=

tree-wide: use lowercase table headers

https://github.com/systemd/systemd/pull/13062#discussion_r303847484
> the formatter uppercases them anyway, and this way the JSON output of the
> formatter is nicer as it uses the table header fields 1:1 for the json
> output.

pid1: split out another helper func for two similar code paths

pid1: split out helper func for two similar code paths

run: move comment to appropriate place

systemctl: print non-elapsing timers as "n/a" not "(null)"

TimersCalendar={ OnCalendar=1970-01-01 00:00:00 UTC ; next_elapse=(null) }
 ↓
TimersCalendar={ OnCalendar=1970-01-01 00:00:00 UTC ; next_elapse=n/a }

Merge pull request #13062 from yuwata/analyze-use-table

systemd-analyze: use Table

analyze: port over one part of systemd-analyze to use new table_add_many() concepts

format-table: add some minimal testing for new table_add_many() features

format-table: add ability to set cell attributes within table_add_many()

table_add_many() is so much shorter and easier to read than
table_add_cell() with its accessors. Let's teach table_add_many() more
tricks, so that reverting to table_add_cell() is not needed that often
anymore.

test: make sure colors don't confuse our test

format-table: fix parameter name

shared: no need to check result of strndupa()

tree-wide: use empty-to-root a bit more

cryptsetup: no need to zero-initialize zero-initialized structures

Merge pull request #13063 from keszybz/cgroup-path-fixes

Cgroup path fixes

NEWS: update section name

Merge pull request #13058 from yuwata/network-enter-failed

network: make link enter failed state when a configuration fails

analyze: fix formatting of timestamps with 0 µs

There is a rule that "%.0d" formats 0 as "". There is no such rule for
"%0d" and 0 :(. The output had an extra 0 if usec was 0.

tree-wide: drop duplicated blank lines

```
$ for i in */*.[ch] */*/*.[ch]; do sed -e '/^$/ {N; s/\n$//g}' -i $i; done
$ git checkout HEAD -- basic/linux shared/linux
```

Apply empty_to_root() in three more spots for safety

pid1: fix GetUnitProcesses

This effectively reverts one chunk of 657ee2d82b73818d0ee8c3c5962c1cb2dbd52b76.

For a while I couldn't figure out why 'systemctl status -- -.slice' fails to
list any processes...