resolve: fix error handling of dns_stream_read()

Merge pull request #9764 from yuwata/hash_ops-cleanups

Hash ops cleanups

basic: use FAMILY_ADDRESS_SIZE() macro in hash_ops for in_addr_data

network: make compare functions safe

As the variable 'line' is unsigned.

Merge pull request #9624 from poettering/service-state-flush

flush out ExecStatus structures when a new service cycle begins

network: add more log messages in configuring DHCP6 client

network: add more log messages in configuring DHCP4 client

Merge pull request #9770 from keszybz/etc-resolved-no-address

Slightly more efficient handling of /etc/hosts blacklist entries

resolved: change error handling for manager_etc_hosts_read()

The choice what errors to ignore is left to the caller, and the caller is
changed to ignore all errors.

On error, previously read data is kept. So if e.g. an oom error happens, we
will continue to return slightly stale data instead of pretending we have no
entries for the given address. I think that's better, for example when
/etc/hosts contains some important overrides that external DNS should not be
queried for.

resolved: keep addresses mapped to ::0 in a separate set

We'd store every 0.0.0.0 and ::0 entry as a structure without any addresses
allocated. This is a somewhat common use case, let's optimize it a bit.

This gives some memory savings and a bit faster response time too:
'time build/test-resolved-etc-hosts hosts' goes from 7.7s to 5.6s, and
memory use as reported by valgrind for ~10000 hosts is reduced
==18097==   total heap usage: 29,902 allocs, 29,902 frees, 2,136,437 bytes allocated
==18240==   total heap usage: 19,955 allocs, 19,955 frees, 1,556,021 bytes allocated

Also rename 'suppress' to 'found' (with reverse meaning). I think this makes
the intent clearer.

test-resolved-etc-hosts: add tests for /etc/hosts parsing

Calling 'build/test-resolved-etc-hosts filename' parses just that file.
This is useful to test against https://hosts.ubuntu101.co.za/hosts.

resolved: put /etc/hosts hashmaps in a structure and pass that around

This hides the details of juggling the two hashmaps from the callers a bit.
It also makes memory management a bit easier, because those two hashmaps share
some strings, so we can only free them together.

etc_hosts_parse() is made responsible to free the half-filled data structures
on error, which makes the caller a bit simpler.

No functional change. A refactoring to prepare for later changes.

test-nss-files: simplify module name handling

- drop compatibility with autotools (/.libs/ directory)
- don't special-case "libnss_dns", just try build/libnss_foo.so.2 and libnss_foo.so.2.
  This makes it possible to call e.g. build/test-nss files google.com.

meson: drop parens when appending to list

Meson does not care either way, so let's use the simpler syntax. And files()
already gives a list, so nesting this in a list wouldn't be necessary even
if meson did not flatten everything.

Merge pull request #9760 from yuwata/resolve-etc-hosts-cleanup

resolve: several cleanups of handing /etc/hosts

udev: net_id: document predictable names for SR-IOV virtual devices

resolve: support address with ifname in /etc/hosts

resolve: use in_addr_data type for storing address

basic: introduce in_addr_data_hash_ops

man: move explanations about boolean and time-span value from systemd.unit to systemd.syntax

Fixes #9735.

Merge pull request #9734 from irtimmer/feature/dns-over-tls-openssl

resolved: Add OpenSSL as alternative SSL library

Merge pull request #9747 from yuwata/workaround-structured-initialization

sd-resolve: use structured initialization and a workaround for nested structs

Expanding evdev device match for Razer Blade Stealth (2017)

Merge pull request #9742 from yuwata/workaround-9718

resolve: add option to toggle reading /etc/hosts

sd-resolve: workaround for structured initialization to nested structs

When a nested struct is initialized by structured initializer, then
padding space is not cleared by zero. So, before setting values,
this makes explicitly set zero including padding.

This fixes the following false positive warning by valgrind:
```
==492== Syscall param sendmsg(msg.msg_iov[0]) points to uninitialised byte(s)
==492==    at 0x56D0CF7: sendmsg (in /usr/lib64/libpthread-2.27.so)
==492==    by 0x4FDD3C5: sd_resolve_getaddrinfo (sd-resolve.c:975)
==492==    by 0x110B9E: manager_connect (timesyncd-manager.c:879)
==492==    by 0x10B729: main (timesyncd.c:165)
==492==  Address 0x1fff0008f1 is on thread 1's stack
==492==  in frame #1, created by sd_resolve_getaddrinfo (sd-resolve.c:928)
==492==
```

sd-resolve: use structured initialization at more places

man: use literal tag

resolve: add option to toggle reading /etc/hosts

Workaround for #9718.

resolve: make manager_etc_hosts_read() static

resolved: TCP Fast Open and TLS Session Tickets for OpenSSL

To decreae latency this add support for TFO and TLS Session Tickets. As OpenSSL wouldn't let you easily set a different function all written data is temporarily cached and therefore needs to be flushed after each SSL function which can write data.

resolved: basic OpenSSL support for DNS-over-TLS

This provides basic OpenSSL support without optimizations like TCP Fast Open and TLS Session Tickets.
Notice only a single SSL library can be enabled at a time and therefore journald functions provided by GnuTLS will be disabled when using OpenSSL.
Fixes #9531

resolved: set io events after receiving EAGAIN for TLS

During handshake and TLS session closing, messages needs to be exchanged. Therefore this patch overrides the requested IO events for the TCP stream when the TLS is waiting for sending or receiving of messages during theses periods. This fixes issues with correctly closing the TLS stream and prevents the handshake from hanging in rare cases (not seen yet).

resolved: refactor GnuTLS specific code in separate source file

This is a first step towards supporting alternative TLS implementations for DNS-over-TLS.

Co-authored-by: Filipe Brandenburger <filbranden@google.com>

test: Increase qemu timeout from 90s to 180s

The usage of an initrd made TEST-09-ISSUE-2691 more likely to fail with
a timeout, so increase the timeout by 90s and adjust TimeoutStopSec=
accordingly.

Merge pull request #9726 from dkozovsk/master

signal safety fixes exit ->_exit, call of page_size to prevent call of sysconf from signal handler

update TODO

hwdb: Added correct ACCEL_MOUNT_MATRIX for the Asus TP412UA

void call of page_size guarantees that sysconf is not called from signal handler

changed exit(4) to asynchronous-safe _exit(4) in signal handler sig_alrm

Merge pull request #9721 from yuwata/fix-resolve-memleak

Fix resolve memleak

Merge pull request #9719 from poettering/sleep-fixes

require the kernel image to still exist before allowing hibernation

Merge pull request #9720 from yuwata/fix-9702

Fix DynamicUser=yes with static User= whose UID and GID are different

hwbd: whitespace fix-up

A correction for 505707490a201c27121dbeb27101fe0c9b5f9664.

sleep-config: library code should not log beyond LOG_DEBUG

sleep: offer hibernation only if the kernel image still exists

This makes hibernation unavailable if the kernel image we are currently
running was removed. This is supposed to be superficial protection
against hibernating a system we can never return from because the kernel
has been updated and the kernel we currently run is not available
anymore.

We look at a couple of places for the kernel, which should cover all
distributions I know off. Should I have missed a path I am sure people
will quickly notice and we can add more places to check. (or maybe
convince those distros to stick their kernels at a standard place)

sleep-config: eat up errors only after debug logging about them

sleep-config: partitions can't be deleted, only files can

This fixes something I think was basically a typo introduced in
db69869f264af2d1afcdd3e573e0e9fdd5bef065.

resolve: use structured initialization and use new() instead of new0()

resolve: fix memleak

Merge pull request #9684 from yuwata/fix-9672

timedate, locale: fix barrier to suppress multiple function calls

shared/sleep-config: exclude zram devices from hibernation candidates

On a host with sufficiently large zram but with no actual swap, logind will
respond to CanHibernate() with yes. With this patch, it will correctly respond
no, unless there are other swap devices to consider.

Merge pull request #9504 from poettering/nss-deadlock

some nss deadlock love

Merge pull request #9484 from poettering/permille-everywhere

Permille everywhere

Merge pull request #9620 from poettering/type-exec

add new Type=exec service type

test: add tests for DynamicUser= with static User= whose UID and GID are different

core: fix gid when DynamicUser=yes with static User=

When DynamicUser=yes and static User= are set, and the user has
different uid and gid, then as the storage socket for the dynamic
user does not contains gid, we need to obtain gid.

Follow-up for 9ec655cbbd7505ef465e0444da0622e46099ce42.

Fixes #9702.

timedate: defer the property changed signal until job of starting/stopping NTP service is finished

Before this, the property changed signal is emitted immediately after
StartUnit/StopUnit method is called. So, the running state of the NTP
client service may not updated.
This makes the timing of emitting property changed signal is deferred
until job of starting/stopping NTP client service is completed.

Fixes #9672.

locale: increment reference count of sd_bus_message

timedate: increment reference count of sd_bus_message

The commit 5d280742b645a69a19e7f9131adc0c95f5c7fa07 introduces a
barrier to suppress calling context_update_ntp_status() multiple times.
However, it just stores the address of sd_bus_message object. So,
when an address is reused on the subsequent message, then the status
of NTP clients are not updated.

This makes the stored message object is referenced by the context
object. So, the subsequent message is on cirtainly different address.

NEWS: add entry about Type=exec and announce that systemd-run is going to default to it in 241

test: add test for Type=exec

man: document the new Type=exec type

And while we are at it, let's rearrange and extend the Type=
documentation a bit. Let's make it an itemized list, and let's add a
paragraph explaining which type best to use.

core: introduce new Type=exec service type

Users are often surprised that "systemd-run" command lines like
"systemd-run -p User=idontexist /bin/true" will return successfully,
even though the logs show that the process couldn't be invoked, as the
user "idontexist" doesn't exist. This is because Type=simple will only
wait until fork() succeeded before returning start-up success.

This patch adds a new service type Type=exec, which is very similar to
Type=simple, but waits until the child process completed the execve()
before returning success. It uses a pipe that has O_CLOEXEC set for this
logic, so that the kernel automatically sends POLLHUP on it when the
execve() succeeded but leaves the pipe open if not. This means PID 1
waits exactly until the execve() succeeded in the child, and not longer
and not shorter, which is the desired functionality.

Making use of this new functionality, the command line
"systemd-run -p User=idontexist -p Type=exec /bin/true" will now fail,
as expected.

execute: use our usual syntax for defining bit masks

core: swap order of "n_storage_fds" and "n_socket_fds" parameters

When process fd lists to pass to activated programs we always place the
socket activation fds first, and the storage fds last. Irritatingly in
almost all calls the "n_storage_fds" parameter (i.e. the number of
storage fds to pass) came first so far, and the "n_socket_fds" parameter
second. Let's clean this up, and specify the number of fds in the order
the fds themselves are passed.

(Also, let's fix one more case where "unsigned" was used to size an
array, while we should use "size_t" instead.)

sd-login: let's also make sd-login understand ".host"

if sd-bus and machined grok it, then sd-login should grok it too.

sd-bus: allow connecting to the pseudo-container ".host"

machined exposes the pseudo-container ".host" as a reference to the host
system, and this means "machinectl login .host" and "machinectl shell
.host" get your a login/shell on the host. systemd-run currently doesn't
allow that. Let's fix that, and make sd-bus understand ".host" as an
alias for connecting to the host system.

update TODO

Merge pull request #9667 from poettering/pam_systemd-fixes

pam_systemd fixes

hwdb: Add accel mount matrix for Lenovo Miix 3-830

hwdb: Add information on where to find identifiers

tree-wide: increase granularity of percent specifications all over the place to permille

We so far had various placed we'd parse percentages with
parse_percent(). Let's make them use parse_permille() instead, which is
downward compatible (as it also parses percent values), and increases
the granularity a bit. Given that on the wire we usually normalize
relative specifications to something like UINT32_MAX anyway changing
from base-100 to base-1000 calculations can be done easily without
breaking compat.

This commit doesn't document this change in the man pages. While
allowing more precise specifcations permille is not as commonly
understood as perent I guess, hence let's keep this out of the docs for
now.

parse-util: in parse_permille() check negative earlier

If 'v' is negative, it's wrong to add the decimal to it, as we'd
actually need to subtract it in this case. But given that we don't want
to allow negative vaues anyway, simply check earlier whether what we
have parsed so far was negative, and react to that before adding the
decimal to it.

man: update pam_systemd to reflect recent changes

1. Document the new desktop= parameter

2. Clarify that we set XDG_SESSION_DESKTOP, XDG_SESSION_CLASS,
   XDG_SESSION_TYPE if we have the data, and don't just read it.

pam_systemd: cast calls whose result we knowingly ignore to (void)

pam_systemd: reduce append_session_cg_weight() indentation level a bit by moving to early exit

pam_systemd: move socket_from_display() from util.[ch] to pam_systemd.c

It's highly specific, kinda legacy (X11…) and only used at one place,
let's move this out of the common code, and into pam_systemd.c where it
is used.

pam_systemd: sort includes properly

pam_systemd: always set XDG_SESSION_{CLASS|TYPE|DESKTOP}

We likely get the data from the env block, but we might also determine
it from elsewhere (such as PAM module parameters). Let's set the env
vars on the env block explicitly, so that they are available always, and
apps can rely on it.

pam_systemd: simplify code which with we set environment variables

Let's shorten things a bit by splitting out common code in a new
function.

pam_systemd: tiny coding style fix

pam_systemd: also make $XDG_SESSION_DESKTOP configurable via PAM module command line

Let's make this symmetric with XDG_SESSION_CLASS and XDG_SESSION_TYPE,
so that PAM stacks can configure this easily without involving env vars,
in case there are PAM session managers which only support a single
desktop anyway.

pam_systemd: simplify how we process env vars

Let's introduce a single unified getenv() implementation for the various
fields we need.

No change in behaviour.

pam_systemd: drop setting DBUS_SESSION_BUS_ADDRESS

Since D-Bus 1.9.14 (2015-03-02) dbus looks in $XDG_RUNTIME_DIR/bus for
the system bus on its own, hence we can finally drop setting this
environment variable. gdbus since glib 2.45.3 (June 2015) also supports
it.

man: document that pam_systemd actually sets XDG_SEAT and XDG_VTNR

The old wording is not clear regarding whether the env var will be
updated or just a fallbacked is used.

man: document CPUAffinity= in system.conf in more detail

Fixes: #9692

core/main: use return log_*_errno more

networkd: fix overflow check

Fixes: #9591

units: make sure user@.service runs with dbus still up

Fixes: #9565

Merge pull request #9668 from poettering/open-parent

introduce open_parent() helper

update TODO

main: use log_error_errno() at one more place

pam_systemd: explain in detail why pam_systemd does the PAM item mangling it does in comments

The old comments were imprecise, and misleading. Let's extend things and
explain the situation in more detail.

network: make log level lower when operations are automatically re-tried later

When networkd has not connected and setting hostname/timezone is
requested, the operation is delayed, not canceled. So, logging in
debug level is sufficient for the corresponding log message.

Closes #9699.

nss: do not modify errno when NSS_STATUS_NOTFOUND or NSS_STATUS_SUCCESS

This also adds PROTECT_ERRNO for all nss module functions.

C.f. glibc NSS documents https://www.gnu.org/software/libc/manual/html_node/NSS-Modules-Interface.html
and discussion in https://sourceware.org/bugzilla/show_bug.cgi?id=23410.

Fixes #9585.

Drop more copyright headers

Merge pull request #8876 from yuwata/meson-0.46

meson: bump minimum required version to 0.46

resolve: add assert_not_reached()

Follow-up for 3fe30d85e37a4aa6729e1e3738d44e9a16d7232d.

test-network-tables: add dhcp6_message_type to test

Follow-up for e91c99059b0d111bd681ea9077d014bd3b6a1f97.

Merge pull request #9708 from keszybz/copyright-headers

Copyright header removal continuation