Rename USER_CREDS_SYNTHESIZE_FALLBACK to …_PREFER_NSS

user-util: rework get_user_creds()

Let's fold get_user_creds_clean() into get_user_creds(), and introduce a
flags argument for it to select "clean" behaviour. This flags parameter
also learns to other new flags:

- USER_CREDS_SYNTHESIZE_FALLBACK: in this mode the user records for
  root/nobody are only synthesized as fallback. Normally, the synthesized
  records take precedence over what is in the user database.  With this
  flag set this is reversed, and the user database takes precedence, and
  the synthesized records are only used if they are missing there. This
  flag should be set in cases where doing NSS is deemed safe, and where
  there's interest in knowing the correct shell, for example if the
  admin changed root's shell to zsh or suchlike.

- USER_CREDS_ALLOW_MISSING: if set, and a UID/GID is specified by
  numeric value, and there's no user/group record for it accept it
  anyway. This allows us to fix #9767

This then also ports all users to set the most appropriate flags.

Fixes: #9767

[zj: remove one isempty() call]

networkd: add O_CLOEXEC where it's missing

nspawn: add two missing OOM checks

nspawn: make sure to create /dev/char/x:y symlinks in nspawn containers too

On the host udev creates these, but they are useful API, hence create
them in nspawn containers too.

namespace: when creating device nodes, also create /dev/char/* symlinks

On the host these symlinks are created by udev, and we consider them API
and make use of them ourselves at various places. Hence when running a
private /dev, also create these symlinks so that lookups by major/minor
work in such an environment, too.

test-resolved: fix whitespace issue

test-resolved: add one more assert_se() check

smack-util: use 'path' paremeter as is if it's already absolute in mac_smack_fix_at()

Merge pull request #9792 from poettering/hashmap-mempool

minor hashmap fixes

resolve: treat some icmp errors as disconnected

Fixes #9773.

resolve: sort headers

Merge pull request #9775 from yuwata/follow-up-9766

resolve: fix error handling of dns_name_is_valid()

man: mention that Hostname= for DHCP must be a valid DNS domain name

network: DHCP: ignore error in setting hostname when it is given by uname()

C.f. #9759.

network: use free_and_replace()

network: also check that Hostname= is a valid DNS domain name

Merge pull request #8822 from fbuihuu/rfc-tmpfiles-safe-upstream

Make tmpfiles safe

man: include libsystemd-pkgconfig.xml in a few more man pages

for some reason this was forgotten for a couple of sd_bus man pages,
let's fix that.

test-resolved: follow coding style, use fopen() with 'e'

hashmap: add an explicit assert() for detecting when objects migrated between threads

When clients don't follow protocol and use the same object from
different threads, then we previously would silently corrupt memory.
With this assert we'll fail with an assert(). This doesn't fix anything
but certainly makes mis-uses easier to detect and debug.

Triggered by https://bugzilla.redhat.com/show_bug.cgi?id=1609349

hashmap: add an environment variable to turn off the memory pool used by hashmaps

Triggered by https://bugzilla.redhat.com/show_bug.cgi?id=1609349

man: be more explicit about thread safety of sd_journal

Triggered by https://bugzilla.redhat.com/show_bug.cgi?id=1609349

This adds two generic paragaphs we include via xinclude. One is the
"strict" version, which contains wording saying that we are thread
agnostic and what that means. And the other is the "safe" version, for
the cases we provide fully safety.

Let's then change most man pages to use either of these generic
paragraphs. With one exception: man/sd_journal_get_catalog.xml contains
both kinds of function, we hence use manual wording.

update TODO

Merge pull request #9791 from poettering/user-runtime-dir-fixes

user-runtime-dir@.service fixes

Merge pull request #9787 from yuwata/dns-over-tls-log

DNS-over-TLS(openssl): fix error handling

units: assign user-runtime-dir@.service to user-%i.slice

This service won't use much resources, but it's certainly nicer to see
it attached th the user's slice along with user@.service, so that
everything we run for a specific user is properly bound into one unit.

units: order user-runtime-dir@.service after systemd-user-sessions.service

We use systemd-user-sessions.service as barrier when to allow login
sessions. With this patch user@.service is ordered after that too, so
that any login related code (which user-runtime-dir@.service is) is
guaranteed to run after the barrier, and never before.

units: make sure user-runtime-dir@.service is Type=oneshot

We order user@.service after it, hence we need to properly know when it
finished starting up.

user-runtime-dir: downgrade a few log messages to LOG_DEBUG that we ignore

As the comments already say it might be quite likely that
$XDG_RUNTIME_DIR is not set up as mount, and we shouldn't complain about
that.

Moreover, let's make this idempotent, so that a runtime dir that is
already gone and is removed again doesn't cause failure.

resolve: openssl: make dnstls_stream_{write,read}() may return zero

resolve: fix error handling of SSL_shutdown()

resolve: fix typo and coding style cleanups

resolve: clear error queue before calling SSL_*()

man: document that 'nofail' also has an effect on ordering

Prompted by #9765

Merge pull request #9776 from keszybz/sd-bus-docs

More man pages for sd-bus and related changes

resolve: fix error handling of dns_stream_read()

Merge pull request #9764 from yuwata/hash_ops-cleanups

Hash ops cleanups

man: add sd_bus_message_rewind(3)

man: document sd_bus_slot_get_bus in sd_bus_slot_ref(3)

Similar reasoning as for sd_bus_message_get_bus().

man: add sd_bus_slot_set_description(3)

man: add sd_bus_slot_set_userdata(3)

man: add sd_bus_message_set_expect_reply(3)

man: document sd_bus_message_get_bus() in sd_bus_message_new(3)

It's not a particularly obvious place, but it's a trivial function that isn't
worth a man page of its own, and it doesn't fit anywhere else either.

man: add sd_bus_message_verify_type(3)

sd-bus: verify destination and sender values when setting

We would verify destination e.g. in sd_bus_message_new_call, but allow setting
any value later on with sd_bus_message_set_destination. I assume this check was
omitted not on purpose.

man: add sd_bus_message_get_type(3)

sd_bus_message{get_type,is_signal,is_method_call,is_method_error} get one man
page.

sd_bus_message_{set,get}_{destination,path,interface,member,sender} are put in
the second one.

man: add sd_bus_slot_ref(3)

man: document sd_bus_message_new_method_return

meson: print stats in check-api-docs

man: document *_with_description functions

man: add sd_bus_message_new(3)

man: move more examples to stand-alone files and use 2-space indentation consistenty

Moving them out makes it easier to run them through a compiler, use automatic
indentation, and opens the possibility to provide a download link in the
future. I verified that all examples compile cleanly.

(2-space indentation is used because the examples are already significantly
indented in the man page, and we need to keep them narrow so that they display
well on standard terminals.)

man: clarify what can be NULL in an sd_bus_unrefp call

Confusingly, the argument is called 'bus' in all cases. Let's not give people
the idea to call sd_bus_unrefp(NULL).

man: add sd_bus_message_new_call(3)

man: add sd_bus_message_new_signal(3)

basic: use FAMILY_ADDRESS_SIZE() macro in hash_ops for in_addr_data

network: make compare functions safe

As the variable 'line' is unsigned.

Merge pull request #9624 from poettering/service-state-flush

flush out ExecStatus structures when a new service cycle begins

network: add more log messages in configuring DHCP6 client

network: add more log messages in configuring DHCP4 client

Merge pull request #9770 from keszybz/etc-resolved-no-address

Slightly more efficient handling of /etc/hosts blacklist entries

resolved: change error handling for manager_etc_hosts_read()

The choice what errors to ignore is left to the caller, and the caller is
changed to ignore all errors.

On error, previously read data is kept. So if e.g. an oom error happens, we
will continue to return slightly stale data instead of pretending we have no
entries for the given address. I think that's better, for example when
/etc/hosts contains some important overrides that external DNS should not be
queried for.

resolved: keep addresses mapped to ::0 in a separate set

We'd store every 0.0.0.0 and ::0 entry as a structure without any addresses
allocated. This is a somewhat common use case, let's optimize it a bit.

This gives some memory savings and a bit faster response time too:
'time build/test-resolved-etc-hosts hosts' goes from 7.7s to 5.6s, and
memory use as reported by valgrind for ~10000 hosts is reduced
==18097==   total heap usage: 29,902 allocs, 29,902 frees, 2,136,437 bytes allocated
==18240==   total heap usage: 19,955 allocs, 19,955 frees, 1,556,021 bytes allocated

Also rename 'suppress' to 'found' (with reverse meaning). I think this makes
the intent clearer.

test-resolved-etc-hosts: add tests for /etc/hosts parsing

Calling 'build/test-resolved-etc-hosts filename' parses just that file.
This is useful to test against https://hosts.ubuntu101.co.za/hosts.

resolved: put /etc/hosts hashmaps in a structure and pass that around

This hides the details of juggling the two hashmaps from the callers a bit.
It also makes memory management a bit easier, because those two hashmaps share
some strings, so we can only free them together.

etc_hosts_parse() is made responsible to free the half-filled data structures
on error, which makes the caller a bit simpler.

No functional change. A refactoring to prepare for later changes.

test-nss-files: simplify module name handling

- drop compatibility with autotools (/.libs/ directory)
- don't special-case "libnss_dns", just try build/libnss_foo.so.2 and libnss_foo.so.2.
  This makes it possible to call e.g. build/test-nss files google.com.

meson: drop parens when appending to list

Meson does not care either way, so let's use the simpler syntax. And files()
already gives a list, so nesting this in a list wouldn't be necessary even
if meson did not flatten everything.

Merge pull request #9760 from yuwata/resolve-etc-hosts-cleanup

resolve: several cleanups of handing /etc/hosts

udev: net_id: document predictable names for SR-IOV virtual devices

resolve: support address with ifname in /etc/hosts

resolve: use in_addr_data type for storing address

basic: introduce in_addr_data_hash_ops

path-util: make use of path_join() in path_make_absolute_cwd()

tmpfiles: add more tests

tmpfiles: don't follow unsafe transitions in path_set_*()

Since all path_set_*() helpers don't follow symlinks, it's possible to use
chase_symlinks(CHASE_NOFOLLOW) flag to both open the files specified by the
passed paths and check their validity (unlike their counterpart fd_set_*()
helpers).

fs-util: add new CHASE_NOFOLLOW flag to chase_symlinks()

This flag mimics what "O_NOFOLLOW|O_PATH" does for open(2) that is
chase_symlinks() will not resolve the final pathname component if it's a
symlink and instead will return a file descriptor referring to the symlink
itself.

Note: if CHASE_SAFE is also passed, no safety checking is performed on the
transition done if the symlink would have been followed.

tmpfiles: make create_fifo() safe

fs-util: introduce mkfifoat_atomic() helper

fileio: make tempfn_random_child() accept empty string as path

In this case it simply returns the random generated filename with anything
prefixed.

tmpfiles: introduce create_fifo()

tmpfiles: introduce empty_directory()

tmpfiles: introduce create_directory() and create_subvolume() and make them safe

basic/stat-util: introduce is_dir_fd()

btrfs-util: introduce btrfs_subvol_make_fd()

basic/label: introduce mkdirat_label()/mkdirat_errno_wrapper() helpers

selinux: introduce mac_selinux_create_file_prepare_at()

smack: introduce mac_smack_fix_at()

tmpfiles: introduce create_directory_or_subvolume()

No functional changes.

tmpfiles: make create_device() safe

tmpfiles: introduce create_device()

tmpfiles: make copy_files() safe

tmpfiles: introduce copy_files() routine

No functional changes.

tmpfiles: make write_one_file() safe

tmpfiles: make truncate_file() safe

tmpfiles: introduce truncate_file() which deals with 'F' exclusively

TRUNCATE_FILE is now handled by a new dedicated function
truncate_file(). Indeed we have to take special care when truncating existing
file since the behavior is only specified for regular files.

Well that's not entirely true for fifo and terminal devices since O_TRUNC is
ignored in this case but even in for these types of file, truncating is
probably not the right thing to do.

It is worth noting that both truncate_file() and create_file() have been
modified so they use fstat(2) instead of stat(2) since both functions are not
supposed to follow symlinks.

tmpfiles: introduce create_file() which deals with 'f'/'F' exclusively

write_one_file() only deals with the 'w' command and 'f'/'F' are now handled by
a new function create_file().

This is primarly done because 'w' is allowed to operate on any kind of files,
not just regular ones.

tmpfiles: make the stat struct parameter in fd_set_*() optional

So every callers are not forced to stat() the passed file descriptor before
calling those functions.

tmpfiles: stat file in item_do() rather than in its callers

This a slight simplification since all callers of item_do()
(glob_item_recursively() and item_do() itself) stat the file descriptor only
for passing it to item_do().