homed: properly handle operation exit statusses

shared/cryptsetup-util: build problematic code only in developer mode

This code doesn't link when gcc+lld is used:

$ LDFLAGS=-fuse-ld=lld meson setup build-lld && ninja -C build-lld udevadm
...
ld.lld: error: src/shared/libsystemd-shared-255.a(libsystemd-shared-255.a.p/cryptsetup-util.c.o):
  symbol crypt_token_external_path@@ has undefined version
collect2: error: ld returned 1 exit status

As a work-around, restrict it to developer mode.

Closes https://github.com/systemd/systemd/issues/30218.

man: typo, it's DHCP not DCHP in DHCPPrefixDelegation=

boot: suffix SecureBoot message with newline

Output is otherwise so weird, since this is the last log line seen for a
while typically, and if it doesn#t put the cursor back in the first
column it looks like something is incomplete and hanging. Hence do what
we always do: finish log messages with a newline.

pam-util: fix pam_syslog_pam_error() format string

To cut off a string at some position we must set the "precision" not the
field width in format strings.

This led to some assert()s being hit where they really should not be.

gpt-auto-generator: enable TPM2 unlocking in gpt-auto-generator

If we detect a TPM, let's also unlock the disk with it, if it has an
enrollment for that.

Fixes: #30176

Merge pull request #30203 from yuwata/resolve-dump-cache

resolve: fix varlink message verification

Merge pull request #30216 from poettering/loginctl-table-tweaks

loginctl: minor tweaks to tabular output

Merge pull request #30220 from yuwata/journald-vs-soft-reboot

unit: stop journald before SIGKILL on soft-reboot

loginctl: show null fields for unset seat/tty fields of sessions

loginctl: set appropriate ersatz strings for all tables

logind: align columns of a table

utmp-wtmp: fix wrong suffix assignment on putting dead process

Fixes a bug introduced by f1d553e9dfd56f95b7564dd20a0b56e6a0d6492c.

Fixes #30213.

core/cgroup: fix compile error

With gcc-13,
```
CFLAGS="-O3 -fno-semantic-interposition" meson setup build
```
triggers the following error:
```
../src/core/cgroup.c: In function ‘cgroup_context_dump’:
../src/core/cgroup.c:633:44: error: ‘%s’ directive argument is null [-Werror=format-overflow=]
  633 |                         "%sDeviceAllow: %s %s\n",
      |                                            ^~
cc1: some warnings being treated as errors
```

Fixes #30223.

test: check journal files are not corrupted after soft-reboot

unit: make journald stopped on soft-reboot before broadcasting SIGKILL

Workaround for #30195.

man: also SIGKILL is sent on soft-reboot

varlinkctl: add short comment

capability-util: avoid false-positive use-of-uninitialized-value error

fuzzers randomly fail with the following:
```
==172==WARNING: MemorySanitizer: use-of-uninitialized-value
    #0 0x7f41169cb39b in update_argv /work/build/../../src/systemd/src/basic/argv-util.c:96:13
    #1 0x7f41169cb39b in rename_process /work/build/../../src/systemd/src/basic/argv-util.c:210:16
    #2 0x7f4116b6824e in safe_fork_full /work/build/../../src/systemd/src/basic/process-util.c:1516:21
    #3 0x7f4116bffa36 in safe_fork /work/build/../../src/systemd/src/basic/process-util.h:191:16
    #4 0x7f4116bffa36 in parse_timestamp /work/build/../../src/systemd/src/basic/time-util.c:1047:13
    #5 0x4a61e6 in LLVMFuzzerTestOneInput /work/build/../../src/systemd/src/fuzz/fuzz-time-util.c:16:16
    #6 0x4c4a13 in fuzzer::Fuzzer::ExecuteCallback(unsigned char const*, unsigned long) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:611:15
    #7 0x4c41fa in fuzzer::Fuzzer::RunOne(unsigned char const*, unsigned long, bool, fuzzer::InputInfo*, bool, bool*) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:514:3
    #8 0x4c58c9 in fuzzer::Fuzzer::MutateAndTestOne() /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:757:19
    #9 0x4c6595 in fuzzer::Fuzzer::Loop(std::__Fuzzer::vector<fuzzer::SizedFile, std::__Fuzzer::allocator<fuzzer::SizedFile> >&) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerLoop.cpp:895:5
    #10 0x4b58ff in fuzzer::FuzzerDriver(int*, char***, int (*)(unsigned char const*, unsigned long)) /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerDriver.cpp:912:6
    #11 0x4def52 in main /src/llvm-project/compiler-rt/lib/fuzzer/FuzzerMain.cpp:20:10
    #12 0x7f4115ea3082 in __libc_start_main (/lib/x86_64-linux-gnu/libc.so.6+0x24082) (BuildId: e678fe54a5d2c2092f8e47eb0b33105e380f7340)
    #13 0x41f5ad in _start (build-out/fuzz-time-util+0x41f5ad)

DEDUP_TOKEN: update_argv--rename_process--safe_fork_full
  Uninitialized value was created by an allocation of 'fv' in the stack frame of function 'have_effective_cap'
    #0 0x7f41169d3540 in have_effective_cap /work/build/../../src/systemd/src/basic/capability-util.c:21
```

test: verify json format passed through varlink

This drops logs of failed unit tests in TEST-02-UNITTESTS from the journal,
as the expected logs from test-varlink-idl makes the post script fail.
Saving logs in journal is simply noisy, and we will output anyway after
qemu or nspawn finished by check_result_{qemu,nspawn}_unittests().

test: show saved journal files after TEST-02-UNITTESTS

test: drop remaining console output

Follow-up for fa6f37c04391d0103c95e24813ad345c2d5c4b67.

Partially reverts d5ab23aa54229e9e89427e7d20883bd8c93fd976 and
3540ce8587cbd21ce9c2dbec72ea7fa3d1b38a5f.

test: add simple coverity test for 'resolvectl show-cache'

varlink: fix key name in reply of org.varlink.service.GetInterfaceDescription

Fixes https://github.com/systemd/systemd/pull/30203#issuecomment-1826746111.

resolve: fix varink message verification

Fixes #30199.

test-time-util: suppress timestamp conversion failures for Africa/Khartoum timezone

Our timestamp conversion roundtrip test was failing. But I think that this
is not our bug:

$ TZ='Africa/Khartoum' date --date='@1509482094'
Tue Oct 31 23:34:54 EAT 2017
$ TZ='Africa/Khartoum' date --date='Tue Oct 31 23:34:54 EAT 2017' +%s
1509485694
$ TZ='Africa/Khartoum' date --date='@1509485694'
Tue Oct 31 23:34:54 CAT 2017
$ echo $[1509485694 - 1509482094]
3600

This is essentially the same as what happens in our test. After a round-trip, we
end up one hour ahead.

> For 1509482094632752, from the change log of tzdata:
>
> Release 2017c - 2017-10-20 14:49:34 -0700
>
>  Changes to future timestamps
>    Sudan will switch from +03 to +02 on 2017-11-01.

Fixes https://github.com/systemd/systemd/issues/28472.

Merge pull request #30170 from bluca/exec_bpf_fd

core: pass bpf_outer_map_fd to sd-executor only if RestrictFileSystems was set

hwdb: ieee1394-unit-function: add Sony DVMC-DA1

This commit adds a hwdb entry for the Sony DVMC-DA1. This media converter
works with video capture software such as dvgrab, but it doesn't support
the AV/C command set and doesn't match the general entry.

Merge pull request #30200 from mrc0mmand/test-tweaks

A couple of assorted fixes

test: drop 'noearly' from crypttab

It's a Debian thing, we don't support it.

[   30.639971] testsuite-64.sh[475]: + systemctl restart cryptsetup.target
[   30.697667] systemd-cryptsetup[3389]: Encountered unknown /etc/crypttab option 'noearly', ignoring.
[   30.700529] systemd-cryptsetup[3390]: Encountered unknown /etc/crypttab option 'noearly', ignoring.
[   30.700594] systemd-cryptsetup[3391]: Encountered unknown /etc/crypttab option 'noearly', ignoring.
[   30.704638] systemd-cryptsetup[3392]: Encountered unknown /etc/crypttab option 'noearly', ignoring

test: drop invalid LogTarget= assignment

It's been there since the test was introduced and I'm not really sure
what was the original intention behind it, but it makes systemd sad:

[    4.909056] systemd[1]: /usr/lib/systemd/tests/testdata/units/testsuite-44.service:13: Unknown key name 'LogTarget' in section 'Service', ignoring.

systemctl: include unit ID in the property map

Otherwise we get a not very nice message when trying to display a
non-existent man page:

~# systemctl cat test.service
[Unit]
Description=Hello
[Service]
ExecStart=true
~# systemctl help test.service
Documentation for (null) not known.

import: append % to X_IMPORT_PROGRESS=

Since we parse it on the other side via parse_percent() which requires
that, otherwise we get an error:

[    8.133131] testsuite-13.sh[649]: + machinectl import-raw /tmp/container.raw container-raw
[    8.175035] machinectl[1143]: Enqueued transfer job 1. Press C-c to continue download in background.
[    8.182130] machinectl[1143]: Importing '/tmp/container.raw', saving as 'container-raw'.
[    8.182377] systemd-importd[1144]: Got invalid percent value '0', ignoring.
[    8.182451] machinectl[1143]: Imported 0%.
[    8.282669] systemd-importd[1144]: Got invalid percent value '40', ignoring.
[    8.282746] machinectl[1143]: Imported 40%.
[    8.366448] machinectl[1143]: Wrote 64.0M.
[    8.366519] machinectl[1143]: Operation completed successfully.
[    8.366617] machinectl[1143]: Exiting.

test: remove the reboot counter just before spawning container/VM

Doing that in test_run() is not enough, since it's called only once and
spawns all QEMU/nspawn jobs.

Merge pull request #30196 from YHNdnzj/fchmodat2-no-symlink

Revert "nspawn-patch-uid: try fchmodat2() to restore mode of symlink"

Merge pull request #30197 from keszybz/vconsole-restart-no-limit

Drop restart limit for systemd-vconsole-setup.service and some man page tweaks

units: disable start rate limit for systemd-vconsole-setup.service

The unit will be started or restarted a few times during boot, but but it has
StartLimitBurst = DefaultStartLimitBurst = 5, which means that the fifth
restart will already fail. On my laptop, I have exactly 4 restarts, so I don't
hit the limit, but on a slightly different system we will easily hit the limit.
In https://bugzilla.redhat.com/show_bug.cgi?id=2251394, there are five reloads
and we hit the limit.

Since 6ef512c0bb7aeb2000588d7d05e23b4681da8657 we propagate the start counter
over switch-root and daemon reloads, so it's easier to hit the limit during
boot.

In principle there might be systems with lots of vtcon devices, so let's just
allow the unit to be restarted without a limit.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=2251394.

man/systemd-vconsole-setup: improve markup

nspawn-patch-uid: clarify that changing mode of symlink is unsupported

Revert "nspawn-patch-uid: try fchmodat2() to restore mode of symlink"

This reverts commit 30462563b19b92d8c6ed196d30d3cf7de90e8131.

fchmodat2(), while accepting AT_SYMLINK_NOFOLLOW as a valid flag,
always returns EOPNOTSUPP when operating on a symlink. The Linux kernel
simply doesn't support changing the mode of a symlink.

Fixes #30157

Merge pull request #30119 from mrc0mmand/test-console

test: don't redirect stdout/stderr to console

ukify: be more explicit about where to find ukify

when KERNEL_INSTALL_UKIFY is not supplied we set ukify to $PWD/ukify

that will fail (perhaps only for manual installations):
FileNotFoundError: [Errno 2] No such file or directory: '/usr/src/linux-6.7-rc1/ukify'

this will make sure we have a sane default for UKIFY

Signed-off-by: Paymon MARANDI <paymon@utubeipod.xyz>

udevadm: exiting udevadm monitor normally under SIGTERM or SIGINT

Under SIGTERM or SIGINT, exit event and release resources, and exit udevadm monitor normally.

analyze: return earlier when there is no path to be prepended

Follow-up for 2f6181ad4d6c126e3ebf6880ba30b3b0059c6fc8.

Addresses the post-merge comment:
https://github.com/systemd/systemd/pull/30172#discussion_r1404209035

Merge pull request #30188 from YHNdnzj/memory-accounting-followup

core: a few fixes and improvements for memory accounting

run: escape command for description

The command arguments may contain spurious characters, e.g. line-break.
When we use command arguments as a description of a unit, we should
escape them.

Fixes #30187.

rules: don't condition usb-gadget.target target on 'add' action

The dependency should exist continously, like all our similar deps do.
Hence drop the "add" conditionalization.

test: don't redirect stdout/stderr to console

Turns out that redirecting a lot of output to the console can have some
funny effects, like random kernel soft lockups. I spotted this in
various CIs, but it remained almost entirely hidden thanks to
`softlockup_panic=1`, until 1a36d2672f which introduced a couple of
tests that log quite a lot in a short amount of time. This, in
combination with newer kernel version, which, for some reason, seem to
be more susceptible to such soft lockups, made the Arch Linux jobs soft
lockup quite a lot, see [0].

While debugging this I also noticed that runs which don't redirect
stdout/stderr to the console are noticeably faster, e.g.:

    # TEST-71 nspawn + QEMU (KVM), StandardOutput=journal+console
    Elapsed (wall clock) time (h:mm:ss or m:ss): 0:24.64
    # TEST-71 nspawn + QEMU (KVM), StandardOutput=journal
    Elapsed (wall clock) time (h:mm:ss or m:ss): 0:17.95

    # TEST-71 nspawn + QEMU, StandardOutput=journal+console
    Elapsed (wall clock) time (h:mm:ss or m:ss): 2:04.70
    # TEST-71 nspawn + QEMU, StandardOutput=journal
    Elapsed (wall clock) time (h:mm:ss or m:ss): 1:44.48

    # TEST-04 QEMU, StandardOutput=journal+console
    Elapsed (wall clock) time (h:mm:ss or m:ss): 4:22.70
    # TEST-04 QEMU, StandardOutput=console
    Elapsed (wall clock) time (h:mm:ss or m:ss): 5:04.67

Given all this, let's effectively revert ba7abf79a5, and dump the
testsuite-related journal messages only after the test finishes, so they
don't go through the slow console.

Resolves: systemd/systemd-centos-ci#660

[0] https://github.com/systemd/systemd-centos-ci/issues/660

test: add a couple of tests for RestrictFileSystems=

core/cgroup: use the cached memory accounting value when cgroup is gone

Follow-up for 9824ab1f009e99b0b9d273ace4c98cc687a4c1d7

Fixes https://github.com/systemd/systemd/issues/28542#issuecomment-1825413237

bus-print-properties: prettify more unset properties

bus-print-properties: ignore CGROUP_LIMIT_MAX for Memory*{Current,Peak}

MemoryCurrent and MemoryAvailable are shown as "[not set]" when UINT64_MAX
(unset). Let's do the same for the newly-added Memory*{Current,Peak} properties.

core/dbus-unit: don't log cgroup v1 property name

man: reword the list of PE sections in systemd-stub

Let's put the section name at the beginning of each sentence. This way we
can avoid awkward constructs like "kernel is looked for in the .linux section".
Also, since the paragraph above says that this is a list of "PE sections", we
can just say "section". In other places, it is often useful to say "PE section"
to avoid ambiguity.

Also fix the off-by-one in the count of sections.

update TODO

test: don't make the final vacuum multiple of 8M

As this would usually mean we'd nuke everything, since there are two
open journals - system and user - both being 8M in size.

test: clean up the save_journal() stuff a bit

Let's save all journals from the test machine instead of calling export
on each journal file separately, which makes the code less complicated
(and probably faster).

Merge pull request #30172 from yuwata/analyze-verify-unit-path

analyze: do not prepend CWD to SYSTEMD_UNIT_PATH needlessly

pcrextend: fix minor memory leak

Also, simplify the code a bit by using json_dispatch_unbase64_iovec().

login: do not clear wall message before shutting down

This fixes a regression caused by 5ed73478e1b1560274038ef30ec6f89022b4d8f6
and aa6123e85e0baea21b6daad175da43ffea30629f.

With these commits, when Reboot dbus method or friends is called,
reset_scheduled_shutdown() is called before shutting down the system,
so the wall message was cleared.

As the wall message itself is unrelated to the scheduling of shutting
down systems, let's keep the message.

Fixes #30167.

analyze: do not prepend the current working directory to SYSTEMD_UNIT_PATH needlessly

If the requested unit is not in the current working directory, it is not
necessary to include the current working directory in SYSTEMD_UNIT_PATH.

Follow-up for 45519d13a4f2a3c3585e672595762ca621abe65e.

Fixes #30166.

analyze: set SYSTEMD_UNIT_PATH in verify_generate_path()

Then, rename verify_generate_path() -> verify_set_unit_path().

analyze: shorten code a bit

No functional change, just refactoring.

analyze: drop duplicated :

Before, this returns e.g. "/current_dir::",
After, this returns e.g. "/current_dir:".

core: remove redundant check when serializing FDs

The helpers already skip if the FD is < 0

core: pass bpf_outer_map_fd to sd-executor only if RestrictFileSystems was set

It causes SELinux denials to be raised, so restrict it only where needed

Follow-up for beb4ae87558cae

hibernate-resume: actually set HibernateInfo.offset

Follow-up for a628d933cc67cc8b183dc809ba1451aa5b2996e5

Merge pull request #30165 from YHNdnzj/executor-open-fix

core,analyze: several fixlets

Merge pull request #30163 from keszybz/some-docs-updates

Some docs updates

analyze: don't open systemd-executor needlessly

Fixes #30162

analyze: use FOREACH_ARRAY more

core/manager: open our parent dir with O_PATH

core/manager: correct and simplify errno handling

open_parent() is our own function that returns negative errno.

core/manager: rename result parameter to ret

man: drop recommendation to use absolute paths in ExecStart*=

The only reason to recommend this would be if people had multiple commands
with the same name in the search path. This probably was never the best idea,
and it happens rarely anyway. Since the patch that dropped requirement for full
paths was introduced, we have dropped support for unmerged-usr and we're planning
to drop support for split-bin at some point too. Many people effectively have just
one directory in the search path, so there is even less reason to use an absolute
path. So let's recommend just using the command name, which makes the unit file
shorter and nicer to read.

man/sd_bus_process: fix confusion about "synchronous"

An event loop is not "synchronous". So we shouldn't say that the client must
"synchrounusly poll" if we recommend an event loop. Let's just say it should
poll, and say that "sd_bus_wait()" is blocking, which is clearer and more
correct than "synchronous".

exec-util: don't say sd-executor to avoid ambiguity

We have a systemd-executor binary now.

meson: always install network example files

I started working on integrating this in the Fedora package and realized that
the example files should be installed regardless of the renamed files when
default-network=true is used. This is because the renamed files become part of
a different package, and we want to have the other files which are used as
documentation in the main package anyway.

Finalize NEWS for v255-rc3

io-util: actually retry on failure

Follow-up for e22c60a9d5dfc5f0b260c7906f3546aef2925998.

Fixes #30152.

Merge pull request #30153 from bluca/news

Update NEWS and hwdb

NEWS: note about reexec on update, for sd-executor

NEWS: update contributors list

hwdb: update

systemctl: distinguish reload and reexec

This used to log about reload, for reload and reexecution. Let's
distinguish the two cases.

conf-parser: only read the first found main config file

Follow-up for 93f1da45566d064f4f053b37bbac2813631f58b1
and 8ea288db018c7dfe0016d51d4538539bab4ab6de

Before the offending commits, we only read the first found
main config file. If the main config file is symlinked to/as
a drop-in, we should break instead of continuing, for it to
be read later.

recurse-dir: correct comment

The RECURSE_DIR_ENSURE_TYPE flag is actually interpreted by
readdir_all() already, hence rearrange comments to say so.

Merge pull request #30145 from poettering/reset-terminal-line-editing

make terminal line editing work with systemd-firstboot

Merge pull request #30149 from yuwata/setlocale

locale-util: do not call setlocale() when multi-threaded

Merge pull request #30143 from poettering/machine-credential-fixes

machine credential fixes

Merge pull request #30024 from keszybz/one-doc-thingy

Serialize units ratelimits and document StartLimitIntervalSec=infinity

fs-util: add comment explaining what xopenat() is for

locale-util: drop unused init_gettext()

The function has not been used since 96d9117ad2db7d8c13f7898127eee8939e88daf1.

locale-util: do not call setlocale() when multi-threaded

Fixes #30141.

machine-credential: tweak --load-credential= use a bit

Let's try to recognize paths (i.e. those with a "/") as source for
credentials to load, and then read them from the file system. Also, only read
credentials from an inbound credentials directory if the source
qualifies as valid credential name.

Otherwise print a nice error.

machine-credential: simplify code a bit

machine-credential: use word 'Credential' rather than 'MachineCredential'

Probably some search/replace mistake.

machine-credential: fix GREEDY_REALLOC error handling

We must check the return value of GREEDY_REALLOC for OOM, and the
pointer are updated already on success, hence it's a bad idea to make a
copy of the pointer beforehand.

machine-credential: fix error logging

Remove duplicate logging: let exclusively
machine_credential_load()/machine_credential_set() log, and not the
caller again.

journal: sync immediately on shutting down journald

Otherwise, sd_event_add_time_relative() or sd_event_source_set_time_relative()
below will trigger assert_return().

Prompted by #30029.