Merge pull request #30119 from mrc0mmand/test-console

test: don't redirect stdout/stderr to console

ukify: be more explicit about where to find ukify

when KERNEL_INSTALL_UKIFY is not supplied we set ukify to $PWD/ukify

that will fail (perhaps only for manual installations):
FileNotFoundError: [Errno 2] No such file or directory: '/usr/src/linux-6.7-rc1/ukify'

this will make sure we have a sane default for UKIFY

Signed-off-by: Paymon MARANDI <paymon@utubeipod.xyz>

udevadm: exiting udevadm monitor normally under SIGTERM or SIGINT

Under SIGTERM or SIGINT, exit event and release resources, and exit udevadm monitor normally.

analyze: return earlier when there is no path to be prepended

Follow-up for 2f6181ad4d6c126e3ebf6880ba30b3b0059c6fc8.

Addresses the post-merge comment:
https://github.com/systemd/systemd/pull/30172#discussion_r1404209035

Merge pull request #30188 from YHNdnzj/memory-accounting-followup

core: a few fixes and improvements for memory accounting

run: escape command for description

The command arguments may contain spurious characters, e.g. line-break.
When we use command arguments as a description of a unit, we should
escape them.

Fixes #30187.

rules: don't condition usb-gadget.target target on 'add' action

The dependency should exist continously, like all our similar deps do.
Hence drop the "add" conditionalization.

test: don't redirect stdout/stderr to console

Turns out that redirecting a lot of output to the console can have some
funny effects, like random kernel soft lockups. I spotted this in
various CIs, but it remained almost entirely hidden thanks to
`softlockup_panic=1`, until 1a36d2672f which introduced a couple of
tests that log quite a lot in a short amount of time. This, in
combination with newer kernel version, which, for some reason, seem to
be more susceptible to such soft lockups, made the Arch Linux jobs soft
lockup quite a lot, see [0].

While debugging this I also noticed that runs which don't redirect
stdout/stderr to the console are noticeably faster, e.g.:

    # TEST-71 nspawn + QEMU (KVM), StandardOutput=journal+console
    Elapsed (wall clock) time (h:mm:ss or m:ss): 0:24.64
    # TEST-71 nspawn + QEMU (KVM), StandardOutput=journal
    Elapsed (wall clock) time (h:mm:ss or m:ss): 0:17.95

    # TEST-71 nspawn + QEMU, StandardOutput=journal+console
    Elapsed (wall clock) time (h:mm:ss or m:ss): 2:04.70
    # TEST-71 nspawn + QEMU, StandardOutput=journal
    Elapsed (wall clock) time (h:mm:ss or m:ss): 1:44.48

    # TEST-04 QEMU, StandardOutput=journal+console
    Elapsed (wall clock) time (h:mm:ss or m:ss): 4:22.70
    # TEST-04 QEMU, StandardOutput=console
    Elapsed (wall clock) time (h:mm:ss or m:ss): 5:04.67

Given all this, let's effectively revert ba7abf79a5, and dump the
testsuite-related journal messages only after the test finishes, so they
don't go through the slow console.

Resolves: systemd/systemd-centos-ci#660

[0] https://github.com/systemd/systemd-centos-ci/issues/660

core/cgroup: use the cached memory accounting value when cgroup is gone

Follow-up for 9824ab1f009e99b0b9d273ace4c98cc687a4c1d7

Fixes https://github.com/systemd/systemd/issues/28542#issuecomment-1825413237

bus-print-properties: prettify more unset properties

bus-print-properties: ignore CGROUP_LIMIT_MAX for Memory*{Current,Peak}

MemoryCurrent and MemoryAvailable are shown as "[not set]" when UINT64_MAX
(unset). Let's do the same for the newly-added Memory*{Current,Peak} properties.

core/dbus-unit: don't log cgroup v1 property name

update TODO

test: don't make the final vacuum multiple of 8M

As this would usually mean we'd nuke everything, since there are two
open journals - system and user - both being 8M in size.

test: clean up the save_journal() stuff a bit

Let's save all journals from the test machine instead of calling export
on each journal file separately, which makes the code less complicated
(and probably faster).

Merge pull request #30172 from yuwata/analyze-verify-unit-path

analyze: do not prepend CWD to SYSTEMD_UNIT_PATH needlessly

pcrextend: fix minor memory leak

Also, simplify the code a bit by using json_dispatch_unbase64_iovec().

login: do not clear wall message before shutting down

This fixes a regression caused by 5ed73478e1b1560274038ef30ec6f89022b4d8f6
and aa6123e85e0baea21b6daad175da43ffea30629f.

With these commits, when Reboot dbus method or friends is called,
reset_scheduled_shutdown() is called before shutting down the system,
so the wall message was cleared.

As the wall message itself is unrelated to the scheduling of shutting
down systems, let's keep the message.

Fixes #30167.

analyze: do not prepend the current working directory to SYSTEMD_UNIT_PATH needlessly

If the requested unit is not in the current working directory, it is not
necessary to include the current working directory in SYSTEMD_UNIT_PATH.

Follow-up for 45519d13a4f2a3c3585e672595762ca621abe65e.

Fixes #30166.

analyze: set SYSTEMD_UNIT_PATH in verify_generate_path()

Then, rename verify_generate_path() -> verify_set_unit_path().

analyze: shorten code a bit

No functional change, just refactoring.

analyze: drop duplicated :

Before, this returns e.g. "/current_dir::",
After, this returns e.g. "/current_dir:".

hibernate-resume: actually set HibernateInfo.offset

Follow-up for a628d933cc67cc8b183dc809ba1451aa5b2996e5

Merge pull request #30165 from YHNdnzj/executor-open-fix

core,analyze: several fixlets

Merge pull request #30163 from keszybz/some-docs-updates

Some docs updates

analyze: don't open systemd-executor needlessly

Fixes #30162

analyze: use FOREACH_ARRAY more

core/manager: open our parent dir with O_PATH

core/manager: correct and simplify errno handling

open_parent() is our own function that returns negative errno.

core/manager: rename result parameter to ret

man: drop recommendation to use absolute paths in ExecStart*=

The only reason to recommend this would be if people had multiple commands
with the same name in the search path. This probably was never the best idea,
and it happens rarely anyway. Since the patch that dropped requirement for full
paths was introduced, we have dropped support for unmerged-usr and we're planning
to drop support for split-bin at some point too. Many people effectively have just
one directory in the search path, so there is even less reason to use an absolute
path. So let's recommend just using the command name, which makes the unit file
shorter and nicer to read.

man/sd_bus_process: fix confusion about "synchronous"

An event loop is not "synchronous". So we shouldn't say that the client must
"synchrounusly poll" if we recommend an event loop. Let's just say it should
poll, and say that "sd_bus_wait()" is blocking, which is clearer and more
correct than "synchronous".

exec-util: don't say sd-executor to avoid ambiguity

We have a systemd-executor binary now.

meson: always install network example files

I started working on integrating this in the Fedora package and realized that
the example files should be installed regardless of the renamed files when
default-network=true is used. This is because the renamed files become part of
a different package, and we want to have the other files which are used as
documentation in the main package anyway.

Finalize NEWS for v255-rc3

io-util: actually retry on failure

Follow-up for e22c60a9d5dfc5f0b260c7906f3546aef2925998.

Fixes #30152.

Merge pull request #30153 from bluca/news

Update NEWS and hwdb

NEWS: note about reexec on update, for sd-executor

NEWS: update contributors list

hwdb: update

systemctl: distinguish reload and reexec

This used to log about reload, for reload and reexecution. Let's
distinguish the two cases.

conf-parser: only read the first found main config file

Follow-up for 93f1da45566d064f4f053b37bbac2813631f58b1
and 8ea288db018c7dfe0016d51d4538539bab4ab6de

Before the offending commits, we only read the first found
main config file. If the main config file is symlinked to/as
a drop-in, we should break instead of continuing, for it to
be read later.

recurse-dir: correct comment

The RECURSE_DIR_ENSURE_TYPE flag is actually interpreted by
readdir_all() already, hence rearrange comments to say so.

Merge pull request #30145 from poettering/reset-terminal-line-editing

make terminal line editing work with systemd-firstboot

Merge pull request #30149 from yuwata/setlocale

locale-util: do not call setlocale() when multi-threaded

Merge pull request #30143 from poettering/machine-credential-fixes

machine credential fixes

Merge pull request #30024 from keszybz/one-doc-thingy

Serialize units ratelimits and document StartLimitIntervalSec=infinity

fs-util: add comment explaining what xopenat() is for

locale-util: drop unused init_gettext()

The function has not been used since 96d9117ad2db7d8c13f7898127eee8939e88daf1.

locale-util: do not call setlocale() when multi-threaded

Fixes #30141.

machine-credential: tweak --load-credential= use a bit

Let's try to recognize paths (i.e. those with a "/") as source for
credentials to load, and then read them from the file system. Also, only read
credentials from an inbound credentials directory if the source
qualifies as valid credential name.

Otherwise print a nice error.

machine-credential: simplify code a bit

machine-credential: use word 'Credential' rather than 'MachineCredential'

Probably some search/replace mistake.

machine-credential: fix GREEDY_REALLOC error handling

We must check the return value of GREEDY_REALLOC for OOM, and the
pointer are updated already on success, hence it's a bad idea to make a
copy of the pointer beforehand.

machine-credential: fix error logging

Remove duplicate logging: let exclusively
machine_credential_load()/machine_credential_set() log, and not the
caller again.

journal: sync immediately on shutting down journald

Otherwise, sd_event_add_time_relative() or sd_event_source_set_time_relative()
below will trigger assert_return().

Prompted by #30029.

core: serialize and deserialize trigger ratelimits for socket and path

core: use uniform style for RateLimit initialization

RateLimit is designed so that we can always initialize only the first two
fields explicitly. All other call sites use a single line for this.

firstboot: reset terminal settings right before asking a question

We are about to do interactivity on the terminal, hence let's ensure we
are in the TTY mode we expect to be in.

terminal-util: drop ECHOPRT flag from TTY settings when resetting

Let's disable ECHOPRT for terminals we reset.

The feature only really makes sense for hardcopy terminals and we sure
as shit don't talk to one of those. It has the effect that when line
editing is on and you hit backspace it outputs "\" followed by the
removed character. This never makes sense on a TTY that can just erase
the character.

Hence turn of this flag.

We have carried this flag along for about forever, but it doesn't really
make sense. I guess we mostly tested the terminal reset stuff for output
only, not for input.

This change is in particular useful for tools such as
"systemd-firstboot" which interactively ask questions on the console,
and where line editing should really work.

terminal-util: trivial modernizations for reset_terminal_fd()

core: serialize and deserialize auto start/stop ratelimit

The limit is not configurable, so the logic in the helper will always update
the counters. The helper is a bit overkill, but it doesn't really matter.

core: serialize and deserialize unit start ratelimits

The logic is taken from dump ratelimit: if the config changes, we discard the
counters. This allows the user apply new limits and "start from scratch" in
that case.

This actually makes StartLimitIntervalSec=infinity (or with a large interval)
work as expected, because the counter is maintained even if daemon-reload
operations are interleaved.

update TODO

po: Translated using Weblate (Hebrew)

Currently translated at 100.0% (227 of 227 strings)

Co-authored-by: Yaron Shahrabani <sh.yaron@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/he/
Translation: systemd/main

Merge pull request #30133 from yuwata/fix-draw-cylon

pid1: fix draw_cylon()

sd-journal: warn about seals may not be continuous only when the file is sealed

Follow-up for e375bc5fcc080815ce849261eb505d084c2fde3e.

Fixes #30118.

test: add test for draw_cylon()

pid1: move draw_cylong() to pretty-print.[ch]

pid1: terminate cylon string

Fixes #30121.

test: make sure pcrlock tests run headless

We want the tests to fail rather than hang if unlock via tpm doesn't
work.

Merge pull request #30128 from yuwata/network-rapid-commit-follow-ups

network/dhcp: several follow-ups for RapidCommit=

Update 60-autosuspend.hwdb (#30131)

* Update 60-autosuspend.hwdb

Framework provides expansion cards. For the HDMI and DisplayPort, these benefit power management via enabling auto suspend.

pid1: drop unnecessary space

test-network: add tests for [DHCPv4] AllowList= and DenyList=

We have not tested if the settings actually filter DHCP servers.
Let's add a test case for the settings.

Note, the .network file used here has been unused since
0730e3767d91e020985dc5c7c2178460f627581a. So, we can freely reuse it
without changing other test cases.

Closes #30107.

network/dhcp: disable RapidCommit= by default when AllowList=/DenyList= is specified

AllowList= and DenyList= filter only DHCPOFFER messages. So, if
RapidCommit= is enabled, then networkd unconditionally accepts a rapid
ACK message even if its sender is filtered out by the lists.

As AllowList=/DenyList= implemented earlier than RapidCommit=, so
enabling RapidCommit= unconditionally by default may break existing
setups that use AllowList=/DenyList=.

Let's disable RapidCommit= by default when AllowList=/DenyList= is
enabled. Still the setting can be enabled by setting explicitly even
AllowList=/DenyList= is also specified.

man: [DHCPv4] RapidCommit= is disabled when Anonymize=yes

systemctl: fix typo

Follow-up for f380473edfa899706d630bb64750ab50c5c04961.

Fix references to ReadOnly=

PartitionReadOnly is not a valid property and ReadOnly was meant instead.

tpm2-util: rename json field "tpm2-pcrlock" → "tpm2_pcrlock"

We generally want to avoid to include dashes in json field names. We
historically made a mistake there which is hard to fix. But for new
fields, let's get this right. We already got it right for a bunch of new
fields, hence also make sure to use underscores rather dashes for new
additions.

This field was added post v254, and since we didn't release since then,
let's just rename it.

bsod: install the signal handler only just before we need it

Otherwise we might get stuck in sd_journal_wait(), since it handles
EINTR internally.

Resolves: #30084

po: Translated using Weblate (Hebrew)

Currently translated at 37.0% (84 of 227 strings)

po: Translated using Weblate (Hebrew)

Currently translated at 15.8% (36 of 227 strings)

po: Added translation using Weblate (Hebrew)

Co-authored-by: Yaron Shahrabani <sh.yaron@gmail.com>
Translate-URL: https://translate.fedoraproject.org/projects/systemd/master/he/
Translation: systemd/main

kernel-install: do not resolve symlink in paths passed to plugins

When we resolve symlinks, paths (especially filenames) may be changed,
but plugins may expect to see the kernel added under the name specified,
not under the final name that the symlink chain resolves to.

This makes symlinks in specified paths that passed to plugins are not
resolved when neither --root nor --image specified.

Fixes #29317.

systemd.pc: Keep support for rootprefix and root_prefix (#30115)

* systemd.pc: Keep support for rootprefix and root_prefix

We dropped support for split-usr in https://github.com/systemd/systemd/commit/b0d3095fd6cc1791a38f57a1982116b4475244ba
but kept the `rootprefix` variable in meson but ignore it to make sure we do
not break downstream builds that depend on systemd.

This is fine because we had logic in our meson.build that rootprefix and prefix need to be the
same when split-usr=false.

However we never had this logic in our systemd.pc.in file. This leads to a nasty breaking problem
downstream. Many packages [0,1,2]  (there might be more!) rely on overriding rootprefix or root_prefix when calling pkg-config to configure where
to install systemd units. This is because before split-usr we installed units in rootprefix. Setting prefix
on the pkg-config file didn't work. Even when split-usr=false people had to set rootprefix to install units
in the right position.

E.g. they have a line like:

    systemdunitdir = systemd.get_variable(pkgconfig: 'systemdsystemunitdir', pkgconfig_define: ['rootprefix', systemd_root_prefix])

With https://github.com/systemd/systemd/commit/b0d3095fd6cc1791a38f57a1982116b4475244ba landing
This would mean all these downstream packages need to be patched to use `prefix` next to `rootprefix`.
(Both need to be kept to keep backwards compat with using older versions of systemd).

This puts a big burden on downstream packages.
Instead we should not break the existing behaviour and keep the old behaviour of systemd.pc.in around.
I've changed systemd.pc.in such that either setting prefix, rootprefix or root_prefix will all have
the same effect. This way we do not break any downstream packages.

- [0](https://github.com/fwupd/fwupd/blob/caa788b37ff34334d83debb047335fd12f3a7836/meson.build#L464)
- [1](https://gitlab.freedesktop.org/mobile-broadband/ModemManager/-/blame/main/meson.build#L204)
- [2](https://github.com/PipeWire/pipewire/blob/49cdb468c28ba366dbd08eef9cb6dbf2dea2a2e5/src/daemon/systemd/system/meson.build#L1)

systemctl-show: only show available memory if it was artifically limited

Systemd 255 changed the semantic of MemoryAvailable with 3565c709f587 ("cgroup:
Fix MemoryAvailable= by considering physical memory"). If there is no
artificial constraint, it will hold the amount of available physical memory,
while it previously contained UINT64_MAX.

While the change in MemoryAvailable's semantic is sensible, it causes
`systemctl status` to always display the available physical memory. This
creates a lot of noise, especially since systemd recently started to also show
the "peak" memory. For example

$ systemctl status foo
…
Memory: 3.9G (available: 21.2G peak: 5.4G)
…

However, while peak memory is a unit specific value, the available memory, when
not derived from artificial memory limits, is a generic property that holds the
same value for all units that are not under memory accounting
constraints. Displaying it under those circumstances can therefore be
considered being noisy.

Before 3565c709f587 ("cgroup: Fix MemoryAvailable= by considering physical
memory") "systemctl status" would only show the available memory if it was
caused by a explicit memory limitation due to MemoryHigh or MemoryMax.

This commit restores this behavior by supressing displaying the available
memory if is is merely the available phyiscal memory. For example

$ systemctl status foo
…
Memory: 3.9G (peak: 5.4G)
…

Fixes #30102.

TODO: register more mime types

in-addr: improve log message for e.g. [DHCPv4] AllowList=

Closes #30107.

man: correct version tags in systemd-vmspawn

We ended up merging some changes earlier

Fixes https://github.com/systemd/systemd/issues/30091

Merge pull request #30108 from mrc0mmand/packit-testing-farm

packit: run tests on Fedora Rawhide via Testing Farm

packit: run tests on Fedora Rawhide via Testing Farm

Let's utilize the full power of Packit and run some tests with the just
built RPMs. This makes use of the Fedora infrastructure provided by
the Testing Farm project [0][1].

With the current configuration, the `tests` job runs tests from the
Fedora tests repository [2] in a very similar fashion like Ubuntu CI
does, just with different metadata all around it. ATTOW there are only
two tests, which are wrappers around unit tests and integration tests;
the latter one currently runs only nspawn-based tests, since there's no
KVM on the test VMs, and, for now, I'd like to see how well the infra is
going to manage our upstream traffic and how stable the whole thing is
end up being before increasing the work load.

[0] https://docs.testing-farm.io/Testing%20Farm/0.1/index.html
[1] https://packit.dev/docs/configuration/upstream/tests
[2] https://src.fedoraproject.org/tests/systemd

test: don't use ddebug() before it's defined

I'm pretty sure this is not the only case, but it's the one I recently
noticed. Even though we call ddebug() from a function, that function is
called before ddebug() is defined, resulting in the same issue as if we
called just ddebug() in its place, i.e.:

..//test-functions: line 276: ddebug: command not found

test: move a couple of binaries to the BASICTOOLS array

As they're not optional.

test: support NO_BUILD=yes on Fedora

test: make the LOOKS_LIKE_* variables proper booleans

Merge pull request #30074 from YHNdnzj/hibernate-unsupported

hibernate-util: if asked to bypass space check, accept the case when we have no swap space at all

libsystemd-network: introduce triple_timestamp_from_cmsg()

Follow-up for 461ef3981f1a45150b6e2047bb3c789ac50ba3cf.

This should fix compile error on x32 and riscv32.

Merge pull request #30104 from poettering/pcrlock-empty-object-fix

pcrlock: fix for parsing corrupted userspace event log

Merge pull request #30095 from yuwata/kernel-install-exit-code

kernel-install: exit code

test: add simple test case for invalid userspace log records

pcrlock: check for embedded NUL bytes