bootspec: move augmentation of loader-discovered entries into bootspec.c

Previously, bootctl would show boot loader entries discovered by the
boot loader which couldn't found locally separately in the output.

Let's move this code into bootspec.c, and beef it up a bit. This way we
can use it later on for logind, and correctly show automatically
discovered windows/macos entries too.

bootspec: simplify find_default_boot_entry()

If the only caller passes NULL for the two paths, let's remove the
parameter altogether.

systemctl: let's FORK_WAIT where we can

systemctl: when something is not supported use EOPNOTSUPP

systemctl: be careful with boot loader entries lacking a 'linux' line

A boot loader entry might not have a 'linux' line, but an 'efi' line or
something else. Let's handle that case nicely.

bootspec: move log msg from systemctl.c to bootspec.c

find_default_boot_entry() is only used by systemctl.c, and currently
handles one log message in the caller instead of the callee. Let's
simplify that and move it over, too

bootctl: tweak 'list' output a bit

Let's suppress the final newline in the list if it's the last entry we
are outputting.

logind: optionally support non-EFI reboot-to-firmware

This extends the reboot-to-firmware logic in logind, so that other than
EFI firmwares could be theoretically support. The scheme is like this:
if you want to support this, set the $SYSTEMD_REBOOT_TO_FIRMWARE=1 env
var for logind. If so, this will override the EFI logic, and cause a
file /run/systemd/reboot-to-firmware file to be created when
reboot-to-firmware is requested. This file has no contents, it's mere
existance indicates a reboot with reboot-to-firmware set.

The idea is that for alternative firmwares a drop-in for logind is added
that sets the env var, in combination with some code run during shutdown
that checks for the file and does the right thing.

efivars: extend character set that may be used in boot loader entry ids a bit

See https://github.com/systemd/systemd/pull/10495#discussion_r233992570

Merge pull request #11896 from poettering/shutdown-fixes

move src/core/shutdown.c and helpers to src/shutdown/

docs: add a note about compilation options

Closes #6371.

core: warn if people use the undocumented/depreacted ConditionNull=

Triggered by:

https://github.com/systemd/systemd/issues/11812

udev: restore debug level when logging a failure in the external prog called by IMPORT{program}

It was already the case before commit a75211421fc9366068e6d9446e8e567246c72feb,
which upgraded the log to warning.

This seems an unintended side effect as the commit message doesn't mention it
and the old behavior looks more appropriate.

shutdown: rearrange shutdown sources in source tree

Let's move the shutdown binary into its own subdirectory in
src/shutdown, after all it is relatively isolated from the normal PID 1
sources, being a different binary and all.

Unfortunately it's not possible to move some of the code, since it is
shared with PID 1, that I wished we could move, but I still think it's
worth it.

shutdown: (void)ify more stuff

shutdown: fix up return type of sync_making_progress()

We shouldn't return negative errnos as "bool", hence fix the type of the
function to "int".

update TODO

Merge pull request #11881 from yuwata/networkd-vs-interface-renaming

Networkd vs interface renaming

udev: run programs in the specified order

This fixes bugs introduced by 29448498c724da7ade1b5efb20d7472c1b128d2c
and d838e14515c82b05a07f2bf393cce057b45b2b53.

Previously, RUN and SECLABEL keys are stored in udev_list with its unique
flag is false. If the flag is false, then udev_list is just a linked
list and new entries are always added in the last.
So, we should use OrderedHashmap instead of Hashmap.

Fixes #11368.

hwdb: add touchpad resolutions for 2015-2017 MacBook(Pro)'s. (#11874)

These are all models using an SPI keyboard and touchpad and using the
same applespi kernel driver.

travis: use /bin/systemd instead of /usr/bin/systemd

Apparently systemd is in /bin now.

dhcp: refuse to configure DHCP IAID if the interface is under renaming

systemd-networkd itself does not start dhcp client, but the code
may be used in other projects. So, check that the interface is under
renaming or not.

network: do not configure interfaces under renaming

util: introduce device_is_renaming()

It will be used in the later commit.

network: always drop configs when interface is renamed

Before the renaming, wrong .network file may be assigned to the link.
So, let's always drop link configuration.

udev: set ID_RENAMING property when interface renaming is requested

And drop the property on the corresponding 'move' uevent.

udev: do not read UdevEvent object before checking it is non-NULL

udev: drop unnecessary copy of new interface name

netlink: check new interface name is valid or not before sending request

Merge pull request #11841 from keszybz/dns-packet-speedup

DNS packet speedup

Merge pull request #11871 from yuwata/systemctl-show-format-unprintable

systemctl: format many entries in 'show' command

Merge pull request #11888 from keszybz/non-atomic

Drop unused atomic operations

fuzz-dns-packet: add test case with lots of labels

https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=13422

resolved: when adding RR to an answer, avoid comparing keys twice

We'd call dns_resource_record_equal(), which calls dns_resource_key_equal()
internally, and then dns_resource_key_equal() a second time. Let's be
a bit smarter, and call dns_resource_key_equal() only once.

(before)
dns_resource_key_hash_func_count=514
dns_resource_key_compare_func_count=275
dns_resource_key_equal_count=62371
4.13s user 0.01s system 99% cpu 4.153 total

(after)
dns_resource_key_hash_func_count=514
dns_resource_key_compare_func_count=276
dns_resource_key_equal_count=31337
2.13s user 0.01s system 99% cpu 2.139 total

resolve: split the RR comparison function in two

No functional change.

resolved: use a temporary Set to speed up dns question parsing

This doesn't necessarily make things faster, because we still spend more time
in dns_answer_add(), but it improves the compuational complexity of this part.
If we even make dns_resource_key_equal_faster, this will become worthwhile.

systemctl: format LogExtraFields= in 'show' command

systemctl: format BindPaths= or TemporaryFileSystems= in 'show' command

systemctl: print RestrictAddressFamilies= in 'show' command

systemctl: show nothing if no LoadError=

systemctl: format IPIngressBytes= or friends nicely

systemctl: show IPAddressAllow= and IPAddressDeny= in 'show' command

test: add tests for test_in_addr_prefix_to_string()

test: move tests for in_addr_prefix_from_string()

util: introduce in_addr_prefix_to_string()

util: use _cleanup_ attributes

core: fix received size of signal or status size

sd_bus_message_read_array() returns size of array in bytes, not number
of elements.

This also convert int to int32_t, as the dbus type 'i' is int32_t.

sd-hwdb: fix off_t vs. size_t confusion in cast

> on 32bit, size_t is 32bit, but .st_size is off_t hence 64bit

systemctl: show SuccessExitStatus= and friends

systemctl: use streq() if arguments must be non-NULL

systemctl: do not show negative values in {Success,Failure}ActionExitStatus=

bus-util: drop unnecessary re-formatting

systemctl: show SELinuxContext=, AppArmorProfile= and SmackProcessLabel=

Run: systemctl show -a dbus.service | grep -E "SELinuxContext|AppArmorProfile|SmackProcessLabel"

Before patch:
  SELinuxContext=[unprintable]
  AppArmorProfile=[unprintable]
  SmackProcessLabel=[unprintable]

After patch:
  SELinuxContext=[""|"value of context"]
  AppArmorProfile=[""|"value of context"]
  SmackProcessLabel=[""|"value of context"]

semaphoreci: caching and more robust creation of container image

lxc-create in semaphore sometimes fails with

    ERROR: Unable to fetch GPG key from keyserver

Which often happens behind proxies. As the default key server is a load
balancer, retry a few times.

Also, cache the container image between runs, and only recreate it when
it is older than a week.

test: do not assume test-chown-rec is running as root

Remove now-unused refcnt.h

sd-netlink: do not use atomic reference counters

Same as with the other users, any non-trivial use of the objects requires
use from a single thread only or external locking. Using atomic operations
just for reference counts is not useful.

sd-hwdb: some minor logging and style updates

sd-hwdb: use non-atomic reference counters

The sd-hwdb objects cannot be used concurrently from two threads in any
meaningful way, because query and iteration operations modify the object.
Thus atomic reference counts are pointless.

bus: make reference counting non-atomic

We had atomic counters, but all other operations were non-serialized. This
means that concurrent access to the bus object was only safe if _all_ threads
were doing read-only access. Even sending of messages from threads would not be
possible, because after sending of the message we usually want to remove it
from the send queue in the bus object, which would race. Let's just kill this.

tests: use the test helpers in more places

This is mostly cosmetic. It makes those test binaries support SYSTEMD_LOG_*
environment variables.

Merge pull request #11820 from dm0-/chase

Allow tmpfiles to create files in a root under an unprivileged directory

Merge pull request #11770 from yuwata/fix-9955

network: rework address pool

login: HyperV requires master-of-seat to be set

v2: Update comment provided by Lennart

Fixes: https://github.com/systemd/systemd/issues/11299

fuzz-dhcp6-client: avoid assertion failure on samples which dont fit in pipe

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=11584.

Merge pull request #11882 from yuwata/fix-log-syntax

Fix log_syntax()

test: add tests for log_syntax()

log: make log_syntax() assign correct errno and show valid error cause

xbootldr: multiple spaces between keys and values (#11872)

The example below the changed line has multiple spaces between e.g. `title` and `Fedora`

man: flush-caches and reset-server-features are commands for resolvectl (#11877)

Merge pull request #11472 from poettering/sd-bus-ref-tweak

try harder to detect when a bus and its queued messages are fully unreffed and free everything then

Merge pull request #11863 from poettering/subvol-no-submount

nspawn: don't descend into subvols on --ephemeral

man: document that --ephemeral and --template= don't cover submounts

We never made this clear, let's fix that.

btrfs: when falling back to plain copy when snapshoting exclude submounts

The subvol snapshot logic doesn't cover sub-mounts either, and it really
shouldn't in the general case, hence let's simply stop at submounts in
all cases, both in the main and in the fall-back codepath.

As discussed here:

https://github.com/systemd/systemd/pull/11243#pullrequestreview-209477230

Merge pull request #11243 from poettering/nspawn-root-overlay

add systemd-nspawn --volatile=overlay support, as well as the same for host systems

test: add test for new sd-bus refcnt logic

sd-bus: use "queue" message references for managing r/w message queues in connection objects

Let's make use of the new concept the previous commit added.

See: #4846

bus-message: introduce two kinds of references to bus messages

Before this commit bus messages had a single reference count: when it
reached zero the message would be freed. This simple approach meant a
cyclic dependency was typically seen: a message that was enqueued in a
bus connection object would reference the bus connection object but also
itself be referenced by the bus connection object. So far out strategy
to avoid cases like this was: make sure to process the bus connection
regularly so that messages don#t stay queued, and at exit flush/close
the connection so that the message queued would be emptied, and thus the
cyclic dependencies resolved. Im many cases this isn't done properly
however.

With this change, let's address the issue more systematically: let's
break the reference cycle. Specifically, there are now two types of
references to a bus message:

1. A regular one, which keeps both the message and the bus object it is
   associated with pinned.

2. A "queue" reference, which is weaker: it pins the message, but not
   the bus object it is associated with.

The idea is then that regular user handling uses regular references, but
when a message is enqueued on its connection, then this takes a "queue"
reference instead. This then means that a queued message doesn't imply
the connection itself remains pinned, only regular references to the
connection or a message associated with it do. Thus, if we end up in the
situation where a user allocates a bus and a message and enqueues the
latter in the former and drops all refs to both, then this will detect
this case and free both.

Note that this scheme isn't perfect, it only covers references between
messages and the busses they are associated with. If OTOH a bus message
is enqueued on a different bus than it is associated with cyclic deps
cannot be recognized with this simple algorithm, and thus if you enqueue
a message associated with a bus A on a bus B, and another message
associated with bus B on a bus A, a cyclic ref will be in effect and not
be discovered. However, given that this is an exotic case (though one
that happens, consider systemd-bus-stdio-bridge), it should be OK not to
cover with this, and people have to explicit flush all queues on exit in
that case.

Note that this commit only establishes the separate reference counters
per message. A follow-up commit will start making use of this from the
bus connection object.

sd-bus: always go through sd_bus_unref() to free messages

Don't try to be smart, don't bypass the ref counting logic if there's no
real reason to.

This matters if we want to tweak the ref counting logic later.

sd-bus: drop two inappropriate empty lines

sd-bus: make sure dispatch_rqueue() initializes return parameter on all types of success

Let's make sure our own code follows coding style and initializes all
return values on all types of success (and leaves it uninitialized in
all types of failure).

sd-bus: reorder bus ref and bus message ref handling

Let's always place handling of these references together, so that all
reference counting during allocation is at a single place.

sd-bus: make rqueue/wqueue sizes of type size_t

Let's do this like we usually do and size arrays with size_t.

We already do this for the "allocated" counter correctly, and externally
we expose the queue sizes as uint64_t anyway, hence there's really no
point in usigned "unsigned" internally.

sd-bus: initialize mutex after we allocated the wqueue

That way the mutex doesn't have to be destroyed when we exit early due
to OOM.

test: fix indenting off by one

Merge pull request #11701 from poettering/discover-bls

sd-boot,bootctl,gpt-auto: support Extended Boot Loader Partition

man: document new systemd.volatile=overlay kernel command line option

man: document nspawn's new --volatile=overlay switch

copy: don't synthesize a 'user.crtime_usec' xattr on copy unless explicitly requested

Previously, when we'd copy an individual file we'd synthesize a
user.crtime_usec xattr with the source's creation time if we can
determine it. As the creation/birth time was until recently not
queriable form userspace this effectively just propagated the same xattr
on the source to the same xattr on the destination. However, current
kernels now allow to query the birthtime using statx() and we do make
use of that now. Which means that suddenly we started synthesizing these
xattrs much more regularly.

Doing this actually does make sense, but only in very few cases:
not for the typical regular files we copy, but certainly when dealing
with disk images. Hence, let's keep this kind of propagation, but let's
make it a flag and default to off. Then turn it on whenever we deal with
disk images, and leave it off otherwise.

This is particularly relevant as overlayfs combining a real fs, and a
tmpfs on top will result in EOPNOTSUPP when it is attempted to open a
file with xattrs for writing, as tmpfs does not support xattrs, and
hence the copy-up cannot work. Hence, let's avoid synthesizing this
needlessly, to increase compat with overlayfs.

gpt-auto-generator: use new /run/systemd/volatile-root symlink as fallback when we otherwise cannot determine root device node

gpt-auto-generator: rename open_parent() → open_parent_devno() so that we can include fs-util.h later

As that header also defines a function open_parent() which does
something different.

volatile-root: export original root

volatile-root: add overlay mode for host boots, too

volatile-root: fail if we can't parse specified parameter

volatile-root: add missing logging to volatile-root

volatile-util: tweak query_volatile_mode() a bit

nspawn: rework how arg_read_only is initialized in --volatile= mode

Previously, we'd refuse the combination, and claimed we'd imply it, but
actually didn't. Let's allow the combination and imply read-only from
--volatile=, because that's what's documented, what we claim we do, and
what makes sense.

nspawn: refactor how we determine whether it's OK to write to /etc

nspawn: no need to make top-level directory a bind mount if we just dissected an image

nspawn: slightly reorder mount logic

Let's first setup the volatile logic, and only then mount secondary
partitions of the image in.