basic: track dirty state in HashmapBase

This only adds marking the HashmapBase as dirty, no clearing of
the dirty state happens yet.

No functional changes.

core/dbus-execute: actually set PassEnvironment= (#7510)

Follow-up for #7444.

man: fix typo (#7511)

Fix SELinux labels in cgroup filesystem root directory (#7496)

When using SELinux with legacy cgroups the tmpfs on /sys/fs/cgroup is by
default labelled as tmpfs_t. This label is also inherited by the "cpu"
and "cpuacct" symbolic links. Unfortunately the policy expects them to
be labelled as cgroup_t, which is used for all the actual cgroup
filesystems. Failure to do so results in a stream of denials.

This state cannot be fixed reliably when the cgroup filesystem structure
is set-up as the SELinux policy is not yet loaded at this
moment. It also cannot be fixed later as the root of the cgroup
filesystem is remounted read-only. In order to fix it the root of the
cgroup filesystem needs to be temporary remounted read-write, relabelled
and remounted back read-only.

core: support upgrading from DynamicUser=0 to DynamicUser=1 for unit directories (#7507)

This makes sure we migrate /var/lib/<foo> if it exists to
/var/lib/private/<foo> if DynamicUser=1 is set. This is useful to allow
turning on DynamicUser= on services that previously didn't use it, and
we can deal with this, and migrate the relevant directories as
necessary.

Note that "downgrading" from DynamicUser=1 backto DynamicUser=0 works
too. However in that case we simply continue to use
/var/lib/private/<foo>, which works because /var/lib/<foo> is a symlink
there after all.

Merge pull request #7444 from poettering/dbus-no-spec

unit writing escaping fixes + related fixes and additions

Merge pull request #7508 from poettering/journal-n-drop

journal: fix log message when dropping messages

journal: fix log message when dropping messages

Fixes: #7506

update TODO

bus-unit-util: slightly tweak log output for unknown props

Pretty:

        Unknown assignment Foo=bar.

Prettier:

        Unknown assignment: Foo=bar

run: rearrange error handling when adding unit properties

Let's always leave logging to the call that actually added the fields to
the bus message. This way we don't get duplicate logging whenver
bus_append_unit_property_assignment() ends up being called, which does
all its logging on its own (and probably should do, as it can output
much more precise errors).

bus-unit-util: add proper MemorySwapMax= serialization

Fixes: #7505

core: accept MemorySwapMax= properties that are scaled, too

Let's do what we already do for MemoryMax= and friends for
MemorySwapMax= too.

tty-ask-password-agent: drop NULL sentinel

found by coccinelle

coccinelle: add a run-coccinelle.sh script that runs all scripts

One day we should start running something like this as part of CI so
that non-well-formed commits are not even accepted...

coccinelle: fix IN_SET/!IN_SET scripts, and apply some changes it found

IN_SET only works for constant values, hence clarify that. Moreover, we
declared a statement "s" we never made use of. Drop it.

Also, for both scripts, let's support 10 items. More causes spatch to
die with "Stack overflow" for me.

Merge pull request #7493 from keszybz/revert-revert

Revert "meson: drop rootprefix option"

Merge pull request #7504 from keszybz/two-mkosi-ideas

Two mkosi tweaks

Merge pull request #7500 from poettering/journal-field-count

fix journald field counts

Add mkosi.output/ to .gitignore

It's not something that would ever be checked in, and mkosi along
with systemd, so this directory is likely to appear.

mkosi: do not build man pages

meson: emit a warning if rootprefix is set

It's printed at the end because it's the easiest to spot there.

When meson is upgraded to 0.43.1, we'll be able to use warning() instead.

tree-wide: use strv_isempty() instead of strv_length() == 0

It's a lot faster in many cases, since it's O(1) rather than O(n).

bus-unit-util: properly serialize EnvironmentFile= empty assignment

In that case we need to generate an empty array.

tests: fix description of TEST-14-MACHINE-ID

It used the same description as TEST-01, and that's hardly helpful.

core: use safe_fclose() where we can

fileio: document why fileio-label.c and fileio.c are two different modules

documentation: add document listing all unit file settings also supported for transient units

Unfortunately, there are far too many properties currently not
accessible to transient units. The first step to opening them all up is
to figure out which ones they are.

core: open up all ExecXYZ= fields of service units to transient units

Fixes: #7400

core: never remove "transient" and "control" directories from unit search path

This changes the unit search path logic to never drop the transient and
control directories from the unit search path. This is necessary as we
add new entries to both during runtime, due to the "systemctl
set-property" and transient unit logic.

Previously, the "transient" directory was created during early boot to
deal with this, but the "control" directories were not covered like
that. Creating the control directories early at boot is not possible
however, as /etc might be read-only then, and we do define a persistent
control directory. Hence, let's create these dirs on-demand when we need
them, and make sure the search path clean-up logic never drops them from
the search path even if they are initially missing.

(Also, always create these paths properly labelled)

core: don't reference rescue/emergency targets in --user mode

They are only defined for system mode, hence let's not check for them in
--user mode.

Follow-up for #7433

core: minor simplification

path-lookup: LookupPathsFlags are a flags type, hence define it like one

We shouldn't rely on C's incremental assignment of values of enums for
bit fields. That'll work only between the first two flags, but for
everything following will break horrible. Hence, let's avoid any
ambiguity here, and let's clearly define the flags as shifts of 1.

systemctl: reword "needs-reload" message a bit

This message is displayed either when the unit file itself is newer than
what is loaded, but also when any of the drop-ins is newer. Say so in
the message, in order not to confuse the user unnecessarily.

core: allow changing the description for units dynamically at runtime

This makes "systemctl set-property foobar.service Description=waldo"
work.

See: #7245

tree-wide: generate SD_BUS_ERROR_INVALID_ARGS when we get invalid arguments on bus calls

Let's make sure that when we return a D-Bus error, we return a native
one, if we generate it ourselves, and use errno-based error
synthetization only if we received an errno ourselves. Yes, this makes
things slightly longer, but is highly misleading as we propagate D-Bus
errors, and not errnos to the client.

core: add proper escaping to writing of drop-ins/transient unit files

This majorly refactors the transient unit file and drop-in writing
logic, so that we properly C-escape and specifier-escape (% → %%)
everything we write out, so that when we read it back again, specifiers
are parsed that aren't supposed to be parsed.

This renames unit_write_drop_in() and friends by unit_write_setting().
The name change is supposed to clarify that the functions are not only
used to write drop-in files, but also transient unit files.

The previous "mode" parameter to this function is replaced by a more
generic "flags", which knows additional flags for implicit C-style and
specifier escaping before writing things out. This can cover most
properties where either form of escaping is defined. For the cases where
this isn't sufficient, we add helpers unit_escape_setting() and
unit_concat_strv() for escaping individual strings or strvs properly.

While we are at it, we also prettify generation of transient unit files:
we try to reduce the number of section headers written out: previously
we'd write the right section header our for each setting. With this
change we do so only if the setting lives in a different section than
the one before.

(This should also be considered preparation for when we add proper APIs
to systemd to write normal, persistant unit files through the bus API)

logind: fix sysfs change trigger code

We can't create files in sysfs, hence don't bother. Also if we ignore
the return value, do so explicitly by casting to void.

generators: be more careful when writing unit settings that support specifier expansion

Let's always escape strings we receive from the user before writing them
out to unit file settings that suppor specifier expansion, so that user
strings are transported as-is.

core: enable specifier expansion for What=/Where=/Type=/SourcePath= too

Using specifiers in these settings isn't particularly useful by itself,
but it unifies behaviour a bit. It's kinda surprising that What= in
mount units resolves specifies, but Where= does not. Hence let's add
that too. Also, it's surprising Where=/What= in mount units behaves
differently than in automount and swap units, hence resolve specifiers
there too. Then, Type= in mount units is nowadays an arbitrary,
sometimes non-trivial string (think fuse!), hence let's also expand
specifiers there, to match the rest of the mount settings.

This has the benefit that when writing code that generates unit files,
less care has to be taken to check whether escaping of specifiers is
necessary or not: broadly everything that takes arbitrary user strings
now does specifier expansion, while enums/numerics/booleans do not.

core: process C-style escapes in UnsetEnvironment=

We process C-style escapes in Environment=, hence we should process it
in UnsetEnvironment= too, as the latter accepts assignments much like
the former, including arbitrary values specified by the user.

core: use config_parse_unit_string_printf() for decoding RebootArgument=

All other cases where we accept a reboot argument are decoded with
config_parse_unit_string_printf() rather than
config_parse_unit_path_printf(), and that's really the only thing what
makes sense here, hence adjust this here, too.

CODING_STYLE: document the order in which unescaping + specifier expansion should be done

specifier: unify specifier implementations for user-related specifiers

The code in install-printf.c and unit-printf.c for these is pretty much
the same and very generic. Let's move this all over to the generic
specifier.c, and share the implementations.

specifier: add helper for escaping '%' characters to avoid making them subject for expansion

This is ultimately just a wrapper around strreplace(), but it makes
things a bit more self-descriptive.

string-util: update strreplace() a bit, use GREEDY_REALLOC()

core: drop specifier expansion when parsing transient dbus properties

Specifier expansion (much like C escape handling) should be a helper for
writing unit files, but should be nothing we do on programatic APIs. For
those, the client can do the necessary replacements anyway, and we
really should be careful with doing such string processing of data we
get via lower level programmatic APIs.

We currently do specifier expansion only for the env var transient unit
APIs, no other properties do this. Let's remove it here too, to be fully
systematic.

Yes, in a way this is API breakage, but then again this API isn't
documented yet, and an outlier, hence let's clear this up now, before it
is too late.

journald: correct field counts

N_IOVEC_OBJECT_FIELDS is bumped 14 → 18 (see dispatch_message_real() and
count!)

N_IOVEC_PAYLOAD_FIELDS is bumped 15 → 16 (see
server_space_usage_message() and count!)

Also, add comments, to make clear what is what.

journal: driver messages can now contain object fields, account for that

In some cases we can now log about processes, hence we must keep room
for that.

Merge pull request #7492 from keszybz/coverity-fixes

A few more cleanups based on coverity and valgrind

udev/collect: use _cleanup_ in one more place

This doesn't make the code pretty, but it at least makes it a tiny bit shorter.

udev/collect: remove dead conditional

Coverity rightly says that 'word' is assigned to 'ptr', and 'word'
was assigned from 'ptr' (yikes) right after a non-null check.

journal: avoid undefined behaviour in float division by 0.0

Coverity says that's undefined. I'm pretty sure we always would get a nan, but
let's avoid (formally) undefined behaviour since that can cause compilers to do
strange things.

networkd: fix memleak of Rules

This was the issue mentioned in 93f9da6e0a.

journal: use new helpers with journal_file_close

journal_file_close_set() is not necessary anymore.

journal-remote: add helper function and use hashmap_free_with_destructor

cryptsetup-generator: add helper function and use hashmap_free_with_destructor

coredump: fix typo and use hashmap_free_with_destructor

machine-image: convert image_hashmap_free() to an static inline helper

Add set/hashmap helpers for non-trivial freeing and use where straighforward

A macro is needed because otherwise we couldn't ensure type safety.
Some simple tests are included.
No functional change intended.

Use hashmap_free_free where appropriate

Revert "meson: drop rootprefix option"

This reverts commit ee4bfa21f62dbf4d8f2be27d3c763c3c16743bfd.

Also add comment so that this doesn't get deleted again by mistake.

Replaces #7461.

Merge pull request #7490 from yuwata/test-basic

add more tests for basic functions

networkd: Add comment for setting_mtu #7460 (#7489)

Follow up #7460

Merge pull request #7486 from keszybz/coverity-fixes

Fixes for issues spotted by coverity (and some cleanups)

test-cap-list: add more tests about capability_set_{from,to}_string()

test: move tests about cap_list_cap() from test-cap-list to test-capability

cap-list: check range of numeric value

test-bitmap: add tests for bitmap_copy()

test-architecture: add more tests

test-alloc-util: add tests for memdup_suffix0() and greedy_realloc()

tests: add tests for empty string

alloc-util: coding style fix

Merge pull request #7398 from keszybz/udev-list

udev: use list.h instead of udev_list_node

Merge pull request #7484 from poettering/sd-resolve-timeout

timeout sd-resolve tests

pid1: improve syntax in error message

pid1: clarify that min_max is always initialized

read_one_line_file() always returns <= 0, so the code was OK, but let's write
the check a bit differently to make it obvious that min_max is always set.

test-hostname-util: add assert_se's to make coverity happy

test-process-util: add (void) cast to make coverity happy

The intent is for the call to succeed only when privileged, so make
that clear.

test-fd-util: add assert_se to make coverity happy

udevadm-monitor: add some assert_se's to make coverity happy

We do that elsewhere and it's nice to be consistent.

core/umount: use _cleanup_ in one more place

sd-resolve: check that name fits in the specified packet length

Coverity complained that we didn't check if the data is long enough.

shim: fix logically dead code

The alternate verification path could never be taken.

Found by coverity.

networkd: remove dead code

Found by coverity.

test-ndisc-ra: add assert_se() to make coverity happy

boot/shim: fix char ** vs char * mismatch

This code cannot have ever worked ;(

Found by coverity, obvious when the type is not obfuscated to void*.

boot/efi: fix NULL dereference

The comment above makes the intent of the code pretty clear:
"use security2_protocol == NULL as indicator".
So revert the condition in the check and fix the logic in the comment while
at it.

The question is how this could have ever worked: if BS->LocateProtocol
(which is supposedly optional) ever failed, we'd crash here. Strange.

Found by coverity.

dissect-image: simplify check for passphrase presence

m->encrypted is set when fstype=="crypto_LUKS", but this is not obvious when
reading decrypt_partition(). Just check if passphrase is set before using
it.

networkd: fix reversed arguments

Found by coverity.

Also drop unused return value while at it.

networkd: plug some memleaks in rule serialization/deserialization

This fixes the (mostly theoretical, since we're only parsing data that we write
ourselves) memleak when iif or oif is deserialized multiple times. Unfortunately
it does not fix the memleak when rule is freed, but that'll require a bigger
effort.

networkd: fix serialization of {Incoming,Outgoing}Interface

Let's just say that the code wasn't fully functional ;(

Since we only had the parser for serialization, and not the writer, we are
free to change the format. So while at it, let's use shorter names in the
serialization format that match the surrounding style.

Add test-routing-policy-rule

test-network: use automatic cleanup

networkd: parse the rvalue, not the option name

:(

networkd: move rule loading to a separate function

No functional change.

Merge pull request #7316 from poettering/fd-store-remove

add new FDSTOREREMOVE=1 sd_notify() message

Added Logitech MX Master 2s (#7487)

test-resolve: make sure we don't hang forever

If test-resolve is running in some CI environment that doesn't have
reliably working DNS, it's a good idea not to hang forever, let's
time-out after 20s

sd-resolve: propagate timeouts in sd_resolve_wait() the same way as in sd_bus_wait(): ETIMEDOUT

Thankfully this is an internal API still, so we can mkae changes like
this.