Merge pull request #10369 from yuwata/test-mempool

meson,test: mempool related fixes and add tests for 'thread safety'

Merge pull request #10201 from yuwata/fix-10196

sd-netlink: add destroy_callback to sd_netlink_call_async() and fix memleaks in networkd

test: sort included headers

meson: fix '-Dstatic-libsystemd=true' or '-Dstatic-libudev=true'

Follow-up for a5d8835c78112206bbf0812dd4cb471f803bfe88.

test: add test for 'thread safety' of libudev

This adds a test for 715a970548d03fed18dc66c411c8b42ff21029cf.

meson: do not use mempool from libudev.so

Follow-up for a5d8835c78112206bbf0812dd4cb471f803bfe88.

test: add test for 'thread safety' of sd-device

This adds a test for a5d8835c78112206bbf0812dd4cb471f803bfe88.

sd-device: drop unnecessary header

test: add tests for $SYSTEMD_MEMPOOL=

This adds tests for b4f607433cac749b617e15b3d5d122322ed2bc71 and
205c085bc36c2c61a09dc40621d8561b135d9b57 (#9792).

Add LOGO to os-release

tests: fix fallthrough condition for supplementary groups

core: fix member access within null pointer

config_parse_tasks_max() is also used for parsing system.conf or
user.conf. In that case, userdata is NULL.

Fixes #10362.

journalctl: port JSON output mode to new JSON API

Also, while we are at it, beef it up, by adding json-seq support (i.e.
https://tools.ietf.org/html/rfc7464). This is particularly useful in
conjunction with jq's --seq switch.

Merge pull request #10353 from keszybz/more-manager-reloading

More manager reloading cleanups

Revert "meson: use c_args in generator scripts (#10289)"

This reverts commit 56f56d5ad856d9bd1070693490b210e0a0ccde92.

This broke the compilation for coverity under travis. Our build script does
something like this:

$ CFLAGS='-D_Float128=long\ double -D_Float64=double -D_Float64x=long\ double -D_Float32=float -D_Float32x=double' meson cov-build -Dman=false
$ ninja -C build
...
[pid 27096] execve("/usr/bin/cc", ["/usr/bin/cc", "-D_Float128=long", "double", "-D_Float64=double", "-D_Float64x=long", "double", "-D_Float32=float", "-D_Float32x=double", "-E", "-dM", "-include", "linux/capability.h", "-include", "config.h", "-include", "../src/basic/missing.h", "-"], 0x55ab75ea4e80 /* 91 vars */) = 0
cc: error: double: No such file or directory
cc: error: double: No such file or directory
[pid 27096] +++ exited with 1 +++

I'm sure this could be fixed somehow, but since the original motivation for
56f56d5ad856d9bd1070693490b210e0a0ccde92 wasn't very strong, let's just revert
it as this seems to be the simplest solution.

manager: simplify error handling in manager_deserialize()

If a memory error occurred, we would still go through the path which sets the
error on ferror(). It is unlikely that ferror() returns true, but it's seems
cleaner to just propagate the error we already have.

The handling of fgets() returning NULL is also simplified: according to the man
page, it returns NULL only on EOF or error. So if feof() returns true, I don't
think we should call ferror() again.

While at it, let's set errno to 0 and check that it is set before returning it
as an error. The man pages for fgets() and feof() do not say anything about
setting errno.

manager: also use the reloading "cleanup" function in manager_startup

Here the behaviour is nominally changed, because we will decrease the
counter on error. But the only caller quits the program if error occurs,
so this makes no practical difference.

manager: use the _cleanup_ mechanism to do n_reloading counter handling

No functional change.

manager: replace fake block with a strjoina

The block was created to avoid declaring variables in the middle of the block.
We could now do that, but it's easier to just use strjoina here.

busctl: add a --json= output mode

A new switch "-j" or "--json=" is added which transforms dbus
marshalling into json. This is extremely useful in combination with
tools such as "jq" to process bus calls further.

Merge pull request #10334 from keszybz/nomempool

Use mempool only in progs linked to libsystemd-shared.so

Merge pull request #10358 from yuwata/fix-10333

resolve: fix member access within null pointer

resolve: fix member access within null pointer

Fixes #10333.

resolve: use structured initializers

meson: use vars we already have defined in status

mempool: only enable mempool use when linked to libsystemd-shared.so

Mempool use is enabled or disabled based on the mempool_use_allowed symbol that
is linked in.

Should fix assert crashes in external programs caused by #9792.
Replaces #10286.

v2:
- use two different source files instead of a gcc constructor

Move use_pool() to mempool.c and rename to mempool_enabled()

The only user is in hashmap.c, but it's a mempool thing.

meson: update bug reference

https://github.com/mesonbuild/meson/issues/1644 was resolved in 0.42:
https://github.com/mesonbuild/meson/pull/2191/commits/be4428005dff8b17af5696c8f05567de9af1a8c5,
but still no-go.

meson: remove old comment

The linked page is gone, and I can't quite remember what the
warning was about. Something about recursive copying... Everything
seems to work.

meson: drop workaround

It was added way back, and seems to work fine now without it.

tests: pass halt_on_error=1 to UBSan

By default, UBSan neither crashes nor exits with a non-zero exit code
when undefined behavior has been detected. This is problematic because
it makes it much harder to catch issues like https://github.com/systemd/systemd/issues/10346,
 https://github.com/systemd/systemd/issues/10347, and https://github.com/systemd/systemd/issues/10333.
In fact, those issue were found just because I decided to grep
the test log, which isn't something that I normally do :-)

As it turns out, the only way to make UBSan signal that something is wrong that works more or less
reliably everywhere is to pass halt_on_error=1 (though, it's probably worth noting that it's currently
not set for PID1 in order not to trigger kernel panics).

See https://reviews.llvm.org/D35085#804183 and https://chromium.googlesource.com/chromium/src/testing/libfuzzer/+/HEAD/reference.md

man: clarify behaviour of RandomizedDelaySec=

Merge pull request #10316 from poettering/json-api

just the json stuff from #9762

Merge pull request #10351 from keszybz/meson-cpp-fixups

Meson c++-related fixups

Merge pull request #10343 from poettering/manager-state-fix

various fixes for PID1's Manager object

Merge pull request #10349 from poettering/bus-creds-shift-overflow

sd-bus creds bitshift overflow fix

tree-wide: various ubsan zero size memory fixes

Fixes: #10346

meson: c++ is required for the fuzzer builds

The configuration would fail with an error about cpp being an unknown language
anyway, but it's nicer to fail early and explicitly.

https://github.com/systemd/systemd/pull/10339#issuecomment-428279175

meson: rename cpp_cmd to cxx_cmd

cpp is a really bad alias for c++ because it's also the name of the
preprocessor. Let's rename the variable.

sd-bus: call cap_last_cap() only once in has_cap()

Also, use the same type everywhere for dealing with it.

sd-bus: use size_t when dealing with memory offsets

capability: introduce CAP_TO_MASK_CORRECTED() macro replacing CAP_TO_MASK()

linux/capability.h's CAP_TO_MASK potentially shifts a signed int "1"
(i.e. 32bit wide) left by 31 which means it becomes negative. That's
just weird, and ubsan complains about it. Let's introduce our own macro
CAP_TO_MASK_CORRECTED which doesn't fall into this trap, and make use of
it.

Fixes: #10347

tests: add a fuzzer for the json parser and dumper

json: add test

json: add a nice JSON parser

As preparation for OCI support in nspawn, let's add a JSON parser.

The json.h file contains an explanation why this is new code instead of
just us linking against an existing JSON library.

man: fix typo

network: make netlink callbacks return 1

This is not necessary. But most of netlink callbacks in networkd
return 1.

network: use '_handler' suffix for netlink callbacks

network: rename ndisc_netlink_handler() to ndisc_route_handler()

network: drop break line in comment

network: make netlink callback not return negative value

Fixes #10320.

network: drop route_expire_callback() as it is duplicate of link_route_remove_handler()

network: make manager_dhcp6_prefix_remove() static

network: make netdev_enslave() static

networkd: drop unused element from AddressLabel struct

network: add missing set_free() for Manager.dirty_links

network: add destroy callbacks for asynchronous netlink calls

test: add tests for destroy callback of asynchronous netlink call

sd-netlink: add destroy_callback argument to sd_netlink_call_async()

sd-netlink: use structured initializers

sd-netlink: fix error handling in sd_netlink_call_async()

Merge pull request #10062 from rgushchin/device

Support cgroup v2 bpf-based device controller

meson: we cannot call get_compiler('cpp') if we didn't "add" it

Follow-up for f6d783ac3d145f3f3ffc2023d4ad90f76cf7fe34.

bpf-firewall: always use log_unit_xyz() insteadof log_xyz()

That way it's easier to figure out what the various messages belong to

device: clean up DeviceFound flags set

No need to avoid bit 0. Also the U suffix has no effect, don't use it.

core: add missing 'continue' statement

core: include environment generator runtime in generator timestamps

Currently they aren't covered and it probably isn't worth adding another
kind of timestamp just for this, hence simply include it in the regular
generator timestamps.

core: add a common helper call manager_ready() sharing some common code between manager_reload() and manager_startup()

Just sharing some common code. No functional changes

core: turn our four vacuum calls into a new helper function

Just share some code. No functional changes.

core: rework how we set the objective to MANAGER_OK

Let's do so already when we are about to complete startup/reload, so
that manager_catchup() is run in a context where MANAGER_IS_RUNNING()
returns true, as the intention is.

Fixes: #9518

core: make use of manager_loop()'s return value

The objective is returned in the return value, let's make use of that,
instead of reaching into the object.

core: try to recover from failed reloads

Let's simply continue with everything we loaded, in the hope it's
somewhat useful.

core: bring manager_startup() and manager_reload() more inline

Both functions do partly the same, let's make sure they do it in the
same order, and that we don't miss some calls.

This makes a number of changes:

1. Moves exec_runtime_vacuum() two calls down in manager_startup(). This
   should not have any effect but makes manager_startup() more like
   manager_reload().

2. Calls manager_recheck_journal(), manager_recheck_dbus(),
   manager_enqueue_sync_bus_names() in manager_startup() too. This is a
   good idea since during reeexec we pass through manager_startup() and
   hence can't assume dbus and journald weren't up yet, hence let's
   check if they are ready to be connected to.

3. Include manager_enumerate_perpetual() in manager_reload(), too. This
   is not strictly necessary, since these units are included in the
   serialization anyway, but it's still a nice thing, in particular as
   theoretically the deserialization could fail.

core: break lines in comments

core: log in all cases in manager_startup()

We missed some cases where we'd fail without any logging at all. Let's
fix that.

manager: rework error handling and logging in manager_reload()

let's clean up error handling and logging in manager_reload() a bit.
Specifically: make sure we log about every error we might encounter at
least and at most once.

When we encounter an error before the "point of no return" then log at
LOG_ERR about it and propagate it. Otherwise, eat it up, but warn about
it and proceed, it's the best we can do.

core: add comments about n_reloading to manager_deserialize()

core: handle OOM during deserialization always the same way

OOM failures we consider fatal, while other failures we generally skip
over.

core: clean up deserialization log messages a bit

Always, say that we ignore these kind of issues. We already say that for
many fields, but for a few this was missing.

core: make sure manager_run_generators() logs about all errors

Since it's mostly a wrapper around execute_directories() it already logs
in most cases, but a few were missing. Fix that.

core: allow manager_serialize() to fail correctly

If manager_serialize() fails in the middle (which it hopefully doesn't)
make sure to fix up m->n_reloading correctly again so that we don't
leave it > 0 when it really shouldn't be.

path-lookup: downgrade logging in lookup_paths_init() a bit

So far lookup_paths_init() did not log on its own beyond LOG_DEBUG,
fix one exception, in order to avoid duplicate logging.

core: clean up test run flags

Let's make them typesafe, and let's add a nice macro helper for checking
if we are in a test run, which should make testing for this much easier
to read for most cases.

manager: normalize /run disk space checks

Let's avoid using a variable needlessly. More importantly, special case
the error, not the regular case.

core: tiny tweak for cgroup trimming during manager_free()

Instead of blacklisting when not to trim the cgroup tree, let's instead
whitelist when to do it, as an excercise of being careful when being
destructive.

This should not change behaviour with exception that during switch roots
we now won't attempt to trim the cgroup tree anymore. Which is more
correct behaviour after all we serialize/deserialize during the
transition and should be needlessly destructive.

core: use structure initialization for Manager

No changes in behaviour, just a nicer way to fill in the Manager
initially.

manager: rework test flags set

No reason to avoid bit 0.

Also, fix some tests that pass "true" as flags value, which is just
wrong.

core: rename ManagerExitCode → ManagerObjective

"ExitCode" is a bit of a misnomer in two ways: it suggests this was
about the "exit code" concept that exit()/waitid() deal with, but really
isn't. Moreover, it's not event just about exiting either, but more
often about reloading/reexecing or rebooting. Let's hence pick a new
name for this that is a bit more correct.

I initially thought about naming this the "state", but that'd be a
misnomer too, as the value really encodes a "goal" more than a current
state. Also we already have the externally visible ManagerState.

No actual changes in behaviour, just the rename.

manager: add explanatory comment regarding ManagerState

main: minor coding style update

core: support cgroup v2 device controller

Cgroup v2 provides the eBPF-based device controller, which isn't currently
supported by systemd. This commit aims to provide such support.

There are no user-visible changes, just the device policy and whitelist
start working if cgroup v2 is used.

core: bump mlock ulimit to 64Mb

Bpf programs are charged against memlock ulimit, and the default value
can be too tight on machines with many cgroups and attached bpf programs.

Let's bump it to 64Mb.

libbpf.h: add BPF_JMP_A macro

Add unconditional jump macro to use in generated bpf programs.

core: refactor bpf firewall support into a pseudo-controller

The idea is to introduce a concept of bpf-based pseudo-controllers
to make adding new bpf-based features easier.

Merge pull request #10331 from keszybz/tests-ip6-and-readme

Test suite fix and README update

More polite passphrase prompt

Instead of

Please enter passphrase for disk <disk-name>!

use

Please enter passphrase for disk <disk-name>:

which is more polite and matches Plymouth convention.

meson: include more build settings in status output

Merge pull request #10136 from yuwata/run-unit-tests

test: run unit tests under containers

README.testsuite: update the documentation for meson

Merge pull request #10307 from poettering/portable-path

finishing touches to portable services, and let's move portablectl to /usr/bin to make it official