Merge pull request #8378 from evverx/get-around-freopen

tests: stop using `freopen` in `test-fileio`

Merge pull request #8086 from hdante/sdboot-setmode-v2

Merge pull request #7817 from medhefgo/systemd-boot

systemd-boot improvements

systemd-boot: fix off-by-one buffer overrun

We'd allocate a buffer of some size and then write zero to the byte one after.

systemd-boot: reduce indentation in config_entry_add_linux()

No functional change.

systemd-boot: Try harder not to add ourselves to the list

We don't need to check if we are adding ourselves to the list
if we know that it's the windows or EFI shell loaders.

If we are adding the EFI default loader, additionally try to
see if we can find the systemd-boot magic string and skip
this entry if we do.

NEWS: fix typos in v238 section (#8369)

rpm: add missing '-p <lua>' in trigger script (#8367)

Follow-up for 32a00a9c097cf04ec2b0fcbf9b73eba188318424 (#8090).

tests: close a leftover file descriptor in `test-fileio`

This should make it a bit easier to search for real file descriptor leaks.

```
$ valgrind --leak-check=full --track-fds=yes ./build/test-fileio
...
==29457==
==29457== FILE DESCRIPTORS: 4 open at exit.
==29457== Open file descriptor 3: /tmp/test-systemd_writing_tmpfile.lyV5Rc
==29457==    at 0x4B9AD9E: open (open.c:43)
==29457==    by 0x4B19B24: __gen_tempname (tempname.c:261)
==29457==    by 0x4BA5CC3: mkostemp64 (mkostemp64.c:32)
==29457==    by 0x48F739B: mkostemp_safe (fileio.c:1206)
==29457==    by 0x10D968: test_writing_tmpfile (test-fileio.c:620)
==29457==    by 0x10E930: main (test-fileio.c:767)
==29457==
```

Merge pull request #8362 from keszybz/release-238

Release 238

Merge pull request #8358 from fbuihuu/tmpfiles-dont-resolve-pathnames-when-traversing-recursively

Tmpfiles dont resolve pathnames when traversing recursively

tests: stop using `freopen` in `test-fileio`

This helps get around a bug confusing `glibc` and making the test bail
out with the following error under `asan` on `x86`:

Fatal error: glibc detected an invalid stdio handle
Aborted (core dumped)

The bug has been reported in https://github.com/google/sanitizers/issues/778,
but it is unlikely to be fixed anytime soon.

test: add tests for systemd-tmpfiles

test: fix setup_suse() to make it work with an already populated root

tmpfiles: don't resolve pathnames when traversing recursively through directory trees

Otherwise we can be fooled if one path component is replaced underneath us.

The patch achieves that by always operating at file descriptor level (by using
*at() helpers) and by making sure we do not any path resolution when traversing
direcotry trees.

However this is not always possible, for instance when listing the content of a
directory or some operations don't provide the *at() helpers or others (such as
fchmodat()) don't have the AT_EMPTY_PATH flag. In such cases we operate on
/proc/self/fd/%i pseudo-symlink instead, which works the same for all kinds of
objects and requires no checking of type beforehand.

Also O_PATH flag is used when opening file objects in order to prevent
undesired behaviors: device nodes from reacting, automounts from
triggering, etc...

Fixes: #7986
Fixes: CVE-2018-6954

tmpfiles: fstat() works with fd opened with O_PATH since Linux 3.6

tmpfiles: make hardlink_vulnerable() argument constant

Merge pull request #8341 from yuwata/test-execute-ambient

test-execute: check capabilities before runnig tests

NEWS: bump version and add contributors

meson: bump so revision and systemd version in preparation for v238

mailmap: one more person

Merge pull request #8345 from sourcejedi/logind_restart_is_sorely_lacking_in_testing

login: fix for #8343

Merge pull request #8354 from keszybz/new-NEWS

NEWS for v238

mkosi: use locale that supports UTF-8, detect one that is available (#8340)

Using C.UTF-8 (as was done before #7244) breaks Arch Linux, but using
en_US.UTF-8 (after #7244) breaks Debian in our .mkosi/mkosi.debian.

So try to detect which one is available and works, first checking
whether we're already running under a valid UTF-8 locale, then trying
C.UTF-8 and finally en_US.UTF-8.

If we fail to find a valid UTF-8 locale, then fail early, instead of
letting the whole build complete only for Mesos to fail midway through
the `ninja test` step.

Tested on all of mkosi.fedora, mkosi.debian and mkosi.arch.

Fixes: #7238

Add accel matrix for iOTA 360 (#8342)

NEWS: update for v238

man: just use unicode for an mdash

basic/glob-util: do not use names with "_" prefix

Names starting with _ or __ are reserved by the standard, better to
avoid them.

coredump: do not leak memory (#8352)

Fixes #8351.

test-execute: use CAP_CHOWN instead of CAP_NET_ADMIN

CAP_NET_ADMIN is somtrimes dropped by container runtime.
This changes to use CAP_CHOWN instead of CAP_NET_ADMIN, as it is
less likely to be dropped.

test-execute: check capabilities before running tests

Fixes #8193.

po: Updated Indonesian translation (#8348)

fixed 3 occurences of 'Failed top open' (#8349)

test-execute: change log level from error to notice

Skipping some tests due to the missing e.g., capsh binary
or kernel support, are not error.
This changes the log level for such messages.

test-execute: rename tests for AmbientCapabilities=

The unit files for test-execute are named like
`exec-(setting-name-in-lower-character)-(optional-text).service`.
However, test units for AmbientCapabilities= are not following this.
So, let's rename them for the consistency.
This does not change anything in the functionality of the test.

hwdb: add axis range corrections for the Lenovo ThinkPad Edge 13 (02173BG) (#8253)

login: remember that fds received from PID1 need to be removed eventually

Remember to set sd->pushed_fd when we receive an fd from PID1 on startup,
the same as we set it when we send an fd to PID1.

login: fix FDNAME in call to sd_pid_notify_with_fds()

$ git grep FDNAME
logind-session-device.c: ... "FDNAME=session-", sd->session->id);
logind-session-device.c: ... "FDNAME=session", sd->session->id);

Oops.

Fixes #8343.  Or at least a more minimal reproducer.  Xorg still
dies when logind is restarted, but the Xorg message says this
is entirely deliberate.

(This could also be the reason I hit #8035, instead of the race
condition I originally suggested).

update TODO

Merge pull request #8314 from poettering/rearrange-stdio

refactor how we rearrange fds for stdin/stdout/stderr

units: use SuccessAction=reboot where appropriate (#8335)

We should really use our own native concepts for rebooting.

Merge pull request #8336 from poettering/coccinelle-reallocarray

reallocarray() coccinellization

Merge pull request #8333 from keszybz/hwdb-update

Hwdb update

Merge pull request #8337 from poettering/resolve-fixes

various resolve-tool fixes

man: there's no point in referenceing systemd.unit(5) from itself (#8338)

Merge pull request #8323 from xyproto/ok_color

Make the color of the status OK configurable at build-time

sysusers: support `u username -:300` style syntax (#8325)

This PR implements the first part of RFE #8046. I.e. this allows to
write:
```
u username -:300
```
Where the uid is chosen automatically but the gid is fixed.

Merge pull request #8332 from poettering/logind-open-if-needed

logind device resume fix

mount-setup: change bpf mount mode to 0700 (#8334)

After discussing with the kernel folks, we agreed to default to 0700 for
this. Better safe than sorry.

Merge pull request #8303 from yuwata/fix-8276

test: use synthesize_nobody() in test-execute

systemctl: document telinit/init matching a bit (#8339)

See: #8305

resolved: debug log about resolv.conf lines we don't grok

man: extend synopsys to recently added commands

resolve-tool: propagate sensible errors from due to dns_name_is_valid() check failures

resolve-tool: trivial coding style improvements

coccinelle: similar to reallocarray() let's also systematically use malloc_multiply()

coccinelle: add reallocarray() coccinelle script

Let's systematically make use of reallocarray() whereever we invoke
realloc() with a product of two values.

resolve-tool: use reallocarray() where appropriate

hwdb: update

usb.ids are not updated, because linux-usb.org is down.

It seems that the updates are corrections and new entries, to major
removal of existing entries.

hwdb: add accelerometer mount matrix for Asus TP300LD (#8327)

Merge pull request #8237 from sourcejedi/timer_suspend

core: let OnCalendar= timer units expire during suspend (#8231)

hwdb: ignore whitespace in downloaded files

tools/hwdb-update: allow downloads to fail

sf.net is down, and linux-usb.org which is hosted there also fails.
That's not nice, but there's not we can do about it now.

logind: fix typo in comment

logind: open device if needed

Fixes: #8291

logind: cast away return value we don't care about

logind: voidify a function we never check the return value of

tools/hwdb-update: print what is being executed

fd-util: drop stdio_unset_cloexec(), it's not used anymore

sd-bus: let's better not invade stdio territory when duplicating fds

tree-wide: port various places over to use new rearrange_stdio()

terminal-util: port some generic code over to rearrange_stdio()

fd-util: add new call rearrange_stdio()

Quite often we need to set up a number of fds as stdin/stdout/stderr of
a process we are about to start. Add a generic implementation for a
routine doing that that takes care to do so properly:

1. Can handle the case where stdin/stdout/stderr where previously
   closed, and the fds to set as stdin/stdout/stderr hence likely in the
   0..2 range.  handling this properly is nasty, since we need to first
   move the fds out of this range in order to later move them back in, to
   make things fully robust.

2. Can optionally open /dev/null in case for one or more of the fds, in
   a smart way, sharing the open file if possible between multiple of
   the fds.

3. Guarantees that O_CLOEXEC is not set on the three fds, even if the fds
   already were in the 0..2 range and hence possibly weren't moved.

Merge pull request #8316 from yuwata/fix-8315

sysusers: do not create duplicated groups when create users

Merge pull request #8330 from filbranden/masked1

Detect masked unit with drop-ins

meson: use dashes in colour names

Add build-time option to change the color of the "OK" status text

Organize the ANSI codes and add missing colors

For consistency.

test-execute: add tests with user/group daemon

The nobody user/group may not synthesized by systemd.
To run tests the functionalities in such situation, this adds tests
by user/group by daemon, as it is expected to exists all environments.

test: masked unit with drop-ins

install: detect masked unit with drop-ins

Before this fix, a unit with drop-ins will not be reported as masked by
`systemctl is-enabled` or `systemctl list-unit-files`.

sysusers: do not implicitly create group by 'm' if 'u' with the same name exists

The commit e2c2060f7b3b11fa3cca8899d80963b7a05cc4ab makes 'm' lines
disturb 'u' lines.
This fixes the disturbance.

test: add a test for sysusers

The test cases for sysusers did not cover the situation reported in
issue #8315. Let's add one more test case.

sysusers: do not create duplicated groups when create users

The commit e2c2060f7b3b11fa3cca8899d80963b7a05cc4ab introduces
the issue #8315.

Fixes #8315.

Remove /sbin from paths if split-bin is false (#8324)

Follow-up for 157baa87e4.

update TODO

Merge pull request #8319 from keszybz/yet-another-symlink-installation-tweak

meson: fix symlink creation when sbin is symlink to bin

Merge pull request #8293 from dobyrch/master

tree-wide: fix inconsistencies in option parsing

Merge pull request #8322 from keszybz/doc-tweak

man: document that link-ed files must be on /

udevadm: prevent segfault in blkid builtin when offset not specified

"--offset" takes an optional argument; if none is specified,
stroull() will attempt to parse a NULL pointer. For example:

$ udevadm test-builtin 'blkid --offset' /sys/dev/block/8:1

Update "--offset" to require an argument; also verify that the
offset is not negative.

analyze: fix typo in error message

test-libudev: make "-m" equivalent to "--monitor"

"-m" is specified as a short form of "--monitor" in the option struct,
but not included in getopt_long's optstring.  Update the optstring
to be consistent with the option struct.

systemctl: remove redundant option parsing code

"-f" used to be overloaded to mean both "--force" and "--follow";
aae9a96d removed "--follow", leaving behind some duplicate code.

journalctl: make journalctl -g work as documented

Add "g" to optstring so both "--grep" and "-g" work with journalctl

man: document that link-ed files must be on /

Fixes #8307.

meson: support both separate and merged sbin-bin directories

Follow-up for ba7f4ae6178309dc937e10cf7dce0eca9dafb8de.

By default, we detect if the real root has a separate /usr/sbin directory, but
this can be overrides with -Dsplit-bin=true|false. The check assumes that
/usr/sbin is split if it is not a symlink, so it'll return a false negative
with some more complicated setups. But that's OK, in those cases this should be
configured explicitly.

This will copy the structure of the directories in the root file system to
$DESTDIR. If a directory is a directory in $DESTDIR but a symlink in the root
file system, this script will fail. This means that it's not possible to reuse
a $DESTDIR from between ba7f4ae61 and this patch.

meson: autodetect split-usr

Also move the status from "features" to the paths section. This is more of an
anti-feature.

procfs-util: drop unnecessary zero initializations (#8321)

Follow-up for #8149.

Merge pull request #8149 from poettering/fake-root-cgroup

Properly synthesize CPU+memory accounting data for the root cgroup

units: delegate "memory" instead of "cpu" by default for user instances (#8320)

CPU accounting has a too bad impact on performance to be enabled by
default. Therefore we should not delegate "cpu" for now.

OTOH since commit e0c46a736412b79b94a21f8512a769b9212b9adf, memory accounting
has been turned on for all units by default so it makes sense to delegate this
controller by default.