test: add tests for systemd-tmpfiles

test: fix setup_suse() to make it work with an already populated root

tmpfiles: don't resolve pathnames when traversing recursively through directory trees

Otherwise we can be fooled if one path component is replaced underneath us.

The patch achieves that by always operating at file descriptor level (by using
*at() helpers) and by making sure we do not any path resolution when traversing
direcotry trees.

However this is not always possible, for instance when listing the content of a
directory or some operations don't provide the *at() helpers or others (such as
fchmodat()) don't have the AT_EMPTY_PATH flag. In such cases we operate on
/proc/self/fd/%i pseudo-symlink instead, which works the same for all kinds of
objects and requires no checking of type beforehand.

Also O_PATH flag is used when opening file objects in order to prevent
undesired behaviors: device nodes from reacting, automounts from
triggering, etc...

Fixes: #7986
Fixes: CVE-2018-6954

tmpfiles: fstat() works with fd opened with O_PATH since Linux 3.6

tmpfiles: make hardlink_vulnerable() argument constant

Merge pull request #8341 from yuwata/test-execute-ambient

test-execute: check capabilities before runnig tests

Merge pull request #8345 from sourcejedi/logind_restart_is_sorely_lacking_in_testing

login: fix for #8343

Merge pull request #8354 from keszybz/new-NEWS

NEWS for v238

mkosi: use locale that supports UTF-8, detect one that is available (#8340)

Using C.UTF-8 (as was done before #7244) breaks Arch Linux, but using
en_US.UTF-8 (after #7244) breaks Debian in our .mkosi/mkosi.debian.

So try to detect which one is available and works, first checking
whether we're already running under a valid UTF-8 locale, then trying
C.UTF-8 and finally en_US.UTF-8.

If we fail to find a valid UTF-8 locale, then fail early, instead of
letting the whole build complete only for Mesos to fail midway through
the `ninja test` step.

Tested on all of mkosi.fedora, mkosi.debian and mkosi.arch.

Fixes: #7238

Add accel matrix for iOTA 360 (#8342)

NEWS: update for v238

man: just use unicode for an mdash

basic/glob-util: do not use names with "_" prefix

Names starting with _ or __ are reserved by the standard, better to
avoid them.

coredump: do not leak memory (#8352)

Fixes #8351.

test-execute: use CAP_CHOWN instead of CAP_NET_ADMIN

CAP_NET_ADMIN is somtrimes dropped by container runtime.
This changes to use CAP_CHOWN instead of CAP_NET_ADMIN, as it is
less likely to be dropped.

test-execute: check capabilities before running tests

Fixes #8193.

po: Updated Indonesian translation (#8348)

fixed 3 occurences of 'Failed top open' (#8349)

test-execute: change log level from error to notice

Skipping some tests due to the missing e.g., capsh binary
or kernel support, are not error.
This changes the log level for such messages.

test-execute: rename tests for AmbientCapabilities=

The unit files for test-execute are named like
`exec-(setting-name-in-lower-character)-(optional-text).service`.
However, test units for AmbientCapabilities= are not following this.
So, let's rename them for the consistency.
This does not change anything in the functionality of the test.

hwdb: add axis range corrections for the Lenovo ThinkPad Edge 13 (02173BG) (#8253)

login: remember that fds received from PID1 need to be removed eventually

Remember to set sd->pushed_fd when we receive an fd from PID1 on startup,
the same as we set it when we send an fd to PID1.

login: fix FDNAME in call to sd_pid_notify_with_fds()

$ git grep FDNAME
logind-session-device.c: ... "FDNAME=session-", sd->session->id);
logind-session-device.c: ... "FDNAME=session", sd->session->id);

Oops.

Fixes #8343.  Or at least a more minimal reproducer.  Xorg still
dies when logind is restarted, but the Xorg message says this
is entirely deliberate.

(This could also be the reason I hit #8035, instead of the race
condition I originally suggested).

update TODO

Merge pull request #8314 from poettering/rearrange-stdio

refactor how we rearrange fds for stdin/stdout/stderr

units: use SuccessAction=reboot where appropriate (#8335)

We should really use our own native concepts for rebooting.

Merge pull request #8336 from poettering/coccinelle-reallocarray

reallocarray() coccinellization

Merge pull request #8333 from keszybz/hwdb-update

Hwdb update

Merge pull request #8337 from poettering/resolve-fixes

various resolve-tool fixes

man: there's no point in referenceing systemd.unit(5) from itself (#8338)

Merge pull request #8323 from xyproto/ok_color

Make the color of the status OK configurable at build-time

sysusers: support `u username -:300` style syntax (#8325)

This PR implements the first part of RFE #8046. I.e. this allows to
write:
```
u username -:300
```
Where the uid is chosen automatically but the gid is fixed.

Merge pull request #8332 from poettering/logind-open-if-needed

logind device resume fix

mount-setup: change bpf mount mode to 0700 (#8334)

After discussing with the kernel folks, we agreed to default to 0700 for
this. Better safe than sorry.

Merge pull request #8303 from yuwata/fix-8276

test: use synthesize_nobody() in test-execute

systemctl: document telinit/init matching a bit (#8339)

See: #8305

resolved: debug log about resolv.conf lines we don't grok

man: extend synopsys to recently added commands

resolve-tool: propagate sensible errors from due to dns_name_is_valid() check failures

resolve-tool: trivial coding style improvements

coccinelle: similar to reallocarray() let's also systematically use malloc_multiply()

coccinelle: add reallocarray() coccinelle script

Let's systematically make use of reallocarray() whereever we invoke
realloc() with a product of two values.

resolve-tool: use reallocarray() where appropriate

hwdb: update

usb.ids are not updated, because linux-usb.org is down.

It seems that the updates are corrections and new entries, to major
removal of existing entries.

hwdb: add accelerometer mount matrix for Asus TP300LD (#8327)

Merge pull request #8237 from sourcejedi/timer_suspend

core: let OnCalendar= timer units expire during suspend (#8231)

hwdb: ignore whitespace in downloaded files

tools/hwdb-update: allow downloads to fail

sf.net is down, and linux-usb.org which is hosted there also fails.
That's not nice, but there's not we can do about it now.

logind: fix typo in comment

logind: open device if needed

Fixes: #8291

logind: cast away return value we don't care about

logind: voidify a function we never check the return value of

tools/hwdb-update: print what is being executed

fd-util: drop stdio_unset_cloexec(), it's not used anymore

sd-bus: let's better not invade stdio territory when duplicating fds

tree-wide: port various places over to use new rearrange_stdio()

terminal-util: port some generic code over to rearrange_stdio()

fd-util: add new call rearrange_stdio()

Quite often we need to set up a number of fds as stdin/stdout/stderr of
a process we are about to start. Add a generic implementation for a
routine doing that that takes care to do so properly:

1. Can handle the case where stdin/stdout/stderr where previously
   closed, and the fds to set as stdin/stdout/stderr hence likely in the
   0..2 range.  handling this properly is nasty, since we need to first
   move the fds out of this range in order to later move them back in, to
   make things fully robust.

2. Can optionally open /dev/null in case for one or more of the fds, in
   a smart way, sharing the open file if possible between multiple of
   the fds.

3. Guarantees that O_CLOEXEC is not set on the three fds, even if the fds
   already were in the 0..2 range and hence possibly weren't moved.

Merge pull request #8316 from yuwata/fix-8315

sysusers: do not create duplicated groups when create users

Merge pull request #8330 from filbranden/masked1

Detect masked unit with drop-ins

meson: use dashes in colour names

Add build-time option to change the color of the "OK" status text

Organize the ANSI codes and add missing colors

For consistency.

test-execute: add tests with user/group daemon

The nobody user/group may not synthesized by systemd.
To run tests the functionalities in such situation, this adds tests
by user/group by daemon, as it is expected to exists all environments.

test: masked unit with drop-ins

install: detect masked unit with drop-ins

Before this fix, a unit with drop-ins will not be reported as masked by
`systemctl is-enabled` or `systemctl list-unit-files`.

sysusers: do not implicitly create group by 'm' if 'u' with the same name exists

The commit e2c2060f7b3b11fa3cca8899d80963b7a05cc4ab makes 'm' lines
disturb 'u' lines.
This fixes the disturbance.

test: add a test for sysusers

The test cases for sysusers did not cover the situation reported in
issue #8315. Let's add one more test case.

sysusers: do not create duplicated groups when create users

The commit e2c2060f7b3b11fa3cca8899d80963b7a05cc4ab introduces
the issue #8315.

Fixes #8315.

Remove /sbin from paths if split-bin is false (#8324)

Follow-up for 157baa87e4.

update TODO

Merge pull request #8319 from keszybz/yet-another-symlink-installation-tweak

meson: fix symlink creation when sbin is symlink to bin

Merge pull request #8293 from dobyrch/master

tree-wide: fix inconsistencies in option parsing

Merge pull request #8322 from keszybz/doc-tweak

man: document that link-ed files must be on /

udevadm: prevent segfault in blkid builtin when offset not specified

"--offset" takes an optional argument; if none is specified,
stroull() will attempt to parse a NULL pointer. For example:

$ udevadm test-builtin 'blkid --offset' /sys/dev/block/8:1

Update "--offset" to require an argument; also verify that the
offset is not negative.

analyze: fix typo in error message

test-libudev: make "-m" equivalent to "--monitor"

"-m" is specified as a short form of "--monitor" in the option struct,
but not included in getopt_long's optstring.  Update the optstring
to be consistent with the option struct.

systemctl: remove redundant option parsing code

"-f" used to be overloaded to mean both "--force" and "--follow";
aae9a96d removed "--follow", leaving behind some duplicate code.

journalctl: make journalctl -g work as documented

Add "g" to optstring so both "--grep" and "-g" work with journalctl

man: document that link-ed files must be on /

Fixes #8307.

meson: support both separate and merged sbin-bin directories

Follow-up for ba7f4ae6178309dc937e10cf7dce0eca9dafb8de.

By default, we detect if the real root has a separate /usr/sbin directory, but
this can be overrides with -Dsplit-bin=true|false. The check assumes that
/usr/sbin is split if it is not a symlink, so it'll return a false negative
with some more complicated setups. But that's OK, in those cases this should be
configured explicitly.

This will copy the structure of the directories in the root file system to
$DESTDIR. If a directory is a directory in $DESTDIR but a symlink in the root
file system, this script will fail. This means that it's not possible to reuse
a $DESTDIR from between ba7f4ae61 and this patch.

meson: autodetect split-usr

Also move the status from "features" to the paths section. This is more of an
anti-feature.

procfs-util: drop unnecessary zero initializations (#8321)

Follow-up for #8149.

Merge pull request #8149 from poettering/fake-root-cgroup

Properly synthesize CPU+memory accounting data for the root cgroup

units: delegate "memory" instead of "cpu" by default for user instances (#8320)

CPU accounting has a too bad impact on performance to be enabled by
default. Therefore we should not delegate "cpu" for now.

OTOH since commit e0c46a736412b79b94a21f8512a769b9212b9adf, memory accounting
has been turned on for all units by default so it makes sense to delegate this
controller by default.

Merge pull request #8318 from keszybz/doc-tweak

A small man page update

test-execute: add a test for the case that NOBODY_GROUP_NAME is nogroup

test-execute: check nobody user and group are configured correctly

Several tests request nobody user or group. If they are badly
configured, then tests may fail.

This makes test-execute check nobody user and group are configured
correctly before running such tests.

Fixes #8276.

basic/cgroup-util: simplify cg_get_keyed_attribute(), add test

I didn't like the nested loop where we'd count what we have acquired already,
since we should always know that.

gitignore .pot file

It is created by "ninja systemd-pot", and we don't want to include it
in git.

Merge pull request #8171 from poettering/sd-bus-queue-limit

try not to overload pid1's bus message write queue

core: don't freeze OnCalendar= timer units when the clock goes back a lot

E.g. if you have a monthly event and you set the computer clock back one
year, we can allow the next 12 monthly events to happen naturally.  In fact
we already do this when you start a Persistent=yes timer, we just need to
apply the same logic when it's running and we notice the system clock
being set backwards.

core: let OnCalendar= timer units expire during suspend (#8231)

On timejumps, including suspend, timer_time_change() calls for a
re-calculation of the next elapse.  Sadly I'm not quite sure what the
intended effect of this was!  Because it was not managing to fire
OnCalendar= timers which fired during the suspend... unless the timer had
already fired once before.

Reported, entirely correctly as far as I can see, on stackexchange:
https://unix.stackexchange.com/questions/351829/systemd-timer-that-expired-while-suspended

 /* If we know the last time this was
  * triggered, schedule the job based relative
- * to that. If we don't just start from
- * now. */
+ * to that. If we don't, just start from
+ * the activation time. */

The same code is called for both the initial calculation and this
re-calculation.  If we're _not_ already active, then this is before the
activation time has been recorded in the unit, so just use the current
time as before.  The new code is mechanically adapted from the same
logic for `OnActiveSec=` (case TIMER_ACTIVE in the code which follows).

Tested with `date --set`.

Motivations:

* Rotate monitoring data from Atop into files which are named per-day.
  Fedora currently implements this with a cron job that runs at midnight,
  but that didn't handle suspend correctly either.

* unbound-anchor.timer on Fedora, is used to update DNSSEC "root trust
  anchor" daily, before the TTL expires.  It uses OnCalendar=daily
  AccuracySec=24h.  Which is a bit suspect because the TTL is 2 days, but I
  think it has the right general idea.

  None of the other timer settings are correct, because they would not
  account for time spent in suspend.  Unless you set WakeSystem
  (this feature is currently undocumented).

* So in general, we can expect to see people using OnCalendar= for the same
  cases as cron.daily and cron.monthly.  Which use anacron to keep track of
  jobs which should be run even if the system was down at the time.

  Timers which are configured to run more frequently than that, are
  unlikely to mind if they get run slightly more often that the writer
  realized, relative to the amount of time the system was really running.

* From the user report above: "I only want to use remind to show a desktop
  notification, it seems excessive to wake up the computer for that. Also,
  I would like to get the reminder first thing in the morning, so the
  OnActiveSec doesn't help with that."

core: timer_enter_waiting(): refactor `base` local variable

We have two variables `b` and `base`.  `b` is declared within limited
scope; `base` is declared at the top of the function.  However `base`
is actually only used within a scope which is exclusive of `b`.  Clarify
by moving `base` inside the limited scope as well.

(Also `base` doesn't need initializing any more than `b` does.  The
declaration of `base` is now immediately followed by a case analysis of
`v->base`, which serves almost exclusively to determine the value of
`base`).

man: shorten/reword a bit in sd_bus_get_n_queued_read

In particular:
- drop "when it is non-zero" to avoid implying that it can be called if the
  queue is not empty.
- "has been created" sounds like something happened in parallel,
  but what we really mean is that *this* particular object *was* created in a
  certain way.

Merge pull request #8283 from poettering/nspawn-user-fix

some trivial nspawn related fixes

rules: skip btrfs check if devices are not ready in 64-btrfs.rules (#8304)

If any devices are marked with 'SYSTEMD_READY=0' then we shouldn't run any
btrfs check on them.

Indeed there's no point in running "btrfs ready" on devices that already have
SYSTEMD_READY=0 set. Most probably such devices are members of a higher layer
aggregate device such as dm-multipath or software RAID. Doing IO on them wastes
time at best, and may cause delays, timeouts, or even hangs at worst (think
active-passive multipath or degraded RAID, for example).

It was initially reported at:
https://bugzilla.opensuse.org/show_bug.cgi?id=872929

kernel-install: Don't install BLS kernel images if dest dir doesn't exist (#8306)

The script shouldn't rely on a previous script exiting with a status code
that prevents it to be executed. Instead, should check if the destination
directory for the BLS kernel image exists and exit otherwise.

meson: install compat symlinks for systemctl and systemd (#8300)

v2:
- init is a symlink to systemd, not systemctl!

nspawn: close pipe on error