man: fix binary path in systemd(1) (#7550)

Otherwise people might assume that systemd was installed in the $PATH,
but it is not. Do the same as for systemd-vconsole-setup.service and
friends: let's include the full path in the man page.

Merge pull request #7532 from yuwata/test-execute

test-execute: add test for that DynamicUser= migrates StateDirectory=

Merge pull request #7539 from yuwata/man-options

Add missing parsing and documentation for several options

Merge pull request #7494 from poettering/nspawn-cgroups

some nspawn cgroup fixes + dissecting and testing love

service: Don't stop unneeded units needed by restarted service (#7526)

An auto-restarted unit B may depend on unit A with StopWhenUnneeded=yes.
If A stops before B's restart timeout expires, it'll be started again as part
of B's dependent jobs. However, if stopping takes longer than the timeout, B's
running stop job collides start job which also cancels B's start job. Result is
that neither A or B are active.

Currently, when a service with automatic restarting fails, it transitions
through following states:
        1) SERVICE_FAILED or SERVICE_DEAD to indicate the failure,
        2) SERVICE_AUTO_RESTART while restart timer is running.

The StopWhenUnneeded= check takes place in service_enter_dead between the two
state mentioned above. We temporarily store the auto restart flag to query it
during the check. Because we don't return control to the main event loop, this
new service unit flag needn't be serialized.

This patch prevents the pathologic situation when the service with Restart=
won't restart automatically. As a side effect it also avoid restarting the
dependency unit with StopWhenUnneeded=yes.

Fixes: #7377

hexdecoct: fix comment typo (#7548)

test-execute: add test for that DynamicUser= migrate StateDirectory=

Test for 949befd3f09e8c06a908ec99efd241666c21d944.

test-execute: cleanup

This makes rename the test units by a consistent naming scheme,
add several logs, and sort internal functions.
No functional change.

man: journal-remote: add missing options

This adds documents about supported, mainly SSL related,  options
in jurnal-remote, journal-upload, and journal-gatewayd.

man: fix typo

man: include standard-options.xml in systemd-hwdb(8)

man: add missing options to and use standard-options.xml in udevadm(8)

udevadm: getopt() and help message cleanup

This adds missing options, mainly '--version' in getopt(), removes
an unused option from getopt().
Also, this adds a deprecate message in `udevadm hwdb`, and cleanups
help messages.

Follow-up for 65eb4378c3e1de25383d8cd606909e64c71edc80.

fstab-generator: port some code to strextend_with_separator()

test: add a simple script that runs all our integration tests one after the other

tests: don't use "netcat" for testing TEST-10-ISSUE-2467

Apparently there are a myriad of netcat implementations around, and they
all behave slightly differently. The one I have on my Fedora 27
installation will cause a failure when invoked as "nc -U" on an AF_UNIX
socket whose connections are immediately disconnected, thus causing the
test to fail.

Let's avoid all ambiguities in this regard, and drop usage of netcat
altoegther. Instead let's use a FIFO in the file system, which we can
connect to with only shell commands, and is hence much simpler and
more reliable to test with.

The actual test is supposed to validate that PID 1 doesn't hang when
activation of a socket-activated service fails, hence which transport
mechanism is used ultimately doesn't matter, as long as we activate the
service, and we do here...

tests: make TEST-10-ISSUE-2467 also run in nspawn

No reason not to run it in nspawn, and it's easier to debug than the
qemu version.

nspawn: when in hybrid mode, chown() both the legacy and the unified hierarchy to the root in the container

If user namespacing is used, let's make sure that the root user in the
container gets access to both /sys/fs/cgroup/systemd and
/sys/fs/cgroup/unified.

This matches similar logic in cg_set_access().

nspawn: make sure images containing an ESP are compatible with userns -U mode

In -U mode we might need to re-chown() all files and directories to
match the UID shift we want for the image. That's problematic on fat
partitions, such as the ESP (and which is generated by mkosi's
--bootable switch), because fat of course knows no UID/GID file
ownership natively.

With this change we take benefit of the uid= and gid= mount options FAT
knows: instead of chown()ing all files and directories we can just
specify the right UID/GID to use at mount time.

This beefs up the image dissection logic in two ways:

1. First of all support for mounting relevant file systems with
   uid=/gid= is added: when a UID is specified during mount it is used for
   all applicable file systems.

2. Secondly, two new mount flags are added:
   DISSECT_IMAGE_MOUNT_ROOT_ONLY and DISSECT_IMAGE_MOUNT_NON_ROOT_ONLY.
   If one is specified the mount routine will either only mount the root
   partition of an image, or all partitions except the root partition.
   This is used by nspawn: first the root partition is mounted, so that
   we can determine the UID shift in use so far, based on ownership of
   the image's root directory. Then, we mount the remaining partitions
   in a second go, this time with the right UID/GID information.

string-util: rework strextend() to optionally inset separators between each appended string

This adds a new flavour of strextend(), called
strextend_with_separator(), which takes an optional separator string. If
specified, the separator is inserted between each appended string, as
well as before the first one, but only if the original string was
non-empty.

This new call is particularly useful when appending new options to mount
option strings and suchlike, which need to be comma-separated, and
initially start out from an empty string.

cgroup: also include "cgroups.threads" in the list of files to chown

Also, add "cgroups.stat". It's read-only anyway, hence its UID/GID
ownership matters little, but it's probably a good idea to keep it
ownership in sync with the other read-only files such as
"cgroups.controllers".

Also, order the list of files alphabetically.

nspawn: figure out cgroup mode *after* mounting image

If we operate on a disk image (i.e. --image=) then it's pointless to
look into the mount directory before it is actually mounted to see which
systemd version is running inside...

Unfortunately we only mount the disk image in the child process, but the
parent needs to know the cgroup mode, hence add some IPC for this
purpose and communicate the cgroup mode determined from the image back
to the parent.

path-util: when checking systemd versions, check both lib and lib64

We need to check both to be compatible with multilib images.

Merge pull request #7542 from yuwata/build-cleanup

several build cleanups

Merge pull request #7476 from jhxie/ycm-meson-backend

ycm: add initial support for the meson build system

Merge pull request #7512 from yuwata/mount-create-dir

fixes related to systemd-mount and chase_symlinks()

dissect-image: remove unused variable when built without libcryptsetup (#7538)

Print the time to reach default.target in systemd-analyze time (#7383)

Example output (last line is new):
$ systemd-analyze time
Startup finished in 12.879s (firmware) + 36.999s (loader) + 1.313s (kernel) + 22.672s (initrd) + 3min 1.755s (userspace) = 4min 15.619s
graphical.target reached after 1min 39.377s in userspace

test: increase timeout for test-async

The test calls sync(). So, on the heavy io system, the 30s default
can be easily exceeded.

execute: define the variable mac_selinux_contex_net only when build with SELinux

execute: define setup_smack() only if SMACK is enabled

This suppresses the following warning
```
execute.c:2149:12: warning: ‘setup_smack’ defined but not used [-Wunused-function]
 static int setup_smack(
            ^~~~~~~~~~~
```

bootspec: use blkid only if HAVE_BLKID is defined

meson: fix indentation

man: lists short options in systemd-udevd.service(8)

Follow-up for 2d19c17e8eafbe6c460c3cd76cf65aecd80ead87.

man: convert info to information or informational

man: add missing options

stdio-bridge: add missing option

Merge pull request #7534 from marcusfolkesson/helptext

Fix help textes for components

growfs: fix building without libcrypsetup (#7535)

util-lib,tests: rework unbase64 so that we skip over whitespace automatically (#7522)

Let's optimize things a bit, and instead of having to strip whitespace
first before decoding base64, let's do that implicitly while doing so.
Given that base64 was designed the way it was designed specifically to
be tolerant to whitespace changes, it's a good idea to do this
automatically and implicitly.

busctl: list all short options in help text

Signed-off-by: Marcus Folkesson <marcus.folkesson@gmail.com>

journal-upload: remove duplication of --help and --version in help text

Signed-off-by: Marcus Folkesson <marcus.folkesson@gmail.com>

stio-bridge: list all short options in help text

Signed-off-by: Marcus Folkesson <marcus.folkesson@gmail.com>

udevadm-control: list all short options in help text

Signed-off-by: Marcus Folkesson <marcus.folkesson@gmail.com>

udevadm-info: list all short options in help text

Signed-off-by: Marcus Folkesson <marcus.folkesson@gmail.com>

udevd: list all short options in help text

Signed-off-by: Marcus Folkesson <marcus.folkesson@gmail.com>

sysusers: Provide meson argument to set gid for 'users' group (#7533)

To allow better integration with distributions requiring an explicitly
set gid for the `users` group, provide the new `-Dusers-gid` option to
set to a new numeric value.

In the absence of a specified gid, we'll fallback to the default existing
behaviour of `-` as the gid value, to automatically assign the next available
gid on the system.

mount-util: do not use the official MAX_HANDLE_SZ (#7523)

If we'd use the system header's version of MAX_HANDLE_SZ then our code
would break on older kernels as soon as the value is increased, as old
kernels refuse larger buffers with EINVAL.

mount: use chase_symlinks()

mount: do not require that the specified directory exists

If the specified direcotry does not exist, then systemd creates it
when the mount unit starts. So, it is not necessary to check the
existence in the client tool.

mount: ignore error when stop non-existing automount unit

The command `systemd-mount -u` tries to stop both mount and automount
units. If the corresponding mount unit does not exist, then it is
user's fault, that is, the specified path is not a mount point.
However, not all mount units have corresponding autmount units.
Thus, the error about non-existing automount unit is not user's falut,
and showing the error may confuse users.
So, let's ignore the error of such case.

test-fs-util: add more tests for chase_symlinks()

test-fs-util: save current directory name

fs-util: remove comment about non-existing function

fs-util: chase_symlinks(): remove unnecessary slash at the head

Before this, chase_symlinks("/../../foo/bar",...) returns //foo/bar.
This removes the unnecessary slash at the head.

Merge pull request #7529 from vcaputo/trivial-style-fixups

*: fix some inconsistent control statement style

*: fix some inconsistent control statement style

Merge pull request #7528 from vcaputo/localectl-fix-indent

localectl: fix list_vconsole_keymaps() indentation

localectl: fix list_vconsole_keymaps() indentation

shared/dropin: ignore ENAMETOOLONG when checking drop-in directories (#7525)

This usually happens for device units with long
path in /sys. But users can't even create such drop-ins,
so lets just ignore the error here.

Fixes #6867

Merge pull request #7237 from keszybz/growfs

Create and grow filesystems

NEWS: update the text a bit (#7524)

This fixes various typos, removes some duplications, and adds a bit more
detail in the few places which are potential pitfalls for users.
Also change the way the paragraphs about new options begin, because having
a paragraph saying "Two new options have been added", and then bit lower
again "Two new options have been added" is confusing.

Merge pull request #7481 from poettering/bpf-test-fix

bpf-firewall: actually invoke BPF_PROG_ATTACH to check whether cgroup/bpf is available

mount-util: tape over name_to_handle_at() flakiness (#7517)

Apparently, the kernel returns EINVAL on NFS4 sometimes, even if we do
everything right, let's fallback in that case and find a different
approach to determine if something's a mount point.

See discussion at:

https://github.com/systemd/systemd/issues/7082#issuecomment-348001289

sd-bus: validate the message type (#7520)

Now that sd_bus_message_new() is public API, we should insist on valid
message types.

systemctl: don't use get_process_comm() on non-local PIDs (#7518)

Let's not use local process data for remote processes, that can only
show nonsense.

Maybe one day we should add a bus API to query the comm field of a
process remotely, but for now, let's not bother, the information is
redundant anyway, as the cgroup data shows it too (and the cgroup tree
is show as part of status as well, and is requested from remote through
dbus, without local kernel calls).

Fixes: #7516

Merge pull request #7521 from yuwata/news-236

NEWS update

util-lib: handle empty string in last_path_component

Now the function returns an empty string when given an empty string.
Not sure if this is the best option (maybe this should be an error?),
but at least the behaviour is well defined.

NEWS: systemd-mount also support -G option

NEWS: fix typo

man: add docs for systemd-growfs and systemd-makefs

dissect-image: return error if results are ambiguous

We let the caller make the decision. Existing callers are OK with treating an
ambiguous result the same as no content, but makefs and growfs should refuse such
partitions.

Add x-systemd.growfs option for fstab

Add x-systemd.makefs option for fstab

I opted to completely generate a unit for both mount points and swaps. For
swaps, it would be possible to use fixed template unit like systemd-mkswap@.service,
because there's no information passed except the device name. For mount points,
that's not possible because both the device name and file system type need to
be passed. Nevertheless, I expect that options will need to passed to both mkfs
and mkswap, in which case it'll be necessary to create units of both types
anyway.

fstab-generator: convert separate booleans to a flag field

It's pretty unwieldy with just three flags, and I want to add more.

Add mkfs wrapper which first checks if the partition is empty

growfs: add option parsing and --help/--version/--dry-run

v2:
- use arg_target

shared/dissect-image: fix return value for probe_filesystem()

blkid_new_probe_from_filename() sets errno, for example EPERM.

growfs: add support for resizing encrypted partitions

Define CRYPT_LUKS in crypt-util.h

Also do not include libcryptsetup.h directly, but only through crypt-util.h.
This way we do not have to repeat the define in every file where it is used.

growfs: do not try to resize btrfs partitions smaller then 256MB

This will not work, but the kernel does not give any useful message.

Add systemd-growfs tool

util-lib: export cryptsetup logging glue function

util-lib: add cleanup function for crypt_free

util-lib: rename path_check_fstype to path_is_fs_type

util-lib: rename fd_check_fstype to fd_is_fs_type

Let's use "is" and "fs_type" for consistency with "is_fs_type".
"check" is also more ambiguous than "is".

util-lib: use trailing slash in chase_symlinks, fd_is_mount_point, path_is_mount_point

The kernel will reply with -ENOTDIR when we try to access a non-directory under
a name which ends with a slash. But our functions would strip the trailing slash
under various circumstances. Keep the trailing slash, so that

path_is_mount_point("/path/to/file/") return -ENOTDIR when /path/to/file/ is a file.

Tests are added for this change in behaviour.

Also, when called with a trailing slash, path_is_mount_point() would get
"" from basename(), and call name_to_handle_at(3, "", ...), and always
return -ENOENT. Now it'll return -ENOTDIR if the mount point is a file, and
true if it is a directory and a mount point.

v2:
- use strip_trailing_chars()

v3:
- instead of stripping trailing chars(), do the opposite — preserve them.

NEWS: some preliminary work for v236 (#7519)

Totally not complete, but let's get this started.

Add a "RequiredForOnline=" Link attribute for .network files (#7347)

RequiredForOnline= denotes a link/network that does/does not require being up
for systemd-networkd-wait-online to consider the system online; this makes it
possible to ignore devices without modifying parameters to wait-online.

test-string-util: add another test for stripping slashes

I wrote this for my own "strip_trailing_chars" function, which was in the
meanwhile obsoleted by "delete_trailing_chars". Let's just keep the test.

Add a helper for /dev/block/major:minor paths

Add a little helper to make /sys/dev/block/major:minor paths

test-mount-util: move test_path_is_mount_point here

path-util.c and mount-util.c are intertwined, but path_is_mount_point() is
defined in mount-util.c.

No functional difference.

core/dbus-execute: actually set PassEnvironment= (#7510)

Follow-up for #7444.

man: fix typo (#7511)

Fix SELinux labels in cgroup filesystem root directory (#7496)

When using SELinux with legacy cgroups the tmpfs on /sys/fs/cgroup is by
default labelled as tmpfs_t. This label is also inherited by the "cpu"
and "cpuacct" symbolic links. Unfortunately the policy expects them to
be labelled as cgroup_t, which is used for all the actual cgroup
filesystems. Failure to do so results in a stream of denials.

This state cannot be fixed reliably when the cgroup filesystem structure
is set-up as the SELinux policy is not yet loaded at this
moment. It also cannot be fixed later as the root of the cgroup
filesystem is remounted read-only. In order to fix it the root of the
cgroup filesystem needs to be temporary remounted read-write, relabelled
and remounted back read-only.

core: support upgrading from DynamicUser=0 to DynamicUser=1 for unit directories (#7507)

This makes sure we migrate /var/lib/<foo> if it exists to
/var/lib/private/<foo> if DynamicUser=1 is set. This is useful to allow
turning on DynamicUser= on services that previously didn't use it, and
we can deal with this, and migrate the relevant directories as
necessary.

Note that "downgrading" from DynamicUser=1 backto DynamicUser=0 works
too. However in that case we simply continue to use
/var/lib/private/<foo>, which works because /var/lib/<foo> is a symlink
there after all.

Merge pull request #7444 from poettering/dbus-no-spec

unit writing escaping fixes + related fixes and additions

Merge pull request #7508 from poettering/journal-n-drop

journal: fix log message when dropping messages

journal: fix log message when dropping messages

Fixes: #7506