networkd: use proper cast to access VTI6 (#4399)

Fixes #4371.

core/exec: add a named-descriptor option ("fd") for streams (#4179)

This commit adds a `fd` option to `StandardInput=`,
`StandardOutput=` and `StandardError=` properties in order to
connect standard streams to externally named descriptors provided
by some socket units.

This option looks for a file descriptor named as the corresponding
stream. Custom names can be specified, separated by a colon.
If multiple name-matches exist, the first matching fd will be used.

man: avoid abbreviated "cgroups" terminology (#4396)

Let's avoid the overly abbreviated "cgroups" terminology. Let's instead write:

"Linux Control Groups (cgroups)" is the long form wherever the term is
introduced in prose. Use "control groups" in the short form wherever the term
is used within brief explanations.

Follow-up to: #4381

zsh-completion: fix for #4318 (#4394)

Escape unit names for the eval call in _call_program

The value of the Id property is transformed back into a unit name
usable by systemctl.
system-systemd\x5cx2dcryptsetup.slice -> system-systemd\x2dcryptsetup.slice

Also filter units by property via parameter expansion, not a for loop

Merge pull request #4392 from keszybz/running-timers

Fix for display of elapsed timers

Merge pull request #4387 from keszybz/loginctl-tty

loginctl: print TTY field in the session listing

core/timer: reset next_elapse_*time when timer is not waiting

When the unit that is triggered by a timer is started and running,
we transition to "running" state, and the timer will not elapse again
until the unit has finished running. In this state "systemctl list-timers"
would display the previously calculated next elapse time, which would
now of course be in the past, leading to nonsensical values.

Simply set the next elapse to infinity, which causes list-timers to
show n/a. We cannot specify when the next elapse will happen, possibly
never.

Fixes #4031.

pid1: do not use mtime==0 as sign of masking (#4388)

It is allowed for unit files to have an mtime==0, so instead of assuming that
any file that had mtime==0 was masked, use the load_state to filter masked
units.

Fixes https://bugzilla.redhat.com/show_bug.cgi?id=1384150.

Merge pull request #4391 from keszybz/treewide-macros

Use mfree more and add another function to simplify a common set&free pattern

Merge pull request #4381 from keszybz/man-pages

test-calendarspec: test that hourly timers are incremented properly

Apparently this works just fine, so the issue in #4031 is elsewhere.

tree-wide: introduce free_and_replace helper

It's a common pattern, so add a helper for it. A macro is necessary
because a function that takes a pointer to a pointer would be type specific,
similarly to cleanup functions. Seems better to use a macro.

tree-wide: use mfree more

shared/install: use _cleanup_free_

Also rewrap some comments so that they don't have a very long line and a very
short line.

Merge pull request #4380 from bgamari/master

hwdb: Add sensitivity for Dell Latitude E7470 pointing stick

loginctl: report tty in session listings

Without the tty it's really hard to tell which session is which.

New output:
$ ./loginctl
   SESSION        UID USER             SEAT             TTY
        13       1002 zbyszek          seat0            tty3
        c1         42 gdm              seat0            /dev/tty1
        11       1002 zbyszek          seat0            tty4
         3       1002 zbyszek          seat0            /dev/tty2
        17       1002 zbyszek          seat0            tty5
        18       1002 zbyszek          seat0            tty6
6 sessions listed.

loginctl: drop casts in printf

man: document sd_event_get_tid() return value (#4385)

man: drop discouragment of runtime and vendor drop-ins

In certain situations drop-ins in /usr/lib/ are useful, for example when one package
wants to modify the behaviour of another package, or the vendor wants to tweak some
upstream unit without patching.

Drop-ins in /run are useful for testing, and may also be created by systemd itself.

Follow-up for the discussion in #2103.

man: add journal-upload.conf(5)

Fixes #3370.

man: add notes about thread safety of sd_journal_* functions

Fixes #4056.

man: add crosslink between systemd.resource-control(5) and systemd.exec(5)

Fixes #4379.

virt: add possibility to skip the check for chroot (#4374)

https://bugzilla.redhat.com/show_bug.cgi?id=1379852

hwdb: Add sensitivity for Dell Latitude E7470 pointingstick

core: make settings for unified cgroup hierarchy supersede the ones for legacy hierarchy (#4269)

There are overlapping control group resource settings for the unified and
legacy hierarchies.  To help transition, the settings are translated back and
forth.  When both versions of a given setting are present, the one matching the
cgroup hierarchy type in use is used.  Unfortunately, this is more confusing to
use and document than necessary because there is no clear static precedence.

Update the translation logic so that the settings for the unified hierarchy are
always preferred.  systemd.resource-control man page is updated to reflect the
change and reorganized so that the deprecated settings are at the end in its
own section.

nspawn: remove unused variable (#4369)

Merge pull request #4243 from endocode/djalal/sandbox-first-protection-kernelmodules-v1

core:sandbox: Add ProtectKernelModules= and some fixes

Merge pull request #653 from dvdhrm/bus-gold

Merge pull request #4363 from stefan-it/replace-while-loops

basic,coredump: use for loop instead of while

Merge pull request #4364 from phomes/man-fixes

man: typo fixes

nspawn: cleanup and chown the synced cgroup hierarchy (#4223)

Fixes: #4181

Merge pull request #4362 from poettering/journalbootlistfix

man: typo fixes

A mix of fixes for typos and UK english

coredump: use for() loop instead of while()

basic: use for() loop instead of while()

Merge pull request #4358 from fsateler/pam-config

Pam config fixes

update TODO

journalctl: say in which directory we vacuum stuff

Fixes: #4060

journalctl: don't claim the journal was stored on disk

Let's just say that the journal takes up space in the file system, not on disk,
as tmpfs is definitely a file system, but not a disk.

Fixes: #4059

journal: refuse opening journal files from the future for writing

Never permit that we write to journal files that have newer timestamps than our
local wallclock has. If we'd accept that, then the entries in the file might
end up not being ordered strictly.

Let's refuse this with ETXTBSY, and then immediately rotate to use a new file,
so that each file remains strictly ordered also be wallclock internally.

journald: automatically rotate journal files when the clock jumps backwards

As soon as we notice that the clock jumps backwards, rotate journal files. This
is beneficial, as this makes sure that the entries in journal files remain
strictly ordered internally, and thus the bisection algorithm applied on it is
not confused.

This should help avoiding borked wallclock-based bisection on journal files as
witnessed in #4278.

journald: use the event loop dispatch timestamp for journal entries

Let's use the earliest linearized event timestamp for journal entries we have:
the event dispatch timestamp from the event loop, instead of requerying the
timestamp at the time of writing.

This makes the time a bit more accurate, allows us to query the kernel time one
time less per event loop, and also makes sure we always use the same timestamp
for both attempts to write an entry to a journal file.

journal: when iterating through entry arrays and we hit an invalid one keep going

When iterating through partially synced journal files we need to be prepared
for hitting with invalid entries (specifically: non-initialized). Instead of
generated an error and giving up, let's simply try to preceed with the next one
that is valid (and debug log about this).

This reworks the logic introduced with caeab8f626e709569cc492b75eb7e119076059e7
to iteration in both directions, and tries to look for valid entries located
after the invalid one. It also extends the behaviour to both iterating through
the global entry array and per-data object entry arrays.

Fixes: #4088

journal: add an explicit check for uninitialized objects

Let's make dissecting of borked journal files more expressive: if we encounter
an object whose first 8 bytes are all zeroes, then let's assume the object was
simply never initialized, and say so.

Previously, this would be detected as "overly short object", which is true too
in a away, but it's a lot more helpful printing different debug options for the
case where the size is not initialized at all and where the size is initialized
to some bogus value.

No function behaviour change, only a different log messages for both cases.

journal: also check that our entry arrays are properly ordered

Let's and extra check, reusing check_properly_ordered() also for
journal_file_next_entry_for_data().

journal: split out check for properly ordered arrays into its own function

This adds a new call check_properly_ordered(), which we can reuse later, and
makes the code a bit more readable.

journal: split out array index inc/dec code into a new call bump_array_index()

This allows us to share a bit more code between journal_file_next_entry() and
journal_file_next_entry_for_data().

journal: when we encounter a broken journal file, add some debug logging

Let's make it easier to figure out when we see an invalid journal file, why we
consider it invalid, and add some minimal debug logging for it.

This log output is normally not seen (after all, this all is library code),
unless debug logging is exlicitly turned on.

build-sys: Allow disabling installation of pam config snippet

Avoid forever loop for journalctl --list-boots command (#4278)

When date is changed in system to future and normal user logs to new journal file, and then date is changed back to present time, the "journalctl --list-boot" command goes to forever loop. This commit tries to fix this problem by checking first the boot id list if the found boot id was already in that list. If it is found, then stopping the boot id find loop.

systemd-user: add pam_unix account module

Otherwise systemd-user@ fails because systemd validates the account

Fixes: #4342

hwdb: Treat Latitude 2110 brightness keys like on Inspiron 1520 (#4355)

Like the Inspiron 1520, the Dell Latitude 2110 emits brightness-control
key events both through atkbd and acpi-video.  This suppresses them on
the atkbd side.

test: add test to make sure that ProtectKernelModules=yes disconnect mount propagation

core: make sure to dump ProtectKernelModules= value

core: check protect_kernel_modules and private_devices in order to setup NNP

core:sandbox: lets make /lib/modules/ inaccessible on ProtectKernelModules=

Lets go further and make /lib/modules/ inaccessible for services that do
not have business with modules, this is a minor improvment but it may
help on setups with custom modules and they are limited... in regard of
kernel auto-load feature.

This change introduce NameSpaceInfo struct which we may embed later
inside ExecContext but for now lets just reduce the argument number to
setup_namespace() and merge ProtectKernelModules feature.

doc: minor hint about InaccessiblePaths= in regard of ProtectKernelTunables=

test: add test to make sure that CAP_SYS_RAWIO was removed on PrivateDevices=yes

core:sandbox: remove CAP_SYS_RAWIO on PrivateDevices=yes

The rawio system calls were filtered, but CAP_SYS_RAWIO allows to access raw
data through /proc, ioctl and some other exotic system calls...

test: add capability tests for ProtectKernelModules=

This just adds capabilities test.

core:sandbox: Add ProtectKernelModules= option

This is useful to turn off explicit module load and unload operations on modular
kernels. This option removes CAP_SYS_MODULE from the capability bounding set for
the unit, and installs a system call filter to block module system calls.

This option will not prevent the kernel from loading modules using the module
auto-load feature which is a system wide operation.

Merge pull request #4351 from keszybz/nspawn-debugging

Enhance nspawn debug logs for mount/unmount operations

units: journal-upload Wants= and After=network-online.target (#4354)

To upload journal entries to a remote server, it is required that
the network is online.

Allow block and char classes in DeviceAllow bus properties (#4353)

Allowed paths are unified betwen the configuration file parses and the bus
property checker. The biggest change is that the bus code now allows "block-"
and "char-" classes. In addition, path_startswith("/dev") was used in the bus
code, and startswith("/dev") was used in the config file code. It seems
reasonable to use path_startswith() which allows a slightly broader class of
strings.

Fixes #3935.

networkd: add dbus interface for lease raw options (#3528)

Add a dbus object to represent dhcp leases and their raw options (i.e.
options 224-254).

core/main: get rid from excess check of ACTION_TEST (#4350)

If `--test` command line option was passed, the systemd set skip_setup
to true during bootup. But after this we check again that arg_action is
test or help and opens pager depends on result.

We should skip setup in a case when `--test` is passed, but it is also
safe to set skip_setup in a case of `--help`. So let's remove first
check and move skip_setup = true to the second check.

missing: add a bunch of mount flags

nspawn: let's mount(/tmp) inside the user namespace (#4340)

Fixes:
host# systemd-nspawn -D ... -U -b systemd.unit=multi-user.target
...
$ grep /tmp /proc/self/mountinfo
154 145 0:41 / /tmp rw - tmpfs tmpfs rw,seclabel,uid=1036124160,gid=1036124160

$ umount /tmp
umount: /root/tmp: not mounted

$ systemctl poweroff
...
[FAILED] Failed unmounting Temporary Directory.

nspawn,mount-util: add [u]mount_verbose and use it in nspawn

This makes it easier to debug failed nspawn invocations:

Mounting sysfs on /var/lib/machines/fedora-rawhide/sys (MS_RDONLY|MS_NOSUID|MS_NOEXEC|MS_NODEV "")...
Mounting tmpfs on /var/lib/machines/fedora-rawhide/dev (MS_NOSUID|MS_STRICTATIME "mode=755,uid=1450901504,gid=1450901504")...
Mounting tmpfs on /var/lib/machines/fedora-rawhide/dev/shm (MS_NOSUID|MS_NODEV|MS_STRICTATIME "mode=1777,uid=1450901504,gid=1450901504")...
Mounting tmpfs on /var/lib/machines/fedora-rawhide/run (MS_NOSUID|MS_NODEV|MS_STRICTATIME "mode=755,uid=1450901504,gid=1450901504")...
Bind-mounting /sys/fs/selinux on /var/lib/machines/fedora-rawhide/sys/fs/selinux (MS_BIND "")...
Remounting /var/lib/machines/fedora-rawhide/sys/fs/selinux (MS_RDONLY|MS_NOSUID|MS_NOEXEC|MS_NODEV|MS_BIND|MS_REMOUNT "")...
Mounting proc on /proc (MS_NOSUID|MS_NOEXEC|MS_NODEV "")...
Bind-mounting /proc/sys on /proc/sys (MS_BIND "")...
Remounting /proc/sys (MS_RDONLY|MS_NOSUID|MS_NOEXEC|MS_NODEV|MS_BIND|MS_REMOUNT "")...
Bind-mounting /proc/sysrq-trigger on /proc/sysrq-trigger (MS_BIND "")...
Remounting /proc/sysrq-trigger (MS_RDONLY|MS_NOSUID|MS_NOEXEC|MS_NODEV|MS_BIND|MS_REMOUNT "")...
Mounting tmpfs on /tmp (MS_STRICTATIME "mode=1777,uid=0,gid=0")...
Mounting tmpfs on /sys/fs/cgroup (MS_NOSUID|MS_NOEXEC|MS_NODEV|MS_STRICTATIME "mode=755,uid=0,gid=0")...
Mounting cgroup on /sys/fs/cgroup/systemd (MS_NOSUID|MS_NOEXEC|MS_NODEV "none,name=systemd,xattr")...
Failed to mount cgroup on /sys/fs/cgroup/systemd (MS_NOSUID|MS_NOEXEC|MS_NODEV "none,name=systemd,xattr"): No such file or directory

nspawn: small cleanups in get_controllers()

- check for oom after strdup
- no need to truncate the line since we're only extracting one field anyway
- use STR_IN_SET

nspawn: simplify arg_us_cgns passing

We would check the condition cg_ns_supported() twice. No functional
change.

core: chown() any TTY used for stdin, not just when StandardInput=tty is used (#4347)

If stdin is supplied as an fd for transient units (using the
StandardInputFileDescriptor pseudo-property for transient units), then we
should also fix up the TTY ownership, not just when we opened the TTY
ourselves.

This simply drops the explicit is_terminal_input()-based check. Note that
chown_terminal() internally does a much more appropriate isatty()-based check
anyway, hence we can drop this without replacement.

Fixes: #4260

resolve: remove unsed counter (#4349)

It was introduced but never used in 45ec7efb.

Merge pull request #4348 from poettering/docfixes

Various smaller documentation fixes.

Merge pull request #4067 from poettering/invocation-id

Add an "invocation ID" concept to the service manager

man: beef up documentation on per-unit resource limits a bit

Let's clarify that for user services some OS-defined limits bound the settings
in the unit files.

Fixes: #4232

man: document that Type=idle is subject to a 5s time-out

Fixes: #4116

man: avoid using the term "loaded" for units currently in memory, since we also have a unit state of that name

Fixes: #3971

pager: tiny beautification

man: expand the documentation of $SYSTEMD_PAGER and related environment variables

Document the default pagers used, as well as $SYSTEMD_LESSCHARSET.

Fixes: #4143

Merge pull request #4115 from yuwata/completion-fix

bash-completion: systemctl: do not pass masked or not-found units to filter

units: add Wants=initrd-cleanup.service to initrd-switch-root.target (#4345)

`systemctl isolate initrd-switch-root.target` called by initrd-cleanup.service
kills initrd-cleanup.service itself. Then, initrd-cleanup.service failed and
system goes to emergency shell.
To prevent this problem, this commit adds `Wants=initrd-cleanup.service` to
initrd-switch-root.target.

fixes: #4343.

udevadm: use parse_sec instead of atoi for timeout option (#4331)

log_error method is used instead of fprintf

Merge pull request #4337 from poettering/exit-code

Fix for #4275 and more

man: update unit type count (#4339)

It seems that this count was not updated when snapshot units were
removed in #1841.

resolved: initialize variable (#4338)

r was not initialized and would be used if "tcp" was the only option
used for the stub. We should initialize it to 0 to indicate that no
error happened in the udp case.

Merge pull request #4336 from dandedrick/journal-remote-non-blocking

Journal remote non blocking

core: simplify if branches a bit

We do the same thing in two branches, let's merge them. Let's also add an
explanatory comment, while we are at it.

core: make use of IN_SET() in various places in mount.c

core: when determining whether a process exit status is clean, consider whether it is a command or a daemon

SIGTERM should be considered a clean exit code for daemons (i.e. long-running
processes, as a daemon without SIGTERM handler may be shut down without issues
via SIGTERM still) while it should not be considered a clean exit code for
commands (i.e. short-running processes).

Let's add two different clean checking modes for this, and use the right one at
the appropriate places.

Fixes: #4275

core: lower exit status "level" at one place

When we print information about PID 1's crashdump subprocess failing. In this
case we *know* that we do not generate LSB exit codes, as it's basically PID 1
itself that exited there.

main: use strdup instead of free_and_strdup to initialize default unit (#4335)

Previously we've used free_and_strdup() to fill arg_default_unit with unit
name, If we didn't pass default unit name through a kernel command line or
command line arguments. But we can use just strdup() instead of
free_and_strdup() for this, because we will start fill arg_default_unit
only if it wasn't set before.

exit-status: kill is_clean_exit_lsb(), move logic to sysv-generator

Let's get rid of is_clean_exit_lsb(), let's move the logic for the special
handling of the two LSB exit codes into the sysv-generator by writing out
appropriate SuccessExitStatus= lines if the LSB header exists. This is not only
semantically more correct, bug also fixes a bug as the code in service.c that
chose between is_clean_exit_lsb() and is_clean_exit() based this check on
whether a native unit files was available for the unit. However, that check was
bogus since a long time, since the SysV generator was introduced and native
SysV script support was removed from PID 1, as in that case a unit file always
existed.

journal-remote: fix up misleading man page

The --no-seal and --no-compress options were dropped and replaced with
boolean functionality. This syncs the man page with the code.

journal-remote: make the child pipe non-blocking

We are going to add this child as a source to our event loop so we don't
want to block when reading data from it as this will prevent us from
processing other events. Specifically this will block the signalfds
which means if we are waiting for data from curl we won't handle SIGTERM
or SIGINT until we happen to get more data.

install: let's always refer to the actual setting in errors

exit-status: reorder the exit status switch table

Let's make sure it's in the same order as the actual enum defining the exit
statuses.

exit-status: remove ExitStatus typedef

Do not make up our own type for ExitStatus, but use the type used by POSIX for
this, which is "int".  In particular as we never used that type outside of the
definition of exit_status_to_string() where we internally cast the paramter to
(int) every single time we used it.

Hence, let's simplify things, drop the type and use the kernel type directly.

update TODO

networkd: rename Rename CheckSum → Checksum (#4312)