shared/install: nicer error message is symlinking chokes on an existing file

Fixes #1892.

Previously:
Failed to enable unit: Invalid argument

Now:
Failed to enable unit, file /etc/systemd/system/ssh.service already exists.

It would be nice to include the unit name in the message too. I looked into
this, but it would require major surgery on the whole installation logic,
because we first create a list of things to change, and then try to apply them
in a loop. To transfer the knowledge which unit was the source of each change,
the data structures would have to be extended to carry the unit name over into
the second loop. So I'm skipping this for now.

networkd: respect DHCP UseRoutes option (#3075)

This fixes #2282.

networkd: bump MTU to 1280 for interfaces which have IPv6 enabled (#3077)

IPv6 protocol requires a minimum MTU of 1280 bytes on the interface.
This fixes #3046.

Introduce helper link_ipv6_enabled() to figure out whether IPV6 is enabled.
Introduce network_has_static_ipv6_addresses() to find out if any static
ipv6 address configured.
If IPv6 is not configured on any interface that is SLAAC, DHCPv6 and static
IPv6 addresses not configured, then IPv6 will be automatically disabled for that
interface, that is we write "1" to /proc/sys/net/ipv6/conf//disable_ipv6.

Merge pull request #3074 from keszybz/tmpfiles

systemd-tmpfiles improvements, nspawn -E, honouring $TERM in pid1

tmpfiles: add new 'e' action which cleans up a dir without creating it

I wanted to add a config line that would empty a directory
without creating it if doesn't exist. Existing actions don't allow
this.

v2: properly add 'e' to needs_glob() and takes_ownership()

man: try to explain different actions in tmpfiles a bit better

- do not suggest that vendor configuration files should be in
  /etc, use /usr/lib/tmpfiles.d instead
- split the first example, because the text talked about "needing
  two directories", but then a smack attribute was also set, and
  on a different path, which looked like a typo. Replace that
  with the example from original patch [1] which added 't'.
- fix the example for /var/tmp/abrt. The 'x' line was redundant,
  because /var/tmp/abrt/* is already filtered because "d /var/tmp/abrt"
  overrides "d /var/tmp".

[1] http://permalink.gmane.org/gmane.comp.sysutils.systemd.devel/25051

tmpfiles: shorten some long error messages

Also don't print %m when the message already contains all the info.

tmpfiles: interpret "-" as stdin

pid1: disable color output when TERM=dumb

This changes the behaviour of pid1 in the following ways:
- obviously $TERM is now checked,
- $SYSTEMD_COLORS is now honoured too, before only SYSTEMD_LOG_COLORS was checked,
- isatty() is run on stdout not stderr.

As requested in #3025.

machinectl: add -E as alias for --setenv

run: add -E as alias for --setenv

nspawn: add -E as alias for --setenv

v2:
- "=" is required, so remove the <optional> tags that v1 added

basic/terminal-util: cache value for colors_enabled

After all it's something that we query over and over.
For example, systemctl calls colors_enabled() four times for each failing
service. The compiler is unable to optimize those calls away because they
(potentially) accesses external and global state through on_tty() and
getenv().

logind: use type to determine graphical sessions (#3071)

systemctl: hide "following" units if '--all' is not passed (#2967)

No need to dump all the redundant device units on the user, just because he
specified that he wants to see units of a specific state.

This was broken by commit ebc962656cee33e3e8395f456a8208c3ca41969c.

Merge pull request #3055 from keszybz/preset-fixes

Another bunch of improvements to the installation code

coredump: create unnamed temporary files if possible (O_TMPFILE) (#3065)

Don't leave temporary files if the coredump service is aborted during
the operation

Yeah, these are temporary files that systemd-coredump needs while
processing the coredumps. Of course, if the coredump service is aborted
during the operation we better shouldn't leave those files around. This
is hence a bug to fix in our coredumping code.
See https://github.com/systemd/systemd/issues/2804#issuecomment-210578147

Another option is to simply use O_TMPFILE, and when it is not available
fall back to the current behaviour. After all, the files are cleaned up
eventually, through normal tmpfiles aging, and the offending file
systems are pretty exotic these days, or not in the upstream kernel.

See https://github.com/systemd/systemd/issues/2804#issuecomment-211496707

run: change --tty option to --pty as documented

Keep the previous option name as hidden, for compatibility.

Fixes #3054.

systemctl: warning about missing install info for template units

The advice string didn't talk about template units at all. Extend
it and print when trying to enable a template unit without install info.

Fixes #2345.

shared/install: change value of _UNIT_FILE_CHANGE_TYPE_INVALID

-1 could be confused with -EPERM. But we still need a negative enum
value to force gcc to use int for the enum type, even though it is
unused. Otherwise we get warnings.

shared/install,systemctl,core: report offending file on installation error

Fixes #2191:

$ systemctl --root=/ enable sddm
Created symlink /etc/systemd/system/display-manager.service, pointing to /usr/lib/systemd/system/sddm.service.
$ sudo build/systemctl --root=/ enable gdm
Failed to enable unit, file /etc/systemd/system/display-manager.service already exists and is a symlink to /usr/lib/systemd/system/sddm.service.
$ sudo build/systemctl --root= enable sddm
$ sudo build/systemctl --root= enable gdm
Failed to enable unit: File /etc/systemd/system/display-manager.service already exists and is a symlink to /usr/lib/systemd/system/sddm.service.

(I tried a few different approaches to pass the error information back to the
caller. Adding a new parameter to hold the error results in a gigantic patch
and a lot of hassle to pass the args arounds. Adding this information to the
changes array is straightforward and can be more easily extended in the
future.)

In case local installation is performed, the full set of errors can be reported
and we do that. When running over dbus, only the first error is reported.

sleep: Add debug feature to bypass hibernation memory checks. (#3064)

This new feature bypasses checking if a swap partition is mounted
or if there is enough swap space available for hibernation to
succeed.

This can be useful when a system with a Solid State Disk (SSD)
has no normal swap partition or file configured, and a custom
systemd unit is used to mount a swap file just before hibernating
and unmount it just after resuming.

Signed-off-by: Vittorio Gambaletta <git-systemd@vittgam.net>

zsh-completion: remove non-portable uses of \s in awk (#3063)

shared/install: add helper function unit_file_changes_have_modification()

As suggested in review of #3049.

Various formatting and style fixes

Add zsh completion for networkctl (#3062)

Master minutes (#3060)

* man: change time unit specifier for minutes to "m", not "min".

To alert the reader to the fact that the ambiguous prefix "m" will be
interpreted as minutes, not months.

* man: change 'journal files' to 'archived journal files'.

So that the user may be reminded why they see log entries in the journal
from a time previous to the one they specified when using --vacuum-time.

Mark nbd as inactive until connected (#2422)

Currently, 99-systemd.rules.in contains a line for network block
devices, which mark them as inactive until the first change event, and
as active from then on forward. This is not correct. A network block
device can be connected or disconnected; this state is signalled by the
presence or absense of a "pid" file, which contains the PID of the
nbd client userspace process that started the connection.

Update the rules file so that it checks for the presence of that file to
decide what to set SYSTEMD_READY to.

Note that current kernels do issue a change event upon connecting the
device, but not yet upon disconnecting. While it's possible to wait
until that's been fixed, the behaviour of the rule with TEST!="pid" in
the absence of a proper uevent is exactly the same as the behaviour of
the old rule; so it should be safe to apply now.

Signed-off-by: Wouter Verhelst <w@uter.be>

basic: user-utils.c needs missing.h for secure_getenv (#3059)

Otherwise building may fail with:

src/basic/user-util.c: In function 'get_home_dir':
src/basic/user-util.c:343:9: error: implicit declaration of function 'secure_getenv' [-Werror=implicit-function-declaration]

networkd: allow setting of multicast querier for linux bridge (#3051)

hwdb: add touchpad resolutions for the Dell XPS 15 9550 (#3057)

https://bugs.freedesktop.org/show_bug.cgi?id=94773

conf-parser: Set EXTRACT_RETAIN_ESCAPE when extracting words (#2917)

If you reference another unit with an escaped name, the escaped characters
should remain in the extracted word. This used to work correctly prior to
commit 34f253f0.

The problem can be seen when units with escaped names are referenced.

$ cat "/usr/lib/systemd/system/dev-disk-by\x2dlabel-eos\x2dswap.swap"
[Swap]
What=/dev/disk/by-label/eos-swap

[Install]
WantedBy=dev-disk-by\x2dlabel-eos\x2dswap.device

$ systemctl enable "dev-disk-by\x2dlabel-eos\x2dswap.swap"
Created symlink
/etc/systemd/system/dev-disk-byx2dlabel-eosx2dswap.device.wants/dev-disk-by\x2dlabel-eos\x2dswap.swap,
pointing to /usr/lib/systemd/system/dev-disk-by\x2dlabel-eos\x2dswap.swap.

The wants directory should be created with the x2ds escaped with \.

tree-wide: fall back to now(CLOCK_MONOTONIC) if CLOCK_BOOTTIME unsupported (#3037)

It was added in 2.6.39, and causes an assertion to fail when running in mock
hosted on 2.6.32-based RHEL-6:

Assertion 'clock_gettime(map_clock_id(clock_id), &ts) == 0' failed at systemd/src/basic/time-util.c:70, function now(). Aborting.

Merge pull request #3049 from keszybz/preset-fixes

Fixes for preset-all handling and a few related issues

man: systemd.exec: Clarify InaccessibleDirectories (#3048) (#3048)

install: allow paths like LookupPath.generator to be NULL

Fixes #3047.

tree-wide: introduce PATH_IN_SET macro

systemctl/core: ignore masked units in preset-all

With any masked unit that would that would be enabled by presets, we'd get:

test@rawhide $ sudo systemctl preset-all
Failed to execute operation: Unit file is masked.

test@rawhide $ sudo systemctl --root=/ preset-all
Operation failed: Cannot send after transport endpoint shutdown

Simply ignore those units:

test@rawhide $ sudo systemctl preset-all
Unit xxx.service is masked, ignoring.

tree-wide: use ERFKILL instead of ESHUTDOWN for "unit masked"

If the error code ever leaks (we print the strerror error instead of providing
our own), the message for ESHUTDOWN is "Cannot send after transport endpoint
shutdown", which can be misleading. In particular it suggest that some
mishandling of the dbus connection occured. Let's change that to ERFKILL which
has the advantage that a) it sounds implausible as actual error, b) has the
connotation of disabling something manually.

journald: rewrite function with switch, fix handling of -ESHUTDOWN

The comments and the log messages are next to one another, so it's easier
to check that the messages match the comments.

The sign was omitted in the check for -ESHUTDOWN, so it was never matched.

sd-bus: use IN_SET

systemctl: make --root=/ disable dbus again

Before 0f03c2a4c093 specifying any path would cause the systemctl client
to do the installation itself, instead of going over dbus. Restore that
behaviour.

core/mount-setup.c: also relabel /dev/shm for selinux (#3039)

daemons, which wish to transition state from the initramfs to the real
root, might use /dev/shm for their state.

As /dev is not relabeled across mount points, /dev/shm has to be
relabled explicitly.

Merge pull request #3036 from evverx/add-ldl

build-sys: add missing -ldl

networkd: Add support to configure proxy arp support to interfaces (#3020)

Fixes: #2889

Merge pull request #3029 from ipuustin/supplementary-gids

sd-bus: query pid also when requesting supplementary gids information

Merge pull request #3033 from keszybz/code-cleanups

Code cleanups

systemctl: fix leak

CID #1354670.

shared/path-lookup: fix leak

CID #1354671: char **l would be leaked.

Also rename l to paths, to make the code easier to read,
and do strv deduplication immediately when extending. No need to allocate
strings to remove them a few lines down.

test-strv: add a test that extending empty strv works as expected

Just making sure :)

build-sys: add missing -ldl

Fixes #3035

tests: don't rely on the host's systemd-nspawn, don't register test machine (#3023)

Fixes:
$ cd test/TEST-07-ISSUE-1981/
$ sudo make clean setup run
...
timeout: failed to run command ‘systemd-nspawn’: No such file or directory
...
TEST RUN: https://github.com/systemd/systemd/issues/1981 [FAILED]
Makefile:10: recipe for target 'run' failed
make: *** [run] Error 1

sd-bus: query pid also when searching for supplementary gids

If the SD_BUS_CREDS_SUPPLEMENTARY_GIDS value is requested, the pid is
queried to find out the supplementary gids value from /proc/pid/status.
Otherwise sd_bus_creds_get_supplementary_gids() won't work unless some
other value in mask triggered fetching the pid information.

tree-wide: remove useless NULLs from strjoina

The coccinelle patch didn't work in some places, I have no idea why.

basic/util: silence stupid gcc warnings about unitialized variable

Merge pull request #2973 from poettering/search-path

Many fixes, in particular to the install logic

load-fragment: Resolve specifiers in DeviceAllow (#3019)

Closes #1602

systemctl: when we want to know whether there's a native unit file, don't choke on ELOOP

ELOOP indicates that there's a symlink in /etc for a native unit file, and
that's completely OK.

test-dnssec: drop unused variable

core: make sure we always free the list of changes

man: shorten the list of unit file paths a bit

Let's make this more digestable to read by making the list of documented unit
file paths a bit shorter.

Specifically, let's drop references to $XDG_CONFIG_HOME and $XDG_DATA_HOME, as
their default values are listed too already. Given that the fact that the XDG
basedir spec makes these paths configurable is probably not a strong point of
the spec, let's drop the reference to the env vars, and keep only the literal,
default paths for them in the list. Of course, we do support the full XDG
basedir spec in this regard, but it's one thing to implement it and another one
to recommend it by documenting it.

Replace "$HOME" by "~", because UNIX.

core: keep track of the mtime of the transient unit file we wrote

Otherwise "systemctl status" will immediately report that our unit file is out
of date.

update TODO

sd-lldp: minor whitespace fixes

sd-lldp: drop LLDP ethernet export from sd-lldp.h

We only use it for the Tx code anyway, hence sd-lldp.h shouldn't expose it, as
it only implements Rx.

core: make sure we generate a nicer error when a linked unit is attempted to be enabled

We don't allow using config symlinks to enable units, but the error message we
printed was awful. Fix that, and generate a more readable error.

Fixes #3010.

machinectl: add new "machinectl clean" command

This new command removes all, or all hidden container images that have been
downloaded.

README: document that we only support util-linux built with --enable-libmount-force-mountinfo

Fixes: #2978

man: clarify that DefaultDependencies= is in the [Unit] section

This hopefully reduces confusion resulting in issues like #2992.

tests: override XDG_RUNTIME_DIR where we use the user runtime dir

We don#t really support systems where XDG_RUNTIME_DIR is not supported for
systemd --user. Hence, let's always set our own XDG_RUNTIME_DIR for tests that
involve systemd --user, so that we know it is set, and that it doesn't polute
the user's actual runtime dir.

core: optimize unit_write_drop_in a bit

There's no point in first determining the drop-in file name path, then
forgetting it again, and then determining it again. Instead, just generated it
once, and then write to ti directly.

core: when creating a drop-in snippet, add a comment explaining this to it

core,systemctl: add new "systemctl revert" command

This allows dropping all user configuration and reverting back to the vendor
default of a unit file. It basically undoes what "systemctl edit", "systemctl
set-property" and "systemctl mask" do.

install: fix errno handling

install: simplify skip_root() a bit

Exit early, so that we can get rid of the large if block.

nstall: no need to export unit_file_lookup_state() anymore

We only use it inside of install.c, hence let's make it static.

tree-wide: add new SIGNAL_VALID() macro-like function that validates signal numbers

And port all code over to use it.

basic: remove rbtree code, it's unused

it's unused, and should we need it one day we can always resurrect it from git
history.

sysv-generator: port to use new unit_file_exists() call

The code previously queries the state of a unit file, but was only interested
in the existance of it, hence let's use unit_file_exists() instead, the same
way the SysV compat code in systemctl does it.

systemctl: don't confuse sysv code with generated units

The SysV compat code checks whether there's a native unit file before looking
for a SysV init script. Since the newest rework generated units will show up in
the unit path, and hence the checks ended up assuming that there always was a
native unit file for each init script: the generated one.

With this change the generated unit file directory is suppressed from the
search path when this check is done, to avoid the confusion.

path-lookup: move generator_binary_paths() to end of file

Let's keep the code that manipulates LookupPaths together, and move
generator_binary_paths() to the end of the .h and .c files, since it is not
strictly related to that.

systemctl: add error message when we get unexpected event from waitid()

We should log about everything we don't expect.

Also, add a comment for one case were we do not log, on purpose, and make it
use a separate error code.

systemctl: fix incorrect errno for error message

systemctl: move check whether a service exists as native unit file to install.c

Move the search path check from the SysV service compat support into install.c
so that we can reuse the usual algorithm instead of rolling a private loop for
this.

core: rework reboot parameter logic a bit

Always warn if something fails, and clarify that the involved utility functions
do so in their name.

Drop the REBOOT_PARAM_FILE macro. We don't do this for other flag file paths
like this, so don't do this for this one either. The path isn't configurable
anyway, hence let's make this easier to read by avoiding this one indirection.

core: be more paranoid when mixing umask and fopen()

Let's be extra careful with the umask when we use simple fopen(), as this
creates files with 0777 by default.

core: rework how transient unit files and property drop-ins work

With this change the logic for placing transient unit files and drop-ins
generated via "systemctl set-property" is reworked.

The latter are now placed in the newly introduced "control" unit file
directory. The fomer are now placed in the "transient" unit file directory.

Note that the properties originally set when a transient unit was created will
be written to and stay in the transient unit file directory, while later
changes are done via drop-ins.

This is preparation for a later "systemctl revert" addition, where existing
drop-ins are flushed out, but the original transient definition is restored.

core: introduce a "control" unit file directory

This patch adds a concept of a "control" unit file directory, which is supposed
to be used as place for unit file drop-ins created by "systemctl set-property"
(note that this directory is not actually hooked up to "systemctl set-property"
yet, that's coming in a later patch).

The rationale for this: previously changes made by the user and by "systemctl
set-property" were done in the same directory, which made semantics very
unclear: the changes made by "systemctl set-property" were applied instantly,
and their drop-ins only written to not lose settings on a later "systemctl
daemon-reload", while drop-ins made by the user would only be in effect after
"systemctl daemon-reload". This is particular problematic as the changes made
by "systemctl set-property" would really apply immediately without any respect
for the unit search path. This meant that using "set-property" could have an
effect that is lsot as soon as "daemon-reload" is issued, in case there was a
"later" drop-in already in place.

With this change the directories are seperated, and the "control" directory
always takes the highest priority of all, to avoid any confusion.

install: rename generator_paths() → generator_binary_paths()

This is too confusing, as this funciton returns the paths to the generator
binaries, while usually when we refer to the just the "generator path" we mean
the generated unit files. Let's clean this up.

core: move flushing of generated unit files to path-lookup.c

It's very similar to the mkdir and trim operations for the generator dirs,
hence let's unify this at a single place.

core: minor coding style fix

tests: make sure test-path-lookup can run even when no units are installed on test system

localed: downgrade libxkbcommon to an optional runtime dependency

Previously, libxkbcommon was a compile-time option. When enabled the localed
binary would strictly depend on it, thus pulling in libxkbcommon and its
dependencies, which are non-trivial in size.

With this change we dlopen() libxkbcommon when it is available instead. If the
library is available behaviour is as before. However, if it isn't the system is
considered "headless", i.e. without local hardware and all attempts to set the
local keyboard configuration will be refused.

This is useful for general-purpose distributions which want to support
"headless" (such as container systems) and "full" systems with the same build.

test: bump up log level for install root test

shared: add a temporary work-around for kernel header inclusion fuck-up

See: #2864

install: unify checking whether operations may be applied to a unit file in a new function

Let's replace repeated code by a single implementation in a single function.

install: introduce a new unit file state "transient"

Now, that the search path logic knows the unit path for transient units we also
can introduce an explicit unit file state "transient" that clarifies to the
user what kind of unit file he is encountering.

install: fix root prefix handling

Previously, we'd execute some operations with the root prefix applied, while
others without (which was a bug). Clean this up: all paths are now prefixed
properly with the root path, and we strip it off when necessary.

(Of course, an alternative option would be to strictly pass around paths
without the prefix prepended and only prepend it right before hitting the disk,
however, I am came to the conclusion this would result in more code.)

path-lookup: make user_runtime_dir() more generic

Let's make the suffix it appends configurable. This way we can reuse it at a second place.

path-lookup: clean up user_config_home() and user_runtime_dir()

Let's modernize these calls a bit.

Also, don't call them from user_dirs() anymore, as we already have both dirs in
the list a second time via the persistent_config and runtime_config function
parameters.