resolved: change newline position in stub-resolv.conf (#7216)

Follow-up for e6b2d948f8f5aabf6cdede8bd39256fe83db205e.

Merge pull request #7212 from whot/master

hwdb: add a hwdb for custom ID_INPUT_* overrides

rules: add Freescale IMX serial ports name to serial port udev rule (#7203)

Freescale IMX SoCs serial ports driven by kernel "imx-uart" driver have
names of "ttymxcN", let's add this pattern to an udev rule for serial
ports so they will have proper ownership applied.

treewide: unify identical definitions of polkit_agent_open_if_enabled() (#7187)

Follows the same pattern as pager_open() now.

hwdb: add UC-Logic 20160N pad to the ID_INPUT hwdb

Missing the x/y axes usually exported for pad devices (for historical reaons)
and thus not recognised as tablet (pad).

Fixes #7197
See also https://bugs.freedesktop.org/show_bug.cgi?id=103395

hwdb: add a hwdb file to override ID_INPUT assignments

The input_id builtin assigns the various ID_INPUT based on the exported evdev
bits. In some cases, the device may not have the properties required to label
a device as one specific type but the physical form factor is clear.
e.g. in the case of #7197 it's a tablet pad that does not have x/y axes which
the kernel exports for pads for historical reasons.

A custom override is needed, best to be solved with a hwdb entry.

Related #7197

man: systemd.offline-updates: remove link to the doc it obsoletes (#7189)

https://www.freedesktop.org/wiki/Software/systemd/SystemUpdates/

> This document has been replaced by systemd.offline-updates(7) man page.

It's weird to visit the first "see also", and find that it is what the manpage replaces (and looks very similar).  Surely we should remove this link.

journalctl: add --output-fields= (#7181)

This option allows restricting the shown fields in the output modes that
would normally show all fields. It allows clients that are only
interested in a subset of the fields to access those more efficiently.
Also, it makes the resulting size of the output more predictable.

It has no effect on the various `short` output modes, because those
already only show a subset of the fields.

Merge pull request #7066 from poettering/specifier-update

extend unit file specifier expansion a bit + add a test for it

update TODO

test: add simple test for validating some of the unit specifiers we support

(Also, sort list of test unit files in meson.build alphabetically, to
make future additions more systematic)

core: add support for expanding state/cache/log directory root in unit files

This augments %t which already resolves to the runtime directory root, and
should be useful for units that want to pass any of these paths in
command line arguments.

Example:

ExecStart=/usr/bin/mydaemon --datadir=%S/mydaemon

Why not expose a specifier resolving directly to the configured
state/runtime/cache/log dir? Three reasons:

1. Specifiers should be independent of configuration of the unit itself,
   and StateDirectory= and friends are unit configuration.  See
   03fc9c723cfc59467a7fccc305f34273f8564b25 and related work.

2. We permit multiple StateDirectory= values per unit, and it hence
   wouldn't be clear which one is passed.

3. We already have %t for the runtime directory root, and we should
   continue with the same scheme.

systemd-detect-virt: refine hypervisor detection (#7171)

Continue to try to get more details about the actual underlying
hypervisor with successive tests until none are available.
This fixes issue #7165.

Merge pull request #7184 from keszybz/resolved-loop

resolved: fix loop on packets with pseudo dns types

https://bugs.launchpad.net/ubuntu/+source/systemd/+bug/1725351,
CVE-2017-15908.

Merge pull request #7127 from keszybz/sundry-tweaks

Various unrelated small patches

Merge pull request #7142 from sourcejedi/systemd-shutdown

systemd-shutdown: avoid confusingly redundant messages

Adding timer_event to wakeup as suggested by MHD_get_timeout (#7152)

hwdb: Add ACCEL_MOUNT_MATRIX for ThinkPad Yoga 11e (#7174)

Accelerometer readings from the screen accelerometer on the Yoga 11e
need to be rotated 90 degrees around the Z axis.

resolved: fix loop on packets with pseudo dns types

Reported by Karim Hossen & Thomas Imbert from Sogeti ESEC R&D.

https://bugs.launchpad.net/ubuntu/+source/systemd/+bug/1725351

hwdb: Document expected MOUNT_MATRIX on devices with non upright display (#7177)

On some devices the display (LCD panel) is mounted non upright
in the device's casing, e.g. mounted upside-down or 90 degree rotated.

Document the expected ACCEL_MOUNT_MATRIX settings for such devices.

nspawn: EROFS for chowning mount points is not fatal (#7122)

This fixes --read-only with --private-users. mkdir_userns_p may return
-EROFS if either mkdir or lchown fails; lchown failing is fine as the
mount point will just be overmounted, and if mkdir fails then the
following mount() will also fail (with ENOENT).

core: systemd-shutdown: avoid confusingly redundant messages

After previous output from systemd-shutdown indicated a bug, my attention
was drawn to redundant output lines.  Did they indicate an anomaly?

It turns out to be an expected, harmless result of the current code.  But
we don't have much justification to run such redundant operations.  Let's
remove the confusing redundant message.

We can stop trying to remount a directory read-only once its mount entry
has successfully been changed to "ro".  We can simply let the kernel keep
track of this for us.  I don't bother to try and avoid re-parsing the
mountinfo.  I appreciate snappy shutdowns, but this code is already
intricate and buggy enough (see issue 7131).

(Disclaimer: At least for the moment, you can't _rely_ on always seeing
suspicious output from systemd-shutdown.  By default, you can expect the
kernel to truncate the log output of systemd-shutdown.  Ick ick ick!
Because /dev/kmsg is rate-limited by default.  Normally it prints a message
"X lines supressed", but we tend to shut down before the timer expires
in this case).

Before:

systemd-shutdown[1]: Remounting '/' read-only with options 'seclabel...
EXT4-fs (vda3): re-mounted. Opts: data=ordered
systemd-shutdown[1]: Remounting '/' read-only with options 'seclabel, ...
EXT4-fs (vda3): re-mounted. Opts: data=ordered

After:

systemd-shutdown[1]: Remounting '/' read-only with options 'seclabel, ...
EXT4-fs (vda3): re-mounted. Opts: data=ordered

I also tested with `systemctl reboot --force`, plus a loopback mount to
cause one of the umounts to fail initially.  In this case another 2 lines
of output are removed (out of a larger number of lines).

resolved: create private stub resolve file for /etc/resolv.conf integration (#7014)

This creates a second private resolve.conf file which lists the stub resolver
and the resolved acquired search domains.

This runtime file should be used as a symlink target for /etc/resolv.conf such
that non-nss based applications can resolve search domains.

Fixes: #7009

Merge pull request #7141 from yuwata/fix-7129

core: fix D-Bus API

core: in --user mode, report READY=1 as soon as basic.target is reached (#7102)

When a user logs in, systemd-pam will wait for the user manager instance to
report readiness. We don't need to wait for all the jobs to finish, it
is enough if the basic startup is done and the user manager is responsive.

systemd --user will now send out a READY=1 notification when either of two
conditions becomes true:
- basic.target/start job is gone,
- the initial transaction is done.

Also fixes #2863.

Merge pull request #7123 from keszybz/date-formatting

Fix for time stamp formatting in timedatectl

core: fix D-Bus API

This fixes bugs introduced by cffaed83e87bde81378b2be74192193850d0e03a.

Closes #7129.

nspawn: Fix calculation of capabilities for configuration file (#7087)

The current code shifting an integer 1 failed for capabilities like
CAP_MAC_ADMIN (numerical value 33). This caused issues when specifying
them in the nspawn configuration file. Using an uint64_t 1 instead.

The similar code for processing the --capability command line option
was already correctly working.

man: update the description of interval limiting (#7128)

Fixes #7125.

Merge pull request #7148 from keszybz/dynamic-user-use-gid

Use gid for static dynamic users

NEWS: start adding 236 (#7159)

Merge pull request #6948 from pfl/radv_emit_dns

Add EmitDNS= and EmitDomains= network file configuration options

core/dynamic-user: use gid from pwnam if a static user was found

Fixes #7133.

v2:
- update based on review

hwdb: invert the USB touchpad integration assumption (#7161)

The vast majority of touchpads are internal, so let's assume that any USB
touchpad is internal by default (exception: bluetooth) and manually mark the
ones that are external. That's a lot more future-proof than having to mark all
internal touchpads that use USB as internal - that number is only going to
increase.

Related to #7068

modprobe.d: fix directory of modprobe configuration file (#7149)

kmod upstream uses /lib/modprobe.d which means we need to use rootprefix
instead of prefix for installing the modprobe configuration file as
otherwise split-usr systems are broken.

See https://bugs.debian.org/cgi-bin/bugreport.cgi?bug=879191

core/dynamic-user: use _cleanup_ in dynamic user locking

This makes the code a bit easier to read.

sd-radv: Allocate space also for DNSSL iov option (#7144)

The iov array needs to hold five entries in addition to the number
of prefixes.

core: systemd-shutdown: add missing check for umount_changed

The assumption was that nothing changes in the final attempt.  This
would be confusing if a filesystem with a process in uninterruptible
sleep suddenly became un-stuck for the final attempt, but we still give
up and don't try to e.g. unmount any parent mounts.

I don't know how possible that is.  But the code will be easier to read
without an assumption that it does not attempt to justify.

Merge pull request #7132 from splantefeve/fr-translation

Update French translation

po: update french translation

catalog: update french translation

man: describe how machine-id should be initialized (#7051)

rfkill: include the device name in error message

man: recommend using /var/lib/machines in systemd-nspawn(1)

Also update the instruction to latest Fedora version.

util-lib: simplify kexec_loaded()

logind: drop unnecessary braces

meson: drop unneeded check for grep

timedatectl: stop using xstrftime

When using strftime in arbitrary locales, we cannot really say how big the
buffer should be. Let's make the buffer "large", which will work fine pretty
much always, and just print n/a if the timestamp does not fit. strftime returns
0 if the buffer is too small and a NUL-terminated string otherwise, so we
can drop the size specifications in string formatting.

$ export LANG=fa_IR.UTF-8
$ date
چهارشنبه ۱۸ اكتبر ۱۷، ساعت ۱۰:۵۴:۲۴ (+0330)
$ timedatectl
Assertion 'xstrftime: a[] must be big enough' failed at ../src/timedate/timedatectl.c:105, function print_status_info(). Aborting.

now:

$ timedatectl
        Local time: چهارشنبه 2017-10-18 16:29:40 CEST
    Universal time: چهارشنبه 2017-10-18 14:29:40 UTC
          RTC time: چهارشنبه 2017-10-18 14:29:40
…

https://bugzilla.redhat.com/show_bug.cgi?id=1503452

Merge pull request #7078 from keszybz/cryptsetup-netdev-fixes

Cryptsetup _netdev fixes

units: make remote-cryptsetup.target also after cryptsetup-pre.target

This way people can order units before cryptsetup-pre.target and
have them run before any cryptsetup-related stuff.

networkd: don't stop the dhcp server if it's not configured. (#7083)

we call sd_dhcp_server_stop even if it's not configured when link is
down resulting unwanted logs.
```
Oct 10 13:41:07 nena systemd-networkd[126]: eth0: Lost carrier
Oct 10 13:41:07 nena systemd-networkd[126]: DHCP CLIENT (0x560f2dc5): STOPPED
Oct 10 13:41:07 nena systemd-networkd[126]: eth0: DHCP lease lost
Oct 10 13:41:07 nena systemd-networkd[126]: NDISC: Stopping IPv6 Router Solicitation client
Oct 10 13:41:07 nena systemd-networkd[126]: Assertion 'server' failed at ../src/libsystemd-network/sd-dhcp-server.c:256, function sd_dhcp_server_stop(). Ignoring.
```

fixes #7047

tests: rename test-time to test-time-util

It's for testing time-util.c so rename it to make things more
obvious.

networkd: Consider linkLocalAddressing state while configuring ndisc. (#7012)

If linkLocalAddressing is disabled in for the interface still then
we look for ndisc configured or not in link_check_ready.

Link local is used automatic address configuration and neighbor discovery protocol.
If link local is disabled we should not configure ndisc.

Fixes #2713, #6441, #5841.

core: fragments of masked units ought not be considered for NeedDaemonReload (#7060)

The units that are not loaded don't have dropin_paths set. This
currently results in units that have fragments to always have
NeedDaemonReload=true when masked:

  $ find {/usr/lib,/run/user/8086}/systemd/user/meh.service* |xargs ls -ld
  lrwxrwxrwx. 1 lkundrak lkundrak    9 Oct 11 11:19 /run/user/8086/systemd/user/meh.service -> /dev/null
  -rw-rw-r--. 1 root     root       49 Oct 11 10:16 /usr/lib/systemd/user/meh.service
  drwxrwxr-x. 2 root     root     4096 Oct 11 10:50 /usr/lib/systemd/user/meh.service.d
  -rw-rw-r--. 1 root     root      666 Oct 11 10:50 /usr/lib/systemd/user/meh.service.d/override.conf
  $ systemctl --user daemon-reload
  $ busctl --user get-property org.freedesktop.systemd1 \
        /org/freedesktop/systemd1/unit/meh_2eservice \
        org.freedesktop.systemd1.Unit NeedDaemonReload
  b true

Merge pull request #7059 from yuwata/dynamic-user-7013

dynamic-user: permit the case static uid and gid are different

man: add explanation about target's DefaultDependencies= (#7120)

Closes #7113.

man: comment a requirement about the static user or group when DynamicUser=yes

man: mention /run in systemd.generator document (#7121)

networkd: Don't stop networkd if CONFIG_FIB_RULES=n in kernel (#7030)

If FIB Rules are not supported by the kernel then networkd fails to
start as it retuns error=-EOPNOTSUPP.
In this case just ignore and let start networkd.

```
sendto(5, {{len=28, type=RTM_GETRULE, flags=NLM_F_REQUEST|NLM_F_ACK|NLM_F_DUMP, seq=8, pid=0}, {family=AF_UNSPEC, dst_len=0, src_len=0, tos=0, table=RT_TABLE_UNSPEC, action=FR_ACT_TO_TBL, flags=0}}, 28, 0, {sa_family=AF_NETLINK, nl_pid=0, nl_groups=00000000}, 16) = 28
recvmsg(5, {msg_name={sa_family=AF_NETLINK, nl_pid=0, nl_groups=00000000}, msg_namelen=128->12, msg_iov=[{iov_base=NULL, iov_len=0}], msg_iovlen=1, msg_control=[{cmsg_len=20, cmsg_level=SOL_NETLINK, cmsg_type=0x3}], msg_controllen=24, msg_flags=MSG_TRUNC}, MSG_PEEK|MSG_TRUNC) = 48
recvmsg(5, {msg_name={sa_family=AF_NETLINK, nl_pid=0, nl_groups=00000000}, msg_namelen=128->12, msg_iov=[{iov_base={{len=48, type=NLMSG_ERROR, flags=0, seq=8, pid=8856}, {error=-EOPNOTSUPP, msg={{len=28, type=RTM_GETRULE, flags=NLM_F_REQUEST|NLM_F_ACK|NLM_F_DUMP, seq=8, pid=0}, {family=AF_UNSPEC, dst_len=0, src_len=0, tos=0, table=RT_TABLE_UNSPEC, action=FR_ACT_TO_TBL, flags=0}}}}, iov_len=7416}], msg_iovlen=1, msg_control=[{cmsg_len=20, cmsg_level=SOL_NETLINK, cmsg_type=0x3}], msg_controllen=24, msg_flags=0}, MSG_TRUNC) = 48
```

```
Oct 08 10:22:24 naomi systemd[1]: Starting Network Service...
Oct 08 10:22:24 naomi systemd-networkd[983]: Could not enumerate rules: Operation not supported
Oct 08 10:22:24 naomi systemd[1]: systemd-networkd.service: Main process exited, code=exited, status=1/FAILURE
```

Fixes #7027

core: fix invalid error message

The error message corresponds to EILSEQ is "Invalid or incomplete
multibyte or wide character", and is not suitable in this case.
So, let's show a custom error message when the function
dynamic_creds_realize() returns -EILSEQ.

man: add a note about _netdev usage

units: replace remote-cryptsetup-pre.target with remote-fs-pre.target

remote-cryptsetup-pre.target was designed as an active unit (that pulls in
network-online.target), the opposite of remote-fs-pre.target (a passive unit,
with individual provider services ordering itself before it and pulling it in,
for example iscsi.service and nfs-client.target).

To make remote-cryptsetup-pre.target really work, those services should be
ordered before it too. But this would require updates to all those services,
not just changes from systemd side.

But the requirements for remote-fs-pre.target and remote-cryptset-pre.target
are fairly similar (e.g. iscsi devices can certainly be used for both), so
let's reuse remote-fs-pre.target also for remote cryptsetup units. This loses
a bit of flexibility, but does away with the requirement for various provider
services to know about remote-cryptsetup-pre.target.

test-path: fix inverted return value (#7050)

It must be <0 to indicate failure.

Fixes #7050.

modprobe.d: expand drop-in to handle dummy0 as well (#7099)

mount: make sure we unmount tmpfs mounts before we deactivate swaps (#7076)

In the past we introduced this property just for tmp.mount. However on
todays systems usually there are many more tmpfs mounts. Most notably
mounts backing XDG_RUNTIME_DIR for each user.

Let's generalize what we already have for tmp.mount and implement the
ordering After=swap.target for all tmpfs based mounts.

Merge pull request #7061 from lkundrak/lr/serialized-environment

Environment serialization/deserialization inconsistently validates the variables

Display the systemctl status in green if state is "running" (#7094)

Merge pull request #7062 from yuwata/test-bind-paths

test: add test for BindPaths= and BindReadOnlyPaths=

gitignore: ignore output file of mkid (#7081)

mkid is from https://www.gnu.org/software/idutils/

man: update changes about gateway -> _gateway (#7085)

Commit 5248e7e1f11aba6859de0b28f0dd3778b22842f2
(resolved,nss-myhostname: use _gateway for the gateway) changed how the
gateway is resolved. Reflect the change in documentation.

Close #7084.

units: add [Install] section to remote-cryptsetup.target

This makes this target the same as remote-fs.target in this regard. In practice
it probably doesn't make that much difference, because all encrypted devices
that are part of remote-fs.target (marked with _netdev) will be used for mount
points, so they will be pulled in anyway individually, but with this change any
such device will be configured, even if it is not pulled by any other unit.

systemctl: clarify --global, --root and --runtime options (#7071)

They're not only for enabling.

shared: add vectorized parse_field() (#7056)

By vectorizing parse_field() the chain of parse_field() calls in
output_short() can be replaced with a single call receiving a description
of the desired fields and their targets.

While at it, eliminate the repeated strlen() calls performed on constant
field names by making parse_field() receive the field length, and storing
it in the ParseFieldVec at compile time.

Also sort the output_short() fields so the short ones are tried first, for
a minor efficiency gain.

In addition to making the code less repetitive, gcc in my tests now inlines
the parse_fieldv() call in output_short().

core: cleanup for enforce_groups() (#7064)

SupplementaryGroups= is preprocessed in get_supplementary_groups().
So, it is not necessary to input ExecContext to enforce_groups().

test-execute: always use /bin/sh

test: add test for BindPaths= and BindReadOnlyPaths=

Follow-up for a8cabc612b16834260831a8163ae4b479b5c33a5.

systemctl: supress enable/disable messages when -q is given (#7067)

Fixes: #7036

basic: split unit-name.[ch] into two (#7065)

It always bothered me a bit that unit-name.[ch] contains so many
definitions that aren't really have much to do with unit nameing, for
example all the unit state definitions.

With this patch unit-name.[ch] is split into two: the file now contains
only the unit naming related operations, and everything else is split
out into a new set of files unit-def.[ch]. That's mostly unit state
stuff as well as dbus path and interface name operations.

No functional changes. This just moves code around.

(Note as both .c files include each other's headers this doesn't make
the build simpler or anything. All it does is make the C files a bit
shorter, and medicate my pretend OCD)

basic/env-util: don't relax unesaping of serialized environment strings

We wrote them ourselves -- they shouldn't contain invalid sequences.

basic/env-util: drop the validation when deserializing environment

The environment variables we've serialized can quite possibly contain
characters outside the set allowed by env_assignment_is_valid(). In
fact, my environment seems to contain a couple of these:

  * TERMCAP set by screen contains a '\x7f' character
  * BASH_FUNC_module%% variable has a '%' character in name

Strict check of environment variables name and value certainly makes sense for
unit files, but not so much for deserialization of values we already had
in our environment.

test-dhcp-client: fix typos in comment (#7052)

networkd: bridge allow AgeingTimeSec to be set 0 (#7021)

Closes #7019.

dynamic-user: permit the case static uid and gid are different

This makes systemd supports the case that DynamicUser=yes and
static user and group exist such that uid and gid of them are different.
We only refuse the operation when user does not exist but the group
with the same name exists.

Fixes #7013.

Merge pull request #7058 from yuwata/fix-7055

core: fix segfault in compile_bind_mounts() when BindPaths= or BindReadOnlyPaths= is set

dynamic-user: label functions not necessary to export as static

core: fix segfault in compile_bind_mounts() when BindPaths= or BindReadOnlyPaths= is set

This fixes a bug introduced by 6c47cd7d3bf35c8158a0737f34fe2c5dc95e72d6.

Fixes #7055.

man: fix typos (#7029)

Merge pull request #7044 from poettering/minidocfixes

tiny doc fixes

l10n: update Czech Translation (#7049)

Merge pull request #7045 from poettering/namespace-casing

some super-trivial fixes to namespace.c

tests: skip tests when cg_pid_get_path fails (#7033)

v2:
- cast the fstype_t type to ull, because it varies between arches.
  Making it long long should be on the safe side.

Merge pull request #7003 from yuwata/enable-dynamic-user

timesyncd, journal-upload: Enable DynamicUser=

rules: Add MODEL_ID for NVMe device (#7037)

To mimic MODEL_ID variable built for ATA and SCSI devices, add rules
to add MODEL_ID variable for NVMe devices.

TEST: Check on a system with NVMe device that MODEL_ID variable is
present:
 udevadm info --query=all -n /dev/nvme0n1p1 | grep ID_MODEL
and
 udevadm info --query=all -n /dev/nvme0n1p1 | grep ID_MODEL
return:
E: ID_MODEL=SAMSUNG...

namespace: make ns_type_supported() a tiny bit shorter

namespace_type_to_string() already validates the type paramater, we can
use that, and shorten the function a bit.

namespace: change NameSpace → Namespace

We generally use the casing "Namespace" for the word, and that's visible
in a number of user-facing interfaces, including "RestrictNamespace=" or
"JoinsNamespaceOf=". Let's make sure to use the same casing internally
too.

As discussed in #7024

namespace: fall back gracefully when kernel doesn't support network namespaces (#7024)

catalog,po: update Russian translation (#7041)

man: fix link to documentation of slice concept

man: symlinks are made onto "unit files", not "units"

We should be careful when talking about "units" and "unit files". The
latter should be the concept on disk, and the former, the loaded version
of it. However, as a single unit file can result in multiple loaded
units (think templates), and a units can also exist with no unit file at
all (think .device units), we should be precise.

As symlinks are created on unit files rather than units (as symlinks are
an fs object, and unit files are too, but units are not), let's say so
here.

Updated Turkish translation (#7017)