doc: clarify systemd.exec's paths definition (#3368)

Definitions of ReadWriteDirectories=, ReadOnlyDirectories=, InaccessibleDirectories=,
WorkingDirectory=, and RootDirecory= were not clear. This patch specifies when
they are relative to the host's root directory and when they are relative to the service's
root directory.

Fixes #3248

udevd: try close ctrl connection blocking socket only once when spawning a new worker (#3387)

Merge pull request #3389 from lucab/to-upstream/man-typos

man: fix recurring typo

man: fix recurring typo

util-lib: Add sparc64 support for process creation (#3348)

The current raw_clone function takes two arguments, the cloning flags and
a pointer to the stack for the cloned child. The raw cloning without
passing a "thread main" function does not make sense if a new stack is
specified, as it returns in both the parent and the child, which will fail
in the child as the stack is virgin. All uses of raw_clone indeed pass NULL
for the stack pointer which indicates that both processes should share the
stack address (so you better don't pass CLONE_VM).

This commit refactors the code to not require the caller to pass the stack
address, as NULL is the only sensible option. It also adds the magic code
needed to make raw_clone work on sparc64, which does not return 0 in %o0
for the child, but indicates the child process by setting %o1 to non-zero.
This refactoring is not plain aesthetic, because non-NULL stack addresses
need to get mangled before being passed to the clone syscall (you have to
apply STACK_BIAS), whereas NULL must not be mangled. Implementing the
conditional mangling of the stack address would needlessly complicate the
code.

raw_clone is moved to a separete header, because the burden of including
the assert machinery and sched.h shouldn't be applied to every user of
missing_syscalls.h

Merge pull request #3378 from keszybz/unit-write-drop-in-newline-removal

Remove newlines from drop in format strings + some formatting fixes

Fix FS_EXTENT_FL description (#3381)

man: cite systemd.offline-updates(7) instead of linking to old wiki page

man: punctuation fixes

Fixes #3376.

tree-wide: remove newlines from unit_write_drop_in

This reverts part of #3329, but all for a good cause.

core/unit: append newline when writing drop ins

unit_write_drop_in{,_private}{,_format} are all affected.

We already append a header to the file (and section markers), so those functions
can only be used to write a whole file at once. Including the newline at
the end feels natural.

After this commit newlines will be duplicated. They will be removed in
subsequent commit.

Also, rewrap the "autogenerated" header to fit within 80 columns.

Merge pull request #3326 from tomty89/update-2

networkd: IPv6 fixes

Merge pull request #3360 from glaubitz/master

Fix multiple unaligned accesses in test-dns-packet and sd-dhcp-server.

Typo fix: s/advertisment/advertisement/

systemctl: remove empty line between comment and action

It's harder to miss the comment without the newline ;)
See https://github.com/systemd/systemd/pull/3336#issuecomment-221749423
for context.

Merge pull request #3328 from poettering/ipv4ll-ipv4acd-fixes

various sd-Ipv4ll/sd-ipv4acd fixes

Merge pull request #3336 from eworm-de/systemctl-set-default

systemctl: return success for set-default, add-wants, add-requires...

login: Fix policy for org.freedesktop.login1.set-self-linger (#3365) (#3373)

We need to explicitly define authorizations for allow_inactive and
allow_active. Otherwise one is getting "Access denied" when run from a
local console:

$ loginctl enable-linger
Could not enable linger: Access denied

networkd: disable IPv6 for bridge slave

If an interface is managed as a bridge slave, we don't want any IP configuration for it. Therefore, disable IPv6 in such case.

networkd: unset master if not enslaved with networkd

When we manage an interface with networkd but not as a slave (i.e. no `Bridge=` or `Bond=` set in its .network), we do not want it to remain slaved.

networkd/sd-dhcp-server: Fix unaligned access in parse_request().

core: add cgroup memory controller support on the unified hierarchy (#3315)

On the unified hierarchy, memory controller implements three control knobs -
low, high and max which enables more useable and versatile control over memory
usage.  This patch implements support for the three control knobs.

* MemoryLow, MemoryHigh and MemoryMax are added for memory.low, memory.high and
  memory.max, respectively.

* As all absolute limits on the unified hierarchy use "max" for no limit, make
  memory limit parse functions accept "max" in addition to "infinity" and
  document "max" for the new knobs.

* Implement compatibility translation between MemoryMax and MemoryLimit.

v2:

- Fixed missing else's in config_parse_memory_limit().
- Fixed missing newline when writing out drop-ins.
- Coding style updates to use "val > 0" instead of "val".
- Minor updates to documentation.

Merge pull request #3329 from htejun/dbus-cgroup-fixes

dbus-cgroup fixes

core: fix missing newline when writing drop-in for WorkingDirectory (#3337)

Merge pull request #3356 from OpenDZ/tixxdz/nspawn-quick-v1

nspawn: filesystem uid patching fixes and other minor improvments

systemctl: fix code path (and memory leak) on error

systemctl: fix return values on success

systemctl: remove extra comma

resolve/test-dns-packet: Fix unaligned access in test_packet_from_file().

nspawn: rename arg_retain to arg_caps_retain

The argument is about capabilities.

nspawn: split out seccomp call into nspawn-seccomp.[ch]

Split seccomp into nspawn-seccomp.[ch]. Currently there are no changes,
but this will make it easy in the future to share or use the seccomp logic
from systemd core.

nspawn: rename is_procfs_sysfs_or_suchlike() to is_fs_fully_userns_compatible()

Rename is_procfs_sysfs_or_suchlike() to is_fs_fully_userns_compatible()
to give it the real meaning. This may prevent future modifications that
may introduce bugs.

nspawn: a bench of special fileystems that should not be shifted

Add some special filesystems that should not be shifted, most of them
relate to the host and not to containers.

{machine,system}ctl: always pass &changes and &n_changes (#3350)

We have to pass addresses of changes and n_changes to
bus_deserialize_and_dump_unit_file_changes(). Otherwise we are hit by
missing information (subsequent calls to unit_file_changes_add() to
not add anything).

Also prevent null pointer dereference in
bus_deserialize_and_dump_unit_file_changes() by asserting.

Fixes #3339

ipv4ll: shorten some checks by using IN_SET a bit

As suggested:

https://github.com/systemd/systemd/pull/3328#discussion-diff-64285764

sd-ndisc: small coding style fixes

Let's use usec_t internally always, when dealing with time values.

Let's use uint8_t* pointers if we are dealing with generic byte pointers.

sd-ndisc: add more whitespace

Whitespace doesn't hurt and helps structuring things.

sd-ndisc: stop discovery properly when something fails

sd-ndisc: rework size checking in ndisc_ra_parse()

Let's better check the size before we subtract. Also, let's change the size
argument to size_t, as it cannot be signed anyway.

Finally, use EBADMSG for indicating invalid packets, like we do everywhere
else.

sd-ndisc: simplify clamping of router "pref" parameter

sd-ndisc: append "event_source" to event source objects stored in structures

Otherwise it gets too confusing whether "timeout" refers to an event source or
just a timeout time specification.

sd-ndisc: add log_ndisc_errno() macro, to complement log_ndisc() like elsewhere

Also make use of it where appropriate.

sd-ndisc: use the right object to pass to log_ndisc()

There's no "client" object, in both cases. There's only "nd".

This wasn't noticed before, as the context object is currently not actually
used by the log macros.

sd-ndisc: Typo fix: s/advertisment/advertisement/

ipv4acd: rename "ll" parameter to "acd" everywhere

Appears to be a (confusing) left-over from copy/paste when this still was
ipv4ll code.

sd-ipv4ll: add a bit of logging to IPv4LL too

sd-ipv4acd: drop IPV4ACD_NETWORK definition

Appears to be a copy/paste mistake from sd-ipv4ll. Let's get rid of this.

ipv4acd: rework how we pick ipv4ll addresses

Let's make the seed actually work as stable seed, and use siphash24 to generate
the series of addresses, instead of the opaque libc random_r().

This not only makes the seed truly work as stable, portable seed, but also
makes the code quite a bit shorter, and removes a couple of memory allocations.

ipv4ll: change "seed" parameter to be uint64_t

Let's make clear this always has the same size, since otherwise it's not useful
for reproducible runs, which this is really about however.

ipv4acd: make sure our event handler callbacks never check uninitialized "r" for errors

ipv4acd: normalize time types to usec_t

We try to stick to usec_t for encoding time information, do that here too. In
particular, get rid of "int" second specifications, since signed timespans are
a weird thing.

ipv4acd: in case the state engine is reused, reset n_conflict timer to 0

ipv4acd: no need to memcpy() where assignment suffices

ipv4acd: introduce new "started" state

This state is active immediately after the state engine was started, but before
the first timer hits.

This way multiple _start() invocations on the same object are always detected
correctly.

ipv4acd: rename ipv4acd_stop() → ipv4acd_reset()

This is much less confusing, since there's also sd_ipv4acd_stop(), which was
idfferent from ipv4acd_stop().

After renaming it, let's also use the funciton when destroying ipv4acd objects,
as the code is pretty much the same for that.

ipv4acd: add "_event_source" suffix to event source objects

Otherwise the field "receive_message" is a bit too confusing, as it suggests it
actually stores a message object of some kind.

ipv4acd: make the iteration and conflict fields unsigned

They are counters after all, and can never go below zero, hence don't pretend
with the chose type that they could.

Also, prefix their name with "n_", to indicate that they are counters.

ipv4l-{acd,ll}: make sure ipv4 addresses are unsigned

And some other minor fixes.

ipv4acd: library code should never log

Or actually, not at any level higher than debug.

sd-ipv4{acl,ll}: don't make use of RefCnt objects

These objects are only useful when multiple threads are involved, as they
operate with atomic operations. Given that our libraries are explicitly not
thread-safe don't make use of RefCnt here, and make things a bit simpler.

sd-network: don't needlessly abbreviate "callback" as "cb" in struct members

It's OK to abbreviate this in the local scope, but otherwise, let's not be
needlessly terse.

dhcp: fix operator precedence issue with macro

sd-ndisc: make the _stop() call idempotent

It's a good idea to make stopcalls idempotent, so that they become nops if the
object is already stopped.

sd-network: fix up assertion chaos

assert_return() should only be used to validate user-facing parameters and
state, assert() should be used for checking our own internal state and
parameters.

sd-ndisc: rename sd_ndisc_init() to sd_ndisc_reset()

After all, it's actually used for resetting the state, not only for the initial
initialization.

While we are at it, also simplify the error path for
sd_ndisc_discovery_start().

sd-network: rename "index" field of the various clients to "ifindex"

A field "index" is not particularly precise and also might conflict with libc's
index() function definition. Also, pretty much everywhere else we call this
concept "ifindex", including in networkd, the primary user of these libraries.
Hence, let's fix this up and call this "ifindex" everywhere here too.

sd-ndisc: properly make various parameters unsigned

sd-dhcp: shorten NUL initialization a bit

manager: remove spurious newline

sd-network: unify packet processing logic a bit

Let's always check for errno being EAGAIN/EINTR the same way, and always log if
we receive weirdly short packets.

Typo: systemd-nspaw -> systemd-nspawn (#3354)

networkd: Disable IPv6 when DHCPv6 is only enabled

DHCPv6 requires an IPv6 link-local address to work. The client will not be started (even when enabled explicitly with `DHCP=`) if none is configured (either by autoconfiguration or manually). Therefore, disable IPv6 in such case.

networkd: set IFLA_INET6_ADDR_GEN_MODE as per stable_secret

Although networkd has option (LinkLocalAddressing=) to toggle IPv6LL autoconfiguration, when it is enabled, the address is autoconfigured by the kernel, but not networkd.

Therefore, we do not statically set IFLA_INET6_ADDR_GEN_MODE to IN6_ADDR_GEN_MODE_EUI64, but dynamically depending on whether stable_secret is set, just as what the kernel does by default.

Note that this does NOT affect the global addresses configured by networkd.

Merge pull request #3247 from fbuihuu/ask-passowrd-on-all-consoles

ask-password: ask for passphrases not only on the first console

Udevadm trivial cleanups (#3331)

* udevadm-info: use _cleanup_

* udevadm-info: propagate return value from export_devices()

* sd-device: add comment and remove unnecessary braces

ask-password: ask for passphrases not only on the first console of /dev/console

but also on all other consoles.  This does help on e.g. mainframes
where often a serial console together with other consoles are
used.  Even rack based servers attachted to both a serial console
as well as having a virtual console do sometimes miss a connected
monitor.

To be able to ask on all terminal devices of /dev/console the devices
are collected. If more than one device are found, then on each of the
terminals a inquiring task for passphrase is forked and do not return
to the caller.

Every task has its own session and its own controlling terminal.
If one of the tasks does handle a password, the remaining tasks
will be terminated.

Also let contradictory options on the command of
systemd-tty-ask-password-agent fail.

Spwan for each device of the system console /dev/console a own process.
Replace the system call wait() with with system call waitid().
Use SIGTERM instead of SIGHUP to get unresponsive childs down.

Port the collect_consoles() function forward to a pulbic and strv
based function "get_kernel_consoles()" in terminal-util.c and use this
in tty-ask-password-agent.c.

Revert "rules: allow users to access frame buffer devices" (#3333)

This reverts commit 483d8bbb4c0190f419bf9fba57fb0feb1a56bea6.

In [1] Michel Dänzer and Daniel Vetter wrote:
>> The scenario you describe isn't possible if the Wayland compositor
>> directly uses the KMS API of /dev/dri/card*, but it may be possible if
>> the Wayland compositor uses the fbdev API of /dev/fb* instead (e.g. if
>> weston uses its fbdev backend).
>
> Yeah, if both weston and your screen grabber uses native fbdev API you can
> now screenshot your desktop. And since fbdev has no concept of "current
> owner of the display hw" like the drm master, I think this is not fixable.
> At least not just in userspace. Also even with native KMS compositors
> fbdev still doesn't have the concept of ownership, which is why it doesn't
> bother clearing it's buffer before KMS takes over. I agree that this
> should be reverted or at least hidden better.

TBH, I think that privilege separation between processes running under the same
UID is tenuous. Even with drm, in common setups any user process can ptrace the
"current owner of the display" and call DROP_MASTER or do whatever. It *is*
possible to prevent that, e.g. by disabling ptrace using yama.ptrace_scope, or
selinux, and so on, but afaik this is not commonly done. E.g. all Fedora
systems pull in elfutils-default-yama-scope.rpm through dependencies which sets
yama.ptrace_scope=0. And even assuming that ptrace was disabled, it is trivial
to modify files on disk, communicate through dbus, etc; there is just to many
ways for a non-sandboxed process to interact maliciously with the display shell
to close them all off. To achieve real protection, some sort of sandboxing
must be implemented, and in that case there is no need to rely on access mode
on the device files, since much more stringent measures have to be implemented
anyway.

The situation is similar for framebuffer devices. It is common to add
framebuffer users to video group to allow them unlimited access to /dev/fb*.
Using uaccess would be better solution in that case. Also, since there is no
"current owner" limitation like in DRM, processes running under the same UID
should be able to access /proc/<pid-of-display-server>/fd/* and gain access to
the devices. Nevertheless, weston implements a suid wrapper to access the
devices and then drop privileges, and this patch would make this daemon
pointless. So if the weston developers feel that this change reduces security,
I prefer to revert it.

[1] https://lists.freedesktop.org/archives/wayland-devel/2016-May/029017.html

sd-device: udev-db - handle properties with empty value (#3330)

The statemachine was unable to parse properties with empty values,
reported in [0].

When reaching the start of the KEY, we would unconditionally read
one more character before starting to look for the end-of-line.
Simply look for the end-of-line from the first character.

[0]: <https://bugzilla.redhat.com/show_bug.cgi?id=1338823>

core: fix missing newlines when writing out drop-ins for cgroup settings

Except for per-device BlockIO, IO and DeviceAllow/Deny settings, all were
missing newline causing the next drop-in to be concatenated at the end of the
line.  Fix it.

core: fix the reversed sanity check when setting StartupBlockIOWeight over dbus

bus_cgroup_set_property() was rejecting if the input value was in range.
Reverse it.

man: explain what list-units does a bit better (#3324)

https://bugzilla.redhat.com/show_bug.cgi?id=1338584

networkd: networkd: ndisc set SO_BINDTODEVICE on socket (#3294)

From the issue #2004 we are receiving packet even if this
packet is not intended for this interface.

This can be reproduced.

lp3s0: Updating address: 2001:db8:1:0:7e7a:91ff:fe6d:ffe2/64 (valid for 1d)
wlp3s0: Updating address: fe80::7e7a:91ff:fe6d:ffe2/64 (valid forever)
NDisc CLIENT: Received RA from non-link-local address ::. Ignoring.
NDisc CLIENT: Received RA on wrong interface: 2 != 6. Ignoring.
NDisc CLIENT: Received RA on wrong interface: 2 != 3. Ignoring.
enp0s25: Updating address: 2001:db8:1:0:2ad2:44ff:fe6a:ae07/64 (valid for 1d)
enp0s25: Updating address: fe80::2ad2:44ff:fe6a:ae07/64 (valid forever)
NDisc CLIENT: Sent Router Solicitation
NDisc CLIENT: Sent Router Solicitation
NDisc CLIENT: Sent Router Solicitation
NDisc CLIENT: Received RA on wrong interface: 3 != 2. Ignoring.
NDisc CLIENT: Received RA on wrong interface: 3 != 6. Ignoring.
NDisc CLIENT: Received RA from non-link-local address ::. Ignoring.
NDisc CLIENT: Received RA on wrong interface: 2 != 6. Ignoring.
NDisc CLIENT: Received RA on wrong interface: 2 != 3. Ignoring.
enp0s25: Updating address: 2001:db8:1:0:2ad2:44ff:fe6a:ae07/64 (valid for 1d)
enp0s25: Updating address: fe80::2ad2:44ff:fe6a:ae07/64 (valid forever)

Add SO_BINDTODEVICE to socket
fixes #2004

Mention initrd-root-device.target in NEWS (#3325)

resolved: don't stop handle messages after receiving a zero length UDP packet (#3323)

Fixes:

-bash-4.3# ss --udp -l -p
State      Recv-Q Send-Q Local Address:Port                 Peer Address:Port
UNCONN     0      0          *:5355                     *:* users:(("systemd-resolve",pid=601,fd=12))
UNCONN     0      0         :::5355                    :::* users:(("systemd-resolve",pid=601,fd=14))

-bash-4.3# nping --udp -p 5355 --data-length 0 -c 1 localhost

-bash-4.3# journalctl -u systemd-resolved -b --no-hostname
...
May 21 14:59:22 systemd-resolved[601]: Event source llmnr-ipv4-udp (type io) returned error, disabling: Input/output error
...

-bash-4.3# nping --udp -p 5355 --data-length 1000 -c 1 localhost

-bash-4.3# ss --udp -l
State      Recv-Q Send-Q Local Address:Port                 Peer Address:Port
UNCONN     2304   0          *:5355                     *:*
UNCONN     0      0         :::5355                    :::*

Merge pull request #3322 from poettering/random-ipv4acd-fixes

Random ipv4acd fixes

ipv4acd/ipv4ll: stop using read() on SOCK_DGRAM sockets

This is a follow-up to cf447cb62d01137f4cbd1cd14b83b88823542bbf.

Let's generally follow the rule to not use read() on SOCK_DGRAM sockets, let's
always use recv() on that.

Also, don't abort IPV4ACD logic in case we read a short packet. Simply log and
ignore.

sd-ipv4acd: do not define ether_addr_is_nul() redundantly

we already have ether_addr_is_null() in ether-addr-util.h, let's use it here,
too.

sd-ipv4acd: drop HASH_KEY definition, as it is unused

nspawn: remove unreachable return statement (#3320)

networkd-ndisc: do not return value from void function

Fixup for #3304.

Only warn, and not return, because that's what sd_dhcp6_client_start()
does right below the call to sd_dhcp6_client_set_local_address().

build-sys: bump so version

NEWS: final updates for v230

run: do not try to use reply after freeing it (#3318)

We'd call sd_bus_message_unref and then proceed to use
variables pointing into the reply buffer (fd and char*).
dup the fd and copy the string before destorying the reply.

This makes systemd-run run again for me.

https://bugzilla.redhat.com/show_bug.cgi?id=1337636

units: restore ConditionNeesUpdate=/etc in ldconfig.service (#3311)

In order to support stateless systems that support offline /usr updates
properly, let's restore the ConditionNeesUpdate=/etc line that makes sure we
are run when /usr is updated and this update needs to be propagated to the
/etc/ld.so.conf file stored in /etc.

This reverts part of #2859, which snuck this change in, but really shouldn't
have.

libsystemd-network: use recv(..., 0) instead of read(...) (#3317)

According to recv(2) these should be the same, but that is not true.
Passing a buffer of length 0 to read is defined to be a noop according
to read(2), but passing a buffer of length 0 to recv will discard the
pending pacet.

We can easily hit this as we allocate our buffer size depending on
the size of the incoming packet (using FIONREAD). As pointed out in
issue #3299 simply sending an empty UDP packet to the DHCP client
port will trigger a busy loop in networkd as we are polling on the
socket but never discarding the empty packet.

This reverts ad5ae47a0d159ea473c9730d7e0298a3e5d31cf6 but fixes the
same issue.

core: set all log fds to -1 when freezing (#3314)

Fixes:
-bash-4.3# echo core >/proc/sys/kernel/core_pattern
-bash-4.3# kill -ABRT 1
-bash-4.3# kill -ABRT 1
[   61.373922] systemd[1]: segfault at 7fff1d0a8f48 ip 00007fc9ca91b1c3 sp 00007fff1d0a8f50 error 6 in libc-2.23.so[7fc9ca8ce000+1c0000]
[   61.768017] Kernel panic - not syncing: Attempted to kill init! exitcode=0x0000008b
[   61.768017]
...

Recursive ABRT and segfault:
PID 1 - core
TID 1:
...
 #153905 0x00005575fc3f829d log_dispatch
 #153906 0x00005575fc3f8aa3 log_assert
 #153907 0x00005575fc3f8ae9 log_assert_failed
 #153908 0x00005575fc3e7eb1 safe_close
 #153909 0x00005575fc3f6d5e log_close_journal
 #153910 0x00005575fc3f829d log_dispatch
 #153911 0x00005575fc3f85a1 log_internalv
 #153912 0x00005575fc3f86a1 log_internal
 #153913 0x00005575fc31c4c1 crash
 #153914 0x00007fb26f2cf3d0 __restore_rt
 #153915 0x00007fb26f2ced00 pause
 #153916 0x00005575fc403944 freeze
 #153917 0x00005575fc31bf7b freeze_or_reboot
...

core: put opening curly braces on the same line as function names (#3313)

Recently added cgroup helper functions break the style convention.  Fix them
up.

Revert "core/dbus: further simplify branch code" (#3307)

Merge pull request #3304 from tomty89/master

[networkd] ndisc DHCPv6 triggering fixes

Merge pull request #3276 from ssahani/issue-3264

networkd: Drop IPv6LL address when link is down.