Merge pull request #7767 from poettering/fork-wait

A variety of smaller improvements all over the place

Merge pull request #7805 from keszybz/coverity-prep

Two small workarounds to help coverity

NEWS: add in a missing change back from 229 (#7804)

See:

https://lists.freedesktop.org/archives/systemd-devel/2017-July/039255.html
http://fromthecodefront.blogspot.de/2017/07/systemd-pitfalls.html

coverity: don't use (void)0 under coverity

I'm not sure why this is needed, but apparrently coverity doesn't like
(void)0. With this change, coverity can (almost) build systemd:

CFLAGS='-D_Float128="long double"' meson cov-build -Dman=false && \
  CCACHE_DISABLE=1 COVERITY_UNSUPPORTED=1 cov-build --dir cov-int ninja -C cov-build

Patch originially by Marek Cermak <macermak@redhat.com>.

test-routing-policy-rule: split out fd assignment from assert_se

It's ugly that parentheses need to be used. Let's just split it out.
Incidentally, this will make coverity happy, because it doesn't grok
assert_se().

update TODO

fileio: minor tweak to executable_is_script()

If read_line() returns ENOBFUS this means the line was overly long. When
we use this for checking whether an executable is a script, then this
shouldn't be propagated as-is, but simply as "this is not a script".

fileio: tweak write_string_stream_ts() to write out trailing \n in one go even if buffering is off

This tweaks write_string_stream_ts() in one minor way: when stdio
buffering has been turned off, let's append the newline we shall append
to the buffer we write ourselves so that the kernel only gets one
syscall for the result. When buffering is enabled stdio will take care
of that anyway.

Follow-up for #7750.

sd-bus: port one use of SO_PEERCRED by getpeercred()

sd-bus: let's use mfree() where we can

sd-bus: use SO_PEERGROUPS when available to identify groups of peer

journald: introduce new uid_for_system_journal() helper

We use the same check at two places, let's add a tiny helper function
for it, since it's not entirely trivialy, and we changes this before
multiple times, and it's a good thing if we can change it at one place
only instead of multiple.

socket-util: slight rework of getpeersec()

Let's call getsockopt() in a loop, so that we can deal correctly with
the label changing while we are trying to read it.

(also, while we are at it, let's make sure that there's always one
trailing NUL byte at the end of the buffer, after all SO_PEERSEC has
zero documentation, and multiple implementing backends, hence let's
better be safe than sorry)

tree-wide: use {pid,uid,gid}_is_valid() where appropriate

Also, drop UID/GID validity checks from getpeercred() as the kernel will
never pass us invalid UID/GID on userns, but the overflow UID/GID
instead. Add a comment about this.

calenderspec: when normalizing, flush out UTC timezone

user-util: minor updates of in_gid()

Let's use newa() and use the right type for storing sysconf() return
values.

socket-util: add new getpeergroups() call

It's a wrapper around the new SO_PEERGROUPS sockopt, similar in style as
getpeersec() and getpeercred().

tree-wide: in all threads we fork off in library code, block all signals

This ensures that in all threads we fork off in the background in our
code we mask out all signals, so that our thread won't end up getting
signals delivered the main process should be getting.

We always set the signal mask before forking off the thread, so that the
thread has the right mask set from its earliest existance on.

process-util: add new FORK_NEW_MOUNTNS flag to safe_fork()

That way we can move one more code location to use safe_fork()

pager: let's move static variables up, to the rest of them

let's keep static variables together, and before the function
definitions.

pager,agent: insist that we are called from the main thread

We maintain static process-wide variables in these subsystems without
locking, hence let's refuse operation unless we are called from the main
thread (which we do anyway) just as a safety precaution.

tree-wide: use EXIT_SUCCESS when comparing child process exit statuses

When we check the exit status of a subprocess, let's compare it with
EXIT_SUCCESS rather than 0 when looking for success.

This clarifies in code what kind of variable we are looking at and what
we are doing.

tree-wide: unify the process name we pass to wait_for_terminate_and_check() with the one we pass to safe_fork()

tree-wide: make use of wait_for_terminate_and_check() at various places

Using wait_for_terminate_and_check() instead of wait_for_terminate()
let's us simplify, shorten and unify the return value checking and
logging of waitid().  Hence, let's use it all over the place.

process-spec: add another flag FORK_WAIT to safe_fork()

This new flag will cause safe_fork() to wait for the forked off child
before returning. This allows us to unify a number of cases where we
immediately wait on the forked off child, witout running any code in the
parent after the fork, and without direct interest in the precise exit
status of the process, except recgonizing EXIT_SUCCESS vs everything
else.

exec-util: drop redundant log message in do_spawn()

safe_fork() logs that anyway, hence no need to do this twice.

process-util: rework wait_for_terminate_and_warn() to take a flags parameter

This renames wait_for_terminate_and_warn() to
wait_for_terminate_and_check(), and adds a flags parameter, that
controls how much to log: there's one flag that means we log about
abnormal stuff, and another one that controls whether we log about
non-zero exit codes. Finally, there's a shortcut flag value for logging
in both cases, as that's what we usually use.

All callers are accordingly updated. At three occasions duplicate logging
is removed, i.e. where the old function was called but logged in the
caller, too.

process-util: add another fork_safe() flag for enabling LOG_ERR/LOG_WARN logging

raw-clone: beef up raw_clone() wrapper a bit

First of all, let's return pid_t, which appears to be the correct type
given that we return PIDs, and it#s what fork() uses too.

Most importantly though, flush out our PID cache, so that the call
becomes compatible with our getpid_cached() logic.

vconsole-setup: add some void casts

ip-address-access: let's exit the loop after invalidating our entry a (#7803)

CID#1382967

meson: don't search PATH for telinit (#7770)

On a typical system running systemd, the telinit in PATH is very likely to be a symlink
to systemctl. Setting TELINIT to this may result in an infinite recursion if telinit is called
and sd_booted() == 0. This may commonly occur in a chroot environment.

Bug: https://bugs.gentoo.org/642724

[zj:
The path was originally hardcoded as "/lib/upstart/telinit", but was made configurable without
changing the default in 4ad61fd1806dde23d2c99043b4bed91a196d2c82. Then the default was
changed to `/lib/sysvinit/telinit` in abaaabf40a9891014ed4c402d7beb5a67ac256b1. Then it
started being  autodetected when meson support was added in
5c23128daba7236a6080383b2a5649033cfef85c. This patch restores the behaviour that was
implemented in configure.ac at the time of its removal.]

main: don't bother with the return value of invoke_mainloop() (#7802)

We don't use the return value, and we don't have to, as the call already
initializes &ret, which is the one we return as exit code from the
process.

CID#1384230

Merge pull request #7801 from keszybz/docs-and-coverity

Docs and coverity

fix machinectl shell (in machined) (#7785)

4c253ed broke machined
$machinectl shell arch
Failed to get shell PTY: Input/output error

Closes: #7779

v2: do not drop DEATHSIG flag

core: fix mac_selinux_setup return value check

Introduced in 74da609f0d0f9112047dd746188469df3692ad4a. CID #1384210.

core: double free in bus_timer_set_transient_property

Introduced in 3e3c5a4571d. CID #1384233.

run: double free

Introduced in f2b9f2c83e5b4035b22eb2f610531fce275bf55f. CID #1384218.

test-sizeof: also add uid_t

We had gid_t, and pid_t, but not uid_t. Add for completeness.

man: drop --arch from debootstrap invocation

Nowadays people use systemd on many different architectures, so we
shouldn't presuppose that they are using amd64. debootstrap defaults
to the native architecture and this should be good enough.

dhcp6: Fix DHCPv6 client file descriptor and event handling (#7796)

Close DHCPv6 client socket file descriptor when
sd_dhcp6_client_stop() is called and not when client_reset() is
called. If left in client_reset(), any internal temporary stopping
of the DHCPv6 client with client_stop() will call client_reset()
after which the DHCPv6 client will not be able to receive any further
DHCPv6 messages.

Similarly, client_start() needs to enable events for the DHCPv6
socket file descriptor since a call to client_stop() will call
client_reset() which will remove it from the main loop. Events should
be turned off when no DHCPv6 messages are expected.

README: EXT4_POSIX_ACL -> EXT4_FS_POSIX_ACL (#7799)

EXT4_POSIX_ACL doesn't exist.

Merge pull request #7793 from rojkov/fix-6456

resolved: fix refcounting DnsScope's conflict_queue

Merge pull request #7759 from yuwata/dbus-api

DBus-API: add more options in transient units

Merge pull request #7705 from keszybz/redo-linking

Redo linking

hwdb: Add accelerometer orientation entry for Teclast X98 Plus II tablet (#7766)

fix systemd-analyze time when default.target is not reached (#7764)

Also, better error messages.

resolved: use DNS_ANSWER_FOREACH instead of for

resolved: skip conflict notifications for DNS-SD PTR RRs

Enumerating DNS-SD PTR resource records are a special case and
are supposed to have non-unique keys pointing to services of the
same type running on different hosts. There's no need for them
to be checked for conflicts.

Thus don't check for conflicts such RRs.

resolved: fix refcounting DnsScope's conflict_queue

Refcounting for a RR's key is done separately from refcounting
for the RR itself, but in dns_scope_notify_conflict() we don't
do that. This may lead to a situation when a RR key put in the
conflict_queue hash as a value's key gets freed upon
cache reduction when it's still referenced by the hash.

Thus increase refcount for the key when putting it into the hash
and unreference it upon removing from the hash.

Closes #6456

meson: add a single .h file to shared libs with no sources

Otherwise stuff doesn't build on old Ubuntu with meson-0.42.1-1~xenial.

meson: use a convenience lib for shared resolve files

This reduces the man=false meson target count from 1281 to 1253.

--

A fully scientific test:
  git grep _sources, :/*.build|cut -d: -f2|tr -d ' '|sort|uniq -c
reveals that libudev_sources is the only source list now reused twice.  There's
some ugly circular dependency between libudev and libshared, and anyway I'm not
sure if we don't want to use different compilation options (LOG_REALM_…) in
those two cases, so I'm leaving that alone for now.

meson: rename libudev_internal to libudev_static and link into libudev

This reduces the meson man=false target count to 1281.

v2:
- link test-engine with libshared instead of libsystemd_static
Previous version built fine on F27, but fails on F26 with the following error:
/usr/bin/ld: /tmp/ccr8HRGw.ltrans6.ltrans.o: undefined reference to symbol '__start_BUS_ERROR_MAP@@SD_SHARED'
/home/zbyszek/fedora/systemd/systemd-9d5aae75c64f5583a110f03b94816aacc03bbf4d/x86_64-redhat-linux-gnu/src/shared/libsystemd-shared-236.so: error adding symbols: DSO missing from command line

v3:
- add libudev_basic

meson: use a convenience lib for journal user sources

Instead of compiling those files twice, once for libsystemd and once for
libshared, compile once as a static archive and then link into both.
This reduce the meson target for man=no compile to 1291.

meson: link libsystemd_static in libshared instead of recompiling

This is similar to the great-grandpa commit. This time the number
of meson targets compilation without man is reduced from 1347 to 1302.

Move gcrypt-util to basic/

We were including gcrypt-util.[ch] by hand in the few places where it
was used. Create a convenience library to avoid compiling the same
files multiple times.

v2:
- use a separate static library instead of mergin into libbasic

meson: link libbasic and libshared_static into libshared

gcrypt_util_sources had to be moved because otherwise they appeared twice
in libshared.so halfproducts, causing an error.

-fvisibility=default is added to libbasic, libshared_static so that the symbols
appear properly in the exported symbol list in libshared.

The advantage is that files are not compiled twice. When configured with -Dman=false,
the ninja target list is reduced from 1588 to 1347 targets. The difference in compilation
time is small (<10%). I think this is because of -O0 and ccache and multiple cores, and
in different settings the compilation time could be reduced. The main advantage is that
errors and warnings are not reported twice.

dbus-cgroup: simplify bus_cgroup_set_property()

dbus-cgroup: add missing space

doc: update TRANSIENT-SETTINGS.md

bus-unit-util: support more options set to transient unit

bus-unit-util: use struct __useless_struct_to_allow_trailing_semicolon__ in DEFINE_BUS_APPEND_PARSE{,_PTR} macro

dbus-path: add Paths= option to set path specs in transient path unit

dbus-service: expose *ExitStatus= settings on bus

basic: detect_vm_cpuid: fix hypervisor detection

The __get_cpuid() function only calls __cpuid() if __get_cpuid_max()
returns a value that is less than or equal to the leaf value.

In QEMU/KVM, I found that the special hypervisor leaf value (0x40000000U)
is always larger than the value retured by __get_cpuid_max().

Avoid this problem by calling the __cpuid() macro directly once we have
checked the hypervisor bit from leaf 1.

Fixes: d31b0033b7743393562a2e9d3c1e74afea981c13

dbus-service: support more options in transient service unit

dbus-socket: simplify bus_socket_set_transient_property()

dbus-execute: simplify bus_exec_context_set_transient_property()

core: rename bus_exec_command_set_transient_property() to bus_set_transient_exec_command()

dbus-unit: support more options in transient units

core: rename dbus property StartLimitIntervalSec= to StartLimitIntervalUSec=

StartLimitIntervalSec= and DefaultStartLimitIntervalSec= are the
last options whose suffix is 'Sec' instead of 'USec'.
All the other option has suffix 'USec'. So, let's rename them.

nsflags: add namespace_flag_to_string_many_with_check()

The function will be used in later commits.

dbus-timer: add TimersMonotonic= and TimersCalendar= to set timer in transient timer unit

This also obsoletes OnActiveSec= or their friends

dbus-scope: simplify bus_scope_set_transient_property()

dbus-kill: simplify bus_kill_context_set_transient_property()

dbus-mount: support more options in transient mount unit

dbus-automount: support more options in transient automount unit

condition: introduce condition_takes_path()

The function will be used in later commits.

basic: introduce *_to_string_with_check() functions

They are used in later commits.

socket-util: introduce parse_socket_address_bind_ipv6_only_or_bool()

load-fragment: obsolete OnFailureIsolate=

namespace: introduce parse_protect_system()_or_bool

namespace: introduce parse_protect_home_or_bool()

core: add dbus-util.[ch] to simplify creating transient units

The functions and macros introduced by them will be used in later commits.

analyze: fix prototype mismatch on libseccomp-less builds (#7768)

This fixes a compiler warning that matters, if people build systemd
without libseccomp.

Follow-up for a6bcef29579409872735a2cfbf77d1c61ea91332

mkosi: use libidn2 on Arch (#7751)

Since libidn2 is now available in Arch official repositories, let's use
it instead of libidn.

Merge pull request #7755 from floppym/fileio-error

fileio: write_string_stream_ts: return errors from fputs and fputc

sysctl: use raw file descriptor in sysctl_write (#7753)

The kernel returns specific error codes which may be lost if we use the
libc buffered io functions.

Fixes: https://github.com/systemd/systemd/issues/7744

basic: detect_vm_cpuid: use gcc's __get_cpuid() function (#7758)

The __get_cpuid() function includes a safety check to ensure that
executing the cpuid instruction is valid/safe.

This method also works with clang.

https://lists.freedesktop.org/archives/systemd-devel/2017-December/040054.html

networkd: Tunnel allows tunnel traffic on ip6tnl devices (#7756)

where the remote endpoint is a local host address.

networkd: allow to configure default/initial send/recv congestion window and store persistentl (#7750)

Currently we can only change initcwnd/initrwnd in the following way, and it does not store persistently:
sudo ip route change default via 192.168.1.1 dev tun0 initcwnd 20
sudo ip route change default via 192.168.1.1 dev tun0 initrwnd 20

For more details about initcwnd/initrwnd, please look at:
http://hjzhao.blogspot.com/2012/05/increase-initcwnd-for-performance.html
http://www.cdnplanet.com/blog/tune-tcp-initcwnd-for-optimum-performance
or google 'initcwnd initrwnd'

This work allows to configure the initcwnd and initrwnd.

Closes #2118

Merge pull request #7745 from poettering/sockaddr-size

mostly systemd-analyze fixes

fileio: write_string_stream_ts: check for file errors immediately

fileio: write_string_stream_ts: return errors from fputs and fputc

Ignoring errors from these functions may mask errors returned by the
kernel.

Fixes: https://github.com/systemd/systemd/issues/7744

man: remove empty paragraph

cryptsetup: small if check improvement (#7747)

It's a bit weird to test these strings after the fact instead of before.
Let's make sure that we don't even attempt the string escaping if the
strings are NULL.

Follow-up for #7688

Merge pull request #7629 from poettering/condition-kernel-version

core,udev,networkd: add ConditionKernelVersion=

man: systemd: fix typo (#7746)

Add missing _r_ for ctl-alt-del.target

condition: extend ConditionKernelVersion= with relative version checks

Now that we have str_verscmp() in our source tree anyway, let's make it
generic and reuse it for ConditionKernelVersion=.

Add note about kernel version unportability