Merge pull request #7793 from rojkov/fix-6456

resolved: fix refcounting DnsScope's conflict_queue

Merge pull request #7759 from yuwata/dbus-api

DBus-API: add more options in transient units

Merge pull request #7705 from keszybz/redo-linking

Redo linking

hwdb: Add accelerometer orientation entry for Teclast X98 Plus II tablet (#7766)

fix systemd-analyze time when default.target is not reached (#7764)

Also, better error messages.

resolved: use DNS_ANSWER_FOREACH instead of for

resolved: skip conflict notifications for DNS-SD PTR RRs

Enumerating DNS-SD PTR resource records are a special case and
are supposed to have non-unique keys pointing to services of the
same type running on different hosts. There's no need for them
to be checked for conflicts.

Thus don't check for conflicts such RRs.

resolved: fix refcounting DnsScope's conflict_queue

Refcounting for a RR's key is done separately from refcounting
for the RR itself, but in dns_scope_notify_conflict() we don't
do that. This may lead to a situation when a RR key put in the
conflict_queue hash as a value's key gets freed upon
cache reduction when it's still referenced by the hash.

Thus increase refcount for the key when putting it into the hash
and unreference it upon removing from the hash.

Closes #6456

meson: add a single .h file to shared libs with no sources

Otherwise stuff doesn't build on old Ubuntu with meson-0.42.1-1~xenial.

meson: use a convenience lib for shared resolve files

This reduces the man=false meson target count from 1281 to 1253.

--

A fully scientific test:
  git grep _sources, :/*.build|cut -d: -f2|tr -d ' '|sort|uniq -c
reveals that libudev_sources is the only source list now reused twice.  There's
some ugly circular dependency between libudev and libshared, and anyway I'm not
sure if we don't want to use different compilation options (LOG_REALM_…) in
those two cases, so I'm leaving that alone for now.

meson: rename libudev_internal to libudev_static and link into libudev

This reduces the meson man=false target count to 1281.

v2:
- link test-engine with libshared instead of libsystemd_static
Previous version built fine on F27, but fails on F26 with the following error:
/usr/bin/ld: /tmp/ccr8HRGw.ltrans6.ltrans.o: undefined reference to symbol '__start_BUS_ERROR_MAP@@SD_SHARED'
/home/zbyszek/fedora/systemd/systemd-9d5aae75c64f5583a110f03b94816aacc03bbf4d/x86_64-redhat-linux-gnu/src/shared/libsystemd-shared-236.so: error adding symbols: DSO missing from command line

v3:
- add libudev_basic

meson: use a convenience lib for journal user sources

Instead of compiling those files twice, once for libsystemd and once for
libshared, compile once as a static archive and then link into both.
This reduce the meson target for man=no compile to 1291.

meson: link libsystemd_static in libshared instead of recompiling

This is similar to the great-grandpa commit. This time the number
of meson targets compilation without man is reduced from 1347 to 1302.

Move gcrypt-util to basic/

We were including gcrypt-util.[ch] by hand in the few places where it
was used. Create a convenience library to avoid compiling the same
files multiple times.

v2:
- use a separate static library instead of mergin into libbasic

meson: link libbasic and libshared_static into libshared

gcrypt_util_sources had to be moved because otherwise they appeared twice
in libshared.so halfproducts, causing an error.

-fvisibility=default is added to libbasic, libshared_static so that the symbols
appear properly in the exported symbol list in libshared.

The advantage is that files are not compiled twice. When configured with -Dman=false,
the ninja target list is reduced from 1588 to 1347 targets. The difference in compilation
time is small (<10%). I think this is because of -O0 and ccache and multiple cores, and
in different settings the compilation time could be reduced. The main advantage is that
errors and warnings are not reported twice.

dbus-cgroup: simplify bus_cgroup_set_property()

dbus-cgroup: add missing space

doc: update TRANSIENT-SETTINGS.md

bus-unit-util: support more options set to transient unit

bus-unit-util: use struct __useless_struct_to_allow_trailing_semicolon__ in DEFINE_BUS_APPEND_PARSE{,_PTR} macro

dbus-path: add Paths= option to set path specs in transient path unit

dbus-service: expose *ExitStatus= settings on bus

basic: detect_vm_cpuid: fix hypervisor detection

The __get_cpuid() function only calls __cpuid() if __get_cpuid_max()
returns a value that is less than or equal to the leaf value.

In QEMU/KVM, I found that the special hypervisor leaf value (0x40000000U)
is always larger than the value retured by __get_cpuid_max().

Avoid this problem by calling the __cpuid() macro directly once we have
checked the hypervisor bit from leaf 1.

Fixes: d31b0033b7743393562a2e9d3c1e74afea981c13

dbus-service: support more options in transient service unit

dbus-socket: simplify bus_socket_set_transient_property()

dbus-execute: simplify bus_exec_context_set_transient_property()

core: rename bus_exec_command_set_transient_property() to bus_set_transient_exec_command()

dbus-unit: support more options in transient units

core: rename dbus property StartLimitIntervalSec= to StartLimitIntervalUSec=

StartLimitIntervalSec= and DefaultStartLimitIntervalSec= are the
last options whose suffix is 'Sec' instead of 'USec'.
All the other option has suffix 'USec'. So, let's rename them.

nsflags: add namespace_flag_to_string_many_with_check()

The function will be used in later commits.

dbus-timer: add TimersMonotonic= and TimersCalendar= to set timer in transient timer unit

This also obsoletes OnActiveSec= or their friends

dbus-scope: simplify bus_scope_set_transient_property()

dbus-kill: simplify bus_kill_context_set_transient_property()

dbus-mount: support more options in transient mount unit

dbus-automount: support more options in transient automount unit

condition: introduce condition_takes_path()

The function will be used in later commits.

basic: introduce *_to_string_with_check() functions

They are used in later commits.

socket-util: introduce parse_socket_address_bind_ipv6_only_or_bool()

load-fragment: obsolete OnFailureIsolate=

namespace: introduce parse_protect_system()_or_bool

namespace: introduce parse_protect_home_or_bool()

core: add dbus-util.[ch] to simplify creating transient units

The functions and macros introduced by them will be used in later commits.

analyze: fix prototype mismatch on libseccomp-less builds (#7768)

This fixes a compiler warning that matters, if people build systemd
without libseccomp.

Follow-up for a6bcef29579409872735a2cfbf77d1c61ea91332

mkosi: use libidn2 on Arch (#7751)

Since libidn2 is now available in Arch official repositories, let's use
it instead of libidn.

Merge pull request #7755 from floppym/fileio-error

fileio: write_string_stream_ts: return errors from fputs and fputc

sysctl: use raw file descriptor in sysctl_write (#7753)

The kernel returns specific error codes which may be lost if we use the
libc buffered io functions.

Fixes: https://github.com/systemd/systemd/issues/7744

basic: detect_vm_cpuid: use gcc's __get_cpuid() function (#7758)

The __get_cpuid() function includes a safety check to ensure that
executing the cpuid instruction is valid/safe.

This method also works with clang.

https://lists.freedesktop.org/archives/systemd-devel/2017-December/040054.html

networkd: Tunnel allows tunnel traffic on ip6tnl devices (#7756)

where the remote endpoint is a local host address.

networkd: allow to configure default/initial send/recv congestion window and store persistentl (#7750)

Currently we can only change initcwnd/initrwnd in the following way, and it does not store persistently:
sudo ip route change default via 192.168.1.1 dev tun0 initcwnd 20
sudo ip route change default via 192.168.1.1 dev tun0 initrwnd 20

For more details about initcwnd/initrwnd, please look at:
http://hjzhao.blogspot.com/2012/05/increase-initcwnd-for-performance.html
http://www.cdnplanet.com/blog/tune-tcp-initcwnd-for-optimum-performance
or google 'initcwnd initrwnd'

This work allows to configure the initcwnd and initrwnd.

Closes #2118

Merge pull request #7745 from poettering/sockaddr-size

mostly systemd-analyze fixes

fileio: write_string_stream_ts: check for file errors immediately

fileio: write_string_stream_ts: return errors from fputs and fputc

Ignoring errors from these functions may mask errors returned by the
kernel.

Fixes: https://github.com/systemd/systemd/issues/7744

man: remove empty paragraph

cryptsetup: small if check improvement (#7747)

It's a bit weird to test these strings after the fact instead of before.
Let's make sure that we don't even attempt the string escaping if the
strings are NULL.

Follow-up for #7688

Merge pull request #7629 from poettering/condition-kernel-version

core,udev,networkd: add ConditionKernelVersion=

man: systemd: fix typo (#7746)

Add missing _r_ for ctl-alt-del.target

condition: extend ConditionKernelVersion= with relative version checks

Now that we have str_verscmp() in our source tree anyway, let's make it
generic and reuse it for ConditionKernelVersion=.

Add note about kernel version unportability

core,udev,networkd: add ConditionKernelVersion=

This adds a simple condition/assert/match to the service manager, to
udev's .link handling and to networkd, for matching the kernel version
string.

In this version we only do fnmatch() based globbing, but we might want
to extend that to version comparisons later on, if we like, by slightly
extending the syntax with ">=", "<=", ">", "<" and "==" expressions.

Merge pull request #7728 from poettering/fork-rework

some fork() reworking

Merge pull request #7735 from poettering/rc-local-fix

rc-local documentation

man: further file-hierarchy *Directory= improvements

Follow-up to @poettering’s comments in #7723:

- Slightly expand on the difference between using tmpfiles.d and service
  directives
- Mention CacheDirectory=
- Mention LogsDirectory=
- Abbreviate and unify some later descriptions

ConfigDirectory= is not mentioned, since it does not support the
functionality mentioned in the manpage which tmpfiles.d provides:
copying or symlinking default configuration from /usr/share/factory. And
the user package variable file locations don’t mention the directives
because in user units the service can always create the directories
itself (whereas in system units lesser-privileged services lack
permission to create them).

update TODO

analyze: correct help text where we take unit name arguments

analyze: fix indentation in one case

analyze: add some logging to some error cases

analyze: arg_host can be "const char*", hence make it so.

analyze: port verb dispatching to verbs.[ch] API

Let's unify the code for parsing command line verbs, and reuse the
common verbs.[ch] API in systemd-analyze too.

This adds a couple of error messages when people pass too many
arguments. Moreover thus pushes bus allocation into the verb functions,
which corrects a couple of cases where we previously allocated a bus but
really didn't need to.

Other than that behaviour shouldn't really change.

sd-daemon: use sockaddr_port() helper

socket-util: clarify why sockaddr_port returns unsigned rather than uint16_t

units: link up debug-generator documentation from debug-shell.service

rc-local-generator: minor modernizations

man: add a systemd-rc-local-generator(8) man page

Most importantly, let's highlight the differences to the rc-local
behaviour in SysV.

Fixes: #7703

bootspec: drop ".conf" from BootEntry.filename

The boot loader systemd-boot removes ".conf" from file name of entry
configs, and determine which entry is the default entry.
However, bootspec, which is used by systemctl and bootctl did not
remove ".conf", then sometimes bootctl marks wrong entry as default.
This fixes the logic to choose the default entry in bootspec, to
match the logic used in systemd-boot boot loader.

Fixes #7727.

separate flags from shebang

sd-boot, udev: trivial condition simplifications

Reported and proposed by @dcb314.

Fixes #7656 and #7657.

Merge pull request #7742 from poettering/meson-syscall

Meson syscall

meson: hopefully renameat2() will show up where renameat() is defined

Should glibc add this eventually, let's try to be smart where to look
for it.

meson: look for gettid() definition where getpid() is defined

Hopefully, should gettid() show up one day in glibc it'll show up where
getpid() is defined too.

meson: when pivot_root() is added one day, look for it in <unistd.h>

We of course don't know in which header glibc will export pivot_root()
and if it ever will. But there's a good chance they'll place it where
chroot() is located, given the similarity in the operations, hence let's
try our luck and look for it at the same place.

If we are lucky this means we don't have to patch our code if glibc
decides to expose the call one day.

meson: use "args" for setting _GNU_SOURCE when checking for functions

This reworks how we set _GNU_SOURCE when checking for the availability
of functions:

1. We set it for most of the functions we look for. After all we set it
for our entire built anyway, and it's usually how Linux-specific
definitions in glibc are protected these days. Given that we usually
have checks for such modern stuff only anyway, let's just blanket enable
it.

2. Use "args" instead of "prefix" to set the macro. This is what is
suggested in the meson docs, hence let's do it.

update TODO

process-util: debug log if PR_SET_NAME fails.

process-util: allow rename_process() only in the main thread

We make assumptions about the comm name we set via PR_SET_NAME: that it
would reflect the process name, but that's only the case for the main
thread. Moreover, we cache the mmap() region without locking.

Let's hence be safe rather than sorry and support all this only in the
main thread.

basic: split out blockdev-util.[ch] from util.h

With three functions it makes sense to split this out now.

agents: use kill_and_sigcont() where appropriate

process-util: move fork_agent() to process-util.[ch]

It's a relatively small wrapper around safe_fork() now, hence let's move
it over, and make its signature even more alike. Also, set a different
process name for the polkit and askpw agents.

tree-wide: properly name all threads we fork off

udev: some very trivial coding style updates

tree-wide: use EXIT_SUCCESS/EXIT_FAILURE in exit() where we can

shutdown: unify shutdown.c's and async.c's sync() helper process

The helper processes are pretty much the same now, let's unify them
hence.

tree-wide: introduce new safe_fork() helper and port everything over

This adds a new safe_fork() wrapper around fork() and makes use of it
everywhere. The new wrapper does a couple of things we previously did
manually and separately in a safer, more correct and automatic way:

1. Optionally resets signal handlers/mask in the child

2. Sets a name on all processes we fork off right after forking off (and
   the patch assigns useful names for all processes we fork off now,
   following a systematic naming scheme: always enclosed in () – in order
   to indicate that these are not proper, exec()ed processes, but only
   forked off children, and if the process is long-running with only our
   own code, without execve()'ing something else, it gets am "sd-" prefix.)

3. Optionally closes all file descriptors in the child

4. Optionally sets a PR_SET_DEATHSIG to SIGTERM in the child, in a safe
   way so that the parent dying before this happens being handled
   safely.

5. Optionally reopens the logs

6. Optionally connects stdin/stdout/stderr to /dev/null

7. Debug logs about the forked off processes.

terminal-util: open /dev/null with O_CLOEXEC in make_stdio_null()

Ultimately, O_CLOEXEC should be off in fd 0, 1, 2, but when we open
/dev/null here it's unlikely to be < 0, and after dupping the fd to 0,
1, 2 we turn off O_CLOEXEC explicitly anyway.

Unless we know that what we are about to open will return 0, 1 or 2 we
should always set O_CLOEXEC in order to be safe to other threads forking
of subprocesses at the wrong moment.

terminal-util: return first error, not last in make_stdio()

Just a minor tweak, making sure we execute as much as we can of the
funciton, but return the first error instead of the last we encounter.

This is usuelly how we do things when we have functions that continue on
the first error, so let's do it like that here too.

fd-util: use close_nointr() return value instead of errno

Our own calls return errors in their return values, hence use that
rather than errno when checking errors.

fd-util: add some (void) casts

sync: fork off sync() in a process instead of a thread

Let's fork off sync() ina process instead of a thread, as a safety
measure. This is beneficial to ensure that the original process can exit
without having to wait for the sync() to finish (note that the kernel
will delay process termination until all threads finished their
syscalls). In case of hanging NFS this increases the chance that PID 1
can safely transition to the "systemd-shutdown" process as the sync() is
initiated early on but definitely not waited for.

meson: define _GNU_SOURCE to detect copy_file_range() (#7734)

Follow-up for bad7a0c81f501fbbcc79af9eaa4b8254441c4a1f of git
repository for glibc.

Recently glibc added `copy_file_range()`, but to use it,
`_GNU_SOURCE` needs to be defined. This adds the flag in
meson.build to detect the function by meson correctly.

Merge pull request #7663 from keszybz/mkdir-return-value

util-lib: fix return value in mkdir_parents()

systemctl: don't show vendor preset state for generated/transient units (#7711)

Showing the preset state for those suggests they could actually be
enabled/disabled, but that concept doesn't exist for generated/transient
units, hence hide this information.

This came up here:

https://lists.freedesktop.org/archives/systemd-devel/2017-December/040022.html