tests: don't rely on underlying fs in udev-test, use tmpfs instead

Fixes: #457

Merge pull request #2849 from keszybz/offline-updates

Offline updates man page

Merge pull request #2949 from keszybz/news

NEWS: add some more items

run: add colon before printing started units

run: add colon before printing started units

import: Preserve xattrs in tar files

Resolves #2908

basic: fallback to fstatat if entry->d_type is DT_UNKNOWN

* tests-functions: improve FSTYPE-support

make clean setup FSTYPE=reiserfs is working fine now :)

* basic: fallback to fstatat if entry->d_type is DT_UNKNOWN

Fixes localectl on reiserfs:

-bash-4.3# mkdir -p /usr/lib/locale
-bash-4.3# stat -f /usr/lib/locale/
  File: "/usr/lib/locale/"
    ID: bdb0322715b5366e Namelen: 255     Type: reiserfs
Block size: 4096
Blocks: Total: 99835      Free: 60262      Available: 60262
Inodes: Total: 0          Free: 0
-bash-4.3# mkdir /usr/lib/locale/HeyHo
-bash-4.3# localectl list-locales --no-pager

-bash-4.3# mount -t tmpfs tmpfs /usr/lib/locale
-bash-4.3# mkdir /usr/lib/locale/HeyHo
-bash-4.3# localectl list-locales --no-pager
HeyHo

run: add colon before printing started units

In 110ceee58e5bc796c03a7db2109f85a999d5bc2e we removed the period after
printing the started units. This makes copying the unit name easier but
results in improper English.

This adds a colon before printing the units, which makes the output
look better.

NEWS: add some more items

DUID support is mentioned without details since those are still
being worked out.

Merge pull request #2931 from systemd/revert-2843-clock_boottime

Revert "time-util: fall back to CLOCK_MONOTONIC if CLOCK_BOOTTIME unsupported"

man/offline-updates: more links and support for multiple upgrade services

Most of the changes are already implemented in dnf-system-upgrade.service
and packagekit-offline-update.service, so this update mostly changes the
documentation to match status quo.

cryptsetup: do not 'fail' if trying to detach a nonexistent device

It could be that our .service is being stopped precisely because the
device already disappeared (e.g. due to a manual `cryptsetup close`, or
due to UDisks2 cleaning up).

Merge pull request #2937 from thom311/master

dhcp-identifier: handle too large duid_len argument in dhcp_validate_duid_len()

Merge pull request #2939 from bjne/read_only_bindmount

dont create bind-mount target when it exists

prevent systemd-nspawn from trying to create target
for bind-mounts when they already exist. This allows
bind-mounting over read-only files.

dhcp-identifier: handle too long duid_len in dhcp_validate_duid_len()

Callers of dhcp_validate_duid_len() know that they must not pass
a zero duid_len. Thus asserting against that is appropriate.
On the other hand, they are not aware of the maximum allowed length
of a duid, as that is the reason why they call dhcp_validate_duid_len()
in the first place. So dhcp_validate_duid_len() should just signal a
regular error.

Thereby, change assert_return() to an assert() as this is an internal
function.

Merge pull request #2936 from martinpitt/master

sd-dbus: Fix uint32 property reading

systemctl: use correct printf macros for uint32

%u is a simple uint which might not be 32 bit on every platform. Use PRIu32
instead.

bus-util: Fix reading uint32 properties

Fix copy&paste bug in map_basic() to use the correct data type for
SD_BUS_TYPE_UINT32. Before we were copying the wrong 32 bits into the
destination pointer, resulting in complete garbage on big-endian systems.

Fixes #2927

Revert "time-util: fall back to CLOCK_MONOTONIC if CLOCK_BOOTTIME unsupported"

Merge pull request #2915 from vinaykul/master

DHCP DUID, IAID configuration options

Merge pull request #2919 from ColdPie1/udev_get_parent_docs

man: Fix documented parameters for udev_device_get_ functions

man: Fix documented parameters for udev_device_get_ functions

Merge pull request #2915 from lnykryn/template

core: improve error message when starting template without instance

core: improve error message when starting template without instance

Merge pull request #2898 from bengal/lldp-api

lldp: move public macros to sd-lldp.h and namespace them

Merge pull request #2903 from keszybz/cgroup2-v3

core: cgroup2 support

Merge pull request #2911 from evverx/shutdown-watchdog-infinity

core: ShutdownWatchdogSec=infinity disables the watchdog logic too

core: ShutdownWatchdogSec=infinity disables the watchdog logic too

This is a follow-up for 947292eef

Merge pull request #2907 from evverx/runtime-watchdog-infinity

core: RuntimeWatchdogSec=infinity disables the watchdog logic

Merge pull request #2905 from keszybz/gcrypt-compilation

build-sys: fix build with libgrcypt disabled

core: RuntimeWatchdogSec=infinity disables the watchdog logic

Merge pull request #2906 from Lu-Biao/shared

shared: fix a misspelling of "journalctl"

shared: fix a misspelling of "journalctl"

build-sys: fix build with libgrcypt disabled

- Move gcrypt.h include inside grcrypt-util.h.
- Allow gcrypt-util.[ch] to be compiled even without gcrypt.
This allows the logic in files using gcrypt to be simplified.

- Fix compilation of systemd-resolve without gcrypt.
systemd-resolved already supported that.

Fixes #2711.

core: update invoke_sigchld_event() to handle NULL ->sigchld_event()

After receiving SIGCHLD, one of the ways manager_dispatch_sigchld() maps the
now zombie $PID to its unit is through manager_get_unit_by_pid_cgroup() which
reads /proc/$PID/cgroup and looks up the unit associated with the cgroup path.

On non-unified cgroup hierarchies, a process is immediately migrated to the
root cgroup on death and the cgroup lookup would always have returned the unit
associated with it, making it rather pointless but safe.  On unified hierarchy,
a zombie remains associated with the cgroup that it was associated with at the
time of death and thus manager_get_unit_by_pid_cgroup() will look up the unit
properly.

However, by the time manager_dispatch_sigchld() is running, the original cgroup
may have become empty and it and its associated unit might already have been
removed.  If the cgroup path doesn't yield a match, manager_dispatch_sigchld()
keeps pruning the leaf component.  This means that the function may return a
slice unit for a pid and as a slice doesn't have ->sigchld_event() handler,
calling invoke_sigchld_event() on it causes a segfault.

This patch updates invoke_sigchld_event() so that it skips calling if the
handler is not set.

core: update populated event handling in unified hierarchy

Earlier during the development of unified hierarchy, the populated event was
reported through by the dedicated "cgroup.populated" file; however, the
interface was updated so that it's reported through the "populated" field of
"cgroup.events" file.  Update populated event handling logic accordingly.

cgroup2: use new fstype for unified hierarchy

Since Linux v4.4-rc1, __DEVEL__sane_behavior does not exist anymore and
is replaced by a new fstype "cgroup2".

With this patch, systemd no longer supports the old (unstable) way of
doing unified hierarchy with __DEVEL__sane_behavior and systemd now
requires Linux v4.4 for unified hierarchy.

Non-unified hierarchy is still the default and is unchanged by this
patch.

https://github.com/torvalds/linux/commit/67e9c74b8a873408c27ac9a8e4c1d1c8d72c93ff

Merge pull request #2887 from martinpitt/master

Fix logind crash if shutdown is called from a non-tty

lldp: move public macros to sd-lldp.h and namespace them

lldp.h contains definitions of LLDP types, subtypes and capabilities which
should be exposed in public headers. Get rid of the file and move those
definitions to sd-lldp.h with the SD_ prefix.

Merge pull request #2892 from yuwata/localectl

localectl: remove an unnecessary line break from and align the output of status command

logind: fix crash when shutdown is not issued from a tty

It's possible that sd_bus_creds_get_tty() fails and thus
scheduled_shutdown_tty is NULL in method_schedule_shutdown().

Fix logind_wall_tty_filter() to get along with that, by showing the message on
all TTYs, instead of crashing in strcmp().

https://launchpad.net/bugs/1553040

core: fix "stoppping" typo

localectl: align output of 'localectl status' command

If kernel command line options for locale are given,
the output of 'localectl status' command is not aligned,
for example,
=============
Warning: Settings on kernel command line override system locale settings in /etc/locale.conf.
  Command Line: LANG=C
   System Locale: LANG=C
       VC Keymap: n/a
      X11 Layout: n/a
=============
This commit fixes the alignment.

localectl: remove unnecessary line break

If /etc/locale.conf is empty or does not exist, the output of
'localectl status' command includes an unnecessary line break
as follows:
=======================
   System Locale: n/a

       VC Keymap: n/a
      X11 Layout: n/a
=======================
This commit removes the line break after the system locale.

Merge pull request #2885 from gbrikis/master

core: Fix path for opening ffs endpoint ep0

Merge pull request #2888 from kinvolk/iaguis/remove-dots

run: remove period when printing started units

core: Fix path for opening ffs endpoint ep0

usbffs_address_create() expects an absolute path to the file that is
supposed to be opened. The path specified only leads to the directory
containing the endpoint ep0 not the endpoint itself. This commit adds
the endpoints name to the path.

run: remove period when printing started units

If you start a unit with systemd-run you usually need its name to
inspect it or stop it. Removing the period makes copying the unit name
easier.

Merge pull request #2886 from fbuihuu/systemctl-list-units-inactive-state

systemctl: no need to pass --all if inactive is explicitly requested …

Merge pull request #2883 from keszybz/allow-boms

Ignore BOM in config files

systemctl: no need to pass --all if inactive is explicitly requested in list-units

If list-units command is explicitly asked to show inactive units
by using '--state=inactive' option, there's no need to force the user
to pass '--all' option to include inactive units in the search in
this case.

Ignore BOM in config files

Fixes #2823.

Also remove unnecessary feof check.

Merge pull request #2844 from yarda/uaccess-3dprinters

Add support for 3D printers to uaccess (ID_3DPRINTER).

Added support for 3D printers to uaccess (ID_MAKER_TOOL)

This is to support 3D printers, CNCs, laser cutters, 3D scanners, etc.

Merge pull request #2880 from keszybz/more-tests

Add some simple tests for env_value_is_valid and env_assignment_is_valid

Merge pull request #2879 from ronnychevalier/rc/test_execute_fix

test-execute: fix execution of AmbientCapabilities tests

Merge pull request #2882 from systemd/revert-2818-master

Revert "DHCP DUID and IAID configurability"

Revert "DHCP DUID and IAID configurability"

test-env-util: test env_{value,assignment}_is_valid

Just to make sure everything works as expected in relation
to https://bugzilla.redhat.com/show_bug.cgi?id=1312384.

tests: rename test-env-replace to test-env-util

test-execute: fix execution of AmbientCapabilities tests

Wrong tests were executed

Merge pull request #2878 from martinpitt/master

test-copy: use correct data type for max_bytes

test-copy: use correct data type for max_bytes

copy_bytes() and the comparisons in test_copy_bytes_regular_file() expect an
uint64_t, not a size_t. On 32 bit architectures the latter is 32 bit, leading
to truncation errors.

Fixes regression from commit 7a827fcb.

Merge pull request #2760 from ronnychevalier/rc/core_no_new_privileges_seccompv3

core: set NoNewPrivileges for seccomp if we don't have CAP_SYS_ADMIN

Merge pull request #2826 from thom311/master

lldp: fix starting ttl timer for lldp neighbor

Merge pull request #2875 from evverx/nspawn-template-bash-completion

bash completion: add --template to nspawn

bash completion: add --template to nspawn

man: fix typo in systemd-sysv-generator

Merge pull request #2865 from utezduyar/journald-upload

journal-upload: remove microhttpd dependency

Merge pull request #2862 from evverx/nspawn-expose-ports-error

nspawn: don't run nspawn --port=... without libiptc support

journal-upload: remove microhttpd dependency

journal-upload doesn't really need microhttpd to run.
Without the dependency, we can cross compile systemd
without microhttpd and get the uploader part of the
remote logging.

Change-Id: I28dfa5ad2aae94e50de1d32713e1827623c3fd1d

hwdb: Update database of Bluetooth company identifiers

nspawn: don't run nspawn --port=... without libiptc support

We get
$ systemd-nspawn --image /dev/loop1 --port 8080:80 -n -b 3
--port= is not supported, compiled without libiptc support.

instead of a ping-nc-iptables debugging session

Merge pull request #2839 from keszybz/use-sendfile-smarter

Use sendfile smarter

Merge pull request #2854 from keszybz/log-colors

systemd: obey systemd.log_color config

Merge pull request #2856 from msekletar/merge-instance

core: look for instance when processing template name

basic/missing: move syscall definitions to basic/missing_syscall.h

We have a bunch of syscall wrapper definitions and it's easier to
see that they follow the same pattern if they are not interspersed
with other defines.

Change the wrappers to be uniform:
- if __NR_XXX is not defined, do not bother to call the syscall,
  and return -1/ENOSYS immediately.
- do not check __NR_XXX defines if we detect the symbol as defined,
  since we don't need them anyway
- reindent stuff for readability

New file basic/missing_syscall.h is included at the end of missing.h
because it might make use of some of the definitions in missing.h.

basic/copy: use copy_file_range()

For btrfs, c_f_r() is like BTRFS_IOC_CLONE which we already used, but also
works when max_bytes is set. We do call copy_bytes in coredump code with
max_bytes set, and for large files, so we might see some benefit from using
c_f_r() on btrfs.

For other filesystems, c_f_r() falls back to do_splice_direct(), the same as
sendfile, which we already call, so there shouldn't be much difference.

Tested with test-copy and systemd-coredump on Linux 4.3 (w/o c_f_r)
and 4.5 (w/ c_f_r).

basic/missing: add copy_file_range

syscall numbers based on:
https://fedora.juszkiewicz.com.pl/syscalls.html

Merge pull request #2858 from keszybz/fbdev-uaccess

rules: allow users to access frame buffer devices

Merge pull request #2848 from keszybz/clang-warnings

Clang warnings

Merge pull request #2859 from msekletar/ldconfig-after-localfs

units: run ldconfig.service after we have mounted all local file systems

units: run ldconfig.service after we have mounted all local file systems

Also drop ConditionNeedsUpdate=|/etc. Regardless if system is updated
online or offline, updating dynamic loader cache should always be
responsibility of packaging tools/scripts.

systemd: obey systemd.log_color config

Fixes #2845.

rules: allow users to access frame buffer devices

For example it allows weston to be started unprivileged.

Related discussion:
https://bugs.freedesktop.org/show_bug.cgi?id=73782
https://lists.freedesktop.org/archives/wayland-devel/2015-May/022005.html
https://bugzilla.redhat.com/show_bug.cgi?id=1226680

core: look for instance when processing template name

If first attempt to merge units failed and we are trying to do
merge the other way around and at the same time we are working with
template name, then other unit can't possibly be template, because it is
not possible to have template unit running, only instances of the
template. Thus we need to look for already active instance instead.

Merge pull request #2855 from tklauser/master

nspawn: Fix two misspellings of "hierarchy" in error messages

nspawn: Fix two misspellings of "hierarchy" in error messages

Merge pull request #2851 from eliasp/patch-1

Reference correct `machinectl` command in 219 NEWS

Reference correct `machinectl` command in 219 NEWS

NEWS for `219` references `machinectl list-images` to describe the introduced clone feature - this looks like a copy'n'paste problem.
Use `machinectl clone` instead.

Merge pull request #2797 from evverx/selinux-use-raw

selinux: use *_raw API from libselinux

man: import "Implementing Offline System Updates"

This imports most of http://www.freedesktop.org/wiki/Software/systemd/SystemUpdates/
to turn it into a man page. Similarly for the man page about generators,
this will make it easier to keep up-to-date, keep a history of changes,
and make it more discoverable for end-users.

Merge pull request #2842 from petrosagg/nspawn-doc-fix

man: document missing KillSignal= .nspawn option

Merge pull request #2843 from NetworkManager/clock_boottime

time-util: fall back to CLOCK_MONOTONIC if CLOCK_BOOTTIME unsupported

Merge pull request #2847 from whot/hwdb-updates

hwdb: correct resolution for Asus x550cc

basic/log: remove unused return value

basic/c-rbtree: remove unused function

basic/macros: clang 3.5 doesn't support alloc_size

The attribute was removed in commit c047507 in the clang repository as it
was never properly implemented anyway. Avoid using the attribute with
clang because it generates a ton of annoying warnings.

test-copy: test with different max_bytes values