Merge pull request #2943 from vinaykul/systemd_duid_review_fixes

DHCP DUID parsing fix, logging fix, man-page fix

Merge pull request #2987 from CyberShadow/pull-20160407-234344

core: downgrade warning about duplicate device names again

core: downgrade warning about duplicate device names again

Pull request #2412 seemed to have unintentionally reverted
5259bcf6a638d8d489db1ddefd55327aa15f3e51, thus reintroducing
https://bugs.freedesktop.org/show_bug.cgi?id=90386.

This commit reverts that part of the commit, changing the
log level to debug again.

Merge pull request #2981 from keszybz/test-nss

build-sys: move test-nss to manual_tests

build-sys: move test-nss to manual_tests

Merge pull request #2976 from martinpitt/udev-test-tags

Add tags tests to udev-test.pl

sd-device: Allocate enough room for tags string

Fix commit 1d88a2: We need to allocate another byte for building the "tags"
string, as we append an extra ':' and still need the NUL terminator.

test: udev: Check tags

Add two more tests:

 - Add a single tag, match on it, don't match on another.
 - Add 10.000 tags to a device, ensure that udev survives this.
   (Reproduces crash fixed by commit 1d88a271a)

test: udev: check exit code of test-udev

We expect test-udev to succeed. Verify that its exit code is zero, particularly
to spot crashes (e. g. a segfault would be error code 139).

Merge pull request #2972 from lnykryn/curl

configure.ac: bump curl dependency to 7.32.0

configure.ac: bump curl dependency to 7.32.0

We are using CURLOPT_XFERINFOFUNCTION which was added in 7.32.0.

Merge pull request #2970 from msekletar/machine-id-prefix-roota

machine-id-setup: simplify by using prefix_roota

Merge pull request #2971 from torstehu/fix-typo

man: fix spelling mistakes

man: fix spelling mistakes

Merge pull request #2969 from evverx/udev-test-dont-rely-on-underlying-fs-2

tests: don't rely on the underlying fs in test-udev (v2)

Merge pull request #2968 from keszybz/journal-upload-watchdog-update-master

Journal upload watchdog update master

Merge pull request #2944 from keszybz/man-coredump-sysctl

Man coredump sysctl

Merge pull request #2947 from keszybz/test-nss

Add a test for nss modules and some related fixes

Merge pull request #2962 from keszybz/value-option

Add `--value` option to systemctl and loginctl to only print values

Merge pull request #2961 from evverx/fix-activate-sigchld

activate: improve SIGCHLD handler

machine-id-setup: simplify by using prefix_roota

tests: don't rely on the underlying fs in test-udev (v2)

* This reverts commit 646048b40a7b62c4e9bc59024ef6133613cda01b.
Let's test really big numbers again

* Don't be so brutal: use rmdir instead of rm -rf
As suggested https://github.com/systemd/systemd/pull/2966#issuecomment-205751680

nss-myhostname: remove dead test of variable that was not set

test-nss: test the resolution of various names

nss-dns is also "tested". It should be almost always available,
and provides a reference for comparison.

string-table: split long definitions

machinectl: indentation fix

machinectl: add --value option

Merge pull request #2964 from martinpitt/cgroup-doc-links

man: update links to kernel.org cgroup documentation

man: also mention systemd-coredump@.service and systemd-coredump.socket

Added in 3c171f0b1e.

Merge pull request #2966 from evverx/udev-test-dont-rely-on-underlying-fs

tests: don't rely on underlying fs in udev-test, use tmpfs instead

journal-upload: make watchdog state non-static

Also parse watchdog config when creating the Uploader object.

journal-upload: Update watchdog while in curl_easy_perform

It is observed that a combination of high log throughput, low I/O speed on journal remote side and many nodes uploading simultaneously caused the journal-upload process to dump core because of watchdog starvation. This is caused because journal-upload stays in curl_easy_perform(), because it cannot upload fast enough to reach the end of the journal. Currently journal-upload will return from curl_easy_perform() only when the end of the journal is reached. Therefore a check is added in journal_input_callback(), which will update the watchdog if the elapsed time since the start of the uploading process is greater than WATCHDOG_USEC/2.

activate: improve SIGCHLD handler

* Don't lose children exit codes

* Don't receive notification when child processes stop
Eliminates annoying "Child died"-messages:
$ ./systemd-socket-activate -l 2000 --inetd -a cat
^Z
[1]+  Stopped                 ./systemd-socket-activate -l 2000 --inetd -a cat

$ bg %1
[1]+ ./systemd-socket-activate -l 2000 --inetd -a cat &
Child 15657 died with code 20

$ ps u 15657
USER       PID %CPU %MEM    VSZ   RSS TTY      STAT START   TIME COMMAND
ubuntu   15657  0.0  0.0   4540   680 pts/2    S    00:34   0:00 cat

* Don't fail to reap some zombie children
Fixes
$ ./systemd-socket-activate -l 2000 --inetd -a cat &
$ for i in {1..1000}; do echo a | nc localhost 2000 & done
$ ps f
...
18235 pts/2    Ss     0:01 -bash
15849 pts/2    S      0:00  \_ ./systemd-socket-activate -l 2000 --inetd
-a cat
16081 pts/2    Z      0:00  |   \_ [cat] <defunct>
16381 pts/2    Z      0:00  |   \_ [cat] <defunct>
and many more zombies
...

man: fix cgroup attributes for device throttling

Merge pull request #2965 from martinpitt/systemctl-polkit

systemctl: don't start polkit agent when running as root

tests: don't rely on underlying fs in udev-test, use tmpfs instead

Fixes: #457

polkit: don't start polkit agent when running as root

On the server side we already bypass the polkit checks if the caller is root
(see the sd_bus_query_sender_privilege() call in bus_verify_polkit_async()). So
there is no reason to invoke polkit when running
systemctl/machinectl/loginctl/timedatectl as root.

Fixes #2748

Merge pull request #2955 from martinpitt/master

sd-device: fix crash if a device has many tags

man: update links to  cgroup documentation

This recently moved from /cgroups/ to /cgroup-v1/.

Fixes #2958

sd-device: fix crash if a device has many tags or devlinks

strjoina() is unsafe to be used in an unbounded loop as alloca() has no error
reporting. Thus devices with a large number of tags or devlinks trigger a
segfault in device_properties_prepare() due to overflowing the stack.

Rewrite the building of the "tags" and "devlinks" strings using
GREEDY_REALLOC() and strpcpy() to work with arbitrarily long strings. This also
avoids re-copying the entire string in each loop iteration.

Before this commit we always appended one final ":" to "tags". Change this to
start with an iniital ":" and for each tag append instead of prepend a ":".
This unifies what happens for the first and all subsequent tags so that we can
use a for loop.

Fixes #2954

Drop description of 'Type' field from docs.

Address code-review items for pull-request #2890
1. Replace strtol with unhexchar, verified with valid and invalid DUID strings.
2. Fix logging to use log_syntax instead of log_error.
3. On error reading DUID, ignore read and preserve previous state.
4. Fix man-pages to use markup, remove options not yet implemented.
5. Remove spurious header line in new files.

loginctl: add --value option

systemctl: add --value option

With this option, systemctl will only print the rhs in show:
$ systemctl show -p Wants,After systemd-journald --value
systemd-journald.socket ...
systemd-journald-dev-log.socket ...

This is useful in scripts, because the need to call awk or similar
is removed.

Merge pull request #2959 from keszybz/stop-resolving-localdomain

*.localdomain != localhost

*.localdomain != localhost

".localdomain" is not a reserved suffix (or prefix). I'm not aware of any
product expecting *.localdomain to resolve to localhost, however I am aware of
at least one product that defaults to ".localdomain" as its DNS suffix provided
via DHCP (pfSense). This leads to unexpected results when attempting to access
a host that's offline (or a host that's online, when nsswitch.conf is
[mis-]configured to have myhostname ahead of DNS).

Operate on:
localhost (and localhost.)
*.localhost (and *.localhost.)
localhost.localdomain (and localhost.localdomain.)
*.localhost.localdomain (and *.localhost.localdomain.)

We should not cover:
*.localdomain (nor *.localdomain.)
localdomain (nor localdomain.)

Merge pull request #2849 from keszybz/offline-updates

Offline updates man page

Merge pull request #2949 from keszybz/news

NEWS: add some more items

run: add colon before printing started units

run: add colon before printing started units

import: Preserve xattrs in tar files

Resolves #2908

basic: fallback to fstatat if entry->d_type is DT_UNKNOWN

* tests-functions: improve FSTYPE-support

make clean setup FSTYPE=reiserfs is working fine now :)

* basic: fallback to fstatat if entry->d_type is DT_UNKNOWN

Fixes localectl on reiserfs:

-bash-4.3# mkdir -p /usr/lib/locale
-bash-4.3# stat -f /usr/lib/locale/
  File: "/usr/lib/locale/"
    ID: bdb0322715b5366e Namelen: 255     Type: reiserfs
Block size: 4096
Blocks: Total: 99835      Free: 60262      Available: 60262
Inodes: Total: 0          Free: 0
-bash-4.3# mkdir /usr/lib/locale/HeyHo
-bash-4.3# localectl list-locales --no-pager

-bash-4.3# mount -t tmpfs tmpfs /usr/lib/locale
-bash-4.3# mkdir /usr/lib/locale/HeyHo
-bash-4.3# localectl list-locales --no-pager
HeyHo

run: add colon before printing started units

In 110ceee58e5bc796c03a7db2109f85a999d5bc2e we removed the period after
printing the started units. This makes copying the unit name easier but
results in improper English.

This adds a colon before printing the units, which makes the output
look better.

NEWS: add some more items

DUID support is mentioned without details since those are still
being worked out.

Merge pull request #2931 from systemd/revert-2843-clock_boottime

Revert "time-util: fall back to CLOCK_MONOTONIC if CLOCK_BOOTTIME unsupported"

Move nss typedefs into nss-util.h

In preparation for subsequent changes.

nss-myhostname: trivial style fixes

man/offline-updates: more links and support for multiple upgrade services

Most of the changes are already implemented in dnf-system-upgrade.service
and packagekit-offline-update.service, so this update mostly changes the
documentation to match status quo.

compress: fix gcc warnings about void* used in arithmetic

src/journal/compress.c: In function ‘compress_blob_lz4’:
src/journal/compress.c:115:49: warning: pointer of type ‘void *’ used in arithmetic [-Wpointer-arith]
         r = LZ4_compress_limitedOutput(src, dst + 8, src_size, (int) dst_alloc_size - 8);
                                                 ^
src/journal/compress.c: In function ‘decompress_blob_xz’:
src/journal/compress.c:179:35: warning: pointer of type ‘void *’ used in arithmetic [-Wpointer-arith]
                 s.next_out = *dst + used;
                                   ^
src/journal/compress.c: In function ‘decompress_blob_lz4’:
src/journal/compress.c:218:37: warning: pointer of type ‘void *’ used in arithmetic [-Wpointer-arith]
         r = LZ4_decompress_safe(src + 8, out, src_size - 8, size);
                                     ^
src/journal/compress.c: In function ‘decompress_startswith_xz’:
src/journal/compress.c:294:38: warning: pointer of type ‘void *’ used in arithmetic [-Wpointer-arith]
                 s.next_out = *buffer + *buffer_size - s.avail_out;
                                      ^
src/journal/compress.c:294:53: warning: pointer of type ‘void *’ used in arithmetic [-Wpointer-arith]
                 s.next_out = *buffer + *buffer_size - s.avail_out;
                                                     ^
src/journal/compress.c: In function ‘decompress_startswith_lz4’:
src/journal/compress.c:327:45: warning: pointer of type ‘void *’ used in arithmetic [-Wpointer-arith]
         r = LZ4_decompress_safe_partial(src + 8, *buffer, src_size - 8,
                                             ^

LZ4 and XZ functions use char* and unsigned char*, respectively,
so keep void* in our internal APIs and add casts.

basic/copy: remove unnecessary cast

Both types are unsigned, so the cast to the longer type is automatic.

test-compress-benchmark: fix argument parsing on 32bit

The patch is not minimal, but a function to parse size_t is probably
going to come in handy in other places, so I think it's nicer to define
a proper parsing function than to open-code the cast.

Add networkd-gperf.c to gitignore

For #2915.

sd-lldp.h: remove double newline

For #2898.

man: describe how to reload sysctl configuration

Also fixes option name (s/--path/--prefix/).

man: add more cross-references to coredump.conf(5) and systemd-coredump(8)

Fixes #2901.

coredumpctl: grammaro fix

Mentioned in #2901.

rpm triggers: add note about minimum supported version

man: move KillSignal in the right section in directives list

cryptsetup: do not 'fail' if trying to detach a nonexistent device

It could be that our .service is being stopped precisely because the
device already disappeared (e.g. due to a manual `cryptsetup close`, or
due to UDisks2 cleaning up).

Merge pull request #2937 from thom311/master

dhcp-identifier: handle too large duid_len argument in dhcp_validate_duid_len()

Merge pull request #2939 from bjne/read_only_bindmount

dont create bind-mount target when it exists

prevent systemd-nspawn from trying to create target
for bind-mounts when they already exist. This allows
bind-mounting over read-only files.

dhcp-identifier: handle too long duid_len in dhcp_validate_duid_len()

Callers of dhcp_validate_duid_len() know that they must not pass
a zero duid_len. Thus asserting against that is appropriate.
On the other hand, they are not aware of the maximum allowed length
of a duid, as that is the reason why they call dhcp_validate_duid_len()
in the first place. So dhcp_validate_duid_len() should just signal a
regular error.

Thereby, change assert_return() to an assert() as this is an internal
function.

Merge pull request #2936 from martinpitt/master

sd-dbus: Fix uint32 property reading

systemctl: use correct printf macros for uint32

%u is a simple uint which might not be 32 bit on every platform. Use PRIu32
instead.

bus-util: Fix reading uint32 properties

Fix copy&paste bug in map_basic() to use the correct data type for
SD_BUS_TYPE_UINT32. Before we were copying the wrong 32 bits into the
destination pointer, resulting in complete garbage on big-endian systems.

Fixes #2927

Revert "time-util: fall back to CLOCK_MONOTONIC if CLOCK_BOOTTIME unsupported"

Merge pull request #2915 from vinaykul/master

DHCP DUID, IAID configuration options

Merge pull request #2919 from ColdPie1/udev_get_parent_docs

man: Fix documented parameters for udev_device_get_ functions

man: Fix documented parameters for udev_device_get_ functions

Merge pull request #2915 from lnykryn/template

core: improve error message when starting template without instance

core: improve error message when starting template without instance

Merge pull request #2898 from bengal/lldp-api

lldp: move public macros to sd-lldp.h and namespace them

Merge pull request #2903 from keszybz/cgroup2-v3

core: cgroup2 support

Merge pull request #2911 from evverx/shutdown-watchdog-infinity

core: ShutdownWatchdogSec=infinity disables the watchdog logic too

core: ShutdownWatchdogSec=infinity disables the watchdog logic too

This is a follow-up for 947292eef

Merge pull request #2907 from evverx/runtime-watchdog-infinity

core: RuntimeWatchdogSec=infinity disables the watchdog logic

Merge pull request #2905 from keszybz/gcrypt-compilation

build-sys: fix build with libgrcypt disabled

core: RuntimeWatchdogSec=infinity disables the watchdog logic

Merge pull request #2906 from Lu-Biao/shared

shared: fix a misspelling of "journalctl"

shared: fix a misspelling of "journalctl"

build-sys: fix build with libgrcypt disabled

- Move gcrypt.h include inside grcrypt-util.h.
- Allow gcrypt-util.[ch] to be compiled even without gcrypt.
This allows the logic in files using gcrypt to be simplified.

- Fix compilation of systemd-resolve without gcrypt.
systemd-resolved already supported that.

Fixes #2711.

core: update invoke_sigchld_event() to handle NULL ->sigchld_event()

After receiving SIGCHLD, one of the ways manager_dispatch_sigchld() maps the
now zombie $PID to its unit is through manager_get_unit_by_pid_cgroup() which
reads /proc/$PID/cgroup and looks up the unit associated with the cgroup path.

On non-unified cgroup hierarchies, a process is immediately migrated to the
root cgroup on death and the cgroup lookup would always have returned the unit
associated with it, making it rather pointless but safe.  On unified hierarchy,
a zombie remains associated with the cgroup that it was associated with at the
time of death and thus manager_get_unit_by_pid_cgroup() will look up the unit
properly.

However, by the time manager_dispatch_sigchld() is running, the original cgroup
may have become empty and it and its associated unit might already have been
removed.  If the cgroup path doesn't yield a match, manager_dispatch_sigchld()
keeps pruning the leaf component.  This means that the function may return a
slice unit for a pid and as a slice doesn't have ->sigchld_event() handler,
calling invoke_sigchld_event() on it causes a segfault.

This patch updates invoke_sigchld_event() so that it skips calling if the
handler is not set.

core: update populated event handling in unified hierarchy

Earlier during the development of unified hierarchy, the populated event was
reported through by the dedicated "cgroup.populated" file; however, the
interface was updated so that it's reported through the "populated" field of
"cgroup.events" file.  Update populated event handling logic accordingly.

cgroup2: use new fstype for unified hierarchy

Since Linux v4.4-rc1, __DEVEL__sane_behavior does not exist anymore and
is replaced by a new fstype "cgroup2".

With this patch, systemd no longer supports the old (unstable) way of
doing unified hierarchy with __DEVEL__sane_behavior and systemd now
requires Linux v4.4 for unified hierarchy.

Non-unified hierarchy is still the default and is unchanged by this
patch.

https://github.com/torvalds/linux/commit/67e9c74b8a873408c27ac9a8e4c1d1c8d72c93ff

Merge pull request #2887 from martinpitt/master

Fix logind crash if shutdown is called from a non-tty

lldp: move public macros to sd-lldp.h and namespace them

lldp.h contains definitions of LLDP types, subtypes and capabilities which
should be exposed in public headers. Get rid of the file and move those
definitions to sd-lldp.h with the SD_ prefix.

Merge pull request #2892 from yuwata/localectl

localectl: remove an unnecessary line break from and align the output of status command

logind: fix crash when shutdown is not issued from a tty

It's possible that sd_bus_creds_get_tty() fails and thus
scheduled_shutdown_tty is NULL in method_schedule_shutdown().

Fix logind_wall_tty_filter() to get along with that, by showing the message on
all TTYs, instead of crashing in strcmp().

https://launchpad.net/bugs/1553040

core: fix "stoppping" typo