Merge pull request #1061 from poettering/pager

A few auto-pager improvements

Merge pull request #1060 from poettering/resolved-man-2

man: Document that resolved requires nss-resolve to work with libc

Merge pull request #1064 from evverx/systemctl-completion

shell-completion: add `failed` state to --state compwords

shell-completion: add `failed` state to --state compwords

pager: also redirect stderr

It's really confusing if stdout goes to the pager, but stderr is written
directly to the screen. Hence, make sure both stdout and stderr are
passed to the pager when doing autopaging.

pager: port fallback pager to use copy_bytes()

copy: add splice() based fallback

Apparently, sendfile() does not work between fifos and ttys, but
splice() does, hence let's optionally fall back to that. This is useful
to implement the fallback pager this way.

man: Document that resolved requires nss-resolve to work with libc

Closes #884.

Merge pull request #1059 from evverx/systemd-run-bash-completion

shell-completion: update systemd-run bash completion

shell-completion: update systemd-run bash completion

Many new options have been added since the bash completion was last
updated.

Merge pull request #1057 from poettering/resolve-drop-res-query

sd-resolve: drop res_query() API

Merge pull request #1055 from poettering/dhcp-updates

Various networkd and dhcp updates

update TODO

sd-resolve: drop res_query() API

Querying low-level DNS RRs should be done via resolved now, not via
glibc's awful res_query() API anymore. Let's not introduce an async
wrapper for it hence.

networkd: s/now/know

dhcp: say domain name, when we mean domain name

network: get rid of more RefCnt usage

A follow-up to 3733eec3e292e4ddb4cba5eb8d3bd8cbee7102d8

dhcp: fix n_ref type

Fixes fallout from 3733eec3e292e4ddb4cba5eb8d3bd8cbee7102d8.

tree-wide: we place the opening bracket on the same line as the function name

Let's do this everywhere the same way.

networkd: make sure we remove udev fd from epoll *before* closing it

Otherwise we'll try to remove an invalid fd from epoll all the time.

man: document the new DHCP settings added in the past commits

NEWS: update

Add 'machinectl shell' to NEWS and also update date and contributors
lists.

networkd: emit DNS/NTP/Timezone info via DHCP server by default

If we have the data, emit it by default.

networkd: propagate DNS/NTP server from uplink to dhcp server

When handing out DHCP leases, try to propagate DNS/NTP server
information from "uplink". The "uplink" is automatically determined as
the network interface with the highest priority default route on it.

sd-bus: do not connect to dbus-1 socket when kdbus is available

We should not fall back to dbus-1 and connect to the proxy when kdbus
returns an error that indicates that kdbus is running but just does not
accept new connections because of quota limits or something similar.

Based on a patch by Kay.

Revert "sd-bus: do not connect to dbus-1 socket when kdbus is available"

This reverts commit d4d00020d6ad855d65d31020fefa5003e1bb477f. The idea of
the commit is broken and needs to be reworked. We really cannot reduce
the bus-addresses to a single address. We always will have systemd with
native clients and legacy clients at the same time, so we also need both
addresses at the same time.

selinux: drop mac_selinux_unit_access_check_strv()

It is not acceptable to load unit files during enable/disable operations
just to figure out the selinux labels. systemd implements lazy loading
for units, so the selinux hooks need to follow it.

This drops the mac_selinux_unit_access_check_strv() helper which
implements a non-acceptable policy check. If anyone cares for that
functionality, you really should pass a callback+userdata to the helpers
in src/shared/install.c which does policy checks on each touched file.

See #1050 on github for more.

sd-bus: rename bloom-tag to arg0-has

We use dashes in our bloom-tags. Make sure the newly introduced arg0has
tag uses the same style.

Note that the external dbus-tags don't use dashes, though. They are
defined in the spec and we need to keep compatibility there.

Merge pull request #1036 from poettering/sd-bus-arg0has

sd-bus: introduce new match type "arg0has=" for matching arrays of st…

Merge pull request #1024 from poettering/sd-bus-explicit

sd-bus: introduce new SD_BUS_VTABLE_PROPERTY_EXPLICIT flag

dhcp,network: support emitting DNS/NTP server information from DHCP server

For now, this is very simple and IP addresses have to be configured
manually.

networkd: split up networkd.h into per-object header files

No functional changes, just moving definitions into separate header
files.

networkd: port many log messages over to newer logging API

Let's drop some strerror() invocations, and make use of the easier to
use newer logging APIs.

udev: control - add FIXME comment to remove work-around

sd-bus: it's not a user error to query the error contained in a bus message

It's an OK way to check whether a message contains an erro, let's not
consider this a loggable assertion event.

networkd: properly reset transient hostname when we lose a DHCP lease

Previously we were setting the transient hostname again, rather than
resetting it.

networkd: optionally push dhcp timezone into timedated

dhcp: don't underflow in lease time calculations

Don't underflow when calculating lease time.

networkd: make DHCP lease timeouts configurable

networkd: fix indentation

dhcp: NTP servers should be requested by networkd but not implicitly by sd-dhcp

The library so far always requested the NTP servers. This might be
unnecessary in some uses, hence let's move the request into networkd
instead.

dhcp: clean up dhcp4 lease object

a) drop handling of obsolete or unused DHCP options time_offset,
   mtu_aging_timeout, policy filter, mdr, ttl, ip forwarding settings.
   Should this become useful one day we can readd support for this.

b) For subnet mask and broadcast it is not always clear whether 0 or
   255.255.255.255 might be valid, hence maintain a boolean indicating
   validity next to it.

c) serialize/deserialize broadcast address, lifetime, T1 and T2 together
   with the rest of the fields in dhcp_lease_save() and
   dhcp_lease_load().

d) consistently return ENODATA from getter functions for data that is
   missing in the lease.

e) add missing getter calls for broadcast, lifetime, T1, T2.

f) when decoding DHCP options, generate debug messages on parse
   failures, but try to proceed if possible.

g) Similar, when deserializing a lease in dhcp_lease_load(), make sure
   we deal nicely with unparsable fields, to provide upgrade compat.

h) fix some memory allocations

dhcp: rename index to ifindex

This avoids confusion what this is, in particular as libc knows an
index() function.

dhcp: store client id as void*, since we dont know what it is

dhcp: properly handle error from ioctl()

dhcp: generic data should be void*, not uint8_t*

If we handly arbitrary data we should use "void*" pointers, not
"uint8_t*", how go intended C to be used.

network: s/user_data/userdata/

Everywhere else we call the generic user data pointer just "userdata",
rather than "user_data". Let's do this here, too.

dhcp: coding style fixes

We place the opening bracket of a function on the same line as the
function name. Let's do so in the DHCP sources too.

dhcp: stop using refcnt.h

No need to invole atomic ops in single-threaded APIs, let's simplify
this.

basic: document that people shouldn't use refcnt.h without reason

refcnt.h only exists for cases where objects are simultaneously handled
by different threads. Otherwise it should not be used. The only case
where this applies is sd_bus, really, and pretty much none of our APIs,
since we do not claim thread-safety for them.

dhcp: keep lease save/load functions private

When we make sd-dhcp public one day we really should not make
sd_dhcp_lease_save() and sd_dhcp_lease_load() public, since it's pretty
much only useful as internal utility for networkd itself.

networkd: let's uppercase the first character in log messages

Let's try to generate log messages that resemble english language
sentences, hence uppercase the first character.

dhcp: normalize DHCP host and domain names from leases

Previoulsy, we just checked whether the domain names specified in
incoming DHCP leases are valid. Given that validation code actually
internally normalizes anyway, it's a good idea to simply do the full
normalization and store that in the lease structure. This allows us to
remove the manual removal of a trailing dot, if there is one.

dhcp: various simplifications

network: turn on DHCP timezone passing between container and host

Let's turn on DHCP timezone passing from the host to a container, so
that the timezone is always in sync.

dhcp,network: implement RFC 4833 (DHCP Timezone option)

This one is simply to add: encode the tzdata timezone in the DHCP
options and optionally make use of it.

dhcp: be more careful when parsing strings from DHCP packets

Let's make sure there's no embedded 0 byte. Also, let's reset the string
if the length is zero.

networkd: don't leak memory of Hostname= is used twice in a .network file

Also, we should only accept trailing dots where we have to, but not
everywhere, hence be more strict when validating configured hostnames.

time-util: add new get_timezone() call to get local timezone

Let's move the timedated-specific code to time-util.h and make it
generic.

hwdb: update

build-sys: bump versions

sd-dhcp6: fix domainname memleak

strv_extend() does not consume the passed entry, hence, we must properly
free it. Furthermore, we should *not* use strv_consume() as we do greedy
allocations on 'ret'; and greedy-allocations should only be used for short
lived objects or caches.

Fix the domainname parser to properly free temporary storage when done.

sd-dhcp: don't randomly ref objects

In our API design, getter-functions don't ref objects. Calls like
foo_get_bar() will not ref 'bar'. We never do that and there is no real
reason to do it in single threaded APIs. If you need a ref-count, you
better take it yourself *BEFORE* doing anything else on the parent object
(as this might invalidate your pointer).

Right now, sd_dhcp?_get_lease() refs the lease it returns. A lot of
code-paths in systemd do not expect this and thus leak the lease
reference. Fix this by changing the API to not ref returned objects.

Merge pull request #1048 from poettering/resolved-man

man: resolved man page updates (plus one to machinectl)

Merge pull request #1047 from poettering/machinectl-TERM

machinectl: pass $TERM into "machinectl shell" sessions

man: minor extension to the machinectl man page

s/an/any/, as reported by Vito Caputo.

Also mention explicitly that the security properties (i.e. SELinux) are
also isolated when "machinectl shell" is used.

man: document nss-resolve

Merge pull request #1044 from d-hatayama/fix_systemctl_abspath

selinux: fix regression of systemctl subcommands when absolute unit file paths are specified

man: document resolved's RR synthesizing and query routing

Merge pull request #998 from vbatts/tar_nosparse_flag

import: don't create sparse tar archives

machinectl: pass $TERM into "machinectl shell" sessions

Merge pull request #1046 from poettering/resolved-dump

dump resolved cache/zone info on SIGSUR1, plus one fix

manager: close hostname fd *after* removing it epoll

Otherwise the epoll removal will fail and result in a warning.

resolved: dump cache and zone contents to syslog on SIGUSR1

hwdb: Update database of Bluetooth company identifiers

selinux: fix regression of systemctl subcommands when absolute unit file paths are specified

The commit 4938696301a914ec26bcfc60bb99a1e9624e3789 overlooked the
fact that unit files can be specified as unit file paths, not unit
file names, wrongly passing a unit file path to the 1st argument of
manager_load_unit() that handles it as a unit file name. As a result,
the following 4 systemctl subcommands:

    enable
    disable
    reenable
    link
    mask
    unmask

fail with the following error message:

    # systemctl enable /usr/lib/systemd/system/kdump.service
    Failed to execute operation: Unit name /usr/lib/systemd/system/kdump.service is not valid.
    # systemctl disable /usr/lib/systemd/system/kdump.service
    Failed to execute operation: Unit name /usr/lib/systemd/system/kdump.service is not valid.
    # systemctl reenable /usr/lib/systemd/system/kdump.service
    Failed to execute operation: Unit name /usr/lib/systemd/system/kdump.service is not valid.
    # cp /usr/lib/systemd/system/kdump.service /tmp/
    # systemctl link /tmp/kdump.service
    Failed to execute operation: Unit name /tmp/kdump.service is not valid.
    # systemctl mask /usr/lib/systemd/system/kdump.service
    Failed to execute operation: Unit name /usr/lib/systemd/system/kdump.service is not valid.
    # systemctl unmask /usr/lib/systemd/system/kdump.service
    Failed to execute operation: Unit name /usr/lib/systemd/system/kdump.service is not valid.

To fix the issue, first check whether a unit file is passed as a unit
file name or a unit file path, and then pass the unit file to the
appropreate argument of manager_load_unit().

By the way, even with this commit mask and unmask reject unit file
paths as follows and this is a correct behavior:

    # systemctl mask /usr/lib/systemd/system/kdump.service
    Failed to execute operation: Invalid argument
    # systemctl unmask /usr/lib/systemd/system/kdump.service
    Failed to execute operation: Invalid argument

Merge pull request #1043 from phomes/master

test-util: fix a memleak

Merge pull request #1039 from poettering/nspawn-machine-template

nspawn: make sure --template= and --machine= my be combined

Merge pull request #1038 from poettering/coredumpctl-directory

Add --directory= option for reading alternate journal

Merge pull request #1040 from poettering/cgroup-path-fix

fix "systemctl status idontexist.service" showing the full cgroup tree

test-util: fix a memleak

resolve: fix regression in dns-scope

Bring back a return statement 106784eb errornously removed.

Thanks to @phomes for reporting.

Merge pull request #1041 from phomes/master

trivial cleanups

Merge pull request #1034 from poettering/resolved-fixes-2

various resolved fixes

machinectl: remove unused variable

execute: make the invalid entry of the enum -1

Set _EXEC_UTMP_MODE_INVALID to -1. This matches the return value from
string_table_lookup.

core: report root cgroup as "/" over the bus

Internally, the root cgroup is stored as the empty string in
Unit.cgroup_path, and "no cgroup" as NULL. Unfortunately, D-Bus does not
know a NULL concept, hence when reporting the cgroup to clients we
should turn the root cgroup into "/", and leave the empty string for the
"no cgroup" case.

This should make sure that "systemctl status -- -.slice" works correctly
and shows the entire cgroup tree.

Revert "systemctl: properly handle empty control group paths in "status""

This reverts commit b04c25f9ef6359ed0ae403bdbfe4df840aba0f58.

nspawn: make sure --template= and --machine= my be combined

Fixes #1018.

Based on a patch from Seth Jennings.

man: minor fixes to coredumpctl(1)

coredumpctl: Add --directory option for reading alternate journal

In the Cockpit integration tests we hang onton the journal files
for a failed test and would like to inspect them using coredumpctl.

This commit adds the ability to specify an alternate directory
for coredumpctl to read the journal from.

sd-bus: introduce new match type "arg0has=" for matching arrays of strings

Previously, sd-bus inofficially already supported bus matches that
tested a string against an array of strings ("as"). This was done via an
enhanced way to interpret "arg0=" matches. This is problematic however,
since clients have no way to determine if their respective
implementation understood strv matches or not, thus allowing invalid
matches to be installed without a way to detect that.

This patch changes the logic to only allow such matches with a new
"arg0has=" syntax. This has the benefit that non-conforming
implementations will return a parse error and a client application may
thus efficiently detect support for the match type.

Matches of this type are useful for "udev"-like systems that "tag" objects
with a number of strings, and clients need to be able to match against
any of these "tags".

The name "has" takes inspiration from Python's ".has_key()" construct.

resolved: add comments to DNS_PACKET_MAKE_FLAGS() clarifying DNS vs LLMNR

Some flags are defined differently on unicast DNS and LLMNR, let's
document this in the DNS_PACKET_MAKE_FLAGS() macro.

resolved: make packet flags logic more expressive again

This partially reverts 106784ebb7b303ae471851100a773ad2aebf5b80, ad
readds separate DNS_PACKET_MAKE_FLAGS() invocations for the LLMNR and
DNS case. This is important since SOme flags have different names and
meanings on LLMNR and on DNS and we should clarify that via the comments
and how we put things together.

resolved: rename DNS UDP socket to 'dns_udp_fd'

This hopefully makes this a bit more expressive and clarifies that the
fd is not used for the DNS TCP socket. This also mimics how the LLMNR
UDP fd is named in the manager object.

Merge pull request #1033 from poettering/machine-fixes

misc machine fixes

bus-util: make more properties settable in --property=

Add a couple of new properties to the supported set we can pass in
systemd-run's and systemd-nspawn's --property= switch.

man: add hyphen to improve man text

core: drop spurious new line

machine: policykit string fixes