networkctl: move strv_isempty() check into dump_list()

Previously, each invocation of dump_list() was prefixed with a call to strv_isempty() to suppress invocation of the
function when the list is empty anyway. Move the check into the function itself, so that we can reduce the code a bit
in size.

(Also, prefix a couple of invocations we knowingly ignore return errors with a (void) cast).

networkd: rework Domains= setting

Previously, .network files only knew a vaguely defined "Domains=" concept, for which the documentation declared it was
the "DNS domain" for the network connection, without specifying what that means.

With this the Domains setting is reworked, so that there are now "routing" domains and "search" domains. The former are
to be used by resolved to route DNS request to specific network interfaces, the latter is to be used for searching
single-label hostnames with (in addition to being used for routing). Both settings are configured in the "Domains="
setting. Normal domain names listed in it are now considered search domains (for compatibility with existing setups),
while those prefixed with "~" are considered routing domains only. To route all lookups to a specific interface the
routing domain "." may be used, referring to the root domain. An alternative syntax for this is the "*", as was already
implemented before using the "wildcard" domain concept.

This commit adds proper parsers for this new logic, and exposes this via the sd-network API. This information is not
used by resolved yet, this will be added in a later commit.

Merge pull request #2424 from keszybz/journald-disk-usage

Journald disk usage

Merge pull request #2436 from grawity/fix/tasks-max

logind: update documentation for cf7d1a30e44

logind: update documentation for cf7d1a30e44

Merge pull request #2434 from keszybz/man-pages

Man pages

Merge pull request #2435 from evverx/tests-setup-selinux

tests: add setup_selinux

man: add stub sd-bus(3)

We have 126 broken links to sd-bus.html, it's nice to fix that.
Current version is mostly a stub, with a long list of links to other
pages. I think that's fine, especially that sd-bus might evolve
quite a bit before it is made public.

Not all of linked pages are written. Still missing:
sd_bus_can_send
sd_bus_get_name_creds
sd_bus_get_owner_creds
sd_bus_message_can_send
sd_bus_message_get_creds
sd_bus_message_set_allow_interactive_authorization
sd_bus_send
sd_bus_set_address
sd_bus_set_description
sd_bus_start
sd_event_set_prepare
sd-device
systemd.busname

man: fix reference to sd_event_source_get_io_revents

man: fix references to a few external man pages

Noticed in pull request #2067.

build-sys: provide fallback value for xsltproc

Commit ab6f56debf made the change to allow building man pages even when disabled
with ./configure --disable-manpages. This works fine, as long as xsltproc is
present. If xsltproc is not present, the command to build a man page (obviously)
fails. Unfortnately it fails with a cryptic message '-o not found', because
$(XSLTPROC) is empty. Add a fallback, to use 'xsltproc' is $(XSLTPROC) is not
defined. This way we get a nice message:

make: xsltproc: Command not found

Merge pull request #2392 from poettering/dnssec18

eightteenth dnssec patch

Merge pull request #2240 from hgwalles/coredump-delete-bug

coredump: fix bug that loses core dump files when core dumps are compressed and disk space is low.

coredump: fix bug that loses core dump files when core dumps are compressed and disk space is low.

Previously the save_external_coredump function returned a file
descriptor corresponding to the dumped file.  This descriptor was used
for two different purposes by calling code: a) access to the raw core
dump data; b) testing candidate files (via inode comparisons) while
vacuuming to protect the current core dump from vacuuming.

The descriptor returned always corresponded to a file containing the raw
core dump data.  However if compresson was used and the core dump was
compressed then the descriptor returned did not correspond to the file
that would eventually be left on disk (ie the compressed file).  Thus
the file was never protected by vacuuming.  When disk space was low all
core dumps including the current one would be vacuumed and the
corresponding log message referred to a file that no longer existed.

This resulted in the following error message from coredumpctl if the
missing core dump was requested:
   Cannot retrieve coredump from journal nor disk.
   Failed to retrieve core: No such file or directory

save_external_coredump now returns two descriptors, one to be used for
inode comparisons to prevent overzealous vacuuming and one to be used
for raw data access.  When compression is not used the returned inode
comparison descriptor will be invalid, indicating that the raw data
access descriptor should be used for inode comparisons as well.

Corresponding use of save_external_coredump and the returned
descriptors also updated.

Merge pull request #2430 from lnykryn/is-active-failed

systemctl: is-active/failed should return 0 if at least one unit is in given state

Previously:
[lnykryn@notas lnykryn-systemd(is-active-failed)]$ systemctl is-failed fail cups; echo $?
failed
active
1

now:
[lnykryn@notas lnykryn-systemd(is-active-failed)]$ ./systemctl is-failed fail cups; echo $?
failed
active
0

udev: filter out non-sensically high onboard indexes reported by the kernel

Let's not accept onboard interface indexes, that are so high that they are obviously non-sensical.

Fixes: #2407

resolved: don't consider NSEC/NSEC3 RRs as "pimary" for transactions

So far, abritrary NSEC and NSEC3 RRs were implicitly consider "primary" for any transaction, meaning we'd abort the
transaction immediately if we couldn't validate it. With this patch this logic is removed, and the NSEC/NSEC3 RRs will
not be considered primary anymore. This has the effect that they will be dropped from the message if they don't
validate, but processing continues. This is safe to do, as they are required anyway to validate positive wildcard and
negative responses, and if they are missing then, then message will be considered unsigned, which hence means the
outcome is effectively the same.

This is benefical in case the server sends us NSEC/NSEC3 RRs that are not directly related to the lookup we did, but
simply auxiliary information. Previously, if we couldn't authenticate those RRs we'd fail the entire lookup while with
this change we'll simply drop the auxiliary information and proceed without it.

resolved: don't insist in RRSIG metadata for NSEC3 RRs that have not been authenticated

In some cases we get NSEC3 RRs that have not been authenticated (because the chain of trust to the root is somewhere
broken). We can use these for checking negative replies, as long as we don't claim they were ultimately authenticated.
This means we need to be able to deal with NSEC3 RRs that lack RRSIG metadata.

resolved: use dns_query_reset_answer() where we can

update DNSSEC TODO

resolved: properly propagate query candidate error

We already properly propagate errors from transactions to queries. Make sure that errors that happened during handling
of query candidates are propagated to the query, too.

resolved: replace DNS_TRANSACTION_RESOURCES by DNS_TRANSACTION_ERRNO

Whenever we encounter an OS error we did not expect, we so far put the transaction into DNS_TRANSACTION_RESOURCES
state. Rename this state to DNS_TRANSACTION_ERRNO, and save + propagate the actual system error to the caller. This
should make error messages triggered by system errors much more readable by the user.

catalog: add DNSSEC log messages to message catalog

catalog: fix line width to 79 chars

Line breaks default to 119 characters for systemd sources now, configured through the .vimrc and .dir-local.el files.
However, for the catalog files we really should stick to 79 chars, as they are regularly shown on terminal screens.

resolved: log recognizably about DNSSEC downgrades

If we downgrade from DNSSEC to non-DNSSEC mode, let's log about this in a recognizable way (i.e. with a message ID),
after all, this is of major importance.

resolved: synthesize RRs for data from /etc/hosts

This way the difference between lookups via NSS and our native bus API should become minimal.

resolved: when synthesizing RR responses, own the name fully

When we synthesize A/AAAA for domains like "localhost", then make sure we generate ENODATA if the user asks for RR
types such a RP to be solved on the name. Previously, we'd pass the error back in that case that was generated from the
usual lookup procedure.

resolved: properly handle LLMNR/TCP connection errors

The LLMNR spec suggests to do do reverse address lookups by doing direct LLMNR/TCP connections to the indicated
address, instead of doing any LLMNR multicast queries. When we do this and the peer doesn't actually implement LLMNR
this will result in a TCP connection error, which we need to handle. In contrast to most LLMNR lookups this will give
us a quick response on whether we can find a suitable name. Report this as new transaction state, since this should
mostly be treated like an NXDOMAIN rcode, except that it's not one.

core: normalize error handling a bit, in setup_pam()

Assign errno-style errors to a variable called "r" when they happen, the same way we do this in most other calls. It's
bad enough that the error handling part of the function deals with two different error variables (pam_code and r) now,
but before this fix it was even three!

resolved: fix rcode formatting string length

Since we honour the edns rcode extension we need more than 4 bits to format it. To avoid further confusion, derive the
right length from the type.

github: extend README.md a bit

Link up more stuff on the GitHub landing page.

github: add a CONTRIBUTING.md file that github shows when a PR or issue is filed

github links up CONTRIBUTING.md if it exists from the issue/PR filing form. Let's add one, in the hope that people have
a look before filing a PR.

README: drop link to systemd-commits ML

Since we moved to github the commits ML is basically dead, hence don't advertise it anymore.

CODING_STYLE: make sure line break recommendation matches edit configuration

In the .vimrc and .dir-locals.el we suggest a line width of 119. We should recommend the same in CODING_STYLE.

resolve: fix wording in resolver statistics output

Now that we count both negative and positive validation results, we shouldn't claim we just counted RRsets.

resolved: log each time we increase the DNSSEC verdict counters

Also, don't consider RRs that aren't primary to the lookups we do as relevant to the lookups.

resolved: never store NSEC/NSEC3 RRs from the upper zone of a zone cut in cache

When using NSEC/NSEC3 RRs from the cache to derive existance of arbitrary RRs, we should not get confused by the fact
that NSEC/NSEC3 RRs exist twice at zone cuts: once in the parent zone, and once in the child zone. For most RR types we
should only consult the latter since that's where the beef is. However, for DS lookups we have to check the former.

This change makes sure we never cache NSEC/NSEC3 RRs from any parent zone of a zone-cut. It also makes sure that when
we look for a DS RR in the cache we never consider any cached NSEC RR, as those are now always from the child zone.

resolved: if we detect a message with incomplete DNSSEC data, consider this an invalid packet event

resolved: also collect statistics about negative DNSSEC proofs

We already maintain statistics about positive DNSSEC proofs, and count them up by 1 for each validated RRset. Now,
update the same counters each time we validated a negative query, so that the statistics are the combined result of all
validation checks, both positive and negative.

resolve: use different bitmap checking rules when we find an exact NSEC3 match, or just a covering enclosure

If we are looking for a DS RR we need to check the NSEC3 bitmap of the parent zone's NSEC3 RR, not the one from the
child. For any other RR we need to look at the child's however, hence enforce this with the bitmaps.

Note that not coverign checks only the lower zone's NSEC3 bitmaps matter, hence the existing check is fine.

resolve: minor strings improvements

man: document systemd-resolve(8)

This also links up the new manpage from systemd-resolved.service(8), and makes a couple of unrelated additions.

journald: restore oom safety

v2:
- use xsprintf

emacs: also configure nxml parameters in .dir-locals.el

We configure the parameters we use for the docbook XML.

resolve: rename "systemd-resolve-host" tool to simply "systemd-resolve"

The tool resolves way more than just hosts, hence give it a more generic name. This should be safe, as the tool is
currently undocumented. Before we add documentation for it, let's get the name right.

This also moves the C source into src/resolve/ (from src/resolve-host/), since the old name is a misnomer now. Also,
since it links directly to many of the C files of resolved it really belongs into resolved's directory anyway.

resolved: get rid of unnecessary if check

DNS_ANSWER_FOREACH() can deal with NULL answers anyway, let's simplify our code here.

resolved: split out RR synthesis logic into its own C file

Also, while we are at it, set the "authenticated" bit for everything we synthesize

resolved: move dns_type_to_af() to dns-type.c

resolve: generate a nice clean error when clients try to resolve a name when the network is down

resolved: when checking whether a link is relevant, check kernel operstate

This mimics what networkd is doing to detect a carrier.

resolved: fix typo

Noticed by @vcaputo

resolved: fix RR key reduction logic

Fixes #2380.

logind,machined: bump TasksMax=

Issue #2388 suggests the current TasksMax= setting for user processes is to low. Bump it to 12K. Also, bump the
container TasksMax= from 8K to 16K, so that it remains higher than the one for user processes.

(Compare: the kernel default limit for processes system-wide is 32K).

Fixes #2388

systemctl: is-active/failed should return 0 if at least one unit is in given state

Previously we have return the not-found code, in the case that we found a
unit which does not belong to set active (resp. failed), which is the
opposite than what is written in man page.

Merge pull request #2428 from msekletar/nspawn-alloca-fix

nspawn: fix memory leak

nspawn: fix memory leak

tests: fix install_pam

* pam_unix depends on unix_chkpwd
* selinux=1 -> pam_unix runs unix_chkpwd for root too

https://git.fedorahosted.org/cgit/linux-pam.git/tree/modules/pam_unix/passverify.c?id=e89d4c97385ff8180e6e81e84c5aa745daf28a79#n202

tests: add setup_selinux

Merge pull request #2425 from yuwata/journal-remote-v4

ZJS: remove unnecessary oom check after strdupa().

Merge pull request #2423 from keszybz/udevd-crash-in-cleanup

udevd: do not clean up fds in main

journal-remote: fix broken --getter option

This commit fixes the following broken --getter option:
when systemd-journal-remote is called with --getter option,
it causes the error meesage "Zero sources specified" and
the getter command will not be called.

journal-remote: add an example to man

journal-remote: output file name is determined by the remote hostname

When --url option is specified, e.g. --url='http://some.host:19531/entries'
retrieved remote journal entries will be stored to
/var/log/journal/remote/remote-some.host.journal

journal-remote: make --url option support arbitrary url

Currently, --url option supports the only form like http(s)://some.host:19531.
This commit adds support to call systemd-journal-remote as follwos:
systemd-journal-remote --url='http://some.host:19531'
systemd-journal-remote --url='http://some.host:19531/'
systemd-journal-remote --url='http://some.host:19531/entries'
systemd-journal-remote --url='http://some.host:19531/entries?boot&follow'
The first three example result the same and retrieve all entries.
The last example retrieves only current boot entries and wait new events.

Merge pull request #2318 from vcaputo/coalesce-ftruncates-redux

journal: coalesce ftruncate()s in 250ms windows

journald: use structured message + catalog entry for disk usage

The format of the journald disk usage log entry was changed back and
forth a few times. It is annoying to have a very verbose message, but
if it is short it is hard to understand. But we have a tool for this,
the catalogue.

$ journalctl -x -u systemd-journald
Jan 23 18:48:50 rawhide systemd-journald[891]: Runtime journal (/run/log/journal/) is 8.0M, max 196.2M, 188.2M free.
-- Subject: Disk space used by the journal
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- Runtime journal (/run/log/journal/) is currently using 8.0M.
-- Maximum allowed usage is set to 196.2M.
-- Leaving at least 294.3M free (of currently available 1.9G of disk space).
-- Enforced usage limit is thus 196.2M, of which 188.2M are still available.
--
-- The limits controlling how much disk space is used by the journal may
-- be configured with SystemMaxUse=, SystemKeepFree=, SystemMaxFileSize=,
-- RuntimeMaxUse=, RuntimeKeepFree=, RuntimeMaxFileSize= settings in
-- /etc/systemd/journald.conf. See journald.conf(5) for details.
Jan 23 18:48:50 rawhide systemd-journald[891]: System journal (/var/log/journal/) is 480.1M, max 1.6G, 1.2G free.
-- Subject: Disk space used by the journal
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
--
-- System journal (/var/log/journal/) is currently using 480.1M.
-- Maximum allowed usage is set to 1.6G.
-- Leaving at least 2.5G free (of currently available 5.8G of disk space).
-- Enforced usage limit is thus 1.6G, of which 1.2G are still available.
--
-- The limits controlling how much disk space is used by the journal may
-- be configured with SystemMaxUse=, SystemKeepFree=, SystemMaxFileSize=,
-- RuntimeMaxUse=, RuntimeKeepFree=, RuntimeMaxFileSize= settings in
-- /etc/systemd/journald.conf. See journald.conf(5) for details.

journald: allow additional payload in server_driver_message

The code to format the iovec is shared with log.c. All call sites to
server_driver_message are changed to include the additional "MESSAGE="
part, but the new functionality is not used and change in functionality
is not expected.

iovec is preallocated, so the maximum number of messages is limited.
In server_driver_message N_IOVEC_PAYLOAD_FIELDS is currently set to 1.

New code is not oom safe, it will fail if memory cannot be allocated.
This will be fixed in subsequent commit.

TODO: remove syslog broadcasting

This should most likely be implemented as part of journal-netlogd
(https://github.com/systemd/systemd/pull/1890), which it seems
is not going to be merged.

systemctl edit was mentioned twice.

udevd: do not clean up fds in main

fds will also be closed during manager cleanup in run, leading
to an error when we try to close them again. It is now possible
to "leak" the fds on error, but it's an unlikely event and we
will exit immediately anyway.

Fixes #2418.

Merge pull request #2410 from dobyrch/master

systemctl: Allow 'edit' and 'cat' on unloaded units

Merge pull request #2412 from fbuihuu/device-fixes

Device fixes

device: make sure to not ignore re-plugged device

systemd automatically mounts device unless 'noauto' is part of the
mount options. This can happen during boot if the device is plugged at
that time or later when the system is already running (the latter case
is not documented AFAICS).

After the systemd booted, I plugged my USB device which had an entry
in /etc/fstab with the default options and systemd automatically
mounted it.

However I noticed that if I unplugged and re-plugged the device the
automatic mounting of the device didn't work anymore: systemd didn't
notice that the device was re-plugged.

This was due to the device unit which was not recycled by the GC
during the unplug event because in the case of automounting, the mount
unit still referenced it. When the device was re-plugged, the old
device unit was reused but it still had the old sysfs path (amongst
other useful information).

Systemd was confused by the stalled sysfs path and decided to ignore
the plug event.

This patch fixes this issue by simply not doing the sanity checking on
the sysfs path if the device is in unplugged state.

Merge pull request #2413 from msekletar/update-todo-reload

Remove TODO entry

Remove TODO entry

Feature was introduced by 06af2a0

Merge pull request #2405 from zonque/sysusers

sysusers: use GID_FMT and UID_FMT instead of %d

Merge pull request #2331 from yuwata/journal-remote-unit-v2

journal-remote: add SupplementaryGroups to systemd-journal-upload.service

Merge pull request #2332 from yuwata/journal-remote-tmpfiles-v2

journal-remote: tmpfiles.d/journal-remote.conf (v2)

Merge pull request #2080 from chaloulo/split-mode-host-remove-port-from-journal-filename

journal-remote: split-mode=host, remove port from journal filename

Merge pull request #2409 from snakeroot/dropin-doc-2

man: describe precedence of drop-in .conf files over unit files

Merge pull request #2411 from ssahani/activate4

systemd-activate: Add support for datagram socket

man: add man for systemd-activate datagram syntax

systemd-activate: Add support for datagram sockets

core: Add flexible way to provide socket type
the socket type should be a diffrent argumet
in make_socket_fd . In this way we can set the socket
type like SOCK_STREAM SOCK_DGRAM in the address.

journal-remote: modify make_socket_fd

systemctl: Allow 'edit' and 'cat' on unloaded units

Don't fail if the unit has a LoadError; otherwise `systemctl edit` cannot be
used to correct the error (e.g. multiple "ExecStart=" lines).

Remove file changed warning so cat output isn't interspersed with log messages.

Fixes #829

man: describe precedence of drop-in .conf files over unit files

sysusers: use GID_FMT and UID_FMT instead of %d

Merge pull request #1359 from jengelh/ue

sysusers: help useless error message

Merge pull request #2071 from chaloulo/journal-upload-miss-logs

journal-upload : Ignore journal event when already in uploading state.

Merge pull request #2401 from lnykryn/sysv-split-deps-v4

v4: sysv-generator: do not join dependencies on one line, split them

sysv-generator: do not join dependencies on one line, split them

If there is a lot of initscripts and dependencies between them we might
end generating After= (and similar) lines which are longer then LINE_MAX
and thus rejected by parser in systemd.

Fixes #2099

Merge pull request #2393 from evverx/ignore-test-dnssec-complex

.gitignore: add test-dnssec-complex

Merge pull request #2371 from evverx/add-valgrind-helper-for-daemon-reexec

core: add valgrind helper for daemon-reexec

Merge pull request #2391 from keszybz/coverity

Coverity inspired fixes

Merge pull request #2341 from nmartensen/fstab-generator-fixes

Fstab-generator fixes

.gitignore: add test-dnssec-complex

This is a follow-up for 412577e

core: add valgrind helper for daemon-reexec

Inspired by https://github.com/systemd/systemd/issues/2187#issuecomment-165587140

systemd: remove dead code

We only go to fail label if pam_pid <= 0.

CID #1306746.

Add assert in barrier code

This function is not supposed to fail, it only returns a boolean.
So add an assert in case anyone calls it without proper initialization
of *b.

timesyncd: use (void) to mark ignored value

CID #1325772.

test-date: check return value

CID #1327432.

test-cgroup-mask: check return value

CID #1339830.