journalctl: make sure 'journalctl -f -t unmatched' blocks

Previously the following command:

$ journalctl -f -t unmatchedtag12345

... would block when called with criteria that did not match any
journal lines. Once log lines appeared that matched the criteria
they were displayed.

Commit 02ab86c732576a71179ce12e97d44c289833236d broke this
behavior and the journal was not followed, but the command
exits with '-- No entries --' displayed.

This commit fixes the issue.

More information downstream:

https://bugzilla.redhat.com/show_bug.cgi?id=1253649

update TODO

Merge pull request #908 from richardmaw-codethink/nspawn-path-escapes-v3

Allow arbitrary file paths to be passed to nspawn (v3)

README: drop reference to Endocode

Chris Kühl does not work at Endocode anymore, the contact data is no
longer valid.

Merge pull request #955 from poettering/resolved-localhost-xyz

resolved: enable synthesizing of A, AAAA and PTR records for "localhost"

Merge pull request #954 from poettering/nss-myhostname-loopback

nss-myhostname: use LOOPBACK_IFINDEX instead of if_nametoindex("lo")

Merge pull request #972 from poettering/resolve-host-auto-start

resolve-host: enable auto start of resolved

resolve-host: enable auto start of resolved

There's no reason to explicitly turn off bus activation for resolved
here. The reason this was done before was that the code was copied from
nss-resolve, which has a fallback to glibc's nss-dns if resolved is not
reachable. However, such a logic makes no sense for resolve-host since
such a fallback doesn't make sense here, which means we can actually
turn on activation. Let's do it hence.

Merge pull request #971 from evverx/news-fix

NEWS: fix the "indirect" state description

NEWS: fix the "indirect" state description

Merge pull request #931 from spartacus06/update-completion-machinectl

Update shell completion for machinectl

update TODO

shell-completion: use list-images rather than list

"machinectl list" only lists running machines while many of the MACHINES
commands use names of images; both running and non-running.

List machines from both "list" and "list-images" and use sort -u to
avoid duplicates.

shell-completion: update machinectl bash completion

Many new subcommands have been added since the bash completion was last
updated.  Bring it up to speed.

Merge pull request #930 from richardmaw-codethink/man-when-exec-start-post

man: Describe when ExecStartFoo= commands are run in more detail

Merge pull request #918 from thomasmey/uml-fix

UML: Fix block device setup

Merge pull request #947 from evverx/bash-completion

Update bash-completion: generate all unit types

bash-completion: generate unit type list from systemctl -t help option

Merge pull request #932 from kaysievers/bus

 sd-bus: do not connect to dbus-1 socket when kdbus is available

Merge pull request #968 from alkino/master

zsh completion: update busctl

zsh completion: update busctl

Merge pull request #948 from phomes/master

logind: actually fail on OOM

resolved: never allow routing of "localhost" queries to DNS or LLMNR

We should never allow leaking of "localhost" queries onto the network,
even if there's an explicit domain rotue set for this.

resolved: locally synthesize replies for "localhost"

Let's make sure that clients querying resolved via the bus for A, AAAA
or PTR records for "localhost" get a synthesized, local reply, so that
we do not hit the network.

This makes part of nss-myhostname redundant, if used in conjunction.
However, given that nss-resolve shall be optional we need to keep this
code in both places for now.

nss-myhostname: use LOOPBACK_IFINDEX instead of if_nametoindex("lo")

Given that we already hardocde the loopback ifindex, following the
kernel's own logic, we can replace the invocation of
if_nametoindex("lo") with LOOPBACK_IFINDEX.

update TODO

logind: actually fail on OOM

Since dacd6cee76a08331b8c8616c5f30f70ee49aa2f9 the two OOM's are
ignored as the value of r will be overwritten and we only log in
the fail section anyway.

This patch jumps to fail on OOM.

Note that this is different behavior compared to both the current
code and previous to dacd6cee76a08331b8c8616c5f30f70ee49aa2f9. Before
that commit we would log that saving the inhibit data failed, but
still write the file, though without the WHO/WHY section.

CID# 1313545

Merge pull request #907 from keszybz/sd-daemon-badf

sd-daemon: return EBADF for invalid fd numbers

Merge pull request #941 from phomes/master

hwdb: add DPI for a few more mice

hwdb: add DPI for a few more mice

Merge pull request #938 from tblume/fix-kexec-force-reboot

support reboot -f for kexec kernel

Merge pull request #939 from karelzak/smatch

treewide: trivial issues detected by smatch

Merge pull request #935 from teg/gpt-fixes

gpt-auto-generator: minor fixes

support reboot -f for kexec kernel

Fix error message:

-->--
Code should not be reached 'Unknown action.' at
src/systemctl/systemctl.c:6382, function halt_now(). Aborting.
Aborted
--<--

when executing 'reboot -f' from a system running a kexec kernel.

gpt-auto-generator: warn on ambiguous blkid probe

gpt-auto-generator: don't warn on !ENABLE_EFI

add_automount() was only used on EFI systems, compile it conditionally
to avoid the warning.

 sd-bus: do not connect to dbus-1 socket when kdbus is available

We should not fall back to dbus-1 and connect to the proxy when kdbus
returns an error that indicates that kdbus is running but just does not
accept new connections because of quota limits or something similar.

Using is_kdbus_available() in libsystemd/ requires it to move from
shared/ to libsystemd/.

Based on a patch from David Herrmann:
  https://github.com/systemd/systemd/pull/886

man: Describe when ExecStartFoo= commands are run in more detail

Previously it was just descibed that ExecStartPost= commands were
started "after" the ExecStart= command(s).
This hasn't specified after which event, which varies from after it has
been started, after it has exited, after it has sent READY=1 or after it
has taken the bus name, depending on Type=.

This now describes that it happens after the *service* has "started",
as defined by the Type=, and provides some clarification about precisely
when this is.

This may be unnecessary duplication, but it removes the ambiguity as to
whether RemainAfterExit=no means that ExecStartPost= shouldn't be
started because it means the service has stopped when the ExecStart=
command terminates, not "started".

Merge pull request #929 from kaysievers/gpt

gpt-auto-generator: apply partition-type flags only to specific parti…

gpt-auto-generator: apply partition-type flags only to specific partition-types

The partition-type flags are defined independently for every partition-type. Apply
them only to the types where they are defined, and not to the ESP, which does not
appear to share the same set of flags.

  https://github.com/systemd/systemd/issues/920

UML: Fix block device setup

User mode linux block devices start with ubd, e.g. ubda, ubdb, etc..

Merge pull request #916 from reverendhomer/patch-3

libsystemd-network: fix memory leak

libsystemd-network: fix memory leak

Merge pull request #914 from reverendhomer/patch-2

Coverity #1299013

Merge pull request #913 from reverendhomer/patch-1

Coverity #1299015

Coverity #1299013

event cannot be NULL due to assert

Coverity #1299015

bus can never be NULL due to assert

man: Document \: escapes in nspawn's --overlay option

nspawn: Allow : characters in overlay paths

: characters can be entered with the \: escape sequence.

nspawn: escape paths in overlay mount options

Overlayfs uses , as an option separator and : as a list separator. These
characters are both valid in file paths, so overlayfs allows file paths
which contain these characters to backslash escape these values.

strv: Add strv_shell_escape

This modifies the strv in-place, replacing strings with their escaped
version. It's mostly just a convenience function for when you need to
join a strv together because it's passed as a string to something, and
the separator needs escaping.

util: Add shell_escape

This is for shell-style \ escaping rather than quoting, which while it
has the same effect in produced shell commands, is not exclusively
useful for shell commands.

shell_escape would be useful for producing sed commands, as you would be
able to \ escape the normal special characters, plus whichever argument
separator was chosen; or it could be used to escape arguments passed to
the overlayfs mount command.

man: Document \: escapes in nspawn's --bind option

nspawn: Allow : characters in nspawn --bind paths

: characters in bind paths can be entered as the \: escape sequence.

strv: convert strv_split_quotes into a generic strv_split_extract

strv_split_extract is to strv_split_quotes as extract_first_word was to
unquote_first_word.

Now there's extract_first_word for extracting a single argument,
extract_many_words for extracting a bounded number of arguments,
and strv_split_extract for extracting an arbitrary number of arguments.

man: Document \: escapes in nspawn's --tmpfs option

nspawn: Allow : characters in --tmpfs path

This now accepts : characters with the \: escape sequence.

Other escape sequences are also interpreted, but having a \ in your file
path is less likely than :, so this shouldn't break anyone's existing
tools.

util: Allow non-separator coalescing parsing in extract_first_word

If EXTRACT_DONT_COALESCE_SEPARATORS is passed, then leading separators,
trailing separators and spans of multiple separators aren't skipped, and
empty arguments from before, after or between separators may be extracted.

util: Don't interpret quotes by default in extract_first_word

This adds an EXTRACT_QUOTES option to allow the previous behaviour, of
not interpreting any character inside ' or " quotes as separators.

util: change unquote_*_word to extract_*_word

It now takes a separators argument, which defaults to WHITESPACE if NULL
is passed.

unquote_first_word: set *p=NULL on termination

To add a flag to allow an empty string to be parsed as an argument, we
need to be able to distinguish between the end of the string, and after
the end of the string, so when we *do* reach the end, let's set *p to
this state.

Convert unquote_*_word users to expect isempty(p) after the last entry

This is so that, when called in a loop, unquote_first_word can
distinguish between reaching the end of a string because it has consumed
all the input before the end, and consuming all the input.

This is important because we later add a flag that allows

    char *in = "";
    char *out;
    unquote_first_word(&in, &out, flags);

To put "" in out, and set in = NULL, so the trailing empty string of the
input can be consumed, and mark that the input has been consumed.

sd-daemon: return EBADF for invalid fd numbers

This matches what open(2) and other system functions do.

Merge pull request #906 from jnpkrn/core-typo-fix

core: s/reexection/reexecution/ typo fix

core: s/reexection/reexecution/ typo fix

Signed-off-by: Jan Pokorný <jpokorny@redhat.com>

Merge pull request #904 from keszybz/load-fragment-fix

Load fragment fix

man: clarify that unknown escapes must be escaped

https://bugzilla.redhat.com/show_bug.cgi?id=1251334
is about a unit file which has
Environment=TERM=linux PS1=system-upgrade:\w\$\x20
We used to allow that, but after recent tightening of parsing
rules, we barf. Make it clear that this is intentional.

load-fragment: fix segv on parse error

https://bugzilla.redhat.com/show_bug.cgi?id=1251334

build-sys: line-wrap message about google servers

This way it is more readable in a wall of configure output.

Merge pull request #898 from poettering/machined-fix-reload

Fix for #376, plus some other fixes

machined: rework state tracking logic for machines

This splits up the stopping logic for machines into two steps: first on
machine_stop() we begin with the shutdown of a machine by queuing the
stop method call for it. Then, in machine_finalize() we actually remove
the rest of its runtime context. This mimics closely how sessions are
handled in logind.

This also reworks the GC logic to strictly check the current state of
the machine unit, rather than shortcutting a few cases, like for example
assuming that UnitRemoved really means a machine is gone (which it isn't
since Reloading might trigger it, see #376).

Fixes #376.

machine: drop state variable from Machine object

We never made use of it, let's get rid of it.

logind,machined: various smaller cleanups

Use mfree() where we can.

Drop unnecessary {}.

Drop unnecessary variable declarations.

Cast syscall invocations where explicitly don't care for the return
value to (void).

Reword a comment.

machined,logind: don't generate errors on signal match functions

If we get a weird signal, then we should log about it, but not return an
error, since sd-bus will not call us again then anymore, but for these
signals we match here we actually do want to be called on the next
invocation.

Merge pull request #897 from poettering/sd-bus-ignore-bloom-filter

sd-bus: ignore BLOOM_FILTER kdbus items

sd-bus: ignore BLOOM_FILTER kdbus items

The kernel nowadays sends these along, and that's OK, hence don't even
debug log about it, but completely ignore it.

Merge pull request #896 from poettering/runtimedir-exec

execute: don't fail if we create the runtime directory from two proce…

bootctl: fix path in log message

execute: don't fail if we create the runtime directory from two processes simultaneously

If a service has both ExecStart= and ExecStartPost= set with
Type=simple, then it might happen that we have two children create the
runtime directory of a service (as configured with RuntimeDirectory=) at
the same time. Previously we did this with mkdir_safe() which will
create the dir only if it is missing, but if it already exists will at
least verify the access mode and ownership to match the right values.
This is problematic in this case, since it creates and then adjusts the
settings, thus it might happen that one child creates the directory with
root owner, another one then verifies it, and only afterwards the
directory ownership is fixed by the original child, while the second
child already failed.

With this change we'll now always adjust the access mode, so that we
know that it is right. In the worst case this means we adjust the
mode/ownership even though its unnecessary, but this should have no
negative effect.

https://bugzilla.redhat.com/show_bug.cgi?id=1226509

udev: variable dereferenced before check 'cmsg'

bus-proxy: add comment to remove -EPERM check

libsystemd: fix RTNL_CONTAINER_DEPTH assert

The m->n_containers is index and has to be smaller than the array
size.

Merge pull request #895 from zonque/unit-fix

core: unit: remove bus slot after calling unit_done()

core: unit: remove bus slot after calling unit_done()

The ->done callback in the unit's vtable might call into
unit_unwatch_bus_name() and corrupt memory by that.

Move the call down, and clean up the bus slot in case it hasn't been done
yet.

update TODO

bus-proxy: fix error code for invalid reply-slots

The kernel may return EBADSLT if a reply slot cannot be found. Make sure
to ignore it just like we ignore EPERM (the comment still applies).

Merge pull request #894 from zonque/name-owner-changed-v2

core: dbus: track bus names per unit (v2)

core: dbus: track bus names per unit

Currently, PID1 installs an unfiltered NameOwnerChanged signal match, and
dispatches the signals itself. This does not scale, as right now, PID1
wakes up every time a bus client connects.

To fix this, install individual matches once they are requested by
unit_watch_bus_name(), and remove the watches again through their slot in
unit_unwatch_bus_name().

If the bus is not available during unit_watch_bus_name(), just store
name in the 'watch_bus' hashmap, and let bus_setup_api() do the installing
later.

Merge pull request #888 from keszybz/completions-optional

build-sys: allow skipping installation of completions

Merge pull request #890 from fsateler/special-docs-v2

man: Clarify the difference between sysinit.target and basic.target

Merge pull request #893 from zonque/networkd

libsystemd-network: plug memory leak

libsystemd-network: plug memory leak

Coverity #1315324

Merge pull request #889 from keszybz/man-systemctl-quiet

man: update description of --quiet

Merge branch 'hostnamectl-dot-v2'

Manual merge of https://github.com/systemd/systemd/pull/751.

hostname-util: ignore case when checking if hostname is localhost

hostname-util: get rid of unused parameter of hostname_cleanup()

All users are now setting lowercase=false.

hostnamectl: allow trailing dot on fqdn

When the user requests to set hostname, and we are setting both
pretty and static hostnames, and the name is a valid FQDN, we
use it as the static hostname, and unset the pretty hostname.
The change is that a FQDN with a trailing dot is accepted and ignored.

https://bugzilla.redhat.com/show_bug.cgi?id=1238246

Lowercasing of the static name is not done anymore.

$ hostnamectl set-hostname Foobar.
=> static is "Foobar", pretty is "Foobar."
$ hostnamectl set-hostname Foobar.org.
=> static is "Foobar.org", pretty is unset
$ hostnamectl set-hostname Foobar.org..
=> static is "Foobar.org", pretty is "Foobar.org.."

networkd: allow trailing dot on fqdn in config file

firstboot: allow a trailing dot on fqdn

hostname-util: add relax parameter to hostname_is_valid

Tests are modified to check behaviour with relax and without relax.
New tests are added for hostname_cleanup().
Tests are moved a new file (test-hostname-util) because there's
now a bunch of them.

New parameter is not used anywhere, except in tests, so there should
be no observable change.