Merge pull request #1671 from keszybz/zsh-journalctl-identifier

zsh-completion: journalctl --identifier

zsh-completion: journalctl --identifier

Fixes #1549.

Merge pull request #1668 from ssahani/net1

networkd: fix asserts

Merge pull request #1654 from poettering/util-lib

Various changes to src/basic/

Merge pull request #1667 from evverx/run-protect-system

systemd-run can launch units with ProtectSystem

util-lib: move formats-util.h from shared/ to basic/

It's only a header file, definining format strings for basic system
types, hence it should be in src/basic/, not src/shared/.

util-lib: split out fd-related operations into fd-util.[ch]

There are more than enough to deserve their own .c file, hence move them
over.

Merge pull request #1663 from poettering/journal-compress-fix

journal: fix error handling when compressing journal objects

vxlan: fix assert

veth: fix assert

ipvlan: fix assert

bond: fix assert

vlan: fix assert

shell-completion: systemd-run: add the property ProtectSystem

run: can launch units with ProtectSystem

Merge pull request #1665 from evverx/unit-printf-fixes

core: various small fixes to unit-printf

sd-*.h: clean up exported (or to-be-exported) header files

Exported header files should not include internal headers. Fix that.

Exported header files should not use the bool type. So far we opted to
stick to C89 for exported headers, and hence use "int" for bools in
them. Continue to do so.

Exported header files should have #include lines for everything they use
including inttypes.h and sys/types.h, so that they may be included in
any order.

Exported header files should have C++ guards, hence add them.

Exported header files should not use gcc extensions like #pragma once,
get rid of it.

util: move logind_running() to login-util.[ch]

core: various small fixes to unit-printf

* check memory allocation errors in specifier_cgroup_slice
* %I doesn't fail for non-instantiated units (%i doesn't fail too)
* EOPNOTSUPP for consistency

man: let's enclose * in shell examples in ''

Technically, it's safer that way, since dnf is supposed to parse the
"*", not the shell. It doesn't really matter too much in real life (as
the expression is too complex), but let's better be safe than sorry, and
make sure people won't file bugs about this...

util-lib: split our string related calls from util.[ch] into its own file string-util.[ch]

There are more than enough calls doing string manipulations to deserve
its own files, hence do something about it.

This patch also sorts the #include blocks of all files that needed to be
updated, according to the sorting suggestions from CODING_STYLE. Since
pretty much every file needs our string manipulation functions this
effectively means that most files have sorted #include blocks now.

Also touches a few unrelated include files.

util: split out escaping code into escape.[ch]

This really deserves its own file, given how much code this is now.

util-lib: rework extract_first_word_and_warn() a bit

- Really warn in all error cases, not just some. We need to make sure
  that all errors are logged to not confuse the user.

- Explicitly check for EINVAL error code before claiming anything about
  invalid escapes, could be ENOMEM after all.

util: split out extract_first_word() and related calls into extract-word.[ch]

This is quite a lot of code these days, hence move it to its own source
file.

path-util: unify how we process paths specified on the command line

Let's introduce a common function that makes relative paths absolute and
warns about any errors while doing so.

util-lib: get_current_dir_name() can return errors other than ENOMEM

get_current_dir_name() can return a variety of errors, not just ENOMEM,
hence don't blindly turn its errors to ENOMEM, but return correct errors
in path_make_absolute_cwd().

This trickles down into a couple of other functions, some of which
receive unrelated minor fixes too with this commit.

path-util: rework find_binary(), fsck_exists() and mkfs_exists()

Modernize the code a bit:

- Get rid of FOREACH_WORD_SEPARATOR() loop in favour of a
  extract_first_word() loop.

- Remove find_binary()'s "local" flag. It's not reasonably possible to
  look for binaries on remote systems, we hence should not pretend we
  could.

- When we cannot find a suitable binary, return the last error returned
  from access() rather than ENOENT unconditionally.

- Rework fsck_exists() and mkfs_exists() to return 1 on success, 0 if
  the implementation is missing and negative on real errors. This is
  more like we do it in other functions.

- Make sure we also detect direct fsck symlinks to "true", rather than
  just absolute ones to /bin/true.

journal: irrelevant coding style fixes

Merge pull request #1664 from again4you/devel/tmp-smack_#5

mount: add new SmackFileSystemRoot= setting for mount unit (v4)

units: add 'SmackFileSystemRoot=*' option into tmp.mount

If SMACK is enabled, 'smackfsroot=*' option should be specified when
/tmp is mounted since many non-root processes use /tmp for temporary
usage. If not, /tmp is labeled as '_' and smack denial occurs when
writing.

In order to do that, 'SmackFileSystemRoot=*' is newly added into
tmp.mount.

mount: add new SmackFileSystemRoot= setting for mount unit

This option specifies the label to assign the root of the file system if
it lacks the Smack extended attribute. Note that this option will be
ignored if kernel does not support the Smack feature by runtime
checking.

journal: fix error handling when compressing journal objects

Let's make sure we handle compression errors properly, and don't
misunderstand an error for success.

Also, let's actually compress things if lz4 is enabled.

Fixes #1662.

Merge pull request #1657 from phomes/tmpfiles-simplification

tmpfiles: simplify mountpoint detection

Merge pull request #1659 from vcaputo/journal_verify_envalid

journal: s/Envalid/Invalid/

journal: s/Envalid/Invalid/

tmpfiles: simplify mountpoint detection

No functional change. Just a simplification. A || (!A && B) is
the same as A || B

Introduced in 78a92a5a2306709e4587e332728a76901323ade9

Merge pull request #1653 from keszybz/lz4-compress-time

Limit test-compress-benchmark to approx. 12 s of runtime

test-compress-benchmark: properly initialize buffer

We were compressing unitialized memory, which should not result in
any problems, but is inelegant.

test-compress-benchmark: limit default runtime to 2 seconds per subtest

If both lz4 and xz are enabled, this results in a limit of
2×3×2 s ~= 12 s runtime.

Previous implementation started with really small buffer sizes. When
combined with a short time limit this resulteded in abysmal results for xz.
It seems that the initialization overead is really significant for small
buffers. Since xz will not be used by default anymore, this does not
seem worth fixing. Instead buffer sizes are changed to run a
pseudo-random non-repeating pattern. This should allow reasonable testing
for all buffer sizes. For testing, both runtime and the buffer size seed
can be specified on the command line. Sufficiently large runtime allows
all buffer sizes up to 1MB to be tested.

Merge pull request #1652 from filbranden/extract1

util: Replace state with separate booleans in extract_first_word

Merge pull request #1647 from evverx/use-extract-in-namespace-parsing

core: use extract_first_word for namespace parsing

Merge pull request #1648 from evverx/clarify-journalctl-quiet-option

journalctl: clarify -q option

Merge pull request #1641 from poettering/btrfs-quota

btrfs quota beef up and various other unrelated changes

util: Replace state with separate booleans in extract_first_word

This simplifies the logic and uniformizes the way single and double
quotes are handled. In the end, the code is about 40 lines shorter.

Tested by running the excellent test cases from test-util. Also
installed the systemd binaries including this patch and booted a
system with it, everything looked normal.

journalctl: clarify -q option

-q suppresses info messages too

core: use extract_first_word for namespace parsing

see https://github.com/systemd/systemd/pull/1632#issuecomment-149903791
We should port this loop over to extract_first_word(), too.

Merge pull request #1646 from keszybz/man-dnf-install

dnf install command update

man: also add --enablerepo=updates to dnf invocation

Without the updates repo, we are installing packages from the time
that that version of Fedora was released. Normally, during the
lifetime of the release most packages are updated, so most of the
packages installed would be outdated, and the first update after
installation would update a massive set of packages. Avoid all this
by installing from the updates repo from the start.

Merge pull request #1625 from teg/ndisc

sd-ndisc: Rename (from sd-icmp6-nd) and prepare for handling SLAAC and router discovery

man: remove --nogpg from dnf install command line

Keys for previous and future Fedora distributions were added
for the fedora-repos package recently:
https://bugzilla.redhat.com/show_bug.cgi?id=1246701.
There is no need to skip signature checking.

Also, update to the latest and greatest and remove unnecessary quotes.

sd-ndisc: reduce callbacks

Only callback on error when the statemachine is in a truly broken state. This
is now only the case when we fail to rearm a timer.

sd-ndisc: drop sd_ndisc_get_prefixlen()

This is unused, and in the future we will pass prefixes and prefixlengths directly
to the callbacks when needed rather than having to search for them.

sd-ndisc: drop sd_ndisc_prefix_match()

This is no longer used.

sd-ndisc: don't trigger timeout on prefix expiry

The caller of the library is no longer notified, so triggering a timer
just to clean up is not necessary. Instead check for and clean up
invalid prefixes lazily.

sd-ndisc: remove a prefix from the ndisc object when freeing it

This follows the coding style, and allows some simplification to the rest of the code.

sd-ndisc: don't inform the caller of expired prefixes

The caller should push any lifetime information into the kernel and let the kernel handle
prefix expiration.

sd-ndisc: clean up state enum

There is no need to assign valuse to the states. Also add _INVALID and _MAX,
even though these are not used, it keeps it consistent.

networkd: dhcp6 - do not handle prefix expiration

This ressurects 47d45d3cde45d6545367570264e4e3636bc9e345. We now always use /128 prefixes,
so there is no need for the DHCPv6 code to know about prefixes expiring.

networkd: dhcp6 - DHCPv6 addresses should always be /128

The routing information should be configured separately by ND, there is no need to
indicate the prefix again in the DHCPv6 addresses.

See discussion and related links at issue #1520.

networkd: ndisc - split out from dhcp6 code

networkd: ndisc - make logging messages uniform

Refer to Router Discovery rather than ICMPv6.

sd-ndisc: rename icmp6 to ndisc throughout the code

libsystemd-network: split icm6-util.[ch] out of dhcp6 code

networkd: rename icmp6 to ndisc

sd-ndisc: rename API from sd-icmp6-nd

sd-icmp6-nd: rename files to sd-ndisc

The actual code rename will follow. The reason for the change of name is to make it
simpler and more uniform with how we name other libraries (we don't include the
underlying protocol). The new name also matches the naming in the kernel (which
is particularly relevent here as we expect to let the kernel do some parts of
the protocol and we do others).

Merge pull request #1644 from reverendhomer/patch-1

networkd-manager: fix swapped arguments

Merge pull request #1642 from evverx/allow-unbalanced-double-quote-in-relax-mode

util: allow unbalanced double quote in EXTRACT_QUOTES|EXTRACT_RELAX mode

networkd-manager: fix swapped arguments

fixes Coverity #1328493

util: allow unbalanced double quote in EXTRACT_QUOTES|EXTRACT_RELAX mode

extract_first_word understands "\'string" but doesn't understand "\"string"
fixed this inconsistency.

core: check parsed bus msg in full before applying it

nspawn: don't try to resolve passed binary before entering namespace

Othewise we might follow the symlinks on the host, instead of the
container.

Fixes #1400

nspawn: rework how we determine private networking settings

Make sure we acquire CAP_NET_ADMIN if we require virtual networking.

Make sure we imply virtual ethernet correctly when bridge is request.

Fixes: #1511
Fixes: #1554
Fixes: #1590

units: also whitelist "blkext" block devices for nspawn service

/dev/loop*p* block devices are of the "blkext" subsystem, not of loop,
hence whitelist this too.

Fixes #1446

import: don't claim we moved .nspawn file into place when in fact we did not

import: correct handling if .nspawn file could not be downloaded

machinectl: accept "none" and "infinity" as specifier when dropping quotas using "machinectl set-limit"

Previously, we already accepted "-" as special value for dropping
limits. Add "infinity", as that's what we support for RLIMITs and hence
should support here to. Also add "none" as that's what the btrfs tools
use.

update TODO

tmpfiles.d: change all subvolumes to use quota

Let's make sure the subvolumes we create fit into a sensible definition
of a quota tree.

tmpfiles: introduce "q" and "Q" for creating quota-enabled btrfs subvolumes

This allows us to set up the quota group hierarchy in a reasonable way
on btrfs file systems.

import: when downloading images, create a subtree quota group for them

btrfs: beef-up btrfs support with a limited understanding of quota

With this change we understand more than just leaf quota groups for
btrfs file systems. Specifically:

- When we create a subvolume we can now optionally add the new subvolume
  to all qgroups its parent subvolume was member of too. Alternatively
  it is also possible to insert an intermediary quota group between the
  parent's qgroups and the subvolume's leaf qgroup, which is useful for
  a concept of "subtree" qgroups, that contain a subvolume and all its
  children.

- The remove logic for subvolumes has been updated to optionally remove
  any leaf qgroups or "subtree" qgroups, following the logic above.

- The snapshot logic for subvolumes has been updated to replicate the
  original qgroup setup of the source, if it follows the "subtree"
  design described above. It will not cover qgroup setups that introduce
  arbitrary qgroups, especially those orthogonal to the subvolume
  hierarchy.

This also tries to be more graceful when setting up /var/lib/machines as
btrfs. For example, if mkfs.btrfs is missing we don't even try to set it
up as loopback device.

Fixes #1559
Fixes #1129

logind: minor clean-ups

systemctl: the various list commands actually can take any number of arguments

I accidentally broke this a while back when I ported systemctl to the
verbs logic.

Add support for this back.

util: improve dir_is_empty() call

Simplify the call, and add dir_is_populated() as inverse call, in order
to make some checks easier to read.

Merge pull request #1639 from alkino/master

core dbus: Check that flush works with memstream

core dbus: Check that flush works with memstream

Merge pull request #1637 from alkino/master

shell-completion: systemd-run: add new property EnvironmentFile

shell-completion: systemd-run: add new property EnvironmentFile

Merge pull request #1632 from evverx/fix-namespace-parsing

core: fix namespace parsing

Merge pull request #1636 from alkino/master

Add zsh completion on systemd-run's properties

Add zsh completion on systemd-run's properties

core: fix namespace parsing

ReadOnlyDirectories=-/ works fine

Merge pull request #1623 from evverx/run-rw-ro-ia-dirs

systemd-run can launch units with ReadWriteDirectories, ReadOnlyDirectories, InaccessibleDirectories

Merge pull request #1626 from teg/networkd

networkd: assorted fixes

networkd: manager/link - only serialize once per event-loop iteration

Every time the state is written out we may trigger third-party apps, so
let's be a bit more careful about writing this out unnecessarily.

networkd: link - serialize addresses

networkd: route - add hash_ops

networkd: route - simplify route_new()

networkd: address - distinguish between addresses added by us and by others

We only keep the addresses that we added ourselves in link->addresses, and
introduce a new set link->addresses_foreign to keep addresses of unknown
origin.

Only functional change is that "foreign" addresses no longer prevent a link
from entering "configured" state.