shell-completion: add hostnamectl set-deployment

Add DEPLOYMENT to hostnamectl

[zj: remove the check against a fixed list of environments.]

shell-completion,man: beef up chassis completions and description

Parameters to hostnamectl command are not optional and should not be marked
as such in the man page.

man: document x-systemd.device-timeout for crypttab

https://bugs.freedesktop.org/show_bug.cgi?id=54210

man: proper link for dmesg

sysusers: allow overrides in /etc and /run

An administrator might want to block a certain sysusers config file from
being executed, e.g. to block the creation of a certain user.

Only a relatively short description is added in the man page, since
overrides should be relatively rare.

nss-mymachines: add new NSS module for automatically resolving addresses of all local containers

build-sys: export sd_path APIs

nss-myhostname: move NSS boilerplate to nss-util.h

machinectl: show network interface name for containers

Also, append the if indexes as scope field to the addresses we show.
That way they may be used for connecting to the containers directly.

nspawn: register external network interface with machined

machined: allow registering host-side network interfaces for communication with containers

networkd: always prefer dhcp routes over ipv4ll routes

machined: when querying addresses of a container, use same code as nss-myhostname uses

libsystemd: make use of our common sockaddr_union everywhere

shared: split out in_addr related calls from socket-util.[ch] into its private in-addr-util.[ch]

These are enough calls for a new file, and they are sufficiently
different from the sockaddr-related calls, hence let's split this out.

nss-myhostname: move local address listing logic into shared, so that we can make use of it from machined

nss-myhostname: only export the NSS entry point symbols, nothing else

machined: various modernizations when enumerating container addresses

nss-myhostname: following the usual naming scheme for .c/.h files

nss-myhostname: various modernizations

resolved: properly free network monitor

event: pull in sd-event.h from event-util.h

update TODO

sysusers: don't allow control characters in gecos fields

sysusers: don't allow user names longer than UT_NAMESIZE

As pointed out by Miloslav Trmač it might be a good idea to make sure
that usernames stay with in the utmp-defined limits.

update TODO

units: make ExecStopPost action part of ExecStart

Currently after exiting rescue shell we isolate default target. User
might want to isolate to some other target than default one. However
issuing systemctl isolate command to desired target would bring system
to default target as a consequence of running ExecStopPost action.

Having common ancestor for rescue shell and possible followup systemctl
default command should fix this. If user exits rescue shell we will
proceed with isolating default target, otherwise, on manual isolate,
parent shell process is terminated and we don't isolate default target,
but target chosen by user.

Suggested-by: Michal Schmidt <mschmidt@redhat.com>

timedated: manage systemd-timesyncd directly instead of lists of alternatives

Alternative NTP implementations should add a:
  Conflicts=systemd-timesyncd.service
to take over the built-in NTP functionality of systemd.

hostnamed: update documentation with new "watch" chassis type

hostnamed: add a new chassis type for watches

journal/compress: improve xz compression performance

The new lzma2 compression options at the top of compress_blob_xz are
equivalent to using preset "0", exept for using a 1 MiB dictionary
(the same as preset "1"). This makes the memory usage at most 7.5 MiB
in the compressor, and 1 MiB in the decompressor, instead of the
previous 92 MiB in the compressor and 8 MiB in the decompressor.

According to test-compress-benchmark this commit makes XZ compression
20 times faster, with no increase in compressed data size.
Using more realistic test data (an ELF binary rather than repeating
ASCII letters 'a' through 'z' in order) it only provides a factor 10
speedup, and at a cost if a 10% increase in compressed data size.
But that is still a worthwhile trade-off.

According to test-compress-benchmark XZ compression is still 25 times
slower than LZ4, but the compressed data is one eighth the size.
Using more realistic test data XZ compression is only 18 times slower
than LZ4, and the compressed data is only one quarter the size.

$ ./test-compress-benchmark
XZ: compressed & decompressed 2535300963 bytes in 42.30s (57.15MiB/s), mean compresion 99.95%, skipped 3570 bytes
LZ4: compressed & decompressed 2535303543 bytes in 1.60s (1510.60MiB/s), mean compresion 99.60%, skipped 990 bytes

fix #ifdef

update .gitignore

escape: move to rootbindir

The systemd-escape utility might be used during early boot (e.g. when
being triggered from udev rules), so move it to rootbindir to support
systems with a split /usr setup.

accelerometer: Don't wait for new data from the sensor

Instead of waiting for new data from the sensor, which might be
a long time coming, depending on the sensor device, ask the kernel
for the last state for that particular input device.

load-fragment: ConditionFirstBoot wants a bool string, not a path

systemctl: fix visual alignment for lines prefixed with color dots

logind: allow switching to unused VTs via SwitchTo()

If compositors use the new SwitchTo() logic to map F1-F12, we should allow
them to switch to unregistered VTs, too. Otherwise, the auto-spawn logic
of gettys won't trigger.

Reported-by: Jasper St. Pierre <jstpierre@mecheye.net>
Signed-off-by: David Herrmann <dh.herrmann@gmail.com>

man: add a mapping for external manpages

It is annoying when we have dead links on fd.o.

Add project='man-pages|die-net|archlinux' to <citerefentry>-ies.

In generated html, add external links to
http://man7.org/linux/man-pages/man, http://linux.die.net/man/,
https://www.archlinux.org/.

By default, pages in sections 2 and 4 go to man7, since Michael
Kerrisk is the autorative source on kernel related stuff.

The rest of links goes to linux.die.net, because they have the
manpages.

Except for the pacman stuff, since it seems to be only available from
archlinux.org.

Poor gummiboot gets no link, because gummitboot(8) ain't to be found
on the net. According to common wisdom, that would mean that it does
not exist. But I have seen Kay using it, so I know it does, and
deserves to be found. Can somebody be nice and put it up somewhere?

Fix typo

fstab-generator: fix trivial leak

README: add liblz4

journal/compress: fix calls to decompress_blob

resolved: make use of union in_addr_union in resolved, too

networkd: simplify signal handling of SIGTERM/SIGINT

sd-event makes handling SIGTERM/SIGINT a lot easier than it used to,
let's make use of this

resolved: make sure SIGTER/SIGINT actually can be caught and processed

resolved: let config_parse() open the configuration file for us

shared: fix format string for usec_t type

man: document systemd-escape(1)

escape: beef up new systemd-escape tool

Add various options for making it easy unescape, or mangle, or format as
template instance or append a suffix.

add new systemd-escape tool

update TODO

dropin: add format attribute and fix a wrong caller

fstab-generator: add comma when removed option is in the middle

xxx,x-systemd.default-timeout=y,zzz was filtered to xxxzzz,
but should be xxx,zzz, of course.

networkd TODO: add more bonding options

Add more bonding option in TODO section

networkd todo : remove tun/tap

Remove tun/tap from todo

networkd: add support for mode

This patch adds supports networkd to configure bond mode
during creation via persistent conf. Mode can be configured
with conf param 'Mode'. A new section Bond is added to the
conf to support bond mode.

These modes can be configured now.

balance-rr
active-backup
balance-xor
broadcast
802.3ad
balance-tlb
balance-alb

Example conf file: test-bond.conf
[NetDev]
Name=bond1
Kind=bond

[Bond]
Mode=balance-xor

Test case:
1. start networkd service:

12: bond1: <BROADCAST,MULTICAST,MASTER,UP,LOWER_UP> mtu 1500 qdisc
noqueue state UNKNOWN mode DEFAULT group default
link/ether 22:89:6c:47:23:d2 brd ff:ff:ff:ff:ff:ff

2. find bond mode:

cat /proc/net/bonding/bond1
    Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
    Bonding Mode: load balancing (xor)
    Transmit Hash Policy: layer2 (0)
    MII Status: up
    MII Polling Interval (ms): 0
    Up Delay (ms): 0
    Down Delay (ms): 0

Changes:
       1. Added file networkd-bond.c
       2. Bond mode enum BondMode
       3. conf section [Bond]

[tomegun: whitespace]

networkd veth: Make kind assert

It's more appropriate to make it's assert than -ENOTSUP

update TODO

firstboot: get rid of firstboot generator again, introduce ConditionFirstBoot= instead

As Zbigniew pointed out a new ConditionFirstBoot= appears like the nicer
way to hook in systemd-firstboot.service on first boots (those with /etc
unpopulated), so let's do this, and get rid of the generator again.

firstboot: follow lock protocol when changing /etc/shadow

man: document systemd-firstboot(1)

man: drop references to the --priviliged command line option which has been removed a while back

base-filesystem.c: terminate string array elements with \0

NULSTR_FOREACH() looks for a terminating zero and the element also needs
one.

service: flush status text and errno values each time a service is started

We shouldn't show status texts from previous service starts

systemctl: show StatusErrno value in "systemctl status"

service: don't accept negative ERRNO= notification messages

service: minor modernization

core: Added support for ERRNO NOTIFY_SOCKET message parsing, and added StatusErrno dbus property along StatusText to allow notification of numeric status condition while degraded service operation or any other special situation.

firstboot: change /etc/shadow access mode to 000

It appears to be customary to remove all access bits from /etc/shadow
including those for the root owner), hence let's do the same.

dhcp-network: make clear that we are ANDing Fragment offset field with mask

Reading BPF assembly written as C macros is inherently difficult. Don't
make it harder than necessary and provide clearer explanation in the
comment.

dhcp-network: ignore IP packets with More Fragments (MF) flag set

We already ignore IP fragments, because we expect that Fragment
offset (FO) field is not set. However first fragment in a fragmented IP
flow will have all zeroes in FO field. We should ignore such packet as
well, thus we need to look at MF flag in the IP header. Checking MF flag
will filter out all except last packet in fragmented flows. Last one
will be ruled out by next check for value of FO.

firstboot: add new component to query basic system settings on first boot, or when creating OS images offline

A new tool "systemd-firstboot" can be used either interactively on boot,
where it will query basic locale, timezone, hostname, root password
information and set it. Or it can be used non-interactively from the
command line when prepareing disk images for booting. When used
non-inertactively the tool can either copy settings from the host, or
take settings on the command line.

$ systemd-firstboot --root=/path/to/my/new/root --copy-locale --copy-root-password --hostname=waldi

The tool will be automatically invoked (interactively) now on first boot
if /etc is found unpopulated.

This also creates the infrastructure for generators to be notified via
an environment variable whether they are running on the first boot, or
not.

architecture: add string table entries for mips-le archs which were missing

man: chroot jails are no longer detected by ConditionVirtualization=

man: add missing archs to ConditionArchitecture= description

fileio: simplify write_env_file()

util: don't consider tabs special in string_has_cc() anymore

Instead, take a list of exceptions to our usual CC check

shared: make timezone and locale enumeration and validation generic

This way we can reuse it other code thatn just localectl/localed +
timedatectl/timedated.

update TODO

main: explain our /etc empty check a bit in a comment

util: consider 0x7F a control chracter (which it is: DEL)

Let's better be safe than sorry.

udev: link_config - ignore errors due to missing MAC address

Otherwis, we get misleading error messages on links with MACs.

Reported by Leonid Isaev.

vconsole-setup: fix inverted error messages

Introduced in abee28c56d.

Pointed-out-by: Werner Fink <werner@suse.de>

man: network - document Peer key

networkd: netdev - add missing refs

Without this, the underlying device would get freed (and hence
fail).

networkd: add support for peer address

This patch adds peer address support for
networkd . In the  [Address]  a new configurable
param is Peer.

[Match]
Name=ipip-tun

[Address]
Address=10.0.0.1/32
Peer=10.0.0.2/32

dhcp-network: add check for DHCP.chaddr

Check that received DHCP packets actually include our MAC address in
chaddr field. BPF interpreter has 32 bit wide registers but MAC address
is 48 bits long so we have to do check in two steps.

coredumpctl: show a useful error on permission problems

compress: add benchmark-style test

This is useful to test the behaviour of the compressor for various buffer
sizes.

Time is limited to a minute per compression, since otherwise, when LZ4
takes more than a second which is necessary to reduce the noise, XZ
takes more than 10 minutes.

% build/test-compress-benchmark (without time limit)
XZ: compressed & decompressed 2535300963 bytes in 794.57s (3.04MiB/s), mean compresion 99.95%, skipped 3570 bytes
LZ4: compressed & decompressed 2535303543 bytes in 1.56s (1550.07MiB/s), mean compresion 99.60%, skipped 990 bytes

% build/test-compress-benchmark (with time limit)
XZ: compressed & decompressed 174321481 bytes in 60.02s (2.77MiB/s), mean compresion 99.76%, skipped 3570 bytes
LZ4: compressed & decompressed 2535303543 bytes in 1.63s (1480.83MiB/s), mean compresion 99.60%, skipped 990 bytes

 It appears that there's a bug in lzma_end where it leaks 32 bytes.

journal: add LZ4 as optional compressor

Add liblz4 as an optional dependency when requested with --enable-lz4,
and use it in preference to liblzma for journal blob and coredump
compression. To retain backwards compatibility, XZ is used to
decompress old blobs.

Things will function correctly only with lz4-119.

Based on the benchmarks found on the web, lz4 seems to be the best
choice for "quick" compressors atm.

For pkg-config status, see http://code.google.com/p/lz4/issues/detail?id=135.

journal/compress: return early in uncompress_startswith

uncompress_startswith would always decode the whole stream, even
if it did not start with the given prefix.

Reallocation policy was also strange.

vconsole-setup: run setfont before loadkeys

https://bugs.freedesktop.org/show_bug.cgi?id=80685

sysusers: fix uninitialized warning

machine: don't return uninitialized variable

Repotred by Ronny Chevalier

man: document nspawn's new --volatile switch

networkd: accept section DHCP in systemd.network files

networkd: don't clear dhcpv6 lease timers if there's no previous lease

If client->lease is NULL, dhcp6_lease_clear_timers will cause a segmentation
fault.

nspawn: add new --volatile switch for booting containers in volatile (ephemeral) mode

Two modes are supported: --volatile=yes mounts only /usr into the
container, and a tmpfs as root directory. --volatile=state mounts the
full OS tree in, but overmounts /var with a tmpfs.

--volatile=yes hence boots with an unpopulated /etc and /var, starting
with pristine configuration and state.

--volatile=state hence boots with an unpopulated /var, only starting
with pristine state.