units: define appropriate job timeout actions when boot or shutdown timeouts are hit

Using the new JobTimeoutAction= setting make sure we power off the
machine after basic.target is queued for longer than 15min but not
executed. Similar, if poweroff.target is queued for longer than 30min
but does not complete, forcibly turn off the system. Similar, if
reboot.target is queued for longer than 30min but does not complete,
forcibly reboot the system.

job: optionally, when a job timeout is hit, also execute a failure action

core: remove system start timeout logic again

The system start timeout as previously implemented would get confused by
long-running services that are included in the initial system startup
transaction for example by being cron-job-like long-running services
triggered immediately at boot. Such long-running jobs would be subject
to the default 15min timeout, esily triggering it.

Hence, remove this again. In a subsequent commit, introduce per-target
job timeouts instead, that allow us to control these timeouts more
finegrained.

update TODO

journald: be nice to coverity, add an extra assert

coverity otherwise assumes that the chain object might be NULL.

CODING_STYLE: don't clobber arguments on failure

calendarspec: parse 'quarterly' and 'semi-annually' as shortcuts

networkd: network - if no prefixlength is given, try to deduce one from the address class

In case of a class E or F address, ignore the address.

shared: in-addr-utils - add default_subnet_mask and default_prefixlen methods

These use the (deprecated) IPv4 address classes to deduce the corresponding subnet masks. This is useful when addresses
without subnet masks and prefix lengths are given.

Make use of these new functions from sd-dhcp-lease.

man: tmpfiles.d - recommend using b! and c!

We should avoid creating static device nodes at runtime.

units: tmpfiles-setup-dev - allow unsafe file creation to happen in /dev at boot

This will allow us to mark static device nodes with '!' to indicate that they should only be created at early boot.

sd-bus: sync kdbus.h (ABI break)

Some comment fixes and header cleanups in kdbus.h, and the task capability
meta information has been factored out to its own struct.

man: document what "minutely" now means

calendar: new case 'minutely'

update TODO

update NEWS

sd-bus: explicitly cast asprintf() return value away we are not interested in

Let's give coverity a hint what's going on here.

Revert "sd-bus: check return value of asprintf()"

This reverts commit b1543c4c93855b61b40118e9f14a0423dac2e078.

We check b->address anyway, no need to check the return value,
especially given that the other #ifdef branch don't get the same
treatment.

shutdown: do final unmounting only if not running inside the container

If we run in the container then we run in a mount namespace. If namespace dies
then kernel should do unmounting for us, hence we skip unmounting in containers.

Also, it may be the case that we no longer have capability to do umount,
because we are running in the unprivileged container.

See: http://lists.freedesktop.org/archives/systemd-devel/2014-October/023536.html

man: fix typos in description of SELinuxContextFromNet=

networkd: don't stop the dhcp server when link goes down

util: fix copy-paste error and actually set the new hostname

Reported-by: sztanpet on irc

util: introduce sethostname_idempotent

Function queries system hostname and applies changes only when necessary. Also,
migrate all client of sethostname to sethostname_idempotent while at it.

journald: fix flushing

Commit 74055aa762 'journalctl: add new --flush command and make use of
it in systemd-journal-flush.service' broke flushing because journald
checks for the /run/systemd/journal/flushed file before opening the
permanent journal. When the creation of this file was postponed,
flushing stoppage ensued.

systemctl: do not ignore errors in symlink removal

On an ro fs, systemctl disable ... would fail silently.

Rearrange Unit to make pahole happy

After all we have lots of those.

calendarspec: fix typo in "annually"

https://bugs.freedesktop.org/show_bug.cgi?id=85447

journalctl: correct help text for --until

http://bugs.debian.org/766598

bus-proxy: it's OK if getpeercred doesn't work

We should use the data if we can (if stdin/stdout is an AF_UNIX socket),
but still work if we can't (if stdin/stdout are pipes, like in the SSH
case).

This effectively reverts 55534fb5e4742b0db9ae5e1e0202c53804147697

sd-bus: if we don't manage to properly allocate the error message for an sd_bus_error, just go on

sd_bus_error_setfv() must initialize the sd_bus_error value to some
sensible value and then return a good errno code matching that. If it
cannot work at all it should set the error statically to the OOM error.
But if it can work half-way (i.e. initialize the name, but not the
message) it should do so and still return the correct errno number for
it.

This effectively reverts 8bf13eb1e02b9977ae1cd331ae5dc7305a305a09

time: don't do comparison twice

time: minor simplification

time: earlier exit from format_timestamp_relative() on special times

time: also support 'infinity' syntax in parse_nsec()

Let's make parse_usec() and parse_nsec() work similar

update TODO

NEWS: more preparations for 217

delta: use wait_for_terminate_and_warn() to generate warnin when diff fails

calendar: make freeing a calendar spec object deal fine with NULL

In order to make object destruction easier (in particular in combination
with _cleanup_) we usually make destructors deal with NULL objects as
NOPs. Change the calendar spec destructor to follow the same scheme.

timesyncd: the IP_TOS sockopt is really just an optimization, we shouldn't fail if we can't set it

This partially undos 2f905e821e0342c36f5a5d3a51d53aabccc800bd

update TODO

journalctl: Unify boot id lookup into common function get_boots

udev: do NOT re-label smack

If selinux is disabled and smack is only enabled, smack label is
relable-ed by label_fix. To avoid, make only be labeled for selinux.

manager: Linux on hppa has fewer rtsigs, hence avoid using the higher ones there

https://bugs.freedesktop.org/show_bug.cgi?id=84931

man: remove another gendered pronoun

journald: removed gendered pronouns in comment

man: fix minor typo

man: add a link to the XDG basedir spec from the pam_sytemd man page

man: avoid gendered singular pronouns

Using "their" as pronoun in these places is confusing since it is more
associated with plural rather than singular, and the sentence already
contains a plural. The word "her/his" apparently offends some people,
hence let's avoid the problem altogether and just name the noun again.

man: minor addition to coredumpctl example

cryptsetup: Fix timeout on dm device.

Fix a bug in systemd-cryptsetup-generator which caused the drop-in
setting the job timeout for the dm device unit to be written with a
name different than the unit name.

https://bugs.freedesktop.org/show_bug.cgi?id=84409

shutdown: pass own argv to /run/initramfs/shutdown

Since commit b1e90ec515408aec2702522f6f68c4920b56375b systemd passes
its log settings to systemd-shutdown via command line parameters.
However, systemd-shutdown doesn't pass these parameters to
/run/initramfs/shutdown, causing it to fall back to the default log
settings.

This fixes the following bugs about the shutdown not being quiet
despite "quiet" being in the kernel parameters:

https://bugs.freedesktop.org/show_bug.cgi?id=79582
https://bugs.freedesktop.org/show_bug.cgi?id=57216

selinux: fix handling of relative paths when setting up create label

man: in pam_systemd, it must be "his" (or "her"), not their

socket: properly label socket symlinks

socket: fix error comparison

label: move is_dir() to util.c

label: unify code to make directories, symlinks

label: don't try to create labelled directories more than once

selinux: clean up selinux label function naming

selinux: simplify and unify logging

Normally we shouldn#t log from "library" functions, but SELinux is
weird, hence upgrade security messages uniformly to LOG_ERR when in
enforcing mode.

selinux: rework label query APIs

APIs that query and return something cannot silently fail, they must
either return something useful, or an error. Fix that.

Also, properly rollback socket unit fd creation when something goes
wrong with the security framework.

smack: we don't need the special labels exported, hence don't

selinux: drop 3 unused function prototypes

smack: rework SMACK label fixing code to follow more closely the semantics of the matching selinux code

smack: never follow symlinks when relabelling

previously mac_smack_apply(path, NULL) would operate on the symlink
itself while mac_smack_apply(path, "foo") would follow the symlink.
Let's clean this up an always operate on the symlink, which appears to
be the safer option.

smack: rework smack APIs a bit

a) always return negative errno error codes
b) always become a noop if smack is off
c) always take a NULL label as a request to remove it

mac: rename all calls that apply a label mac_{selinux|smack}_apply_xyz(), and all that reset it to defaults mac_{selinux|smack}_fix()

Let's clean up the naming schemes a bit and use the same one for SMACK
and for SELINUX.

selinux: make use of cleanup gcc magic

TODO

man: pam_systemd: some typos fixed, some info added

Just some minor nits that I stumbled over when reading the man page.

unit: adjust for the possibility of set_move() failing

hashmap: allow hashmap_move() to fail

It cannot fail in the current hashmap implementation, but it may fail in
alternative implementations (unless a sufficiently large reservation has
been placed beforehand).

unit: place reservations before merging other's dependencies

With the hashmap implementation that uses chaining the reservations
merely ensure that the merging won't result in long bucket chains.

With a future alternative implementation it will additionally reserve
memory to make sure the merging won't fail.

install, cgtop: adjust hashmap_move_one() callers for -ENOMEM possibility

That hashmap_move_one() currently cannot fail with -ENOMEM is an
implementation detail, which is not possible to guarantee in general.
Hashmap implementations based on anything else than chaining of
individual entries may have to allocate.

hashmap_move_one will not fail with -ENOMEM if a proper reservation has
been made beforehand. Use reservations in install.c.

In cgtop.c simply propagate the error instead of asserting.

test: add test for hashmap_reserve()

hashmap: introduce hashmap_reserve()

With the current hashmap implementation that uses chaining, placing a
reservation can serve two purposes:
 - To optimize putting of entries if the number of entries to put is
   known. The reservation allocates buckets, so later resizing can be
   avoided.
 - To avoid having very long bucket chains after using
   hashmap_move(_one).

In an alternative hashmap implementation it will serve an additional
purpose:
 - To guarantee a subsequent hashmap_move(_one) will not fail with
   -ENOMEM (this never happens in the current implementation).

hashmap: return more information from resize_buckets()

Return 0 if no resize was needed, 1 if successfully resized and
negative on error.

shared: split mempool implementation from hashmaps

resolve: make DnsScope::conflict_queue an OrderedHashmap

on_conflict_dispatch() uses hashmap_steal_first() and then does
something non-trivial with it. It may care about the order.

sd-bus: make sd_bus::reply_callbacks a OrderedHashmap

The way process_closing() picks the first entry from reply_callbacks
and works with it makes it likely that it cares about the order.

journal: make sd_journal::files a OrderedHashmap

Anything that uses hashmap_next() almost certainly cares about the order
and needs to be an OrderedHashmap.

journal: make Server::user_journals an OrderedHashmap

Order matters here. It replaces oldest entries first when
USER_JOURNALS_MAX is reached.

journal: make JournalFile::chain_cache an OrderedHashmap

The order of entries may matter here. Oldest entries are evicted first
when the cache is full.

(Though I don't see anything to rejuvenate entries on cache hits.)

install: make InstallContext::{will_install,have_installed} OrderedHashmaps

It appears order may matter here. Use OrderedHashmaps to be safe.

hashmap: drop assert(h) from hashmap_next()

It's handled just fine by returning NULL.

hashmap: hashmap_move_one() should return -ENOENT when 'other' is NULL

-ENOENT is the same return value as if 'other' were an allocated hashmap
that does not contain the key. A NULL hashmap is a possible way of
expressing a hashmap that contains no key.

test: add and improve hashmap tests

Test more corner cases and error states in several tests.

Add new tests for:
  hashmap_move
  hashmap_remove
  hashmap_remove2
  hashmap_remove_value
  hashmap_remove_and_replace
  hashmap_get2
  hashmap_first

In test_hashmap_many additionally test with an intentionally bad hash
function.

test: generate tests for OrderedHashmap from Hashmap tests

test-hashmap-ordered.c is generated from test-hashmap-plain.c simply by
substituting "ordered_hashmap" for "hashmap" etc.

In the cases where tests rely on the order of entries, a distinction
between plain and ordered hashmaps is made using the ORDERED macro,
which is defined only for test-hashmap-ordered.c.

hashmap: add OrderedHashmap as a distinct type

Few Hashmaps/Sets need to remember the insertion order. Most don't care
about the order when iterating. It would be possible to use more compact
hashmap storage in the latter cases.

Add OrderedHashmap as a distinct type from Hashmap, with functions
prefixed with "ordered_". For now, the functions are nothing more than
inline wrappers for plain Hashmap functions.

mac: also rename use_{smack,selinux,apparmor}() calls so that they share the new mac_{smack,selinux,apparmor}_xyz() convention

mac: rename apis with mac_{selinux/smack}_ prefix

label: rearrange mandatory access control(MAC) apis

move label apis to selinux-util.ch or smack-util.ch appropriately.

man: add example how to generate certificates with openssl

journal-upload: return proper exit code

Even when termninated normally, systemd-journal-upload would return
something positive which would be interpreted as failure.

shared/log: add log_trace as compile-time optional debugging

Repetetive messages can be annoying when running with
SYSTEMD_LOG_LEVEL=debug, but they are sometimes very useful
when debugging problems. Add log_trace which is like log_debug
but becomes a noop unless LOG_TRACE is defined during compilation.
This makes it easy to enable very verbose logging for a subset
of programs when compiling from source.

journal-upload: fix --trust=all option

journal-upload: avoid calling printf with maximum precision

Precision of INT_MAX does not work as I expected it to.

https://bugzilla.redhat.com/show_bug.cgi?id=1154334

journal-upload: verify state file can be saved before uploading

Do our best verify that we can actually write the state file
before upload commences to avoid duplicate messages on the server.

socket-util: use IP address when hostname is not found

socknameinfo_pretty() would fail for addresses without reverse DNS,
but we do not want that to happen.

journal-remote: add --split-mode to help