journalctl: add --reverse option to show the newest lines first

Merge branch 'python-systemd-reader'

* python-systemd-reader:
  python-systemd: rename Journal to Reader
  build-sys: upload python documentation to freedesktop.org
  systemd-python: add Journal class for reading journal
  python: build html docs using sphinx
  journalct: also print Python code in --new-id
  python: utilize uuid.UUID in logging
  python: add systemd.id128 module
  ... and 34 other commits

In short: python module systemd.id128 is added, and existing
systemd.journal gains a new class systemd.journal.Reader, which can be
used to iterate over journal entries. Documentation is provided, and
accessible under e.g.
    pydoc3 systemd.journal.Reader
or
    firefox http://www.freedesktop.org/software/systemd/man/python-systemd/

python-systemd: rename Journal to Reader

It seems inevitable that we'll also grow a writing interface,
and then it'll be cumbersome to have a "Journal" for reading,
and a "Writer" for writing.

systemd-python: return both parts of sd_journal_get_monotonic_usec

In Python 3, a named tuple is used. In Python 2, a simple
tuple is used. In either case, the pair is (timestamp, bootid).

python-systemd: check all errors and use automatic cleanup

__REALTIME_TIMESTAMP and __MONOTONIC_TIMESTAMP return ints.
It doesn't make sense to convert to string, just to convert
back to a number later on.

Also try to follow systemd rules for indentation.

build-sys: upload python documentation to freedesktop.org

systemd-python: hide ChainMap import

systemd-python: document attributes

In id128 it would be better to add everything automatically, but
sphinx cannot do this right now.

systemd-python: use PyModule_AddObject in id128

build-sys: make sphinx support uncoditional

It needs to be invoked explicitly, so there's no need to check
explicitly.

systemd-python: polish the docstrings

man: clarify systemctl --property= documentation a bit

update TODO

man: fix docbook in systemd-activate(8)

man: document systemd-nspawn behaviour with -b

Cf. cb96a2c69 and 1ddf879a.

systemd-activate: add a socket-activation test tool

nspawn: environment would be truncated with TERM unset

man: drop rhs parts in snippets in directive index

-       --exit-if-exists=file
+       --exit-if-exists=
etc.

build-sys: fix update-man-rules for vpath builds

build-sys: tell Makefile.am to distribute kernel-install

core/manager: print status messages about running jobs

Sometimes the boot gets stuck until a timeout hits. The usual timeouts
are on the order of minutes, so users may lose patience.

Print animated status messages telling the names of units with running
jobs to make it easy to see what systemd is waiting for.

The animation looks cooler with a shorter interval, but 1 s is OK and
should not be too hard on slow serial console users.

core: count active units that may mind our printing to /dev/console

core/execute: determine if ExecContext may fiddle with /dev/console

There is some guesswork, but it should work satisfactorily for the
purpose of knowing when to suppress printing of status messages.

core/execute: add internal is_terminal_output()

Similar to already existing is_terminal_input().

Note that the only current user (connect_logger_as) is never called
for EXEC_OUTPUT_TTY, so it won't mind whether we accept it.

util: split resolving of /dev/console into a new function

core/unit: use a temp variable for manager pointer in unit_notify()

util, core: add support for ephemeral status lines

Ephemeral status lines do not end with a newline and they expect to be
overwritten by the next printed status line.

core/transaction: replace a bare status_printf()

Like other status messages, this one too should not be printed
unconditionally, but it should take the manager state into account.
unit_status_printf() does that.

core: redefine unit_status_printf()

Take advantage of the fact that almost all callers want to pass unit
description as the last parameter. Those who don't can use the more
flexible manager_status_printf().

core/manager: make a couple of functions static

They're not used outside manager.c anymore.

core: add manager_status_printf()

unit_status_printf() checks the state of the manager, not of the unit
as such. Move it to manager.c and rename it to manager_status_printf().

Temporarily keep unit_status_printf as a wrapper macro.

core: keep track of the number of JOB_RUNNING jobs

man: document the new systemctl cgroup commands

systemctl: fix minimal number of params for new cgroup commands

update TODO

unit: rework resource management API

This introduces a new static list of known attributes and their special
semantics. This means that cgroup attribute values can now be
automatically translated from user to kernel notation for command line
set settings, too.

This also adds proper support for multi-line attributes.

systemctl: fix indentation

update TODO

man: clarify how to configure default control group hierarchies for services and sessions

Revert "log: fix fallbacks to kmsg"

This reverts commit 4a01181e460686d8b4a543b1dfa7f77c9e3c5ab8.

This patch broke LOG_TARGET_AUTO, i.e. automatic selection of STDERR if
it is a TTY with a fallback on the journal and kmsg otherwise.

The general rule should probably be:

log_open() -- open the "best" possible logging channel according to
log_target configuration.

log_dispatch() -- don't open any log channels ever, with the exception
of kmsg since that has no drawbacks. And do this only on true errors of
the better log channel, not just when it wasn't opened.

mount-setup: mount pstore filesystem

log-show: look at everything in /run/log/journal

Logs written by journald from the initramfs may be written to a
directory with the name created from a random machine-id. Afterwards,
when the root filesystem has been mounted and machine-id reinitalized,
logs will be written to the directory with a name created from the
proper machine-id. When logs are flushed to /var/log/journal,
everything is copied to one output directory.

When journalctl without '-m' is run after the logs have been flushed
to /var/log/journal, all messages are shown. However, when run while
logs are still in /run/log/journal, those stored under the random
machine-id will not be shown.

Make journalctl behave the same regardless whether persistent storage
has been enabled or not, and slurp all files from /run/log/journal
even without '-m'.

bash-completion: journalctl query by binary and device

The approach taken is different between the two:
- since there are many files in /usr, but messages appear
  only for a tiny subset, the completion is performed
  only for stuff shown by journalctl -F _EXE. This makes
  sense because the list is already in proper form.
- since it is hard to convert _KERNEL_DEVICE to device
  file name, simply all files in /dev/ are used as possible
  completions.

Unfortunately zsh completion requires more work and is not
covered by this commit.

update TODO, hackfest edition

test-util.c: added hexchar, unhexchar, octchar, unoctchar, decchar, undecchar tests

TODO: update

kernel-install: rename the loader entry filename

The wildcard matching the default loader entry should always be able to point to
the same machine.

So instead of sorting by <distribution>-<kernel-version>-<machine-id>
we better sort by <machine-id>-<kernel-version>.

kernel-install: create the loader entries with absolute paths relative to /boot

kernel-install: replace URLs with man pages in the error messages

kernel-install: fixed paths in boot loader entry

For the loader entry a relative path has to be used.

tests: add a few more tests to test-util.c

Add asserts on the resutls in FOREACH_WORD_QUOTED
Added tests for:
  FOREACH_WORD
  strstrip
  delete_chars
  in_charset

kernel-install: remove LANG=

nspawn: add --bind= and --bind-ro= to bind mount host paths into the container

kernel-install(8): add documentation about the configuration files used

kernel-install: add kernel-install tool

Revert "nspawn: catch config mistake of specifying -b and args"

This reverts commit cb96a2c69a312fb089fef4501650f4fc40a1420b.

It is not a mistake to pass args when -b is specified. They will simply
be passed on to the container's init.

The manpage needs fixing, that's true.

debug-shell: don't be picky, use /bin/sh rather than /bin/bash

In a minimal initramfs, one might not always have the full bash available.
Typically if using busybox.

build: remove explicit -shared in LDFLAGS

This doesn't need to be passed, as it's handled by libtool. Since the
default for autoconf is --disable-static, this change is effectively a
noop. It only matters if you pass --enable-static, in which case the
static libs for systemd libraries will actually be built.

Nitpicky, but this only affects systemd libs. The override for the
other libs remains since these libs are always loaded dynamically and
never compiled staticly.

journal: fix --until

https://bugs.freedesktop.org/show_bug.cgi?id=58946

nspawn: catch config mistake of specifying -b and args

test: test irreversible jobs

systemd-python: indenation and style tweaks

build-sys: move systemd-analyze to /usr/bin

systemd-python: downgrade _reader.c to C89

systemd-python: add casts and fix unused variable warnings in _reader

systemd-python: wrap some python differences using macros

systemd-python: introduce error setting helper

systemd-python: Added doc string for Journal

systemd-python: Journal convert_unicode exception handling change

Rather than catch all, is now limited to UnicodeDecodeError

systemd-python: add Journal method to add MESSAGE_ID match

systemd-python: fix memory leak in _reader and minor bugs

iternext now checks for error from get_next, and changed a DECREF to
XDECREF rather than NULL check

systemd-python: update Journal python docstrings

systemd-python: tidy up import names in journal

systemd-python: Journal this_boot/machine now accepts ID

systemd-python: remove unneeded ifdef for query_unique

systemd-python: _reader now takes unix timestamp in seconds

systemd-python: Update _reader docstrings

systemd-python: _reader add_match takes single string

python code now takes care of multiple matches

systemd-python: correct data_threshold error return value

systemd-python: updated _reader header to standard license

systemd-python: Moved _reader datetime usage to python

systemd-python: Tidy up _reader error handling

systemd-python: some python3 and bug fixes

systemd-python: implement this_boot/this_machine in Python

systemd-python: Journal log_level moved to python

sphinx: document Journal class too

systemd-python: move default call dicts from C to python

systemd-python: MESSAGE_ID as UUID for Journal

systemd-python: moved PyRun_String to journal.py code

systemd-python: add Journal class for reading journal

python: build html docs using sphinx

Build instructions:
   make
   make DESTIDIR=/tmp/... install
   make DESTIDIR=/tmp/... sphinx-html sphinx-man sphinx-epub ...

journalct: also print Python code in --new-id

python: utilize uuid.UUID in logging

python: add systemd.id128 module

uuid.UUIDs are utilized to hold UUID values.

TODO: drop two items

systemctl: generalize action table to be usable in more action<->verb mappings

Should be no functional change.

systemctl: make shutdown operations use irreversible jobs

Occasionally people report problem with reboot/poweroff operations hanging in
the middle. One known cause is when a new transaction to start a unit is
enqueued while the shutdown is going on. The start of the unit conflicts with
the shutdown jobs, so they get cancelled. The failure case can be quite unpleasant,
becase getty and sshd may already be stopped.

Fix it by using irreversible jobs for shutdown (reboot/poweroff/...) actions.
This applies to commands like "reboot", "telinit 6", "systemctl reboot". Should
someone desire to use reversible jobs, they can say "systemctl start reboot.target".`

core, systemctl: add support for irreversible jobs

Add a new job mode: replace-irreversibly. Jobs enqueued using this mode
cannot be implicitly canceled by later enqueued conflicting jobs.
They can however still be canceled with an explicit "systemctl cancel"
call.

systemctl: make "systemctl default" use "isolate" job mode

"systemctl default" should behave identically to "telinit N" (where N is the
corresponding runlevel target number), therefore it should use isolate job mode
too.

journal: sd_journal_get_cursor should return 0 on success

Documentation states that 0 is correct, and all other
similar functions return 0 on success.

Pointed-out-by: Steven Hiscocks <steven-systemd@hiscocks.me.uk>