systemd-python: split .seek() into .seek_head() and .seek_tail()

This way python code follows the original interface more closely.
Also, .seek(0, journal.SEEK_END) was just to much to type.

systemd-python: catch only ValueErrors in conversion code

First of all, 'try: ... except: ...' (with no exception specified) is
always a no-no, since it catches all BaseExceptions, which includes ^C
and other stuff which should almost never be caught.

Now the conversion is stricter, and only one conversion is attempted,
and only a ValueEror is caught. It seems reasonable to catch ValueErrors,
since the entries in the journal are not verified, and any erroneous
application might log a field which cannot be converted. The consumer
of events must only check if a field is an instance of bytes and can
otherwise assume that the conversion was performed correctly.

Order of arguments in Reader.__init__ has been changed to match order
in _Reader.__init__.

Conversions have been updated to work under Python 2 and 3.

man: fix compilation of example

service: sysv - properly handle init scripts with .sh suffix

Dropping the distribution specific #ifdefs in
88516c0c952b9502e8ef1d6a1481af61b0fb422d broke the .sh suffix stripping
since we now always used the else clause of the rc. check.

We eventually want to drop the rc. prefix stripping, but for now we
assume that no sysv init script uses both an rc. prefix and .sh suffix,
so make the check for the .sh suffix and rc. prefix mutually exclusive.

libsystemd-journal: export new function, increase library version

Since sd_journal_reliable_fd wasn't exported before, it is as if
it was added now. Library "current" number must be bumped.

michich> Someone links with the fixed version and produces a RPM with
         his program. The RPM will happily install on a system with an
         old systemd version (the deps will appear fine), but the
         program will fail to run.

README: more CONFIG_* updates

README: remove CONFIG_HOTPLUG, add CONFIG_NET

README: add kernel config options

journal: properly advertise sd_journal_reliable_fd

sd_journal_reliable_fd was added in 85210bffd836, but it was
exported under the wrong name. Not too many users I guess.

build-sys: add missing $

Fixup for 25ee45f99.

core: add missing comma for NonewPrivileges=

https://bugzilla.redhat.com/show_bug.cgi?id=917404

bus: Escape environment-based D-Bus addresses properly

If XDG_RUNTIME_DIR contains a character like ":" (for instance if it's
formed from an X11 display name), then it isn't valid to substitute
it into a D-Bus address without escaping.

http://bugs.freedesktop.org/show_bug.cgi?id=60499

manager: remove timer fd explicitly from epoll

Forked processes can keep the old fd alive triggering epoll over and
over again else.

https://bugs.freedesktop.org/show_bug.cgi?id=61697

main: ISOLATE rather than REPLACE default.target

This allows switch-root to work correctly if a unit is active both before and
after the switch-root, but its dependencies change. Before the patch, any
dependencies added to active units by switch-root will not be pulled, in
particular filesystems configured in /etc/fstab would not be activated if
local-fs.target was active in the initrd.

It is not clear to me if there is a bug in the REPLACE handling, or if it is
working as expected and that we really want to use ISOLATE instead as this patch
does.

update TODO

timedated: add CanNTP property

If we can't successfully query any ntpd units, set CanNTP to false.

GNOME wants to use this to grey out the NTP switch in the UI.

https://bugs.freedesktop.org/show_bug.cgi?id=61816

units: run systemd-ask-password-console.service after systemd-vconsole-setup.service

initrd-parse-etc.servic: force start local-fs.target

Revert "add initrd-fs.target and initrd-fs-pre.target"

This reverts commit 39b83cdab37623a546344622db9bbbc784c15df5.

Revert "units/initrd-*: require initrd-fs.target rather than local-fs.target"

This reverts commit 7d89ce303fb59743a4392eeb3110c00f100172ca.

systemd-python: fix error check in _Reader.wait()

journal/tests: free allocated memory in test

zsh-completion: journalctl query by binary and device

implement 1883552c3d8 from bash completion in zsh-completion

hostnamed: allow more special characters in pretty hostname

this addresses the bug at:
  https://bugs.freedesktop.org/show_bug.cgi?id=59311
  https://bugzilla.redhat.com/show_bug.cgi?id=895299

hostnamectl is supposed to allow a range of special characters for
the 'pretty' hostname:
  $ hostnamectl set-hostname --pretty "Nathaniels Desktop !@#$%"
..however, it rejects apostrophes, double quotes, and backslashes.
The manual for hostnamectl suggests that this should be allowed.

It makes sense to reject \0, \n, etc. pretty_string_is_safe() is
the same as string_is_safe(), but allows more special characters.

util: properly escape corner cases in bus_path_escape(), too

This follows the suggestions from:

http://lists.freedesktop.org/archives/systemd-devel/2013-March/009363.html

inhibit: print --list if no argument is given

Fix typos

journal: make gatewayd run under its own user ID

README: add udev goups

update TODO

journald: introduce new "systemd-journal" group and make it own the journal files

Previously all journal files were owned by "adm". In order to allow
specific users to read the journal files without granting it access to
the full "adm" powers, introduce a new specific group for this.

"systemd-journal" has to be created by the packaging scripts manually at
installation time. It's a good idea to assign a static UID/GID to this
group, since /var/log/journal might be shared across machines via NFS.

This commit also grants read access to the journal files by default to
members of the "wheel" and "adm" groups via file system ACLs, since
these "almost-root" groups should be able to see what's going on on the
system. These ACLs are created by "make install". Packagers probably
need to duplicate this logic in their postinst scripts.

This also adds documentation how to grant access to the journal to
additional users or groups via fs ACLs.

journald: stpcpy() + mempcpy() are awesome

journald: drop splitting-by-audit entirely

Thinking about it we should probably not hide bugs by falling back to
audit when we have our own session information anyway.

journald: be a bit more careful when spitting up journals by user id

journald: check session owner UID rather then audit ID when splitting up journal files

We should always go by our own cgroup hierarchy before using foreign
schemes such as audit, so let's do that for the split out logic too.

Revert "fstab-generator: place initrd /sysroot mounts in initrd-fs.target"

This reverts commit 8330847e949fc0c26b16910e5240eef1fe2c330a.

Conflicts:
src/fstab-generator/fstab-generator.c

update TODO

logind: when registering a new session always use previous session info from cgroup path rather than audit

Previously for cases like "su" or "sudo" where a session is attempted to
be created from within an existing one we used the audit session ID to
detect this and in such a case we simple returned the session data of
the original session a second time.

With this change we will now use the cgroup path of the calling path to
determine the old session, i.e. we only rely on our own session
identification scheme, instead of audits.

We will continue to keep the audit session ID and ours in sync however,
to avoid unnecessary confusion.

build-sys: build and install systemd-coredumpctl conditionally

If coredump support is disabled via --disable-coredump, do not build and
install the systemd-coredumpctl binary and man page.

fstab-generator: only handle block devices with root= kernel command line parameter

skip s.th. like root=nfs:... root=iscsi:... root=nbd:...

fstab-generator: place initrd /sysroot mounts in initrd-fs.target

also do not overwrite /sysroot*.mount units already generated from fstab

units/initrd-*: require initrd-fs.target rather than local-fs.target

add initrd-fs.target and initrd-fs-pre.target

build-sys: do not install pam_systemd(8) without PAM

build-sys: do not install logind manpages when disabled

The condition was wrong: HAVE_PAM -> ENABLE_LOGIND.

ProFUSION got bought by Intel

journal: split journal uid only when audit uid data is valid

core/manager: fix conditions to start and stop watching running jobs

Harald encountered division by zero in manager_print_jobs_in_progress.
Clearly we had the watch enabled when we shouldn't - there were no
running jobs in m->jobs, only waiting ones. This is either a deadlock,
or maybe some of them would be detected as runnable in the next dispatch
of the run queue. In any case we mustn't crash.

Fix it by starting and stopping the watch based on n_running_jobs
instead of the number of all jobs.

tmpfiles: use cleanup func. to save a few lines

tmpfiles: move exclamation mark into right place

Unary not has higher precedence than comparisons,
so the condition was bogus.

core/path: install inotify watches top-down instead of bottom-up

When watches are installed from the bottom, it is always possible
to race, and miss a file creation event. The race can be avoided
if a watch is first established for a parent directory, and then for
the file in the directory. If the file is created in the time between,
the watch on the parent directory will fire.

Some messages (mostly at debug level) are added to help diagnose
pidfile issues.

Should fix https://bugzilla.redhat.com/show_bug.cgi?id=917075.

build-sys: be more tolerant if dbus directories do not exist

use readlink -m instead of -f since we might be building in a minimal
chroot where those directories do not actually exist and readlink -f
would return an empty string.

build-sys: resolve absolute path for the dbus directories

/usr/share/dbus-1/system-services simply looks a lot nicer then
/usr/share/dbus-1/services/../system-services

build-sys: replace backticks `` with $()

for consistencies sake use $() everywhere

build-sys: don't hard code bash-completion directory

build-sys: use $PKG_CONFIG instead of calling the pkg-config binary directly

udev: fix segfault with android rndis

The android gadget driver for network tethering over rndis somehow has a
parent device with a null subsystem.  Probably this is bug in android driver,
but it is easy enough to make systemd/udev behave gracefully and not
segfault.  And this will help for making linux distros with systemd
(like fedora) work on android devices.

udev: remove database conversion code

udev: firmware - do not created /run/udev/firmware-missing/

The userspace firmware loader is deprecated now, and will be entirely
removed when we depend on a kernel version with the built-in firmware
loader available.

journald: do not barf when setting RateLimitInterval=0

Assertion 'interval > 0 || burst == 0' failed at src/journal/journald-rate-limit.c:78, function journal_rate_limit_new(). Aborting.

core/service: use cleanup functions, wrap lines

core/path: catch errors when adding watches

Errors because of oom conditions or descriptor exhaustion should not
be ignored. We probably cannot recover from those conditions.

Current behaviour wrt. insufficient permissions is described in the
man page. It might make sense in case of user sessions, so I left
it as is.

core/path: modernize style

core/path: use automatic cleanup

... and fix bogus return code on malloc failure.

core/path: fix a leak in success path

... and use automatic cleanup.

Update TODO

bash-completion: split completions and move to new location

Split the large bash completion script into separate, smaller files each
named after the binary it is used for and move the files to
/usr/share/bash-completion/completions. This way the completions can be
loaded on demand and we only install the completions for the tools we
actually build. The old path /etc/bash_completion.d/ is deprecated and
will disappear in the future.

job: print the "OK" status messages in normal green

The "OK" status messages should not draw attention to themselves.
It's better if they're not printed in bright/bold. Leave that
to errors and warnings.

Use a plain inconspicuous enterprisey green.

manager: turn a superfluous check into assert

The crash that the check prevented has been fixed by commit 9e9e2b7.

unit: count deserialized job only after it's definitely installed

Installation of a deserialized job may fail (though purely in theory),
so increase the running job counter only when succeeding.

initrd: add unit files needed for basic systemd-in-initrd support

This will:
 * mount all configured filesystems (typically the rootfs on /sysroot)
 * reload the configuration to pick up anything from the mounted fs (typically
   /sysroot/etc/fstab)
 * mount any newly configured filesystems (typically /usr on /sysroot/usr, if
   applicable)
 * shut-down and clean-up any daemons running in the initramfs (typically udevd)
 * switch-root to /sysroot and start the real init

For an example of what files should be included in an initramfs based on this
see
<https://mailman.archlinux.org/pipermail/arch-projects/2013-February/003628.html>.

Cc: Harald Hoyer <harald.hoyer@gmail.com>
Cc: Dave Reisner <d@falconindy.com>

fstab-generator: initrd - mount selected entries from /sysroot/etc/fstab

We only mount "/usr" and entries marked with "x-initrd.mount".

This (together with the right unit files) is needed in the initramfs in order to
natively support mounting /usr (and friends) from the initramfs.

The way it is meant to work is:
 * wait for sysroot.mount to be mounted
 * do a daemon-reload to generate sysroot-usr.mount (++) from /sysroot/etc/fstab
 * wait for sysroot-usr.mount to be mounted
 * switch-root

Cc: Harald Hoyer <harald.hoyer@gmail.com>
Cc: Dave Reisner <d@falconindy.com>

systemctl: check if iterator was initialized succesfully

manager: print p and then free it

systemd-analyze: free unit_times only if it is not NULL

systemd-python: add missing check for return of PyDict_SetItem in _reader.c

fstab-generator: drop rootwait support

I originally added this to stay as compatible as possible with the kernel, but
as Lennart argued it is not really useful in the initramfs, so let's drop it (we
already don't support 'rootdealy').

update TODO

inhibit: make the output more readable

The columnar output can become pretty horrible. When GNOME inhibits
power/suspend/hibernate keys, the "WHAT" column's text extends to "WHO"
and even "WHY". At the same time, all texts in "WHY" are of the form

    GNOME handlin...sses
    Receiving sle...ions
    GNOME needs t...reen

This patch splits each inhibit entry into four lines, allowing the full
text to fit in a normal-width terminal.

coredump: bump coredump truncation size from 24M to 768M

In the long run we really should make this runtime configurable.

core: fix running jobs counters after reload/reexec

All active units will call unit_notify() during coldplug, so we just
make sure we're counting from zero again and get the correct result for
n_on_console.

For n_running_jobs we likewise reset it to zero and then count
the running jobs as we encounter them in deserialization.

fstab-generator: set "ro" as default for sysroot.mount

fstab-generator: fix commit 92094b7

unit: fix the race in deserialization.

unit_notify is fired in deserelization code (particulary in
service_set_state). Units passed in random order, and there is possibility,
that unit with StopWhenUnneeded=yes passed before it actual dependecies. In
that case unit will be stopped as unneeded, because deps in UNIT_INACTIVE state
yet.

So, reuse similar logic (unit.c:1421) to avoid this race

fstab-generator: parse_new_root_from_proc_cmdline() don't use "defaults"

Don't use "defaults" as default option string.

"defaults,<anyotheroption>" does not
even work for the mount unit mount options.

manager: prevent segfault in manager_print_jobs_in_progress()

cryptsetup-generator: fix the kernel command line strategy for luks.uuid

If rd.luks.uuid or luks.uuid is specified on the kernel command, only
generate units for these UUIDs. Additionally use the information in
/etc/crypttab unless rd.luks.crypttab=0 or luks.crypttab=0 is specified.

specifier: when resolving specifier strings when loading configuration, don't misunderstand parse failures as OOM

http://lists.freedesktop.org/archives/systemd-devel/2013-February/009179.html

fstab,mount: detect rbind as bind mount

Correctly detect rbind mount option as bind mount.

Fixes https://bugzilla.novell.com/show_bug.cgi?id=804575.

journalctl: add --user-unit= switch

Add --user-unit= to make it possible to query for user logs by the name
of the service.

path-lookup: downgrade again the messages where we log for units

This partially reverts 7ad94c716d6403233d04c4d37cb14df958c9b65d.

After that commit commands such as "systemctl enable" and friends
printed the search path information multiple times in its output, which
is ugly.

If we want the search paths to be printed at a higher log level, then we
should do this in PID 1 only, i.e. split the printing out of the normal
path lookup logic and invoke that explicitly from PID 1 but not in the
auxiliary tools.

Revert "systemctl: try to reload daemon after enable/disable only when not running in a chroot"

This reverts commit 5522a1fa876f1ab94a2accaadca824799fdf2cab.

I am an idiot, the chroot case was already filtered out, so no point in
checking this again.

systemctl: try to reload daemon after enable/disable only when not running in a chroot

http://lists.freedesktop.org/archives/systemd-devel/2013-February/009208.html

pager: add K to less environment

Using less as a pager sometimes breaks terminal when output
is interrupted by ctrl-c.

Reproducer: run 'sudo journalctl' ctrl-c.

Thanks mbriza@redhat.com for the solution.

journalctl: add --reverse option to show the newest lines first

Merge branch 'python-systemd-reader'

* python-systemd-reader:
  python-systemd: rename Journal to Reader
  build-sys: upload python documentation to freedesktop.org
  systemd-python: add Journal class for reading journal
  python: build html docs using sphinx
  journalct: also print Python code in --new-id
  python: utilize uuid.UUID in logging
  python: add systemd.id128 module
  ... and 34 other commits

In short: python module systemd.id128 is added, and existing
systemd.journal gains a new class systemd.journal.Reader, which can be
used to iterate over journal entries. Documentation is provided, and
accessible under e.g.
    pydoc3 systemd.journal.Reader
or
    firefox http://www.freedesktop.org/software/systemd/man/python-systemd/

python-systemd: rename Journal to Reader

It seems inevitable that we'll also grow a writing interface,
and then it'll be cumbersome to have a "Journal" for reading,
and a "Writer" for writing.

systemd-python: return both parts of sd_journal_get_monotonic_usec

In Python 3, a named tuple is used. In Python 2, a simple
tuple is used. In either case, the pair is (timestamp, bootid).

python-systemd: check all errors and use automatic cleanup

__REALTIME_TIMESTAMP and __MONOTONIC_TIMESTAMP return ints.
It doesn't make sense to convert to string, just to convert
back to a number later on.

Also try to follow systemd rules for indentation.

build-sys: upload python documentation to freedesktop.org