build-sys: always distribute systemd-consoled.service.in

Similar to how we handle other facilities that can be flagged out at
configure time, we should always distribute this input file.

http://lists.freedesktop.org/archives/systemd-devel/2014-December/026272.html

systemctl: handle correctly template units for edit verb

Previously, if we provided getty@.service to systemctl edit it would
have failed when using the bus because it is an invalid unit name.
But it would have succeeded when searching in the filesystem.

Now, we check if we have a template, if we do we search in the
filesystem, if we don't have a templae and we can use the bus, we do.

Furthermore, if we provided getty@tty1.service it would not have worked
when searching the filesystem, but it would have worked with the bus.
So now, when using the filesystem we use the template name and not the
unit name, and the same when logging errors.

(Also did a refactoring to avoid a long function)

test-unit-name: add more tests

Add more test cases for:
- unit_name_is_instance
- unit_name_to_instance

Add tests for:
- unit_name_template
- unit_name_is_template

journal: replace contexts hashmap with a plain array

try_context() is such a hot path that the hashmap lookup is expensive.

The number of contexts is small - it is the number of object types.
Using a hashmap is overkill. A plain array will do.

Before:
$ time ./journalctl --since=2014-06-01 --until=2014-07-01 > /dev/null

real    0m9.445s
user    0m9.228s
sys     0m0.213s

After:
$ time ./journalctl --since=2014-06-01 --until=2014-07-01 > /dev/null
real    0m5.438s
user    0m5.266s
sys     0m0.170s

journal: delete unused function mmap_cache_close_context

This never had any callers. Contexts are freed when the MMapCache is
freed.

journal: push type_to_context conversion down to journal_file_move_to()

journal: have a named enum ObjectType

journal: consistently use OBJECT_<type> names instead of numbers

Note that numbers 0 and -1 are both replaced with OBJECT_UNUSED,
because they are treated the same everywhere (e.g. type_to_context()
translates them both to 0).

journal: consistently allow type==0 to mean "any type"

If type==0 and a non-NULL object were given as arguments to
journal_file_hmac_put_object(), its object type check would fail and it
would return -EBADMSG.

All existing callers use either a positive type or -1. Still, for
behavior consistency with journal_file_move_to_object() let's allow
type 0 to pass.

journal: move type_to_context() to journal-file.c

It has no other callers. It does not need to be in the header file.

journal: remove journal_file_object_keep/release functions

The only user is sd_journal_enumerate_unique() and, as explained in
the previous commit (fed67c38e3 "journal: map objects to context set by
caller, not by actual object type"), the use of them there is now
superfluous. Let's remove them.

This reverts major parts of commits:
  ae97089d49 journal: fix access to munmapped memory in
             sd_journal_enumerate_unique
  06cc69d44c sd-journal: fix sd_journal_enumerate_unique skipping values

Tested with an "--enable-debug" build and "journalctl --list-boots".
It gives the expected number of results. Additionally, if I then revert
the previous commit ("journal: map objects to context set by caller, not
to actual object type"), it crashes with SIGSEGV, as expected.

journal: map objects to context set by caller, not by actual object type

When the caller of journal_file_move_to_object() specifies type==0,
the object header is at first mapped in context 0. Then after the header
is checked, the whole object is mapped in a context determined by
the actual object type (which is not even range-checked using
type_to_context()). This looks wrong. It should map in the
caller-specified context.

An old comment in sd_journal_enumerate_unique() supports this view:
    /* We do not use the type context here, but 0 instead,
     * so that we can look at this data object at the same
     * time as one on another file */
Clearly the expectation was that the data object will remain mapped
in context 0 without being pushed away by mapping other objects in
context OBJECT_DATA.

I suspect that this was the real bug that got fixed by ae97089d49
"journal: fix access to munmapped memory in sd_journal_enumerate_unique".
In other words, journal_file_object_keep/release are superfluous after
applying this patch.

journal: add debug mode for mmap-cache (--enable-debug=mmap-cache)

This is useful for exposing unsafe access to mmapped objects after
the context that they were mapped in was already moved.

For example:
journal_file_move_to_object(f1, OBJECT_DATA, p1, &o1);
journal_file_move_to_object(f2, OBJECT_DATA, p2, &o2);
t = o1->object.type; /* this usually works, but is unsafe */

configure.ac: add a generic --enable-debug, replace --enable-hashmap-debug

There will be more debugging options later.
 --enable-debug will enable them all.
 --enable-debug=hashmap will enable only hashmap debugging.

Also rename the C #define to ENABLE_DEBUG_* pattern.

shared/hashmap.h: fix comment

An early version used underscore prefixes for internal functions, but
the current version uses the prefix "internal_".

hwdb: add more mice

https://bugs.freedesktop.org/show_bug.cgi?id=87271

hwdb: sort mice by brand,type,dpi,frequency

This way entries from the same brand with the same dpi and frequency
can be coalesced. It is also visually easier to find the right DPI
than order hexadecimal identifiers.

networkctl: remove unused variable

wrap a few *_FOREACH macros in curly braces

cppcheck would give up with "syntax error" without them. This led
to reports of syntax errors in unrelated locations and potentially
hid other errors

update TODO

core: retry unmounting until we are done, in case of stacked mounts

networkctl: also draw a nice unicode cirlce when "networkctl status" is run without parameters

networkctl: show interface names next to IP addresses if we dump adresses from all interfaces

networkctl: also show gateway address when "networkctl status" without further arguments is passed

networkctl: show MAC address OUI vendor next to MAC addresses

test-cap-list: always check libcap comes to the same names as we do, for the names it knows

cap-list: return lower-case capability names, similar to libcap's cap_to_name(), for compat reasons

update TODO

man: fedora 21 has been release, suggest 21 as fedora version in example yum command line

nspawn: when booting in ephemeral mode, append random token to machine name

Also, when booting up an ephemeral container of / use the system
hostname as default machine name.

This way specifiyng -M is unnecessary when booting up an ephemeral
container, while allowing any number of ephemeral containers to run from
the same tree.

nspawn: allow spawning ephemeral nspawn containers based on the root file system of the OS

This works now:

        # systemd-nspawn -xb -D / -M foobar

Which boots up an ephemeral container, based on the host's root file
system. Or in other words: you can now run the very same host OS you
booted your system with also in a container, on top of it, without
having it interfere. Great for testing whether the init system you are
hacking on still boots without reboot the system!

nspawn: don't link journals in ephemeral mode

nspawn: properly unset arg_link_journal_try, when --link-journal= is specified

copy: use btrfs reflinking only whe we know we copy full files

bus: send attach flags on BUS_MAKE

Make sure to set send-attach-flags on BUS_MAKE. These control which
information is revealed about the bus-owner.

bus: fix assert() on HELLO error-path

Make sure we don't call into any bus_kernel_*() functions before
b->is_kernel is set to true. Hard-code the CMD_FREE just like the other
helpers do.

nspawn: beef up nspawn with some btrfs magic

This adds --template= to duplicate an OS tree as btrfs snpashot and run
it

This also adds --ephemeral or -x to create a snapshot of an OS tree and
boot that, removing it after exit.

copy: teach copy_bytes() btrfs reflink magic

gpt-auto-generator: make use of new btrfs-util.h APIs

shared: add new btrfs-util.[ch] helpers for doing common btrfs operation

shared: missing.h should include btrfs.h, before redefining some of its definitions

util: minor simplification for loop_write() and loop_read()

nspawn: properly validate machine names

seccomp-util.h: make sure seccomp-util.h can be included alone

path-util: no need to check whether p is absolute twice

udev-builtin-btrfs: properly initialize ioctl struct to zeroes

util: document why we have alloca_align()

util: when using basename() for creating temporary files, verify the resulting name is actually valid

Also, rename filename_is_safe() to filename_is_valid(), since it
actually does a full validation for what the kernel will accept as file
name, it's not just a heuristic.

journal: fix dangling 'else' ambiguity

Rework the sd-journal iterators to avoid dangling 'else' ambiguity. For a
detailed explanation, see:

    commit bff686e2a981ccd0888cdf1981977d24320f1770
    Author: David Herrmann <dh.herrmann@gmail.com>
    Date:   Fri Dec 12 09:43:54 2014 +0100

        hwdb: fix dangling 'else' ambuguity

hwdb: fix dangling 'else' ambuguity

Imagine the following use of hwdb:

    if (condition_A)
        SD_HWDB_FOREACH_PROPERTY(hwdb, modalias, key, value)
            operation_A(key, value);
    else
        log_error("...");

This should work just fine, but but definitely does not what you would
expect. Due to how SD_HWDB_FOREACH_PROPERTY is defined, the dangling
'else' is linked to the hidden 'if' statement in the macro instead of the
outer 'if (condition_A)'. This is unexpected and really annoying to debug.

Fix this by never leaving un-finished if-statements in
SD_HWDB_FOREACH_PROPERTY(). We simply inverse the if() statement and
explicitly add an 'else'-branch. This way, the statement is closed and all
ambuguities are resolved.

hwdb: FOREACH_HWDB_PROPERTY -> SD_HWDB_FOREACH_PROPERTY

Lets not pollute the global namespace. Prefix all our exported names and
macros with SD_HWDB_*.

hwdb: Update database of Bluetooth company identifiers

use correct format types

test-condition: add more test cases

test-strv: add test for strv_equal

test-execute: add tests for UMask directive

test-unit-name: add tests for %f

bus: sync with kdbus.git

Changes:
 * bloom parameters are returned in an offset via HELLO
 * FREE now takes items just like any other ioctl

tree-wide: use our memset() macros instead of memset() itself

treewide: correct spacing near eol in code comments

core: correct spacing near eol in code comments

shared: correct spacing near eol in code comments

journald: correct spacing near eol code comments

sd-bus: correct spacing near eol in code comments

networkd/resolved: correct spacing near eol in code comments

build-sys: fix user unit m4 logic

update TODO

sd-dhcp-client: log if we fail to set up lease timers

tests: udev - assume /etc/machine-id rather than /etc/hosts

On todays machines /etc/hosts is not mandatory. /etc/machine-id is though, so let's rely on that instead.

This makes the udev tests pass again for me.

libudev: make libudev-hwdb a wrapper around sd-hwdb

libsystemd: add sd-hwdb library

This is libudev-hwdb, but decoupled from libudev and in the libsystemd style.

The core code is unchanged, apart from the following minor changes:

 - hwdb.bin located in /**/systemd/hwdb/ take preference over the ones located
   in /**/udev/
 - properties are stored internally in an OrderedHashmap, rather than a
   linked list.
 - a new API call allows individual properties to be queried directly, rather
   than iterating over them all
 - the iteration over properties have been moved inside the library, rather than
   exposing a list directly
 - the unused 'flags' parameter was dropped

bus: sync with kdbus.git

Sync up with recent kdbus changed:
 * several ioctls gained .size and .items members (but still unused)
 * CMD_SEND gained its own ioctl structure
 * several members of kdbus_msg were dropped as they were only used during
   SEND, not during RECV etc.
 * CMD_RECV and CMD_SEND now share a kdbus_reply member which contains the
   offset and size of the returned message.

bus: zero cmd_free before passing to ioctl

Make sure the whole cmd_free object is zeroed before passing it into the
kernel. This makes valgrind happy and makes us future proof.

bus: fix memfd-cache regarding memfd offsets

We must restore part->mmap_begin when poping memfds from the memfd-cache.
We rely on the memfds to be unsealed, so we can be sure that we own the
whole FD. Therefore, simply set part->mmap_begin to the same as
part->data.

This fixes test-bus-kernel-benchmark.

TODO: update

Drop resolved kdbus issues.

localectl,man: make it obvious that set-*-keymaps sets both keymaps

https://bugs.freedesktop.org/show_bug.cgi?id=85411

zsh-completion: remove duplicate function

https://bugs.archlinux.org/task/43069

build-sys: update Lennart's private target

NEWS: minor wording improvement

build-sys: add missing file to CLEANFILES

NEWS: update contributors list

build-sys: bump package and library versions in preparation for 218 release

build-sys: turn off SMACK capabilities stuff for now, since it is incompatible with nspawn

update TODO

scope: make attachment of initial PIDs a bit more robust

core: don't migrate PIDs for units that may contain subcgroups, do this only for leaf units

Otherwise a slice or delegation unit might move PIDs around ignoring the
fact that it is attached to a subcgroup.

update TODO

core: properly pass unit file state to clients via the bus

build-sys: fix link-order

update TODO

sd-bus: make BUS_ERROR_MAP_ELF_USE() use a const variable

networkd: rename section [BridgePort] → [Bridge]

Let's stick to generic sections that describe the general technology,
instead of specific per-object sections, unless we really have a reason
to do that otherwise.

sd-bus: move common errors src/shared/bus-errors.h → src/libsystemd/sd-bus/bus-common-errors.h

Stuff in src/shared/ should not use stuff from src/libsystemd/ really.

networkd-dhcp6: Support ICMPv6 Other information

When ICMPv6 Other information is received, enable Information request
in DHCPv6. If the DHCPv6 client already exists, only update the client
if there is a transition from Other to Managed state.

networkd-dhcp6: Move ICMPv6 and DHCPv6 configuration to new file

Handle all aspects of ICMPv6 and DHCPv6 in a file of its own as is done
with DHCPv4 and IPv4LL.

test-dhcp6-client: Add a simple Information Request test case

Start the DHCPv6 test case by sending an Information Request, verifying
the reply and continuing at once with the normal address acquisition
procedure. Reuse the DHCPv6 Solicit Reply so that the client code is
verified to ignore any erroneously added IPv6 address information.

sd-dhcp6-client: Implement Information Request message

Implement Information Request message according to RFC 3315, section
18.1.5. with the excepion that the first message is not delayed by a
random amount. Instead systemd-networkd is supposed to take care of
desynchronizing between other clients.

Initialize the DHCPv6 client structure in sd_dhcp6_client_start()
as this allows toggling between information request and normal
DHCPv6 address aquisition modes.

sd-dhcp6-lease: Return only -EINVAL when a NULL lease is supplied

Suppyling a NULL lease is not a condition that needs to be asserted,
returning -EINVAL is informative enough to the caller. This simplifies
calling code and doesn't falsely indicate that something erroneous was
attempted.

sd-dhcp6-client: Make end of successfull option parsing explicit

When all DHCPv6 options have been parsed, dhcp6_option_parse() returns
-ENOMSG. Explicitely set the return value to indicate success so that
later code does not need to take this special value into account.

hwdb: fix typo