core: unit_get_status_message_format() never returns NULL

unit_get_status_message_format() is used only with one of JOB_START,
JOB_STOP, JOB_RELOAD, all of which have fallback message strings
defined, so the function may never return NULL.

core: always try harder to get unit status message format string

The starting/stopping messages are printed to the console only if the
corresponding format string is defined in the unit's vtable. To avoid
excessive messages on the console, the unit types whose start/stop
jobs are instantaneous had the format strings intentionally undefined.
When logging the same event to the journal, a fallback to generic
Starting/Stopping/Reloading messages is used.

The problem of excessive console messages with instantaneous jobs
is already resolved in a nicer way ("core: fix confusing logging of
instantaneous jobs"), so there's no longer a need to have two ways of
getting the format strings. Let's fold them into one function with
the fallback to generic message strings.

core: correct return value from reload methods

Return 1 from *_reload() methods to signify "we did something", just
like in *_start(). This causes "Reloading foo..." messages to be logged.
"Reloaded foo." messages are already logged.

core: fix confusing logging of instantaneous jobs

For instantaneous jobs (e.g. starting of targets, sockets, slices, or
Type=simple services) the log shows the job completion
before starting:

        systemd[1]: Created slice -.slice.
        systemd[1]: Starting -.slice.
        systemd[1]: Created slice System Slice.
        systemd[1]: Starting System Slice.
        systemd[1]: Listening on Journal Audit Socket.
        systemd[1]: Starting Journal Audit Socket.
        systemd[1]: Reached target Timers.
        systemd[1]: Starting Timers.
        ...

The reason is that the job completes before the ->start() method returns
and only then does unit_start() print the "Starting ..." message.
The same thing happens when stopping units.

Rather than fixing the order of the messages, let's just not emit the
Starting/Stopping message at all when the job completes instantaneously.
The job completion message is sufficient in this case.

Merge pull request #626 from systemd-mailing-devs/1437135133-9646-2-git-send-email-vivenzio.pagliari@nokia.com

man: Typo fix in systemd.preset manpage

Merge pull request #614 from teg/bitmap-overflow

basic: bitmap - complete fix for bitshift overflow

basic: bitmap - complete fix for bitshift overflow

The bug found by David existed in several places, fix them all. Also
extend the tests to cover these cases.

Typo fix in systemd.preset manpage

Merge pull request #611 from dvdhrm/bitmap-fixes

Bitmap fixes

Merge pull request #607 from ssahani/vxlan1

networkd: move config parsers to specific header files

Merge pull request #610 from utezduyar/include-signal-header

cgtop: include missing signal.h for sigwinch

bitmap: avoid 32bit integer overflow in shift

We really must use 64bit integers to calculate long-long shifts.
Otherwise, we will never get higher masks than 2^31.

bitmap: allow bitmap_iterate() on NULL bitmap

Make sure we properly treat NULL bitmaps as empty. Right now, we don't
(which really looks like a typo).

cgtop: include missing signal.h for sigwinch

logind: never select closing sessions for a VT

If a session is in closing state (and already got rid of its VT), then
never re-select it for that VT. There is no reason why we should grant
something to a session that is already going away *AND* already got rid
of exactly that.

build: add ./test-bitmap to .gitignore

Make sure to ignore build files of Tom's recent test-bitmap addition.

logind: prefer new sessions over older ones on VT switches

Our seat->positions[] array keeps track of the 'preferred' session on a
VT. The only situation this is used, is to select the session to activate
when a VT is activated. In the normal case, there's only one session per
VT so the selection is trivial.

Older greeters, however, implement take-overs when they start sessions on
the same VT that the greeter ran on. We recently limited such take-overs
to VTs where a greeter is running on, to force people to never share VTs
in new code that is written.

For legacy reasons, we need to be compatible to old greeters, though.
Hence, we allow those greeters to implement take-over. In such take-overs,
however, we should really make sure that the new sessions gets preferred
over the old one under all circumstances. Hence, make sure we override
the previous preferred session with a new session.

Merge pull request #605 from dvdhrm/test-bus-proxy

sd-bus: add new test for NameAcquired via proxy/dbus-daemon

networkd: move config_parse_tunnel_address

move config_parse_tunnel_address from networkd.h to

tunnel specific file networkd-netdev-tunnel.h

networkd: move config_parse_vxlan_group_address

move config_parse_vxlan_group_address from
networkd.h to networkd-netdev-vxlan.h

sd-bus: add new test for NameAcquired via proxy/dbus-daemon

This adds test-bus-proxy which should be used to test correct behavior of
systemd-bus-proxyd. The first test that was added is to verify we actually
receive NameAcquired signals for ourselves on bus-connect.

Merge pull request #602 from teg/bitmap-iterator

bitmap: use external iterator

sd-bus: properly match ID changes

If the caller does not specify arg1 for NameOwnerChanged matches, we
really must take the ID from arg2 or arg3, if provided. They are
guaranteed to be identical to arg1 if either is supplied, but there is no
strict requiredment that arg1 is supplied. Hence, make sure to always
take the more restrictive match. Otherwise, we install rather wide
matches without anyone requiring them.

sd-bus: destination-matches cannot match NameOwnerChanged

Make sure we don't install NameOwnerChanged matches if the caller passed
a destination='' match (except if it is the broadcast address). Per spec,
all NameOwnerChanged signals are broadcasts.

Only the NameLost/NameAcquired signals are unicasts, but those are never
received through sd-bus. Instead, the bus-proxy synthesizes them and it
already installs proper matches for them.

sd-bus: fix invalid stack access on test-bus-marshal

Make sure we actually parse "unsigned long long" if we encode a uint64_t.
Otherwise, we will get random data from the stack.

bitmap: use external iterator

Reuse the Iterator object from hashmap.h and expose a similar API.

This allows us to do

{
    Iterator i;
    unsigned n;

    BITMAP_FOREACH(n, b, i) {
        Iterator j;
        unsigned m;

        BITMAP_FOREACH(m, b, j) {
            ...
        }
    }
}

without getting confused. Requested by David.

sd-bus: fix gvariant structure encoding

In gvariant, all fixed-size objects need to be sized a multiple of their
alignment. If a structure has only fixed-size members, it is required to
be fixed size itself. If you imagine a structure like (ty), you have an
8-byte member followed by an 1-byte member. Hence, the overall inner-size
is 9. The alignment of the object is 8, though. Therefore, the specs
mandates final padding after fixed-size structures, to make sure it's
sized a multiple of its alignment (=> 16).

On the gvariant decoder side, we already account for this in
bus_gvariant_get_size(), as we apply overall padding to the size of the
structure. Therefore, our decoder correctly skips such final padding when
parsing fixed-size structure.

On the gvariant encoder side, however, we don't account for this final
padding. This patch fixes the structure and dict-entry encoders to
properly place such padding at the end of non-uniform fixed-size
structures.

The problem can be easily seen by running:
    $ busctl --user monitor
and
    $ busctl call --user org.freedesktop.systemd1 / org.foobar foobar "(ty)" 777 8

The monitor will fail to parse the message and print an error. With this
patch applied, everything works fine again.

This patch also adds a bunch of test-cases to force non-uniform
structures with non-pre-aligned positions.

Thanks to Jan Alexander Steffens <jan.steffens@gmail.com> for spotting
this and narrowing it down to non-uniform gvariant structures. Fixes #597.

Merge pull request #588 from teg/resolved-nsec

resolved: add basic NSEC and NSEC3 support

build: add convenience target 'build-sources'

This target allows to trigger a build of $(BUILT_SOURCES) manually. This
is handy if you tend to use 'make systemd-foobar' to directly build a
single binary. Those do not pull in $(BUILT_SOURCES), unfortunately. See
automake docs for that.

sd-bus: fix object tree to be deeper than 2 levels

So right now our object-tree is limited to 2 levels at most
('/' and '/foo/...../bar'). We never link any intermediate levels, even
though that was clearly the plan. Fix the bus_node_allocate() helper to
actually link all intermediate nodes, too, not just the root node.

This fixes a simple inverse ptr-diff bug.

The downside of this fix is that we clearly never tested (nor used) the
object tree in any way. The only reason that the introspection works is
that our enumerators shortcut the object tree.

Lets see whether that code actually works..

Thanks to: Nathaniel McCallum <nathaniel@themccallums.org>
..for reporting this. See #524 for an actual example code.

sd-device: never return NULL+0

It is highly confusing if a getter function returns 0, but the value is
set to NULL. This, right now, triggers assertions as code relies on the
returned values to be non-NULL.

Like with sd-bus-creds and friends, return 0 only if a value is actually
available.

Discussed with Tom, and actually fixes real bugs as in #512.

sd-boot: ignore missing /etc/machine-id

If /etc/machine-id is missing (eg., gold images), we should not fail
installing sd-boot. This is a perfectly fine use-case and we should simply
skip installing the default loader config in that case.

resolved: rr - add NSEC3 support

Needed for DNSSEC.

basic: util - add base32hexmem() function similar to hexmem()

This implements more of RFC4648.

Merge pull request #587 from teg/unbase64mem-memleak

basic: util - fix memleak on error in unbase64mem()

resolved: rr - add NSEC support

Needed for DNSSEC.

basic: add a Bitmap implementation

For when a Hashmap is overkill.

basic: util - fix memleak on error in unbase64mem()

Merge pull request #538 from mischief/multiple-routers

sd-dhcp-lease: fix handling of multiple routers

We only support one router, but in case more than one is given, we now ignore subsequent ones, rather than fall over.

Merge pull request #586 from teg/resolved-rrs-3

resolved: minor improvements to RR handling

resolved: improve printing of unknown RRs

This implements the recommendations from RFC3597.

Merge pull request #585 from teg/resolved-harden-2

resolved: harden

Merge commit 'refs/pull/436/head' of https://github.com/systemd/systemd

This merges:
  sd-netlink: respect attribute type flags

..fixing a conflict due to a typo fix.

resolved: rr - add DS support

Needed for DNSSEC.

resolved: rr - print formated timestamps in RRSIG

resolved: use one UDP socket per transaction

We used to have one global socket, use one per transaction instead. This
has the side-effect of giving us a random UDP port per transaction, and
hence increasing the entropy and making cache poisoining significantly
harder to achieve.

We still reuse the same port number for packets belonging to the same
transaction (resent packets).

resolved: implement RFC5452

This improves the resilience against cache poisoning by being stricter
about only accepting responses that match precisely the requst they
are in reply to.

It should be noted that we still only use one port (which is picked
at random), rather than one port for each transaction. Port
randomization would improve things further, but is not required by
the RFC.

resolved: pin the server used in a transaction

We want to discover information about the server and use that in when crafting
packets to be resent.

Merge pull request #530 from dvdhrm/resolve-host-dbus

resolve-host: enable dbus-activation

Merge pull request #579 from ssahani/tap-vnet-hdr

networkd: tap add support for vnet_hdr

man:  add man for tap vnet_hdr

resolved: reference count the dns servers

We want to reference the servers from their active transactions, so make sure
they stay around as long as the transaction does.

resolved: packet - ensure there is space for IP+UDP headers

Currently we only make sure our links can handle the size of the payload witohut
taking the headers into account.

networkd: tap add support for vnet_hdr

 This patch adds support to configure IFF_VNET_HDR flag
for a tap device. It allows whether sending and receiving
large pass larger (GSO) packets. This greatly increases the
achievable throughput.

resolved: rr - print DNSKEY and RRSIG in base64

As mandated by RFC4034.

Merge pull request #576 from zonque/resolved-cleanups

resolved: assorted cleanups

resolved: make LLMNR checks conditional

Make all LLMNR related packet inspections conditional to p->protocol.
Use switch-case statements while at it, which will make future additions
more readable.

resolved: separate LLMNR specific header bits

The C and T bits in the DNS packet header definitions are specific to LLMNR.
In regular DNS, they are called AA and RD instead. Reflect that by calling
the macros accordingly, and alias LLMNR specific macros.

While at it, define RA, AD and CD getters as well.

resolved: use a #define for LLMNR port

De-duplicate some magic numbers.

resolved: move LLMNR related functions into separate file

Merge pull request #573 from cmacq2/html-man-fixes

Reproducible ID/name values for auto generated anchors in HTML output

doc: configure docbook stylesheet to generate reproducible IDs

This makes auto generated anchor tags in HTML output reproducible.

dhcp: add support for vendor specific DHCP option

This adds support for option 43 (Vendor Specific Information) to
libsystemd-network DHCP code. The option carries an opaque object of n
octets, interpreted by vendor-specific code on the clients and
servers.

[@zonque: adopted to new unhexmem() API]

Merge pull request #566 from teg/util-base64-2

util: add base64 handling

basic: util - add base64mem() function similar to hexmem()

This implements RFC4648 for a slightly more compact representation of
binary data compared to hex (6 bits per character rather than 4).

basic: util - fix errorhandling in unhexmem()

We were ignoring failures from unhexchar, which meant that invalid
hex characters were being turned into garbage rather than the string
rejected.

Fix this by making unhexmem return an error code, also change the API
slightly, to return the size of the returned memory, reflecting the
fact that the memory is a binary blob,and not a string.

For convenience, still append a trailing NULL byte to the returned
memory (not included in the returned size), allowing callers to
treat it as a string without doing a second copy.

Merge pull request #561 from cmacq2/html-man-fixes

Html man fixes

Merge pull request #558 from poettering/logind-bus-policy

logind: bring bus policy up-to-date

Merge pull request #556 from poettering/sd-bus-life-cycle

man: go further into details regarding life-cycle of default bus conn…

Merge pull request #554 from poettering/ntp-pool

build-sys: warn if people don't change the default NTP servers when b…

Merge pull request #553 from poettering/rt-group-sched

README: document that RT group sched should be turned off

Use a top-to-bottom numbering scheme for generating ids of subheadings and terms.
This scheme fixes permalinks to distinguish between items that would previously have the same ID attribute.

Where possible the generated ID values are the same as those generated with the previous versions of the stylesheet
to retain backwards compatibility with published links.

As a side effect of the changes xsltproc should no longer complain about duplicate IDs during build.

sd-dhcp-lease: fix handling of multiple routers

currently if a dhcp server sends more than one router, sd-dhcp-lease
does not copy the ip because it assumes it will only ever be 4 bytes. a
dhcp server could send more than one ip in the router list, so we should
copy the first one and ignore the rest of the bytes.

Merge pull request #559 from poettering/logind-osindications-missing

logind: some firmware implementations remove OsIndications if it is u…

logind: some firmware implementations remove OsIndications if it is unset

We shouldn't fall over that, and just assume it is 0 in this case.

Fixes #499.

logind: bring bus policy up-to-date

A while back we opened up all of logind's bus calls to unprivileged
users, via PK. However, the dbus1 policy wasn't updated accordingly.

With this change, the dbus1 policy is opened up for all bus calls that
should be available to unprivileged clients.

(also rearranges some calls in the vtable, to make more sense, and be in
line with the order in the bus policy file)

Fixes #471.

man: go further into details regarding life-cycle of default bus connection objects

This extends on PR #542.

README: document that RT group sched should be turned off

https://bugs.freedesktop.org/show_bug.cgi?id=87570
https://bugzilla.redhat.com/show_bug.cgi?id=1229700

Merge pull request #551 from poettering/fopen-temporary-noerrno

util: make sure we don't clobber errno in error path

Merge pull request #552 from poettering/path-is-mount-point-simplification

basic: simplify path_is_mount_point() a bit

build-sys: warn if people don't change the default NTP servers when building systemd

Also, explain the situation in the docs.

Relates to #437

basic: simplify path_is_mount_point() a bit

This removes two uses of the ternary operator.

util: make sure we don't clobber errno in error path

Merge pull request #535 from martinpitt/master

units: emergency.service: wait for plymouth to shut down

Merge pull request #548 from vcaputo/fix_path_state_debug_msg

core: include unit in path state transition debug logging.

core: include unit in path state transition debug logging.

Merge pull request #542 from utezduyar/sd_unref-might-keep-bus-alive

man: sd_unref does not necessarily free the bus

logind: rename 'pos' to 'position'

Spell out the proper name. Use 'pos' over 'position', and also update the
logind state file to do the same. Note that this breaks live updates.
However, we only save 'POSITION' on non-seat0, so this shouldn't bother
anyone for real. If you run multi-seat setups, you better restart a
machine on updates, anyway.

logind: allow greeters to take over VTs

Make sure a greeter can forcefully spawn a session on a VT that is
in-use. A recent patch prevented this (this used to be possible for all
session types) as it is highly fragile. However, as it turns out,
greeters seem to rely on that feature. Therefore, make sure we allow it
explicitly for greeters.

man: sd_unref does not necessarily free the bus

Document that sd_unref() does not necessarily free the bus,
even if no part of the program explicitly refs it, due to
the queued messages.

units: emergency.service: wait for plymouth to shut down

Merely calling "plymouth quit" isn't sufficient, as plymouth needs some time to
shut down. This needs plymouth --wait (which is a no-op when it's not running).

Fixes invisible emergency shell with plymouth running endlessly.

https://launchpad.net/bugs/1471258

Merge pull request #531 from dvdhrm/boot-buildid

boot: use BUILD_ID if VERSION_ID is not available

Merge pull request #532 from dvdhrm/bus-managed-root

sd-bus: include queried path in GetManagedObjects

basic/util.c fopen_temporary(): close fd if failed

Merge pull request #529 from dvdhrm/bus-slot-description

sd-bus: sd_bus_slot_get_description() should return const strings

Merge pull request #426 from tblume/reload-system-conf-at-daemon-reload

Reload manager defaults at daemon-reload

sd-bus: include queried path in GetManagedObjects

If GetManagedObjects is called on /foo/bar, then it should also include
the object /foo/bar, if it exists. Right now, we only include objects
underneath /foo/bar/.

This follows the behavior of existing dbus implementations.

Obsoletes #527 and fixes #525. Reported by: Nathaniel McCallum

boot: use BUILD_ID if VERSION_ID is not present

According to os-release(5), VERSION_ID is not mandatory and BUILD_ID only
needs to be unique underneath VERSION_ID. Therefore, assuming a missing
VERSION_ID field means 'empty', we can rely on BUILD_ID to be unique.

Use BUILD_ID if VERSION_ID is not present. This way, rolling-release
distros can still provide a proper os-release entry without crafting
random VERSION_ID strings.

This fixes #186.

boot: fix memleaks in os-release parser

There is no guarantee that the os-release section contains each key only
once, nor any guarantee that all keys are present. Make sure we properly
free memory in both cases.

Not that it matters much, as we're short-living, anyway. But correct code
is always nicer to read..

resolve-host: enable dbus-activation

Right now, systemd-resolve-host fails if resolved is not running.
However, resolved supports bus-activation (at least on kdbus) just fine.
Enable this so we can use resolve-host at all times.

This was disabled right from the beginning, without any comment why.