build-sys: Use slim LTO objects if possible

While 235c6e6 gets LTO builds running again, it goes back to using fat
LTO objects instead of using gcc-{ar,nm,ranlib}. Building these fat
objects takes significantly more time.

Use the suggested solution and look for gcc-{ar,nm,ranlib}, which launch
the binutils tools with the appropriate --plugin parameter. GCC versions
that do not ship these should either default to -ffat-lto-objects or do
not support LTO at all.

On another note, nm from binutils 2.25 seems to be smart enough to load
the LTO plugin when needed without having to specify --plugin.

Merge pull request #602 from teg/bitmap-iterator

bitmap: use external iterator

sd-bus: properly match ID changes

If the caller does not specify arg1 for NameOwnerChanged matches, we
really must take the ID from arg2 or arg3, if provided. They are
guaranteed to be identical to arg1 if either is supplied, but there is no
strict requiredment that arg1 is supplied. Hence, make sure to always
take the more restrictive match. Otherwise, we install rather wide
matches without anyone requiring them.

sd-bus: destination-matches cannot match NameOwnerChanged

Make sure we don't install NameOwnerChanged matches if the caller passed
a destination='' match (except if it is the broadcast address). Per spec,
all NameOwnerChanged signals are broadcasts.

Only the NameLost/NameAcquired signals are unicasts, but those are never
received through sd-bus. Instead, the bus-proxy synthesizes them and it
already installs proper matches for them.

sd-bus: fix invalid stack access on test-bus-marshal

Make sure we actually parse "unsigned long long" if we encode a uint64_t.
Otherwise, we will get random data from the stack.

bitmap: use external iterator

Reuse the Iterator object from hashmap.h and expose a similar API.

This allows us to do

{
    Iterator i;
    unsigned n;

    BITMAP_FOREACH(n, b, i) {
        Iterator j;
        unsigned m;

        BITMAP_FOREACH(m, b, j) {
            ...
        }
    }
}

without getting confused. Requested by David.

sd-bus: fix gvariant structure encoding

In gvariant, all fixed-size objects need to be sized a multiple of their
alignment. If a structure has only fixed-size members, it is required to
be fixed size itself. If you imagine a structure like (ty), you have an
8-byte member followed by an 1-byte member. Hence, the overall inner-size
is 9. The alignment of the object is 8, though. Therefore, the specs
mandates final padding after fixed-size structures, to make sure it's
sized a multiple of its alignment (=> 16).

On the gvariant decoder side, we already account for this in
bus_gvariant_get_size(), as we apply overall padding to the size of the
structure. Therefore, our decoder correctly skips such final padding when
parsing fixed-size structure.

On the gvariant encoder side, however, we don't account for this final
padding. This patch fixes the structure and dict-entry encoders to
properly place such padding at the end of non-uniform fixed-size
structures.

The problem can be easily seen by running:
    $ busctl --user monitor
and
    $ busctl call --user org.freedesktop.systemd1 / org.foobar foobar "(ty)" 777 8

The monitor will fail to parse the message and print an error. With this
patch applied, everything works fine again.

This patch also adds a bunch of test-cases to force non-uniform
structures with non-pre-aligned positions.

Thanks to Jan Alexander Steffens <jan.steffens@gmail.com> for spotting
this and narrowing it down to non-uniform gvariant structures. Fixes #597.

Merge pull request #588 from teg/resolved-nsec

resolved: add basic NSEC and NSEC3 support

build: add convenience target 'build-sources'

This target allows to trigger a build of $(BUILT_SOURCES) manually. This
is handy if you tend to use 'make systemd-foobar' to directly build a
single binary. Those do not pull in $(BUILT_SOURCES), unfortunately. See
automake docs for that.

sd-bus: fix object tree to be deeper than 2 levels

So right now our object-tree is limited to 2 levels at most
('/' and '/foo/...../bar'). We never link any intermediate levels, even
though that was clearly the plan. Fix the bus_node_allocate() helper to
actually link all intermediate nodes, too, not just the root node.

This fixes a simple inverse ptr-diff bug.

The downside of this fix is that we clearly never tested (nor used) the
object tree in any way. The only reason that the introspection works is
that our enumerators shortcut the object tree.

Lets see whether that code actually works..

Thanks to: Nathaniel McCallum <nathaniel@themccallums.org>
..for reporting this. See #524 for an actual example code.

sd-device: never return NULL+0

It is highly confusing if a getter function returns 0, but the value is
set to NULL. This, right now, triggers assertions as code relies on the
returned values to be non-NULL.

Like with sd-bus-creds and friends, return 0 only if a value is actually
available.

Discussed with Tom, and actually fixes real bugs as in #512.

sd-boot: ignore missing /etc/machine-id

If /etc/machine-id is missing (eg., gold images), we should not fail
installing sd-boot. This is a perfectly fine use-case and we should simply
skip installing the default loader config in that case.

resolved: rr - add NSEC3 support

Needed for DNSSEC.

basic: util - add base32hexmem() function similar to hexmem()

This implements more of RFC4648.

Merge pull request #587 from teg/unbase64mem-memleak

basic: util - fix memleak on error in unbase64mem()

resolved: rr - add NSEC support

Needed for DNSSEC.

basic: add a Bitmap implementation

For when a Hashmap is overkill.

basic: util - fix memleak on error in unbase64mem()

Merge pull request #538 from mischief/multiple-routers

sd-dhcp-lease: fix handling of multiple routers

We only support one router, but in case more than one is given, we now ignore subsequent ones, rather than fall over.

Merge pull request #586 from teg/resolved-rrs-3

resolved: minor improvements to RR handling

resolved: improve printing of unknown RRs

This implements the recommendations from RFC3597.

Merge pull request #585 from teg/resolved-harden-2

resolved: harden

Merge commit 'refs/pull/436/head' of https://github.com/systemd/systemd

This merges:
  sd-netlink: respect attribute type flags

..fixing a conflict due to a typo fix.

resolved: rr - add DS support

Needed for DNSSEC.

resolved: rr - print formated timestamps in RRSIG

resolved: use one UDP socket per transaction

We used to have one global socket, use one per transaction instead. This
has the side-effect of giving us a random UDP port per transaction, and
hence increasing the entropy and making cache poisoining significantly
harder to achieve.

We still reuse the same port number for packets belonging to the same
transaction (resent packets).

resolved: implement RFC5452

This improves the resilience against cache poisoning by being stricter
about only accepting responses that match precisely the requst they
are in reply to.

It should be noted that we still only use one port (which is picked
at random), rather than one port for each transaction. Port
randomization would improve things further, but is not required by
the RFC.

resolved: pin the server used in a transaction

We want to discover information about the server and use that in when crafting
packets to be resent.

Merge pull request #530 from dvdhrm/resolve-host-dbus

resolve-host: enable dbus-activation

Merge pull request #579 from ssahani/tap-vnet-hdr

networkd: tap add support for vnet_hdr

man:  add man for tap vnet_hdr

resolved: reference count the dns servers

We want to reference the servers from their active transactions, so make sure
they stay around as long as the transaction does.

resolved: packet - ensure there is space for IP+UDP headers

Currently we only make sure our links can handle the size of the payload witohut
taking the headers into account.

networkd: tap add support for vnet_hdr

 This patch adds support to configure IFF_VNET_HDR flag
for a tap device. It allows whether sending and receiving
large pass larger (GSO) packets. This greatly increases the
achievable throughput.

resolved: rr - print DNSKEY and RRSIG in base64

As mandated by RFC4034.

Merge pull request #576 from zonque/resolved-cleanups

resolved: assorted cleanups

resolved: make LLMNR checks conditional

Make all LLMNR related packet inspections conditional to p->protocol.
Use switch-case statements while at it, which will make future additions
more readable.

resolved: separate LLMNR specific header bits

The C and T bits in the DNS packet header definitions are specific to LLMNR.
In regular DNS, they are called AA and RD instead. Reflect that by calling
the macros accordingly, and alias LLMNR specific macros.

While at it, define RA, AD and CD getters as well.

resolved: use a #define for LLMNR port

De-duplicate some magic numbers.

resolved: move LLMNR related functions into separate file

Merge pull request #573 from cmacq2/html-man-fixes

Reproducible ID/name values for auto generated anchors in HTML output

doc: configure docbook stylesheet to generate reproducible IDs

This makes auto generated anchor tags in HTML output reproducible.

dhcp: add support for vendor specific DHCP option

This adds support for option 43 (Vendor Specific Information) to
libsystemd-network DHCP code. The option carries an opaque object of n
octets, interpreted by vendor-specific code on the clients and
servers.

[@zonque: adopted to new unhexmem() API]

Merge pull request #566 from teg/util-base64-2

util: add base64 handling

basic: util - add base64mem() function similar to hexmem()

This implements RFC4648 for a slightly more compact representation of
binary data compared to hex (6 bits per character rather than 4).

basic: util - fix errorhandling in unhexmem()

We were ignoring failures from unhexchar, which meant that invalid
hex characters were being turned into garbage rather than the string
rejected.

Fix this by making unhexmem return an error code, also change the API
slightly, to return the size of the returned memory, reflecting the
fact that the memory is a binary blob,and not a string.

For convenience, still append a trailing NULL byte to the returned
memory (not included in the returned size), allowing callers to
treat it as a string without doing a second copy.

Merge pull request #561 from cmacq2/html-man-fixes

Html man fixes

Merge pull request #558 from poettering/logind-bus-policy

logind: bring bus policy up-to-date

Merge pull request #556 from poettering/sd-bus-life-cycle

man: go further into details regarding life-cycle of default bus conn…

Merge pull request #554 from poettering/ntp-pool

build-sys: warn if people don't change the default NTP servers when b…

Merge pull request #553 from poettering/rt-group-sched

README: document that RT group sched should be turned off

Use a top-to-bottom numbering scheme for generating ids of subheadings and terms.
This scheme fixes permalinks to distinguish between items that would previously have the same ID attribute.

Where possible the generated ID values are the same as those generated with the previous versions of the stylesheet
to retain backwards compatibility with published links.

As a side effect of the changes xsltproc should no longer complain about duplicate IDs during build.

sd-dhcp-lease: fix handling of multiple routers

currently if a dhcp server sends more than one router, sd-dhcp-lease
does not copy the ip because it assumes it will only ever be 4 bytes. a
dhcp server could send more than one ip in the router list, so we should
copy the first one and ignore the rest of the bytes.

Merge pull request #559 from poettering/logind-osindications-missing

logind: some firmware implementations remove OsIndications if it is u…

logind: some firmware implementations remove OsIndications if it is unset

We shouldn't fall over that, and just assume it is 0 in this case.

Fixes #499.

logind: bring bus policy up-to-date

A while back we opened up all of logind's bus calls to unprivileged
users, via PK. However, the dbus1 policy wasn't updated accordingly.

With this change, the dbus1 policy is opened up for all bus calls that
should be available to unprivileged clients.

(also rearranges some calls in the vtable, to make more sense, and be in
line with the order in the bus policy file)

Fixes #471.

man: go further into details regarding life-cycle of default bus connection objects

This extends on PR #542.

README: document that RT group sched should be turned off

https://bugs.freedesktop.org/show_bug.cgi?id=87570
https://bugzilla.redhat.com/show_bug.cgi?id=1229700

Merge pull request #551 from poettering/fopen-temporary-noerrno

util: make sure we don't clobber errno in error path

Merge pull request #552 from poettering/path-is-mount-point-simplification

basic: simplify path_is_mount_point() a bit

build-sys: warn if people don't change the default NTP servers when building systemd

Also, explain the situation in the docs.

Relates to #437

basic: simplify path_is_mount_point() a bit

This removes two uses of the ternary operator.

util: make sure we don't clobber errno in error path

Merge pull request #535 from martinpitt/master

units: emergency.service: wait for plymouth to shut down

Merge pull request #548 from vcaputo/fix_path_state_debug_msg

core: include unit in path state transition debug logging.

core: include unit in path state transition debug logging.

Merge pull request #542 from utezduyar/sd_unref-might-keep-bus-alive

man: sd_unref does not necessarily free the bus

logind: rename 'pos' to 'position'

Spell out the proper name. Use 'pos' over 'position', and also update the
logind state file to do the same. Note that this breaks live updates.
However, we only save 'POSITION' on non-seat0, so this shouldn't bother
anyone for real. If you run multi-seat setups, you better restart a
machine on updates, anyway.

logind: allow greeters to take over VTs

Make sure a greeter can forcefully spawn a session on a VT that is
in-use. A recent patch prevented this (this used to be possible for all
session types) as it is highly fragile. However, as it turns out,
greeters seem to rely on that feature. Therefore, make sure we allow it
explicitly for greeters.

man: sd_unref does not necessarily free the bus

Document that sd_unref() does not necessarily free the bus,
even if no part of the program explicitly refs it, due to
the queued messages.

units: emergency.service: wait for plymouth to shut down

Merely calling "plymouth quit" isn't sufficient, as plymouth needs some time to
shut down. This needs plymouth --wait (which is a no-op when it's not running).

Fixes invisible emergency shell with plymouth running endlessly.

https://launchpad.net/bugs/1471258

Merge pull request #531 from dvdhrm/boot-buildid

boot: use BUILD_ID if VERSION_ID is not available

Merge pull request #532 from dvdhrm/bus-managed-root

sd-bus: include queried path in GetManagedObjects

basic/util.c fopen_temporary(): close fd if failed

Merge pull request #529 from dvdhrm/bus-slot-description

sd-bus: sd_bus_slot_get_description() should return const strings

Merge pull request #426 from tblume/reload-system-conf-at-daemon-reload

Reload manager defaults at daemon-reload

sd-bus: include queried path in GetManagedObjects

If GetManagedObjects is called on /foo/bar, then it should also include
the object /foo/bar, if it exists. Right now, we only include objects
underneath /foo/bar/.

This follows the behavior of existing dbus implementations.

Obsoletes #527 and fixes #525. Reported by: Nathaniel McCallum

boot: use BUILD_ID if VERSION_ID is not present

According to os-release(5), VERSION_ID is not mandatory and BUILD_ID only
needs to be unique underneath VERSION_ID. Therefore, assuming a missing
VERSION_ID field means 'empty', we can rely on BUILD_ID to be unique.

Use BUILD_ID if VERSION_ID is not present. This way, rolling-release
distros can still provide a proper os-release entry without crafting
random VERSION_ID strings.

This fixes #186.

boot: fix memleaks in os-release parser

There is no guarantee that the os-release section contains each key only
once, nor any guarantee that all keys are present. Make sure we properly
free memory in both cases.

Not that it matters much, as we're short-living, anyway. But correct code
is always nicer to read..

resolve-host: enable dbus-activation

Right now, systemd-resolve-host fails if resolved is not running.
However, resolved supports bus-activation (at least on kdbus) just fine.
Enable this so we can use resolve-host at all times.

This was disabled right from the beginning, without any comment why.

sd-bus: sd_bus_slot_get_description() should return const strings

All other *_get_description() functions use 'const char**', so make sure
sd_bus_slot_get_description() does the same.

This changes API, but ABI stays stable. I think this is fine, but I
wouldn't mind bumping SONAME.

Reported in #528.

Reload manager defaults at daemon-reload

"systemctl daemon-reload" should also update the manager defaults from
/etc/systemd/system.conf.
For details, see:
http://lists.freedesktop.org/archives/systemd-devel/2015-June/033062.html

Amended to use  manager_set_defaults() as common function.

Merge pull request #526 from phomes/master

machine: remove unused variables

machine: remove unused variables

Merge pull request #522 from mbiebl/no-install-readme-md

build-sys: Do not install README.md as end-user documentation

build-sys: Do not install README.md as end-user documentation

This file is mostly GitHub glue and not particularly useful to
end-users. So only add it to the dist tarball but do not install it as
documentation.

Merge pull request #516 from utezduyar/consistent-get-callback-return

property callback returns are consistent

Merge pull request #500 from zonque/fileio

fileio: consolidate write_string_file*()

Merge pull request #520 from zonque/pr-384-rework

man-pages: PR 384 rework

man: minor updates to the sd_bus_request_name() documentation

man: document user slice sd-login calls we added a while back

man: fix sd_bus_negotiate_timestamps documentation link-up

man: fully document sd_bus_creds subsystem

[@zonque: typo fixed, reported by @ronnychevalier]

man: fully document sd-bus' error APIs

[@zonque: Some minor nits fixed as pointed out by @ronnychevalier,
 dropped class='sd-bus-errors' to fix python logic]

Merge pull request #519 from poettering/man-bus-message-append

man: update and extend the various sd_bus_message_append_*() man pages

Merge pull request #514 from teg/resolved-rrsig-marshal

resolved: fix marshalling of RRSIG records

Merge pull request #515 from xnox/no-dot-files

automake: Do not install developer files on end-user systems.

Merge pull request #510 from zonque/journal-gatewayd

journal-gatewayd: fix tmpfile logic

Merge pull request #501 from keszybz/remove-python-systemd

Remove python-systemd

property callback returns are consistent

It is no different to return 0 over 1 in the property
callback. It is confusing to return 1 which made me think
1 has a special purpose. This way code is consistent with
the rest of the tree.