resolved: handle mDNS timeouts per transaction

mDNS packet timeouts need to be handled per transaction, not per link.
Re-use the n_attempts field for this purpose, as packets timeouts should be
determined by starting at 1 second, and doubling the value on each try.

resolved: short-cut jitter callbacks for LLMNR and mDNS

When a jitter callback is issued instead of sending a DNS packet directly,
on_transaction_timeout() is invoked to 'retry' the transaction. However,
this function has side effects. For once, it increases the packet loss
counter on the scope, and it also unrefs/refs the server instances.

Fix this by tracking the jitter with two bool variables. One saying that
the initial jitter has been scheduled in the first place, and one that
tells us the delay packet has been sent.

resolved: flush keys when DNS_RESOURCE_KEY_CACHE_FLUSH is set

In mDNS, DNS_RESOURCE_KEY_CACHE_FLUSH denotes whether other records with the
same key should be flushed from the cache.

resolved: add cache flush flag to DnsResourceKey

MDNS has a 'key cache flush' flag for records which must be masked out for
the parsers to do our right thing. We will also use that flag later (in a
different patch) in order to alter the cache behavior.

resolved: add mDNS initial jitter

The logic is to kick off mDNS packets in a delayed way is mostly identical
to what LLMNR needs, except that the constants are different.

resolved: create dns scopes for mDNS

Follow what LLMNR does, and create per-link DnsScope objects.

resolved: add code to join/leave mDNS multicast groups

Per link, join the mDNS multicast groups when the scope is created, and
leave it again when the scope goes away.

resolved: add packet header details for mDNS

Validate mDNS queries and responses by looking at some header fields,
add mDNS flags.

resolved: add infrastructure for mDNS related sockets

Just hook up mDNS listeners with an empty packet dispather function,
introduce a config directive, man page updates etc.

Merge pull request #2104 from evverx/rlimit-util-test

tests: add test-rlimit-util

Merge pull request #2117 from evverx/remove-dist-check-python

build-sys: remove dist-check-python

build-sys: remove dist-check-python

added: 279419b379
obsoleted: 2c8849add4

Merge pull request #2111 from evverx/remove-unnecessary-checking

build-sys: remove unnecessary check

Merge pull request #2109 from keszybz/udev-null-deref

Udev null deref

tests: disable hard errors

we don't use it
https://www.gnu.org/software/automake/manual/automake.html#Scripts_002dbased-Testsuites

tests: add test-rlimit-util

build-sys: remove unnecessary check

added: 65adc982d
obsoleted: 2c8849add

udev: fix NULL deref when executing rules

We quite obviously check whether event->dev_db is nonnull, and
right after that call a function which asserts the same. Move
the call under the same if.

https://bugzilla.redhat.com/show_bug.cgi?id=1283971

libudev: simplify udev_device_ensure_usec_initialized a bit

Merge pull request #2095 from evverx/fix-distcheck-for-disable-timesync

build-sys: move "dist" parts out of conditional

Merge pull request #2100 from msekletar/nologin-label

user-sessions: make sure /run/nologin has correct SELinux label

Merge pull request #2107 from phomes/misc

Misc cleanups

Merge pull request #2097 from kinvolk/alban/TasksMax

nspawn: set TasksMax in machined instead of nspawn

resolve: remove unused variable

shared: include what we use

The next step of a general cleanup of our includes. This one mostly
adds missing includes but there are a few removals as well.

nspawn: set TasksMax in machined instead of nspawn

https://github.com/systemd/systemd/issues/2016

login: make sure /run/nologin has correct SELinux label

user-sessions: make sure /run/nologin has correct SELinux label

Merge pull request #2092 from poettering/dnssec2

Second DNSSEC patch set

build-sys: move "dist" parts out of conditional

Fixes:
$ ./autogen.sh
$ ./configure ... --disable-timesyncd
$ make distcheck
...
make[1]: *** No rule to make target 'src/timesync/timesyncd-gperf.gperf', needed by 'src/timesync/timesyncd-gperf.c'.  Stop.

Merge pull request #2093 from evverx/add-test-dnssec-to-gitignore

.gitignore: add test-dnssec

.gitignore: add test-dnssec

This is a follow-up for 2b442ac87838be7c326

resolved: update DNSSEC TODO list a bit

resolved: add a concept of "authenticated" responses

This adds a new SD_RESOLVED_AUTHENTICATED flag for responses we return
on the bus. When set, then the data has been authenticated. For now this
mostly reflects the DNSSEC AD bit, if DNSSEC=trust is set. As soon as
the client-side validation is complete it will be hooked up to this flag
too.

We also set this bit whenver we generated the data ourselves, for
example, because it originates in our local LLMNR zone, or from the
built-in trust anchor database.

The "systemd-resolve-host" tool has been updated to show the flag state
for the data it shows.

resolved: when synthesizing NODATA from cached NSEC bitmaps, honour CNAME/DNAME

When an RR type is not set in an NSEC, then the CNAME/DNAME types might
still be, hence check them too.

Otherwise we might end up refusing resolving of CNAME'd RRs if we cached
an NSEC before.

resolved: maintain a short TODO list for DNSSEC support in the dnssec C files for now

resolved: introduce a dnssec_mode setting per scope

The setting controls which kind of DNSSEC validation is done: none at
all, trusting the AD bit, or client-side validation.

For now, no validation is implemented, hence the setting doesn't do much
yet, except of toggling the CD bit in the generated messages if full
client-side validation is requested.

resolved: add a limit on the max DNSSEC RRSIG expiry skew we allow

resolved: add a simple trust anchor database as additional RR source

When doing DNSSEC lookups we need to know one or more DS or DNSKEY RRs
as trust anchors to validate lookups. With this change we add a
compiled-in trust anchor database, serving the root DS key as of today,
retrieved from:

https://data.iana.org/root-anchors/root-anchors.xml

The interface is kept generic, so that additional DS or DNSKEY RRs may
be served via the same interface, for example by provisioning them
locally in external files to support "islands" of security.

The trust anchor database becomes the fourth source of RRs we maintain,
besides, the network, the local cache, and the local zone.

resolved: rework how we allow allow queries to be dispatched to scopes

Previously, we'd never do any single-label or root domain lookups via
DNS, thus leaving single-label lookups to LLMNR and the search path
logic in order that single-label names don't leak too easily onto the
internet. With this change we open things up a bit, and only prohibit
A/AAAA lookups of single-label/root domains, but allow all other
lookups. This should provide similar protection, but allow us to resolve
DNSKEY+DS RRs for the top-level and root domains.

(This also simplifies handling of the search domain detection, and gets
rid of dns_scope_has_search_domains() in favour of
dns_scope_get_search_domains()).

resolved: don't bother with picking a search domain when searching is disabled

resolved: optionally, allocate DnsResourceKey objects on the stack

Sometimes when looking up entries in hashmaps indexed by a
DnsResourceKey it is helpful not having to allocate a full
DnsResourceKey dynamically just to use it as search key. Instead,
optionally allow allocation of a DnsResourceKey on the stack. Resource
keys allocated like that of course are subject to other lifetime cycles
than the usual Resource keys, hence initialize the reference counter to
to (unsigned) -1.

While we are at it, remove the prototype for
dns_resource_key_new_dname() which was never implemented.

resolved: make expiration error recognizable

resolved: refuse resolving of a number of domains listed in RFC6303

We already blacklisted a few domains, add more.

Merge pull request #1934 from martinpitt/master

tests: add networkd integration test

Merge pull request #2089 from keszybz/journal-fixes-2

Journal fixes

journal: silently skip failing large messages if journald is missing

We treated -ENOENT errors with silent failure, for small messages.
Do the same for large messages.

journal: unbreak sd_journal_sendv

Borked since
commit 3ee897d6c2401effbc82f5eef35fce405781d6c8
Author: Lennart Poettering <lennart@poettering.net>
Date:   Wed Sep 23 01:00:04 2015 +0200

    tree-wide: port more code to use send_one_fd() and receive_one_fd()

because here our fd is not connected and we need to specify
the address.

test-journal-send: add tests for sendv

Also, check the return value of all calls.
They are documented to return 0, even if journald is not listening.

journal: addition and multiplication do not commute

test-journal-send: no need to set log level

We only use the public api here, so don't include
log.h.

Merge pull request #2087 from poettering/dnssec

Basic DNSSEC support, and unrelated fixes

resolved: support the RSASHA1_NSEC3_SHA1 pseudo-algorithm

RSASHA1_NSEC3_SHA1 is an alias for RSASHA1, used to do NSEC3 feature
negotiation. While verifying RRsets there's no difference, hence support
it here.

resolved: synthesize NODATA cache results when we find matching NSEC RRs

If we have a precisely matching NSEC RR for a name, we can use its type
bit field to synthesize NODATA cache lookup results for all types not
mentioned in there.

This is useful for mDNS where NSEC RRs are used to indicate missing RRs
for a specific type, but is beneficial in other cases too.

To test this, consider these two lines:

systemd-resolve-host -t NSEC nasa.gov
systemd-resolve-host -t SRV nasa.gov

The second line will not result in traffic as the first line already
cached the NSEC field.

resolved: move algorithm/digest definitions into resolved-dns-rr.h

After all, they are for flags and parameters of RRs and already relevant
when dealing with RRs outside of the serialization concept.

resolved: don't accept expired RRSIGs

resolved: add basic DNSSEC support

This adds most basic operation for doing DNSSEC validation on the
client side. However, it does not actually add the verification logic to
the resolver. Specifically, this patch only includes:

- Verifying DNSKEY RRs against a DS RRs
- Verifying RRSets against a combination of RRSIG and DNSKEY RRs
- Matching up RRSIG RRs and DNSKEY RRs
- Matching up RR keys and RRSIG RRs
- Calculating the DNSSEC key tag from a DNSKEY RR

All currently used DNSSEC combinations of SHA and RSA are implemented. Support
for MD5 hashing and DSA or EC cyphers are not. MD5 and DSA are probably
obsolete, and shouldn't be added. EC should probably be added
eventually, if it actually is deployed on the Internet.

resolved: port ResolveRecord() bus call implementation to dns_resource_record_to_wire_format()

Now that we have dns_resource_record_to_wire_format() we can generate
the RR serialization we return to bus clients in ResolveRecord() with
it. We pass the RR data along in the original form, not the DNSSEC
canonical form, since that would mean we'd lose RR name casing, which is
however important to keep for DNS-SD services and similar.

resolved: add code to generate the wire format for a single RR

This adds dns_resource_record_to_wire_format() that generates the raw
wire-format of a single DnsResourceRecord object, and caches it in the
object, optionally in DNSSEC canonical form. This call is used later to
generate the RR serialization of RRs to verify.

This adds four new fields to DnsResourceRecord objects:

- wire_format points to the buffer with the wire-format version of the
  RR
- wire_format_size stores the size of that buffer
- wire_format_rdata_offset specifies the index into the buffer where the
  RDATA of the RR begins (i.e. the size of the key part of the RR).
- wire_format_canonical is a boolean that stores whether the cached wire
  format is in DNSSEC canonical form or not.

Note that this patch adds a mode where a DnsPacket is allocated on the
stack (instead of on the heap), so that it is cheaper to reuse the
DnsPacket object for generating this wire format. After all we reuse the
DnsPacket object for this, since it comes with all the dynamic memory
management, and serialization calls we need anyway.

resolved: add code to map DNSSEC digest types to strings and back

resolved: store DNSKEY fields flags+protocol as-is

When verifying signatures we need to be able to verify the original
data we got for an RR set, and that means we cannot simply drop flags
bits or consider RRs invalid too eagerly. Hence, instead of parsing the
DNSKEY flags store them as-is. Similar, accept the protocol field as it
is, and don't consider it a parsing error if it is not 3.

Of course, this means that the DNSKEY handling code later on needs to
check explicit for protocol != 3.

resolved: add RFC 5702 defined DNSSEC algorithms to table

util-lib: update dns_name_to_wire_format() to optionally generate DNSSEC canonical names

We'll need this later when putting together RR serializations to
checksum.

resolved: make sure DNS_ANSWER_FOREACH() can be nested

Change the iterator counter so that a different varable is used for each
invocation of the macro, so that it may be nested.

resolved: simplify dns_packet_append_string()

It essentially does the same as dns_packet_append_raw_string(), hence
make it a wrapper around it.

hostnamed: SMBIOS 3.0 knows the "tablet" form factor, add support for it

Merge pull request #2073 from poettering/dns-label-fixes

Dns label fixes + unrelated selinux clean-up

Merge pull request #2084 from keszybz/ppc64-fixes-2

Test fixes to run in ppc64 mock

lz4: fix size check which had no chance of working on big-endian

tests: fix newlines in skip message

tests: turn check if manager cannot be intialized into macro

We need to check the same thing in multiple tests. Use a shared
macro to make it easier to update the list of errnos.

Change the errno code for "unitialized cgroup fs" for ENOMEDIUM.
Exec format error looks like something more serious.

This fixes test-execute invocation in mock.

basic/virt: add missing includes to compile on ppc64

Merge pull request #2082 from phomes/basic-sort-includes

basic: re-sort includes

basic: re-sort includes

My previous patch to only include what we use accidentially placed
the added inlcudes in non-sorted order.

Merge pull request #2074 from keszybz/test-acl-util-fix

test-acl-util: fix two issues from review

Merge pull request #2075 from phomes/includes-cleanup-basic

basic: include only what we use

basic: include only what we use

This is a cleaned up result of running iwyu but without forward
declarations on src/basic.

test-acl-util: fix two issues from review

https://github.com/systemd/systemd/pull/2063

core: simplify selinux AVC initialization

Let's merge access_init() and mac_selinux_access_init(), and only call
mac_selinux_use() once, inside the merged function, instead of multiple
times, including in the caller.

See comments on:

https://github.com/systemd/systemd/pull/2053

dns-domain: change error codes when dealing with too short buffers to ENOBUFS

Some calls used ENOBUFS to indicate too-short result buffers, others
used ENOSPC. Let's unify this on ENOBUFS.

dns-domain: check resulting domain name length in dns_name_to_wire_format()

Let's better be safe than sorry.

dns-domain: make sure dns_name_to_wire_format() may properly encode the root domain

The root domain consists of zero labels, and we should be able to encode
that.

dns-domain: don't accept overly long hostnames

Make sure dns_name_normalize(), dns_name_concat(), dns_name_is_valid()
do not accept/generate invalidly long hostnames, i.e. longer than 253
characters.

dns-domain: be more strict when encoding/decoding labels

Labels of zero length are not OK, refuse them early on. The concept of a
"zero-length label" doesn't exist, a zero-length full domain name
however does (representing the root domain). See RFC 2181, Section 11.

Merge pull request #2068 from grawity/cgls-error-v2

cgls: add a better error message for missing cgroupfs [v2]

Merge pull request #2053 from poettering/selinux-fix

Two unrelated fixes

cgls: add a better error message for missing cgroupfs

Merge pull request #2063 from keszybz/issue-1977-2

journal: clean up permission setting and acl adjustements on user journals

tmpfiles: set acls on system.journal explicitly

https://github.com/systemd/systemd/issues/1397

tmpfiles: also set acls on /var/log/journal

This way, directories created later for containers or for
journald-remote, will be readable by adm & wheel groups by default,
similarly to /var/log/journal/%m itself.

https://github.com/systemd/systemd/issues/1971

Merge pull request #2058 from phomes/unused-variable2

tree-wide: remove unused variables

tree-wide: remove unused variables

acl-util: only set the mask if not present

When we have non-owner user or group entries, we need the mask
for the acl to be valid. But acl_calc_mask() calculates the mask
to include all permissions, even those that were masked before.
Apparently this happens when we inherit *:r-x permissions from
a parent directory — the kernel sets *:r-x, mask:r--, effectively
masking the executable bit. acl_calc_mask() would set the mask:r-x,
effectively enabling the bit. To avoid this, be more conservative when
to add the mask entry: first iterate over all entries, and do nothing
if a mask.

This returns the code closer to J.A.Steffens' original version
in v204-90-g23ad4dd884.

Should fix https://github.com/systemd/systemd/issues/1977.

test-acl-util: add new test

For now, only add_acls_for_user is tested. When run under root, it
actually sets the acls. When run under non-root, it sets the acls for
the user, which does nothing, but at least calls the functions.

journal: move the gist of server_fix_perms to acl-util.[hc]

Most of the function is moved to acl-util.c to make it possible to
add tests in subsequent commit.

Setting of the mode in server_fix_perms is removed:
- we either just created the file ourselves, and the permission be better right,
- or the file was already there, and we should not modify the permissions.

server_fix_perms is renamed to server_fix_acls to better reflect new
meaning, and made static because it is only used in one file.

libsystemd: make sure we prefix even the dirty secrets in our API with "_sd_"

This renames __useless_struct_to_allow_trailing_semicolon__ everywhere
to _sd_useless_struct_to_allow_trailing_semicolon_, to follow our usual
rule of prefixing stuff from public headers that should be considered
internal with "_sd_".

While we are at it, also to be safe: when the struct is used in the C++
protector macros make sure to use two different names depending on
whether it appears in the C++ or C side of things. After all, there
might be compilers that don't consider C++ and C structs the same.

See https://github.com/systemd/systemd/pull/2052#discussion_r46067059

selinux: split up mac_selinux_have() from mac_selinux_use()

Let's distuingish the cases where our code takes an active role in
selinux management, or just passively reports whatever selinux
properties are set.

mac_selinux_have() now checks whether selinux is around for the passive
stuff, and mac_selinux_use() for the active stuff. The latter checks the
former, plus also checks UID == 0, under the assumption that only when
we run priviliged selinux management really makes sense.

Fixes: #1941

Merge pull request #2052 from poettering/export-cleanup

Make gcc cleanup helper calls public in most of our sd-xyz APIs

Merge pull request #2043 from teg/resolved-edns0-5

resolved: add edns0 support

resolved: add one more comment with a link to the matching RFC