resolved: add enablers for DNS-SD

Introduce network services loaded from .dnssd files that
can be used for server-side DNS-SD implementation in systemd-resolved.

resolved: inroduce dns_txt_item_new_empty() function

shared: introduce dnssd_srv_type_is_valid() function

resolved: answer all mDNS questions found in packet

According to p5.3 of RFC6762 (Multicast DNS) one mDNS query message
can contain more than one question sections.

Generate answers for all found questions and put them to a reply
message.

Merge pull request #7570 from keszybz/sulogin-shell-reload-manager

Reload manager before exit from sulogin shell

man: missing whitespace (#7579)

virt: propagate errors in detect_vm_xen_dom0 (#7553)

Update detect_vm_xen_dom0 to propagate errors in case reading
/proc/xen/capabilites fails. This does not fix any bugs, it just makes
it consistent with other functions called by detect_vm.

boot/efi: fixup TPM V2 measuring and logging (#7568)

Honor the log format and use packed event structures.

Fixes https://github.com/systemd/systemd/issues/7118

Merge pull request #7572 from poettering/taint-manager

"taint" logic improvements and other minor fixes

Merge pull request #7573 from poettering/empty-to-null

use empty_to_null() where we can

NEWS: mention systemd-tmpfiles --user (#7574)

Merge pull request #7562 from poettering/fix-manager-test-mkdir

fix --test mode

sulogin-shell: replace "^D" by "exit"

^D is a bit cryptic, and advanced users will know that they can use ^D instead
of typing exit anyway.

update TODO

nspawn: turn on watchdog logic for nspawn too

It's a long-running daemon, and it's easy to enable, hence do it.

manager: taint the manager if the overflowuid/overflowgid aren't set to 65534

sulogin-shell: do daemon-reload before starting default target

If the user modifies configuration, e.g. /etc/fstab, they might forget to tell
systemd about the changes. Let's do a reload for them.

Note that doing a reload should be safe, because emergency and rescue modes are
"single threaded" and nothing should be doing changes at the point where we are
exiting from the sushell. Also, daemon-reload can be implicitly called at
various moments, so we can ignore the case where the user did some incompatible
changes on disk and is counting on systemd never reloading and picking them up.

C.f. #7565.

sulogin-shell: simplify returns from a function

This is actually slightly safer because it allows gcc to make sure that all code
paths either call return or are noreturn. But the real motivation is just to
follow the usual style and make it a bit shorter.

meson: place systemd-sulogin-shell in build/

We do that will all executables so that it's easy to call them.

core: use empty_to_null() where we can

coccinelle: improve run-coccinelle.sh to take list of scripts to run

Let's tweak run-coccinelle.sh to optionally take a list of scripts to
run. If not specified, run all scripts, as before.

core: add console error message if manager_startup() fails

core: make "taint" string logic a bit more generic and output it at boot

The tainting logic existed for a long time, but was hidden inside the
bus interfaces. Let's give it a small bit more coverage, by logging its
value early at boot during initialization.

manager: don't check /usr state of initrd to determine "taint-usr" taint

manager: don't bother with creating /run/systemd/units/ in test mode

This makes sure running "systemd --test" works again on systems running
older systemd versions where the dir doesn't exist yet.

Merge pull request #7567 from yuwata/fix-nobody

nobody related fixes

manager: split out code that sets up run_queue event source into function of its own

Let's shorten manager_new() a bit.

meson: warn if nobody-user and nobody-group are set to different name

It may work, but is very strange. So, let's warn about that.

v2:
Debian uses nobody and nogroup. Do not warn such case.

sysusers: use NOBODY_USER_NAME

test: use NOBODY_USER_NAME instead of hard-coded string "noody"

Merge pull request #7554 from keszybz/autodetect-build

Autodetect build directory ignoring mkosi artefacts

Merge pull request #7560 from poettering/refactor-main

reduce main() size a bit

Merge pull request #7566 from yuwata/fix-bootspec-default-entry

bootspec: fix debug message about default entry

units: delegate only "cpu" and "pids" controllers by default (#7564)

Now that we can configure which controllers to delegate precisely, let's
limit wht we delegate to the user session: only "cpu" and "pids" as a
minimal baseline.

Fixes: #1715

bootspec: make boot_entries_select_default() static

The function is used only in bootspec.c.
So, let's make the function static.

bootspec: fix debug message about default entry

When no entries matches with entry_oneshot, entry_default and
default_pattern, then log message shows a wrong entry.
Moreover, if none of entry_oneshot, entry_default and default_pattern
are set, then the index `i` is uninitialized.
This fixes such problem.

NEWS: add missing whitespace (#7561)

Merge pull request #7551 from poettering/resolved-unknown-scope

downgrade resolved log messages about incoming packets from unknown scopes

Merge pull request #7559 from evverx/incorrect-spec-memleak

shared: fix a memory leak

core: split out execution context logging from main()

Again, no functional changes, let's just shorten main() a bit, by
splitting out more code into a separate functions.

core: move write_container_id() invocation into initialize_runtime()

This moves the invocation a bit later, but that shoudln't matter. By
moving it we gain two things: first of all, its closer to other code
where it belongs, secondly its naturally conditioned properly, as we no
longer will rewrite the container ID file on every reexecution again,
and not in test mode either.

core: split out various system/process initialization steps into its own function

Again, no changes in behaviour, just some refactoring to make main() a
bit more digestable.

core: split out code that frees arg_xyz variables

No change in behaviour, just some refactoring to shorten main() a bit.

core: split out code that queues default job from main()

No functional changes really, just some refactoring to shorten main() a
bit

core: split out the core loop out of main()

No real functional changes, just some rearranging to shorten the overly
long main() function a bit.

This gets rid of the arm_reboot_watchdog variable, as it can be directly
derived from shutdown_verb, and we need it only one time. By dropping it
we can reduce the number of arguments we need to pass around.

core: split out reexecution code of main() into its own function

No functional changes, just an attempt to shorten main() a bit.

virt: remove triple spurious newline

shared: fix a memory leak

```
$ ./src/test/test-systemd-tmpfiles.py valgrind --leak-check=full --error-exitcode=1 ./build/systemd-tmpfiles
...
Running valgrind --leak-check=full --error-exitcode=1 ./build/systemd-tmpfiles on 'w /unresolved/argument - - - - "%Y"'
...
[<stdin>:1] Failed to substitute specifiers in argument: Invalid slot
...
==22602== 5 bytes in 1 blocks are definitely lost in loss record 1 of 2
==22602==    at 0x4C2DB8F: malloc (in /usr/lib/valgrind/vgpreload_memcheck-amd64-linux.so)
==22602==    by 0x4ECA7D4: malloc_multiply (alloc-util.h:74)
==22602==    by 0x4ECA909: specifier_printf (specifier.c:59)
==22602==    by 0x113490: specifier_expansion_from_arg (tmpfiles.c:1923)
==22602==    by 0x1144E7: parse_line (tmpfiles.c:2159)
==22602==    by 0x11551C: read_config_file (tmpfiles.c:2425)
==22602==    by 0x115AB0: main (tmpfiles.c:2529)
```

tests: allow passing more than one argument to test-systemd-tmpfiles.py

This makes it easier to run `systemd-tmpfiles` under valgrind.

virt: use /proc/xen as indicator for a Xen domain (#6442, #6662) (#7555)

The file /proc/xen/capabilities is only available if xenfs is mounted.

With a classic xenlinux based kernel that file is available
unconditionally. But with a modern pvops based kernel, xenfs must be
mounted before the "capabilities" may appear. xenfs is mounted very late
via .services files provided by the Xen toolstack. Other units may be
scheduled before xenfs is mounted, which will confuse the detection of
VIRTUALIZATION_XEN.

In all Xen enabled kernels, and if that kernel is actually running on
the Xen hypervisor, the "/proc/xen" directory is the reliable indicator
that this instance runs in a "Xen guest".

Adjust the code to check for /proc/xen instead of
/proc/xen/capabilities.

Fixes commit 3f61278b5 ("basic: Bugfix Detect XEN Dom0 as no virtualization")

Merge pull request #7419 from keszybz/tmpfiles-fixes

Tmpfiles --user mode and various fixes

Set secure_boot flag in Kernel Zero-Page (#7482)

Setting the secure_boot flag, avoids getting the printout
"EFI stub: UEFI Secure Boot is enabled." when booting
a Linux kernel with linuxx64.efi.stub and EFI SecureBoot enabled.

This is mainly a cosmetic fixup, as the "quiet" kernel parameter does
not silence pr_efi printouts in the linux kernel (this only works using
the efi stub from the linux source tree)

Merge pull request #7530 from poettering/uid-gid-fixes

various uid/gid fixes

run-integration-test: allow argument to be overriden

This is useful for "sudo test/run-integration-tests.sh clean".

tests: try to autodetect directory better

Ignore mkosi.builddir. In the future we can also add other patterns
if necessary.

run-intergration-tests.sh is updated to use the new script, and modified
to work from arbitrary directory.

Follow-up for #7494.

mkosi.build: add code to determine the right nobody user/group name

Added some missing Swedish Strings (#7552)

update TODO

meson: print warnings if the "nobody" user/group name is not compatible with the local system

At least on Fedora and Debian systems this not obvious to get right,
hence warn.

test-execute: use the "nogroup" group if it exists for testing

We currently look for "nobody" and "nfsnobody" when testing groups, both
of which do not exist on Ubuntu, our main testing environment. Let's
extend the tests slightly to also use "nogroup" if it exists.

journal,coredump: do not do ACL magic for "nobody" user either

The "nobody" user might possibly be seen by the journal or coredumping
code if unmapped userns-using processes are somehow visible to them.
Let's make sure we don't do the ACL magic for this user either, since
this is a special system user that might be backed by different real
users in different contexts.

user-util: synthesize user records for "nobody" the same way as for "root"

We already synthesize records for both "root" and "nobody" in
nss-systemd. Let's do the same in our own NSS wrappers that are supposed
to bypass NSS if possible. Previously this was done for "root" only, but
let's clean this up, and do the same for "nobody" too, so that we
synthesize records the same way everywhere, regardless whether in NSS or
internally.

user-util: add UID_NOBODY defines that resolve to (uid_t) 65534

We use it all over the place, let's add a #define for it. Makes things
easier greppable, and more explanatory I think.

nss-systemd: tweak checks when we consult PID 1 for dynamic UID/GID lookups

Instead of contacting PID 1 for dynamic UID/GID lookups for all
UIDs/GIDs that do not qualify as "system" do the more precise check
instead: check if they actually qualify for the "dynamic" range.

coredump,journal: do not do ACL magic for processes of dynamic UIDs

Dynamic UIDs should be treated like system users in this regard.

user-util: add new uid_is_system() helper

This adds uid_is_system() and gid_is_system(), similar in style to
uid_is_dynamic(). That a helper like this is useful is illustrated by
the fact that test-condition.c didn't get the check right so far, which
this patch fixes.

doc: add a document briefly explaining UID/GID range assumptions we make

build-sys: make the dynamic UID range, and the container UID range configurable

Also, export these ranges in our pkg-config files.

resolved: ignore our own LLMNR packets, the same way we ignore mDNS packets already

Let's minimize our traffic a bit. And for local names we bypass the
packet generation anyway.

resolved: downgrade log messages about incoming LLMNR/mDNS packets on unexpected scopes

This might very well happen due to races between joining multicast
groups and network configuration and such, let's not complain, but just
drop the messages at debug level.

Fixes: #7527

test-systemd-tmpfiles: respect $HOME in test for %h expansion

%h is a special specifier because we look at $HOME (unless running suid, but
let's say that this case does not apply to tmpfiles, since the code is
completely unready to be run suid). For all other specifiers we query the user
db and use those values directly. I'm not sure if this exception is good, but
let's just "document" status quo for now. If this is changes, it should be in
a separate PR.

test-systemd-tmpfiles: ignore result of %m test

It's failing on artful s390x and i386:
Running /tmp/autopkgtest.Pexzdu/build.lfO/debian/build-deb/systemd-tmpfiles  on 'f /tmp/test-systemd-tmpfiles.c236s1uq/arg - - - - %m'
expect: '01234567890123456789012345678901'
actual: 'e84bc78d162e472a8ac9759f5f1e4e0e'
--- stderr ---
Traceback (most recent call last):
  File "/tmp/autopkgtest.Pexzdu/build.lfO/debian/src/test/test-systemd-tmpfiles.py", line 129, in <module>
    test_valid_specifiers(user=False)
  File "/tmp/autopkgtest.Pexzdu/build.lfO/debian/src/test/test-systemd-tmpfiles.py", line 89, in test_valid_specifiers
    test_content('f {} - - - - %m', '{}'.format(id128.get_machine().hex), user=user)
  File "/tmp/autopkgtest.Pexzdu/build.lfO/debian/src/test/test-systemd-tmpfiles.py", line 84, in test_content
    assert content == expected
AssertionError
-------

Let's skip the test for now until this is resolved properly on the autopkgtest
side.

test-systemd-tmpfiles: skip on python3.4

python3.4 is used by our CI.
Let's revert this when we stop supporting python < 3.5.

test-systemd-tmpfiles: add tests for specifiers

Fix typo

man: improve formatting in systemd.unit.xml

tmpfiles: also add %t/%S/%C/%L specifiers

sd_path_home() returns ENXIO when a variable (such as $XDG_RUNTIME_DIR) is not
defined. Previously we used ENOKEY for unresolvable specifiers. To avoid having
two codes, or translating ENXIO to ENOKEY, I replaced ENOKEY use with ENXIO.

v2:
- use sd_path_home and change to ENXIO everywhere

Hook up systemd-tmpfiles as user units

An explicit --user switch is necessary because for the user@0.service instance
systemd-tmpfiles is running as root, and we need to distinguish that from
systemd-tmpfiles running in systemd-tmpfiles*.service.

Fixes #2208.

v2:
- restore "systemd-" prefix
- add systemd-tmpfiles-clean.{service,timer}, systemd-setup.service to
  systemd-tmpfiles(8)

tmpfiles: add --user switch

tmpfiles: Add specifiers to allow running as user instance

This commit adds specifiers %U, %u and %h for the user UID, name and
home directory, respectively.

[zj: drop untrue copy-pasted comments and move the next text
     to the new "Specifiers" section.
     Now that #7444 has been merged, also drop the specifier functions.]

Rename "system-preset" source dir to "presets"

I want to add presets/user/ later. This mirrors the layout for units:
we have units/ and units/user. The advantage is that we avoid having yet
another directory at the top level.

util-lib: kill duplicate slashes in lookup paths

Since we're munging the array anyway, we can make the output a bit
nicer too.

shared: export xdg_user_dirs() and xdg_user_*_dir()

tmpfiles: "e" takes globs

Fixes #7369.

tmpfiles: fix typo in error message

Fixes #4097.

As of current master, systemd-tmpfiles behaves correctly, apart from a trivial
typo. So let's tell github to close the bug.

With current git:

$ sudo SYSTEMD_LOG_LEVEL=debug build/systemd-tmpfiles --create `pwd`/test/tmpfiles.d/link-loop.conf
Successfully loaded SELinux database in 2.385ms, size on heap is 321K.
Reading config file "/home/zbyszek/src/systemd-work/test/tmpfiles.d/link-loop.conf".
Running create action for entry D /run/hello2
Found existing directory "/run/hello2".
"/run/hello2" has right mode 41777
Running create action for entry f /run/hello2/hello2.test
"/run/hello2/hello2.test" has been created.
"/run/hello2/hello2.test" has right mode 101777
chown "/run/hello2/hello2.test" to 0.84
Running create action for entry L /run/hello2/hello2.link
Found existing symlink "/run/hello2/hello2.link".
Running create action for entry z /run/hello2/hello2.test
"/run/hello2/hello2.test" has right mode 101777
chown "/run/hello2/hello2.test" to 0.0
Running create action for entry z /run/hello2/hello2.link
Skipping mode an owner fix for symlink /run/hello2/hello2.link.

and the permissions are:
$ ls -dl /run/hello2/ /run/hello2/*
drwxrwxrwt. 2 foo   bar    80 Nov 22 14:40 /run/hello2/
lrwxrwxrwx. 1 root  root   23 Nov 22 14:40 /run/hello2/hello2.link -> /run/hello2/hello2.test
-rwxrwxrwt. 1 root  root    0 Nov 22 14:40 /run/hello2/hello2.test

Everything seems correct.

tmpfiles: downgrade warning about duplicate line

This happens occasionally, especially when moving lines between configuration files
in different packages, and usually is not a big deal.

Fail on unknown (alphanumerical) specifiers

The code intentionally ignored unknown specifiers, treating them as text. This
needs to change because otherwise we can never add a new specifier in a backwards
compatible way. So just treat an unknown (potential) specifier as an error.

In principle this is a break of backwards compatibility, but the previous
behaviour was pretty much useless, since the expanded value could change every
time we add new specifiers, which we do all the time.

As a compromise for backwards compatibility, only fail on alphanumerical
characters. This should cover the most cases where an unescaped percent
character is used, like size=5% and such, which behave the same as before with
this patch. OTOH, this means that we will not be able to use non-alphanumerical
specifiers without breaking backwards compatibility again. I think that's an
acceptable compromise.

v2:
- add NEWS entry

v3:
- only fail on alphanumerical

Merge pull request #7497 from yuwata/fix-cpu-set

fixes related to cpu_set

Merge pull request #7547 from hvenev/sysctl-no-net-default

Do not set `net.ipv4.conf.default.*`

mount-util: shorten the loop a bit (#7545)

The loop preparation and part of the loop contents are actually the
same, let's merge this.

Also, it's so much fun tweaking around in the name_to_handle_at() code,
let's do more of it with this patch!

(This also adds two NULL assignments, that aren't strictly necessary.
However, I figured its safer to place them in there, just in case the
for() condition is changed later. After all the freeing of the handle
and the invalidation of the cleanup-controller pointer to it are
otherwise really far away from each other...)

Merge pull request #7549 from poettering/ptyfwd-fixes

pty forwarder fixes

test-execute: add tests for CPUAffinity=

run: Allows the user to reset CPUAffinity= back to an empty list

Before this CPUAffinity= requires a valid cpu set, and the setting
cannot be reset. Moreover, if CPUAffinity= with empty string is passed,
then message container is closed without no values appended, thus
we get error.
This makes CPUAffinity= accepts empty string to reset the setting
and avoid error.

core: merge multiple CPUAffinity= settings

tree-wide: use cpu_set_mfree()

cpu-set-util: introduce cpu_set_mfree()

cpu-set-util: internally merge two functions

man: fix binary path in systemd(1) (#7550)

Otherwise people might assume that systemd was installed in the $PATH,
but it is not. Do the same as for systemd-vconsole-setup.service and
friends: let's include the full path in the man page.

Merge pull request #7532 from yuwata/test-execute

test-execute: add test for that DynamicUser= migrates StateDirectory=

Merge pull request #7539 from yuwata/man-options

Add missing parsing and documentation for several options