Merge pull request #9901 from peterbaouoft/pr/preset_enable_multiple_instances

install: allow instantiated units to be enabled via presets

Merge pull request #9950 from yuwata/macro-ref-unref

tree-wide: introduce macros to define *_ref() and *_unref() functions

install: small refactor to combine two function calls into one function

Combine consecutive function calls of install_info_discover and
install_info_may_process into one short helper function.

install: allow instantiated units to be enabled via presets

This patch implements https://github.com/systemd/systemd/issues/9421.

The .preset file now is able to take a rule in the format of:(e.g)
enable foo@.service bar0 bar1 bar2

In the above example, when preset-all is called, all three instances of
foo@bar0.service, foo@bar1.service and foo@bar2.service will be enabled.

When preset is called on a single service(e.g: foo@bar1.service), only
the mentioned one(foo@bar1.service) will be enabled.

Tests are added for future regression.

sd-device: sd_device_enumerator_get_subsystem_next() requests the device list is uptodate

sd-device: use structured initializers

libsystemd: use DEFINE_ATOMIC_REF_UNREF_FUNC or frineds where applicable

refcnt: introduce DEFINE_ATOMIC_REF_UNREF_FUNC() macro and friends

sd-netlink: fix indentation

sd-hwdb: drop unused variable

dynamic-user: fix potential segfault

Merge pull request #9935 from pfl/dhcp6_pd_assignment_fix

Dhcp6 pd assignment fix

tools: use print function in Python 3 code

This GDB script was converted to use Python 3 along with all other
Python scripts in commit b95f5528cc, but still used the Python 2 print
statement syntax instead of the Python 3 print function. Fix that.

We also add the Python 2 compatibility statement, just in case some GDB
still uses Python 2 instead of Python 3.

link: allocate correct number of bytes in ethtool_set_features()

sfeatures is a "struct ethtool_sfeatures". Use sizeof() on the correct
data type.

Since "struct ethtool_gstrings" is larger than "struct ethtool_sfeatures",
this had no serious consequences.

Fixes: 50725d10e3417fd357abe1df2f177b8458027ac7

don't ignore zd* block devices

hwdb: Added values for another WALTOP Tablet

tree-wide: use DEFINE_TRIVIAL_REF_UNREF_FUNC() macro or friends where applicable

macro: introduce DEFINE_TRIVIAL_REF_UNREF_FUNC() macro and friends

tree-wide: use unsigned for refcount

networkd-dhcp6: Improve logging on DHCPv6 PD assignment

Print out prefixes assigned to links in addition to the DHCPv6
prefix it was delegated from.

networkd-dhcp6: Fix logging of DHCPv6 prefix

Pretty-print log messages with DHCPv6 prefixes after the prefixes
have been set instead of some random unassigned stack values.

networkd-dhcp6: Fix PD prefix length for subnet assignment

When computing the next network prefix to assign, compute the next
prefix to allocate based on the intended /64 assignment, not the
given prefix length for the whole prefix, e.g. /48, given to
systemd-networkd.

Fixes #9626.

networkd-dhcp6: Log warning with PD prefixes shorter than 48

Log a warning message in case the network prefix delegated is shorter
than /48.

po: update Japanese translation

po: update Polish translation

dissect: rescan devices before creating partition list (#9930)

Fixes #9924 which is caused by 3c1f2cee0ad2bea0839ac335532275f3a73c8b20.

logind: make use of vtnr_from_tty() in seat_read_active_vt() (#9923)

No functional changes.

Merge pull request #9917 from keszybz/cleanups

Some unrelated fixups for recent PRs

man: use singular “they”

For an example where we already use it, see man:sd-login(3):

> A session is defined by the time a user is logged in until they log out.

As far as I can tell, this removes the only remaining occurrences of
referring to users by gendered pronouns in our documentation (though
some still survive in code comments and the NEWS and TODO files):

    git grep '\b\(he\|him\|his\|she\|her\|hers\)\b' man/

doc: fix resolvectl(1) per-interface DNS configuration documentation

You can only have one listitem in each varlistentry.

xmllint says:

    resolvectl.xml:269: element varlistentry: validity error : Element varlistentry content does not follow the DTD, expecting (term+ , listitem), got (term term term term term term term listitem listitem listitem )

doc: fix udev(7) documentation about ATTR{} and SYSCTL{}

Without this fix, udev(7) munges the two items together, like so:

       ATTR{filename}, SYSCTL{kernel parameter}
           Match sysfs attribute values of the event device. Trailing
           whitespace in the attribute values is ignored unless the specified
           match value itself contains trailing whitespace.  Match a kernel
           parameter value.

You're not allowed to have a <term> element after a <listitem> element within a
<varlistentry>.

xmllint complains:

    udev.xml:192: element varlistentry: validity error : Element varlistentry content does not follow the DTD, expecting (term+ , listitem), got (term listitem term listitem )

Merge pull request #8135 from shawnl/arg_host

sd-bus: rework host handling

network: adjust some error messages

The option is now called simply "Encapsulation=".

Also, "ignoring" is rather misleading, because we use to to mean that some line
is being ignored. Here the whole tunnel is dropped.

network: reword some error messages

Use "falling back" instead of "fallback".

Also, it's not an application-specific machine ID, but rather an
application-and-machine-specific ID.  Let's call it "app-machine-speicific" for
short.

test-socket-util: avoid "memleak" reported by valgrind

valgrind reports the allocation done in the short-lived child as a leak.
Let's restructure the code to avoid this.

analyze: use temporary var to simplify code

networkd and sd-netlink: add support for Generic netlink And FooOverUDP to IPIP tunnel

This work add support to generic netlink to sd-netlink.
See https://lwn.net/Articles/208755/

networkd: add support FooOverUDP support to IPIP tunnel netdev
https://lwn.net/Articles/614348/

Example conf:

/lib/systemd/network/1-fou-tunnel.netdev
```
[NetDev]
Name=fou-tun
Kind=fou

[FooOverUDP]
Port=5555
Protocol=4

```

/lib/systemd/network/ipip-tunnel.netdev
```
[NetDev]
Name=ipip-tun
Kind=ipip

[Tunnel]
Independent=true
Local=10.65.208.212
Remote=10.65.208.211
FooOverUDP=true
FOUDestinationPort=5555
```

$ ip -d link show ipip-tun
```
5: ipip-tun@NONE: <POINTOPOINT,NOARP> mtu 1472 qdisc noop state DOWN mode DEFAULT group default qlen 1000
    link/ipip 10.65.208.212 peer 10.65.208.211 promiscuity 0
    ipip remote 10.65.208.211 local 10.65.208.212 ttl inherit pmtudisc encap fou encap-sport auto encap-dport 5555 noencap-csum noencap-csum6 noencap-remcsum numtxqueues 1 numrxqueues 1 gso_max_size 65536 gso_max_segs 65535
```

Merge pull request #9406 from yuwata/rfe-9228

Trivial conflict solved in merge and include net/if_arp.h added.

Networkd: Start DHCP server when link is up.

Closes #9479

hwdb: Apply Acer mappings to all Gateway and Packard Bell models

Gateway and Packard Bell both belong to Acer and need the same mappings.
This has been checked on several Gateway and Packard Bell models enabled
by Endless and confirmed by Acer Product Manager.

Signed-off-by: Chris Chiu <chiu@endlessm.com>
Signed-off-by: João Paulo Rechi Vita <jprvita@endlessm.com>

hwdb: Map 8a to f20 on the Acer Travelmate P648-G3-M

This model emits 0x8a for the microphone-mute button above the keyboard,
so let's map it to correct keycode.

Signed-off-by: Chris Chiu <chiu@endlessm.com>
Signed-off-by: João Paulo Rechi Vita <jprvita@endlessm.com>

hwdb: Add keymaps for HP ProBook 11 G1

Add microphone-mute and touchpad-toggle keymaps for the HP ProBook 11 G1
notebook.

Signed-off-by: Carlo Caione <carlo@endlessm.com>
Signed-off-by: João Paulo Rechi Vita <jprvita@endlessm.com>

Merge pull request #9904 from yuwata/replace-udev-device

tree-wide: drop udev_device struct and use sd_device instead

man: Fixed grammatical error in systemd.socket.xml (#9916)

udev: move udev cleanup functions from udev-util.h to udev.h

udev-util: drop unused function udev_device_new_from_stat_rdev()

login/sysfs-show: replace udev_device by sd_device

logind: replace udev_device by sd_device

core: replace udev_device by sd_device

core/umount: replace udev_device by sd_device

rfkill: replace udev_device by sd_device

network: replace udev_device by sd_device

nspawn: replace udev_device by sd_device

journal: replace udev_device by sd_device

sd-device: introduce device_new_from_stat_rdev()

dissect: replace udev_device by sd_device

gpt-auto-generator: replace udev_device by sd_device

mount-tool: replace udev_device by sd_device

backlight: replace udev_device by sd_device

libudev: introduce udev_monitor_receive_sd_device()

libudev: move cleanup functions from udev-util.h to libudev-private.h

libudev: accept NULL as the argument 'struct udev*' for udev_monitor_new() or friends

As udev_monitor struct or friends are now almost independent of udev
struct. So, generating these objects without udev struct is reasonable.

core: add IODeviceLatencyTargetSec

This adds support for the following proposed latency based IO control
mechanism.

  https://lkml.org/lkml/2018/6/5/428

selinux-util: drop unused variables

Follow-up for 7e531a5265687aef5177b070c36ca4ceab42e768.

man: correct journald field name

Merge pull request #9903 from yuwata/fuzzer-10007

Fixes issue 10007 by oss-fuzz

test: add testcase for issue 10007 by oss-fuzz

util: do not use stack frame for parsing arbitrary inputs

This replaces strndupa() by strndup() in socket_address_parse(),
as input string may be too long.

Fixes issue 10007 by ClusterFuzz-External:
https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=10007

Merge pull request #9852 from poettering/namespace-errno

namespace: be more careful when handling namespacing failures

random-util: use RDRAND for randomness if the kernel doesn't want to give us any

Pretty much all intel cpus have had RDRAND in a long time. While
CPU-internal RNG are widely not trusted, for seeding hash tables it's
perfectly OK to use: we don't high quality entropy in that case, hence
let's use it.

This is only hooked up with 'high_quality_required' is false. If we
require high quality entropy the kernel is the only source we should
use.

man: document that most sandboxing options are best effort only

namespace: be more careful when handling namespacing failures gracefully

This makes two changes to the namespacing code:

1. We'll only gracefully skip service namespacing on access failure if
   exclusively sandboxing options where selected, and not mount-related
   options that result in a very different view of the world. For example,
   ignoring RootDirectory=, RootImage= or Bind= is really probablematic,
   but ReadOnlyPaths= is just a weaker sandbox.

2. The namespacing code will now return a clearly recognizable error
   code when it cannot enforce its namespacing, so that we cannot
   confuse EPERM errors from mount() with those from unshare(). Only the
   errors from the first unshare() are now taken as hint to gracefully
   disable namespacing.

Fixes: #9844 #9835

umount: Don't use options from fstab on remount

The fstab entry may contain comment/application-specific options, like
for example x-systemd.automount or x-initrd.mount.

With the recent switch to libmount, the mount options during remount are
now gathered via mnt_fs_get_options(), which returns the merged fstab
options with the effective options in mountinfo.

Unfortunately if one of these application-specific options are set in
fstab, the remount will fail with -EINVAL.

In systemd 238:

  Remounting '/test-x-initrd-mount' read-only in with options
  'errors=continue,user_xattr,acl'.

In systemd 239:

  Remounting '/test-x-initrd-mount' read-only in with options
  'errors=continue,user_xattr,acl,x-initrd.mount'.
  Failed to remount '/test-x-initrd-mount' read-only: Invalid argument

So instead of using mnt_fs_get_options(), we're now using both
mnt_fs_get_fs_options() and mnt_fs_get_vfs_options() and merging the
results together so we don't get any non-relevant options from fstab.

Signed-off-by: aszlig <aszlig@nix.build>

tmpfiles: use fd_get_path() even less excessively

A follow-up for commit 9d874aec451b591401d9b14cf8743b9d179159b2.

This patch makes "path" parameter mandatory in fd_set_*() helpers removing the
need to use fd_get_path() when NULL was passed. The caller is supposed to pass
the fd anyway so assuming that it also knows the path should be safe.

Actually, the only case where this was useful (or used) was when we were
walking through directory trees (in item_do()). But even in those cases the
paths could be constructed trivially, which is still better than relying on
fd_get_path() (which is an ugly API).

A very succinct test case is also added for 'z/Z' operators so the code dealing
with recursive operators is tested minimally.

Merge pull request #9712 from filbranden/socket1

socket-util: Introduce send_one_fd_iov() and receive_one_fd_iov()

Merge pull request #9783 from poettering/get-user-creds-flags

beef up get_user_creds() a bit and other improvements

Merge pull request #9811 from poettering/random-seed-tweaks

some random seed handling tweaks

Merge pull request #9853 from poettering/uneeded-queue

rework StopWhenUnneeded=1 logic

meson: rename -Ddebug to -Ddebug-extra

Meson added -Doptimization and -Ddebug options, which obviously causes
a conflict with our -Ddebug options. Let's rename it.

Fixes #9883.

Rename USER_CREDS_SYNTHESIZE_FALLBACK to …_PREFER_NSS

user-util: rework get_user_creds()

Let's fold get_user_creds_clean() into get_user_creds(), and introduce a
flags argument for it to select "clean" behaviour. This flags parameter
also learns to other new flags:

- USER_CREDS_SYNTHESIZE_FALLBACK: in this mode the user records for
  root/nobody are only synthesized as fallback. Normally, the synthesized
  records take precedence over what is in the user database.  With this
  flag set this is reversed, and the user database takes precedence, and
  the synthesized records are only used if they are missing there. This
  flag should be set in cases where doing NSS is deemed safe, and where
  there's interest in knowing the correct shell, for example if the
  admin changed root's shell to zsh or suchlike.

- USER_CREDS_ALLOW_MISSING: if set, and a UID/GID is specified by
  numeric value, and there's no user/group record for it accept it
  anyway. This allows us to fix #9767

This then also ports all users to set the most appropriate flags.

Fixes: #9767

[zj: remove one isempty() call]

networkd: add O_CLOEXEC where it's missing

nspawn: add two missing OOM checks

nspawn: make sure to create /dev/char/x:y symlinks in nspawn containers too

On the host udev creates these, but they are useful API, hence create
them in nspawn containers too.

namespace: when creating device nodes, also create /dev/char/* symlinks

On the host these symlinks are created by udev, and we consider them API
and make use of them ourselves at various places. Hence when running a
private /dev, also create these symlinks so that lookups by major/minor
work in such an environment, too.

Merge pull request #9801 from yuwata/analyze-cleanups

analyze: several improvements

Merge pull request #9809 from poettering/tmpfiles-cleanup

various tmpfiles fixes

random-seed: write the machine ID into /dev/urandom as well

This is some extra protection for sloppy "golden master" systems, where
images are duplicated many times but the random seed is not
deleted (or reset for each copy). That golden master systems have to
reset /etc/machine-id is better known, and easier to notice (as having
the same ID will result in address conflicts and suchlike quite often).
Hence let's write the machine ID into /dev/urandom, in case it has been
initialized and unlikely the stored random seed has been provisioned
differently on each image.

Note that we don't credit the entropy either way, hence in the case
there's a cycle of a) generating the machine-id early at boot and b)
writing it back into /dev/urandom late at boot it shouldn't matter. It's
never going to make things worse, just in a few cases better.

core: when setting up PAM, try to get tty of STDIN_FILENO if not set explicitly

When stdin/stdout/stderr is initialized from an fd, let's read the tty
name of it if we can, and pass that to PAM.

This makes sure that "machinectl shell" sessions have proper TTY fields
initialized that "loginctl" then shows.

tree-wide: add clickable man page link to all --help texts

This is a bit like the info link in most of GNU's --help texts, but we
don't do info but man pages, and we make them properly clickable on
terminal supporting that, because awesome.

I think it's generally advisable to link up our (brief) --help texts and
our (more comprehensive) man pages a bit, so this should be an easy and
straight-forward way to do it.

core: rename function to better reflect semantics

util: improve comments why we ignore EACCES and EPERM

Follow-up for ef454fd1936813fa45d3e3b459d43fa30be7bf49 (#9848).

hwdb: explicitly label the XP-PEN STAR 06 as tablet

Exports BTN_LEFT...BTN_FORWARD, BTN_TOUCH, REL_X/Y/WHEEL/MISC and
ABS_X/Y/PRESSURE. Rather than figure out what builtin-input_id tweak we need
for this device, just add the tablet bit.

https://gitlab.freedesktop.org/xorg/driver/xf86-input-libinput/issues/8

hwdb: Fix wlan keycode for all Dell Latitude and Precision systems

Removing this line is because cab01e9ecf1c69656785e64f5fc94cd4ed09e57f
has contained the wlan keycode fix.

This line will only break the wlan keycode for all Dell Latitude and
Precision systems after cab01e9ecf1c69656785e64f5fc94cd4ed09e57f.

shell-completion: replace "gdb" verb with "debug" for coredumpctl

Also offer --debugger option.  Both to reflect changes in v239.

Revert "sysctl.d: request ECN on both in and outgoing connections"

Turning on ECN still causes slow or broken network on linux. Our tcp
is not yet ready for wide spread use of ECN.

This reverts commit 919472741dba6ad0a3f6c2b76d390a02d0e2fdc3.

Merge pull request #9879 from evverx/get-rid-of-workaround

 oss-fuzz.sh: just install the shared library

resolvectl: free the block of memory 'hashed' points to before reusing it

This fixes a memory leak:
```
d5070e2f67ededca022f81f2941900606b16f3196b2268e856295f59._openpgpkey.gmail.com: resolve call failed: 'd5070e2f67ededca022f81f2941900606b16f3196b2268e856295f59._openpgpkey.gmail.com' not found

=================================================================
==224==ERROR: LeakSanitizer: detected memory leaks

Direct leak of 65 byte(s) in 1 object(s) allocated from:
    #0 0x7f71b0878850 in malloc (/usr/lib64/libasan.so.4+0xde850)
    #1 0x7f71afaf69b0 in malloc_multiply ../src/basic/alloc-util.h:63
    #2 0x7f71afaf6c95 in hexmem ../src/basic/hexdecoct.c:62
    #3 0x7f71afbb574b in string_hashsum ../src/basic/gcrypt-util.c:45
    #4 0x56201333e0b9 in string_hashsum_sha256 ../src/basic/gcrypt-util.h:30
    #5 0x562013347b63 in resolve_openpgp ../src/resolve/resolvectl.c:908
    #6 0x562013348b9f in verb_openpgp ../src/resolve/resolvectl.c:944
    #7 0x7f71afbae0b0 in dispatch_verb ../src/basic/verbs.c:119
    #8 0x56201335790b in native_main ../src/resolve/resolvectl.c:2947
    #9 0x56201335880d in main ../src/resolve/resolvectl.c:3087
    #10 0x7f71ad8fcf29 in __libc_start_main (/lib64/libc.so.6+0x20f29)

SUMMARY: AddressSanitizer: 65 byte(s) leaked in 1 allocation(s).
```

oss-fuzz.sh: just install the shared library

The workaround is no longer necessary, because the scripts
checking fuzzers have stopped going down to the subdirectories
of $OUT and started to look for the string "LLVMFuzzerTestOneInput"
to tell fuzzers and random binaries apart. Some more details can be
found at https://github.com/google/oss-fuzz/issues/1566.

Merge pull request #9863 from evverx/issues-found-by-journald-fuzzer

A few fixes for several issues uncovered with a home-brew fuzzer for journald