fsckd: rework plymouth connection management

- the even source should not be freed before the fd for it is closed

- read() returns an ssize_t and we need to handle it as such

- properly handle errors from read()

- reuse on_plymouth_disconnect() whenever we disconnect from plymouth,
  and rename it plymouth_disconnect hence()

fscd: fix error handling

fsck: no need for a temporary variable

fsckd: fix error handling when sending cancel request to fsck client

fsck: unify exit path for connect_plymouth()

fsck: use only a single exit code ternary operator

fsck: simplification

fsckd: the error code is actually returned in 'fd'

Also, we don't use {} for single-line if-blocks.

fsckd: simplify code a bit

fsckd: make use of safe_close()'s return value

man: document that ExecStartPre= is not the place to start long-running processes

build-sys: add one more Makefile symlink

importd: add API for exporting container/VM images

Also, expose it in machinectl.

udev: use inttypes.h types wherever appropriate

tree-wide: use _packed_ macro instead of raw gcc __attribute__

udevd: close race in udev settle

The udev-settle guarantees that udevd is no longer processing any of the
events casued by udev-trigger. The way this works is that it sends a
synchronous PING to udevd after udev-trigger has ran, and when that returns
it knows that udevd has started processing the events from udev-trigger.
udev-settle will then wait for the event queue to empty before returning.

However, there was a race here, as we would only update the /run state at
the beginning of the event loop, before reading out new events and before
processing the ping.

That means that if the first uevent arrived in the same event-loop iteration
as the PING, we would return the ping before updating the queue state in /run
(which would happen on the next iteration).

The race window here is tiny (as the /run state would probably get updated
before udev-settle got a chance to read /run), but still a possibility.

Fix the problem by updating the /run state as the last step before returning
the PING.

We must still update it at the beginning of the loop as well, otherwise we
risk being stuck in poll() with a stale state in /run.

Reported-by: Daniel Drake <drake@endlessm.com>

missing.h: add NDA_*

This is necessary to build with older kernel headers. NDA_VLAN was
introduced in v3.9 and NDA_PORT, NDA_VNI and NDA_IFINDEX in v3.10

Fix typos

po: update Russian translation - pluralize fsckd

Correctly pluralize strings for fsckd.

sd-journal: return error when we cannot open a file

Lack of this caused journalctl not to display a hint about missing groups
properly when the user lacks permissions.

journalctl: update hint now that we set ACL everywhere

po: update Russian translation - importd

Add strings for importd, by analogy with 1eb37584a8.

bus: fix leak in error path

CID #1271349.

systemctl: remove dead check

r could never be less than zero.

CID #1271350.

core/load-fragment: safe_close() protects errno

libsystemd-terminal: use at most LOG_ERR for XKB errors

XKB errors aren't *that* important.

Coverity complained that the same action is taken in multiple
branches, which is semi-valid, so is fixed too (CID #1256582).

login: fix copy-pasto in error path

CID #1256583.

nspawn: fix use-after-free and leak in error paths

CID #1257765.

core/dbus-manager: remove dead check

CID #1257766.

bus-util: remove stray errno assignment

networkctl: avoid leak if a field was specified twice

The input data would have to be borked, so this is unlikely to happen,
but since we have a nice helper function to do it properly... why not?

CID #1261390.

machine: do not rely on asprintf setting arg on error

Strictly speaking, the output variable is undefined if asprintf fails.
We use the return value not the arg everywhere, and should we do here.

v4l_id: use standard option parsing loop

Not terribly important, but the loop wasn't an actual loop,
making coverity unhappy.

CID #1261725.

shared/machine-pool: remove unnecessary check

CID #128739.

sysusers: do not reject users with already present /etc/shadow entries

This is needed to interoperate firstboot and sysusers. The former one is started
first, and it writes only /etc/shadow when it is told to set the root password.
It's better to relax checks here than to duplicate functionality in firstboot.

firstboot: set all spwd fields to -1 for consistency with sysusers

core: do not spawn jobs or touch other units during coldplugging

Because the order of coldplugging is not defined, we can reference a
not-yet-coldplugged unit and read its state while it has not yet been
set to a meaningful value.

This way, already active units may get started again.

We fix this by deferring such actions until all units have been at
least somehow coldplugged.

Fixes https://bugs.freedesktop.org/show_bug.cgi?id=88401

adjust for time spent in timedated even without dbus timestamp

it is trivial to fall back to our own timestamp

v2: use now()
v3: remove useless if ()
v4: add comment

po: update French translation

vconsole: match on vtcon events, not fbcon ones

I observe that upon loading of framebuffer drivers, I do not get the
desired system font, but the kernel-level defaults (usually
lib/fonts/font_8x16.c, but your mileage may vary depending on kernel
config and boot options).

The fbcon driver may be loaded at a time way before the first
framebuffer device is active, such that the vconsole setup helper
runs too early.

The existing rule is non-fitting. The going live of the fbcon kernel
component does not indicate the proper time at which to load the
visuals, which really ought to be done when a new vtcon object comes
into existence. (The font table is a per-vtcon property.)

login: make hold-off timeout configurable

This introduces 'HoldoffTimeoutSec' to logind.conf to make
IGNORE_LID_SWITCH_{SUSPEND,STARTUP}_USEC configurable.

Background: If an external monitor is connected, or if the system is
docked, we want to ignore LID events. This is required to support setups
where a laptop is used with external peripherals while the LID is closed.
However, this requires us to probe all hot-plugged devices before reacting
to LID events. But with modern buses like USB, the standards do not impose
any timeout on the slots, so we have no chance to know whether a given
slot is used or not. Hence, after resume and startup, we have to wait a
fixed timeout to give the kernel a chance to probe devices. Our timeout
has always been generous enough to support even the slowest devices.
However, a lot of people didn't use these features and wanted to disable
the hold-off timer. Now we provide a knob to do that.

hwdb: add Lenovo W451 to TOUCHPAD_HAS_TRACKPOINT_BUTTONS list

machinectl: minor --help text improvements

tmpfiles: Fix handling of duplicate lines

Commit 3f93da987 accidentally dropped the "return 0" after detection of a
duplicate line. Put it back, to get back the documented and intended "first
match wins" behaviour.

https://launchpad.net/bugs/1428540

hwdb: add Logitech G5 Laser Mouse

nspawn: Map all seccomp filters to capabilities

This change makes it so all seccomp filters are mapped
to the appropriate capability and are only added if that
capability was not requested when running the container.

This unbreaks the remaining use cases broken by the
addition of seccomp filters without respecting requested
capabilities.

Co-Authored-By: Clif Houck <me@clifhouck.com>
[zj: - adapt to our coding style, make struct anonymous]

build-sys: generate CLEANFILES from EXTRA_DIST

Everything that is generated can be assumed to belong to CLEANFILES,
which means that the original file has to be in EXTRA_DIST. Simplify
the rules by generating as in $subject.

We have less lists to adjust manually, and 'make clean' actually
removes more stuff that before.

Allow up to 4096 simultaneous connections

On large system we hit the limit on 512 simultaneous dbus
connections, resulting in tons of annoying messages:

Too many concurrent connections, refusing

This patch raises the limit to 4096.

Remove the cap on epoll events

Currently the code will silently blank out events if there are more
then 512 epoll events, causing them never to be handled at all. This
patch removes the cap on the number of events for epoll_wait, thereby
avoiding this issue.

hwdb: fix Dell XPS12 9Q33 key name

https://bugs.freedesktop.org/show_bug.cgi?id=84437

build-sys: fix check for efi-lds file

Using the DIR macro breaks caching and has no benefit as it only offers
performance improvements when AS_FOR is used with a single element list.
Also --with-lds-dir= was broken as we never set have_efi_lds in this case.
Fix this and check if PATH actually contains the efi-lds file.

Use correct uname identifiers in arch_map for SuperH architecture

https://bugs.freedesktop.org/show_bug.cgi?id=89421

man: replace obsolete wiki link with man page

importd: add new bus calls for importing local tar and raw images

This also adds "machinectl import-raw" and "machinectl import-tar" to
wrap these new bus calls.

THe commands basically do for local files that "machinectl pull-raw" and
friends do for remote files.

pull: improve --help text

import: split out compression logic, so that we can share it with between import and pull calls

import: rename download code from "import" to "pull"

That way we can call the code for local container/VM imports "import"
without confusion.

sd-dhcp6-client: delay setting the DUID and don't fail constructor

sd_dhcp6_client_new() tried to set the DUID based on the machine id.
If the host has no /etc/machine-id, the constructor would fail
making it impossible to create an sd_dhcp6_client instance.

Relax this and create a DUID only later as needed. This way a caller
caller can workaround a missing machine-id file and set a DUID of his
choosing via sd_dhcp6_client_set_duid().

networkd: Make DHCP client ID creation configurable

networkd: netdev - inform when we take over an existing netdev

The crucial point here is that we will not change the settings of a netdev created by someone else
we simply use it as is and trust it was set up as intended.

This is confusing in the case of the pre-created netdev's (bond0 etc.), the solution should probably
be to simply make the kernel stop creating these devices as they are pretty useless.

hwdb: add pnpid for the T450s touchpad

https://bugs.freedesktop.org/show_bug.cgi?id=89411

shared/util: assume ac when /sys/class/power_supply is missing

On s390 (at least) /sys/class/power_supply is not present. We should
treat this like if this directory was empty, and not an error.

Do not advertise .d snippets over main config file

For daemons which have a main configuration file, there's
little reason for the administrator to use configuration snippets.
They are useful for packagers which need to override settings, but
we shouldn't advertise that as the main way of configuring those
services.

https://bugs.freedesktop.org/show_bug.cgi?id=89397

tmpfiles.d: only copy /etc/pam.d if PAM is present

If HAVE_PAM isn't set then don't attempt to copy /etc/pam.d from the
factory, as it doesn't get installed.

README: mention ACLs more

They are now useful for any fs used for journal storage.

Do not run sysv-generator-test when sysv compat is disabled

build-sys: add fsckd.h to sources

Otherwise distribution tarfiles are not generated properly.

build-sys: systemd.conf is generated, do not distribute

bus-proxyd: avoid logging oom twice

fsck: remove unnecessary check

gcc was complaining that progress_rc might be used uninitalized.
But it was actually always set, because the condition was always
satisfied. Remove the condition.

tmpfiles: quietly ignore ACLs on unsupported filesystems

A warning is printed if ACLs cannot be retrieved for any reason other
than -ENOSYS. For -ENOSYS, debug log is printed.

po: update Russian translation

Add some forgotten strings for systemd, logind and machined.

update TODO

importd: automatically grow /var/lib/machines/ loopback filesystem during downloads

If /var/lib/machines is mounted as btrfs loopback file system in
/var/lib/machines.raw with this change we automatically grow the file
system as it fills up. After each 10M we write to it during imports, we
check the free disk space, and if the fill level grows beyond 66% we
increase the size of the file system to 3x the fill level (thus lowering
it to 33%).

man: fix typo

sd-daemon: replace VLA with alloca(), to make llvm happy

https://bugs.freedesktop.org/show_bug.cgi?id=89379

update TODO

import: add support for gpg2 for verifying imported images

gpg2 insists on created a trust db even if we tun off all trust db
support. Hence create a temporary home where the trust db is placed, and
remove it after use.

man: document that machinectl set-limit creates a btrfs loopback too

machined: also set up /var/lib/machines as btrfs, if "machinectl set-limit" is called

journal: fix Inappropriate ioctl for device on ext4

Logs constantly show

systemd-journald[395]: Failed to set file attributes: Inappropriate ioctl for device

This is because ext4 does not support FS_NOCOW_FL.

[zj: fold into one conditional as suggested on the ML and
     fix (preexisting) r/errno confusion in error message.]

journal-remote: fix saving of binary fields

Binary fields were not processed properly, and resulting journal files
were non-conforming, resulting in an error ("Invalid field.") when reading.

https://bugs.freedesktop.org/show_bug.cgi?id=89391

build-sys: allow lto and FORTIFY_SOURCE with -O[sz]

https://bugs.freedesktop.org/show_bug.cgi?id=89382

update TODO

machinectl: update --help text to clarify that set-limit can also change pool size

importd: take a lock while we set up /var/lib/machines/

This way, we can safely set up the directories from two processes at the
same time, including machined and importd simultaneously.

importd: split out setup logic for /var/lib/machines into its own API file

core: expose consumed CPU time per unit

This adds support for showing the accumulated consumed CPU time per-unit
in the "systemctl status" output. The property is also readable via the
bus.

sd-bus: sync kdbus.h (ABI break)

After some reconsideration, we decided to move the binary protocol
back to 64-bit wide UIDs and GIDs. After all, it should be possible
to redefine [gu]id_t to uint64_t and things should continue to
work. As we want to avoid such data types in kdbus.h, let's move
back to 64-bit values and be safe.

In sd-bus, we have to do a translation between uint64_t and gid_t
now for supplementary gids.

Some inline comments have also been updated in kdbus upstream.

boot: efi - ignore .conf snippets starting with "auto-"

boot: efi - remove a couple of Loader* variables

core: downgrade unit type not supported message

Otherwise every daemon reload prints out warnings like:

systemd[1]: Unit type .busname is not supported on this system.
systemd[1]: Unit type .swap is not supported on this system.

shared: AFS is also a network filesystem

machined: use x-machine-unix prefix for the container bus on dbus1

This fixes "machinectl login" on systems configured with --disable-kdbus.

The error was:
machinectl login foo
Failed to get machine PTY: Input/output error

core: fix return value on OOM

update TODO

core: rework device state logic

This change introduces a new state "tentative" for device units. Device
units are considered "plugged" when udev announced them, "dead" when
they are not available in the kernel, and "tentative" when they are
referenced in /proc/self/mountinfo or /proc/swaps but not (yet)
announced via udev.

This should fix a race when device nodes (like loop devices) are created
and immediately mounted. Previously, systemd might end up seeing the
mount unit before the device, and would thus pull down the mount because
its BindTo dependency on the device would not be fulfilled.

bootctl: avoid NULL pointer dereference

build-sys: use -Wno-missing-field-initializers for efi stuff

man: correct description of systemd-user-sessions

That part of functionality was removed in 7fb3ee51c1b377.