Merge pull request #9262 from ssahani/ignore-carrier-9111

networkd: allow to retain configs even if carrier is lost

resolved: use Cloudflare public DNS server as a default fallback alongside Google one

Cloudflare public DNS service is currently the fastest one according to
https://www.dnsperf.com/#!dns-resolvers. Why not improve the experience for
systemd users using this as a default fallback nameserver?

Merge pull request #11617 from topimiettinen/backlight-handle-zero-file-load

backlight: handle loading truncated file

core: export $PIDFILE env var for services, derived from PIDFile=

Merge pull request #11373 from tomty89/auto

mount/generators: do not make unit wanted by its device unit

Merge pull request #11382 from keszybz/udev-predictable-macs

Allow MACAddressPolicy=persistent for all virtual devices

Merge pull request #11506 from bl33pbl0p/reload-fix

Return -EAGAIN instead of -EALREADY from unit_reload

rules: watch metadata changes on nbd devices

Include nbd* in match for watch option assignment.

Signed-off-by: Tony Asleson <tasleson@redhat.com>

test-network: add test for BindCarrier=

login: add a missing error check for session_set_leader()

session_set_leader() may fail. If it fails, then manager_start_scope()
will trigger assertion.

This may be related to RHBZ#1663704.

Merge pull request #11718 from yuwata/news-v241

Update NEWS

NEWS: add entry about 'udevadm trigger --wait-daemon'

NEWS: fix release date

mount: remove unused mount_is_auto and mount_is_automount

mount/generators: do not make unit wanted by its device unit

As device units will be reloaded by systemd whenever the corresponding device generates a "changed" event, if the mount unit / cryptsetup service is wanted by its device unit, the former can be restarted by systemd unexpectedly after the user stopped them explicitly. It is not sensible at all and can be considered dangerous. Neither is the behaviour conventional (as `auto` in fstab should only affect behaviour on boot and `mount -a`) or ever documented at all (not even in systemd, see systemd.mount(5) and crypttab(5)).

Revert "README: remove Coverity Scan badge"

This reverts commit 49a881e5143cf87e6a02718e92008e12c3334ac0.

Merge pull request #11714 from poettering/final-news-241

final preps for v241

update hwdb

NEWS: update for final v241

sd-bus: if we receive an invalid dbus message, ignore and proceeed

dbus-daemon might have a slightly different idea of what a valid msg is
than us (for example regarding valid msg and field sizes). Let's hence
try to proceed if we can and thus drop messages rather than fail the
connection if we fail to validate a message.

Hopefully the differences in what is considered valid are not visible
for real-life usecases, but are specific to exploit attempts only.

Merge pull request #11704 from yuwata/fix-oss-fuzz-12980

udev-rule: make rule_add_key() return negative errno when too much tokens

sd-hwdb: fix matching for characters with an ord > 127

Devices like the "Microsoft Microsoft® 2.4GHz Transceiver v9.0 Mouse" contain
characters higher than 127. That ® is correctly stored in the hwdb and passed
into the search field during query, but the comparison fails.

Our search string is a const char *, trie_string() returns a const char * but
the current character is cast to uint8_t. This causes anything over 127 to
fail the match. Fix this, we're dealing with characters everywhere here after
all.

Merge pull request #11487 from poettering/unprotect-errno

Make sure NSS modules can change errno if they want

udev: check whether systemd is running, and do not use cg_kill() if not

Fixes #11645.

Merge pull request #11423 from ssahani/issue-9890

networkd: honour LinkLocalAddressing

Merge pull request #11707 from keszybz/man-directives-spring-cleaning

systemd.directives(7) spring cleaning

man: move sd-login(5) udev tags to the udev section

They are not udev systax exactly, but it seems better to keep them
there.

man: add a new section for EFI variables

We should probably refer to them from other man pages
for programs which use them, since right now all refs are
in systemd-boot(7). But creating the section is a good step
anyway.

man: add a new directives section for .nspawn

They is quite a bit of those directives and they were in "MISCELLANEOUS" because
they don't quite fit anywhere. When the OCI-compat stuff is merged, there'll
be even more, so let's make a separate section for them.

man: move all config file options to one section

We had "SYSTEM MANAGER DIRECTIVES" which was a misnomer already, because
it also listed user manager stuff. Let's make this a more general section
and move the items for other services there too (from "MISCELANENOUS").

man: move os-release, machine-info, vconsole.conf vars to envvar section

Strictly speaking, those are not environment variables, but they are compatible
and people think about them like this. Moving them makes them easier to find.

man: use <constant> for SD_BUS_ERROR_* and SD_BUS_NAME_* constants

This moves them to the right section in systemd.directives.

man: use <varname> for pam configuration options

It seems to fit the role better, and also the formatting in systemd.directives
is fixes.

man: fix markup and grammar for FOU{Source,Destination}Port=

man: move entries to the right section in systemd.directives

They were in "miscellaneuos" because of the missing class= assignment.
Probably introduced when the split into sections was done.

test: add testcase for oss-fuzz#12980

udev-rule: make rule_add_key() return negative errno when too much tokens

As OPTIONS= rule introduce multiple tokens.

Fixes oss-fuzz#12980.

test-network: add tests for LinkLocalAddressing=

networkd: honour LinkLocalAddressing

Closes #9890

test: replace echo with socat

The original version of the test used netcat along with a standard
AF_UNIX socket, which caused issues across different netcat
implementations. The AF_UNIX socket was then replaced by a FIFO with a
simple echo, which, however, suffers from the same issue (some echo
implementations don't check if the write() was successful).

Let's revert back to the AF_UNIX socket, but replace netcat with socat,
which, hopefully, resolves the main issue.

Relevant commit: 9b45c2bf02a43e3e1b42de1ab0c3fe29c64dc5f5

core: when we uninstall a job, add unit to dbus queue

Commit e6d05912cb1785d8c75eb40545beb8a7c6753cb9 added unit to dbus
queue on job install. Do same on job uninstall to make sure we get
PropertiesChanged signal.

Update mount.c

typo in output

hwdb: Fix rotation for Nuvision Solo 10 Draw (#11686)

Model number TM101W610L

This fixes issue #11683

Also add proper label for other Nuvision tablet.

hwdb: Add accelerometer mount matrix for ASUS MeMO Pad 7 (ME176C)

test-json: do not pass ephemeral array as intializer to JSON_BUILD_STRV

Fixes #11600.

The code was effectively doing:
  json_build(..., ({ char **_x = ((char**) ((const char*[]) {"one", "two", "three", "four", NULL })); _x; }));
but there was no guarantee that the storage for the array that _x points to
survives pass the end of the block. Essentially, STRV_MAKE cannot be used
inline inside of a block like this.

rule-syntax-check: allow PROGRAM as an assignment

boot/efi: use a wildcard section copy for final EFI generation

The GNU gold linker uses the section name `.rela.dyn` instead of
`.rela` for containing the relocation information. If this section
is not copied systemd-boot can crash.

Efitools started using wildcard section copies in their commit
b98d381b, and these wildcard sections are the only difference between
systemd-boot's section copy list and theirs. This patch add the
wildcard section `.rel*` to our objcopy, as it should include all
other wildcards assuming a recent GNU objcopy. Redundant arguments
for sections that would be matched by this wildcard are removed.

This patch has been tested on EDK II UEFI v2.70 Firmware on QEMU, and
Lenovo 0.5120 UEFI 2.40 Firmware on bare metal.

Fixes: #11541

semaphore: keep build settings in the repository

It should make it easier to tweak them without having access to
SemaphoreCI itself (I'm glad I'm an admin there now but it shouldn't
be necessary to be an admin to add a couple of kludges :-)). More
importantly, changes to the settings will go through review and
be tested before they're applied globally potentially breaking
Semaphore as it happened two days ago.

I'll point Semaphore CI to these scripts once the PR is merged.

man: mention vlan devices inherit the MAC address of the physical interface

Follow-up for bc48c51f72d86c6f690724f251892da5657116ac.

Closes #4783.

[zj: tweak grammar a bit.]

test-network: use dnsmasq with --dhcp-alternate-port option to test DHCP.ListenPort=

Fixes #11675.

Merge pull request #11647 from thom311/hashmap-avoid-compiler-warning

Hashmap avoid compiler warning

rpm: use sh compatible redirects

&> is bash-specific. Switch to something that will work with dash
and pbosh.

test-network: add testcases for IgnoreCarrierLoss=

nss: unportect errno before writing to NSS' *errnop

Fixes: #11321

util.h: add new UNPROTECT_ERRNO macro

THis is inspired by #11395, but much simpler.

automount: don't pass non-blocking pipe to kernel.

Creating a pipe with O_NONBLOCK causes both the read and the write end to
be marked as non-blocking.
The "write" end is passed to the kernel autofs module, and it does not
expect a non-blocking pipe.  If it gets -EAGAIN when trying to write
(which is unlikely, but not completely impossible), it will close the
write end of the pipe, which leads to unexpected errors.

So change the code to only set O_NONBLOCK on the "read" end of the
pipe.  This is the only end that systemd interacts with, so the only end
it should be configuring.

Merge pull request #11578 from keszybz/gcc-9-fixes

Packed struct alignment workarounds for gcc-9

Merge pull request #11655 from yuwata/fix-11652

sd-device: fix device_copy_properties()

Merge pull request #11659 from yuwata/fix-11643

import: fix invalid error check and use after free

Merge pull request #11663 from yuwata/follow-up-10712

core: make PIDFile= accept empty assignment

sd-daemon: make sd_booted() return negative errno on unexpected error

core/dbus-service: empty assignment to PIDFile= resets the value

Follow-up for a9353a5c5b512f107955e56a9812724f40b841d3.

core/dbus-service: write PIDFile= setting to transient unit file

Follow-up for a9353a5c5b512f107955e56a9812724f40b841d3.

core/load-fragment: empty assignment to PIDFile= resets the value

Follow-up for a9353a5c5b512f107955e56a9812724f40b841d3.

curl-util: fix use after free

This fixes a bug introduced by c3e658004a66115fa09abcf602d573e65e577aa9.

pull: fix invalid error check

This fixes a bug introduced by 0d94088e4e9e00f5ca9afdb8e68c94558fe23268.

test-network: ignore tunnel devices automatically added by kernel

Fixes #10934.

networkd: Allow to retain configs even if carrier is lost

When there is bad link in the network the carrier goes up/down.
This makes networkd stops all the clients and drop config.
But if the remote router/dhcpserver running a prevention
of DHCP Starvation attack or DHCP Flood attack it does not allow
networkd to take a DHCP lease resulting failure in configuration.
This patch allows to keep the client running and keep the conf
also for this scenario.

Closes #9111

Merge pull request #11656 from yuwata/test-network-routing-policy-rule-check-kernel

test-network: check port range and ipproto attributs are supported by kernel and ip command

test-network: check port range and ipproto attributes are supported by kernel and ip command

test: add a test case for issue #11652

sd-device: fix device_copy_properties()

This fixes a bug introduced by a3ce813697bcc1c4644e097a2f1cd0459326d6ee.

Fixes #11652.

test-sizeof: print the alignments too

efivars: remove direct access to unaligned structure members

Most of the accesses *were* aligned. The only one that definetely wasn't was to
drive_path->part_start and drive_path->part_size, because those both expect
8 byte alignment, and are at offsets 4 and 12 in the packed structure.

Because of the way that device_path structure is defined and used, we expect
that device_path.length is always two-byte aligned.

This adds asserts in various places to ensure the proper alignment, and uses
memcpy in other places where the alignment might be off.

efivars: make sure that _packed_ structure members are actually aligned as expected

When looking for the terminating double-NUL, don't just read the memory
until the terminator is found, but use the information we got about the
buffer size.

The length parameter passed to utf16_to_utf8() would include the terminator, so
the converted string would end up with two terminators (the original one
converted to "utf8", still 0, and then the one that was always added anyway).
Instead let's pass just the length of the actual data to utf16_to_utf8().

udevadm info: "-a" should enumerate sysfs attributes, not envs (#11642)

This fixes a bug introduced by 13aca847695f49afeb93367ecdad76035fa6c139.

test-resolve: increase timeout to 120s

The test queries some domain names. If the DNS servers are unreachable,
e.g. in a rawhide container I get the total runtime of 24.5s usually, but
sometimes slightly longer, enough to reach the default timeout of 30s.

journal: drop _packed_ attribute in a few places

The justification is the safe as for the grandparent commit.

test-util: drop _packed_ attribute

gcc-9 warns:
../src/test/test-util.c:147:19: note: in expansion of macro ‘container_of’
  147 |         assert_se(container_of(&myval.v1, struct mytype, v1) == &myval);
      |                   ^~~~~~~~~~~~

I don't think packing matters here for the test of container_of(), so let's
just remove it.

libsystemd-network: remove _packed_ attribute to appease the compiler

gcc-9 warns whenever the elements of a structure defined with _packed_ are used:

../src/network/networkd-dhcp6.c: In function ‘dhcp6_pd_prefix_assign’:
../src/network/networkd-dhcp6.c:92:53: warning: taking address of packed member of ‘struct <anonymous>’ may result in an unaligned pointer value [-Waddress-of-packed-member]
   92 |         r = manager_dhcp6_prefix_add(link->manager, &p->opt.in6_addr, link);
      |                                                     ^~~~~~~~~~~~~~~~

And the compiler is right, because in principle the alignment could be wrong.
In this particular case it is not, because the structure is carefully defined
not to have holes. Let's remove _packed_ and use compile-time asserts to verify
that the offsets are not changed.

analyze security: fix recursive call of syscall_names_in_filter()

When `syscall_names_in_filter()` is called in itself, it is already
examined with `whitelist`. Or, in other words, `syscall_names_in_filter()`
returns bad or good in boolean. So, the returned value should not be
compared with `whitelist` again.

This replaces #11302.

portable: document /etc/machine-id and /etc/resolv.conf

… requirement for portable service images.

systemd will mount the host machine-id and resolv.conf at these
locations, so for read-only images these must exist in the image,
because they can't be created.

hwdb: Add support for Gemini NC14 keyboard

machinectl: fix argument index in error log

Fixes #11628.

Merge pull request #11641 from ffontaine/master

fix build without BRIDGE_VLAN_INFO_RANGE_END or IFA_F_NOPREFIXROUTE

Merge pull request #11621 from yuwata/man-ref-systemd-system-conf

man: add and fix references

NEWS fix boolean value for meson options

Valid boolean values for meson are 'true' and 'false',
not 'yes' and 'no'.

hashmap: always set key output argument of internal_hashmap_first_key_and_value()

internal_hashmap_first_key_and_value() returns the first value, or %NULL
if the hashmap is empty.

However, hashmaps may contain %NULL values. That means, a caller getting
%NULL doesn't know whether the hashmap is empty or whether the first
value is %NULL.

For example, a caller may be tempted to do something like:

    if ((val = hashmap_steal_first_key_and_value (h, (void **) key))) {
         // process first entry.
    }

But this is only correct if the caller made sure that the hash is either
not empty or contains no NULL values.

Anyway, since a %NULL return value can signal an empty hash or a %NULL
value, it seems error prone to leave the key output argument
uninitialized in situations that the caller cannot clearly distinguish
(without making additional assumptions).

hashmap: avoid uninitialized variable warning in internal_hashmap_clear()

GCC 8.2 with LTO and -O2 emits a false warning:

    src/basic/hashmap.c: In function 'internal_hashmap_free.constprop':
    src/basic/hashmap.c:898:33: error: 'k' may be used uninitialized in this function [-Werror=maybe-uninitialized]
                      free_key(k);
                      ^

Avoid it by initializing the variable.

hwdb: Add key-mapping for GPIO-keys on HP stream 7 tablet (#11631)

The HP stream 7 ACPI tables contains a gpio-keys entry for a non connected
GPIO causing spurious events, this commit maps this key to unknown to
disable it.

BugLink: https://bugzilla.kernel.org/show_bug.cgi?id=202279

Add another entry for MX Master to 70-mouse.hwdb (#11633)

networkd-dhcp6.c: fix build without IFA_F_NOPREFIXROUTE

systemd fails to build on kernel without IFA_F_NOPREFIXROUTE
since 9714c02

So put include missing_network.h

Fixes:
 - http://autobuild.buildroot.org/results/970b09e1d49b53dff12a07ca4ad424ef9dd29a69

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

networkd-address.c: fix build without IFA_F_NOPREFIXROUTE

systemd fails to build on kernel without IFA_F_NOPREFIXROUTE
since 9714c02

So put include missing_network.h

Fixes:
 - http://autobuild.buildroot.org/results/970b09e1d49b53dff12a07ca4ad424ef9dd29a69

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

networkd-ndisc.c: fix build without IFA_F_NOPREFIXROUTE

systemd fails to build on kernel without IFA_F_NOPREFIXROUTE
since 9714c02

So put include missing_network.h

Fixes:
 - http://autobuild.buildroot.org/results/970b09e1d49b53dff12a07ca4ad424ef9dd29a69

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

networkd-brvlan.c: fix build without BRIDGE_VLAN_INFO_RANGE_END

systemd fails to build on kernel without BRIDGE_VLAN_INFO_RANGE_END
since 9714c02

So put include missing_if_bridge.h

Fixes:
 - http://autobuild.buildroot.org/results/970b09e1d49b53dff12a07ca4ad424ef9dd29a69

Signed-off-by: Fabrice Fontaine <fontaine.fabrice@gmail.com>

Merge pull request #11637 from yuwata/fix-test-network

test-network: fix test_dhcp_server() and test_ipv6_prefix_delegation()

travis: stop using the official upstream-systemd-ci repository

Turns out the key for the repository hasn't been propagated properly
so let's restore the kludge that was removed in https://github.com/systemd/systemd/pull/11582.
Of course it's ugly but at least it works.

The issue was kind of reported to the maintainers of the repository
in https://github.com/systemd/systemd/pull/11531#issuecomment-460023474.

test-network: add or drop whitespace

test-network: fix test_dhcp_server() and test_ipv6_prefix_delegation()

The tests have been broken since 30d3b54ebad41082e99cabbee815cb113aa0b5c4.

Detect file truncation earlier in a few places

Users of read_one_line_file() for APIVFS entries are ignored as they are
assumed to never get truncated.