libsystemd-network: Speed up checksum computation using 64 bit integers

Improve the checksum computation by using 64 bit integers instead of the 16 bit
integers in the existing implementation. This change speeds up the computation
with approximately 78% both on 64 bit and 32 bit systems.

Please see RFC 1071 for details.

ipv4ll: use BPF on raw socket

This should significantly reduce spurious wakeups.

sd-ipv4ll: fix packet broadcasting

Umut said: 'I have noticed a bug that we are sending PROBE/ANNOUNCE messages on
00:00:00:00:00:00 address where it should be broadcast.'

sd-dhcp-client: improve BPF

Try a bit harder to make the kernel drop packets not for us. This should reduce
the number of wakeups from n^2 to n in the number of dhcp clients, which admittedly
only makes a differenc in very extreme cases.

sd-dhcp-client: eagerly drop too small packets

If they are too small to fit the IP+UDP+DHCP headers they can be of no use, so
don't waste resources parsing them. This is at the cost of losing some verbosity
in the logging.

sd-dhcp-client: move magic cookie into DHCPMessage struct

Also move the checking of it to the main message handler, rather than the
options parser.

Fix a bug, so we now drop the packet if any of the magic bytes don't match.
Before we used to only drop the packet if they were all wrong.

udev: net_id - use constants rather than magic numbers

journal-remote-parse: avoid passing null to memchr

Found with scan-build

reduce the amount of messages logged to /dev/kmsg when "debug" is specified

systemd-python: fix failing assert

A parameter which was always null before, now get's set to
the module.

systemd-python: use .hex instead of .get_hex()

It turns out the latter got removed in Python 3.

https://bugs.freedesktop.org/show_bug.cgi?id=77086

build-sys: add newly used if_link.h defines to missing.h

Reported-by: Arnaud Gaboury <arnaud.gaboury@gmail.com>

Fix a few return codes in error paths

tty-ask-password-agent: return negative errno

Return negative errno in wall_tty_block(). get_ctty_devnr() already
returns a negative errno in case of failure, no need to negate it again.

Reported-by: Simon <hwold@odai.homelinux.net>

systemctl: update NAME to PATTERN in help()

Previously the man page was modified, but not help().

logind: remove one cast

journal: fix export of messages containing newlines

In "export" format, newlines are significant, and messages containing
newlines must be exported as "binary".

journalctl: free arg_file on exit

backlight: do nothing if max_brightness is 0

On virtually any newer Asus mainboard, the eeepc-wmi driver is loaded.
It exposes a backlight device despite the lack of any physical backlight
devices. This fake backlight device has max_brightness set to 0. Since
the introduction of the clamp_brightness function, systemd-backlight
tries to write '1' to brightness and fails.

This patch changes systemd-backlight to exit gracefully when
max_brightness is 0 before performing any action. This affects
both the load and save actions.

bash_completion: busctl - add support for --user mode

bash completion: Add -r/--recursive to systemctl

network: default to IPv4LL on host0

Now that we have a graceful handover from IPv4LL to DHCP, there is no longer any reason to leave this off by default.

sd-rtnl: fix broken test cases and add support for tunnel

This patch fixes the broken test-cases for sd-rtnl and add support for ipip
and sit tunnel.

[tomegun: minor fixups]

networkd: smooth transition from ipv4ll to dhcp address

Currently when both ipv4ll and dhcp are enabled, ipv4ll
address (if one has been claimed) is removed when dhcp
address is aquired. This is not the best thing to do
since there might be clients unaware of the removal
trying to communicate.

This patch provides a smooth transition between ipv4ll
and dhcp. If ipv4ll address was claimed [1] before dhcp,
address is marked as deprecated. Deprecated address is still
a valid address and packets can be received on it but address
cannot be selected as a source address. If dhcp lease cannot
be extended, then ipv4ll address is marked as valid again.

[1] If there is no collision, claiming IPv4LL takes between 4 to
7 seconds.

networkd: drop routes when lease expires

logind: don't print error if devices vanish during ACL-init

If a device is unplugged while we initialize it, we will get ENOENT for
ACL-init (and related stuff). We currently print errors then, which is
misleading. Print a debug-message early and continue.

udev: do not export "static node" tags for non-existing devices

sd-dhcp-client: use BPF on raw socket

Filter out everything except UDP packets destined for the DHCP client port,
this should avoid the vast majority of spurious wakeups.

Filter based on [0], with permission.

Possible improvemnts: also check for the DHCP magic cookie to drop invalid
packets. Check for our xid to filter out packets destined for other clients.

[0]: <https://github.com/ambrop72/badvpn/blob/master/dhcpclient/BDHCPClient.c#L57>

build-sys: remove no longer needed user/org.freedesktop.DBus.busname

build-sys: no use for compat libs in the static analysis

sd-ipv4ll: speed up bind() in the same way as for dhcp

build-sys: workaround scan-build bug to fix ./autogen.sh s

It seems to be a clang-analyzer problem since it don't behave like
clang-compiler regarding -std={c99,gnu99}

sd-dhcp-client: --omg-optimized

Passing the protocol to socket() is redundant as it will be specified again in
bind(). Dropping the redundancy reduces the cost of bind() from ~30ms to ~0ms.
For details see [0].

networkd in a container (i.e., with next to no network latency) can now
negotiate a DHCP lease in 0.7 - 5 ms.

Thanks to Kay for help with debugging and to Daniel Borkmann for the pointer
to fix the problem.

[0]: <https://git.kernel.org/cgit/linux/kernel/git/torvalds/linux.git/commit/?id=902fefb82ef72a50c78cb4a20cc954b037a98d1c>

networkd: rewind rtnl message between passing it to functions

This makes updating link status on netdev links work again.

sd-rtnl: modernize a bit

doc: fix items' names in PORTING-DBUS1

TODO

networkd: link - fix memory leak

networkd: fix use-after-free

Free networks before links (the reverse of creation order).

sd-rtnl: fix off-by-one

Also fix type parameter passed to new0

timedated: adjust accuracy and slew values

sd-dhcp: avoid checksum calculation if possible

When receiving lots of packets that are not meant for us, we waste a relatively large amount
of cpu time computing their checksums before discarding them. Move the checksum calculation last
so we never compute it for packets which would otherwise be discarded.

sd-dhcp: check for ipv4 packets

sd-dhcp: check for udp packets

Do not try to parse ICMP packets

[tomegun: slightly tweaked debug message]

sd-rtnl: types - hook up bond types

Reported by Thomas Hindoe Paaboel Andersen <phomes@gmail.com>

sd-rtnl: message - fix clang compile warning

sd-rtnl: message - don't log about out-of-range attribute types

We will easily get these when running on newer kernels. However, we can safely ignore them as we
anyway don't know what to do with them.

networkd: netdev - improve logging  when setting ifindex

sd-rtnl: rework rtnl type system

Use a static table with all the typing information, rather than repeated
switch statements. This should make it a lot simpler to add new types.

We need to keep all the type info to be able to create containers
without exposing their implementation details to the users of the library.

As a freebee we verify the types of appended/read attributes.

The API is extended to nicely deal with unions of container types.

sd-rtnl: message - fix memory leak

sd-rtnl: message - don't reference associated rtnl object

The object is not currently used, so just drop the refenence. If/when we end up
using the object in the future, we must make sure to deal with possible mutual
references between rtnl busses and their queued messages; as is done in sd-bus.

udev: persistent naming - we cannot use virtio numbers as they are not stable

This reverts commit 8741f2defaf26aafe5ee0fd29954cfdf84ee519c: 'Add virtio-blk support to path_id' and
commit e3d563346c4237af23335cc6904e0662efdf62ad: 'udev: net_id - handle virtio buses'.

Distros may want to take note of this, as it changes behavior.

silence warnings

systemctl: fix spelling in comment

udev: update net_id comments

Add hwdb entry for Samsung Series 7 Ultra

build-sys: update "linkcheck"

<kay> ssuominen: and drop --no-as-needed from the linkcheck?
<kay> ssuominen: i expect it all triggers without the gc-sections thing alone
<ssuominen> if the intention is to make it strict as possible,
  to catch undefined references caused by missing -lfoo in linker line, then
  LDFLAGS="-Wl,-fuse-ld=gold -Wl,--as-needed -Wl,--no-gc-sections"

build-sys: rename "check-broken" to "linkcheck"

build-sys: split "make upload" and "make tango"

hwdb: Update database of Bluetooth company identifiers

core: do not read system boot timestamps in systemd --user mode

Before:
  $ systemd-analyze --user
  Startup finished in 2.810s (firmware) + 48ms (loader) + 122ms (userspace) = 122ms

After:
  $ systemd-analyze --user
  Startup finished in 122ms (userspace) = 122ms

bus: provide org.freedesktop.systemd1.busname for systemd --user

build-sys: disable test-cgroup-mask, it mangles valid user data in /run/user/$UID/

  $ ./test-cgroup-mask
  ...
  rmdir("/run/user/2702/systemd/generator") = 0
  open("/run/user/2702/systemd/generator.late", O_RDONLY|O_NONBLOCK|O_DIRECTORY|O_NOFOLLOW|O_NOATIME|O_CLOEXEC) = 5
  fstat(5, {st_mode=S_IFDIR|0755, st_size=3200, ...}) = 0
  fcntl(5, F_GETFL)                       = 0x78800 (flags O_RDONLY|O_NONBLOCK|O_LARGEFILE|O_DIRECTORY|O_NOFOLLOW|O_NOATIME)
  fcntl(5, F_SETFD, FD_CLOEXEC)           = 0
  getdents(5, /* 160 entries */, 32768)   = 10072
  unlinkat(5, "org.gnome.Weather.Application.busname", 0) = 0
  unlinkat(5, "dbus-org.gnome.Weather.Application.service", 0) = 0
  ...

build-sys: add "make check-broken" to find limited-toolchain link errors

build-sys: fix library link order

gitignore update

build-sys: split-off internal libsystemd-resolve

completions: fix/augment zsh completions for systemd-nspawn, busctl, loginctl, hostnamectl, localectl, machinectl

src/systemd: fix grammar and spelling errors in comments

build-sys: prepare 212

build-sys: prepare NEWS for 212

sd-rtnl: add support for tunnel attributes

Added support for tunneling netlink attrributes (ipip, gre, sit).
These works with kernel module ipip, gre and sit . The test cases are
moved to a separate file and manual test as well because they require
respective kernel modules as well.

sd-rtnl: message - don't try to enter unsupported containers

Currently we only support containers in RTM_*LINK messages.

Reported-by: "Thomas H.P. Andersen <phomes@gmail.com>"

time: support @ syntax for denoting times since the UNIX epoch 1970-1-1

update TODO

util: consider both fuse.glusterfs and glusterfs network file systems

Based on a similar patch by Lukáš Nykrýn.

ask-password: modernizations

ask-password: when the user types a overly long password, beep and refuse

Based on a similar patch from David Härdeman.

systemctl: add more verbose explanation of --kill-who and what control/main processes are

systemctl: --kill-mode is long long gone, don't mention it in the man page

man: be more specific when EnvironmentFile= is read

http://lists.freedesktop.org/archives/systemd-devel/2014-March/018004.html

man: explain that the journal field SYSLOG_IDENTIFIER is usually derived from program_invocation_short_name

update TODO

sd-event: don't accidentally turn of watchdog timer event if we determine 0

sd-event: initialization perturbation value right before we use it

That way, we don't forget to initialize it when the watchdog is
initialized before all event sources.

sd-daemon: fix incorrect variable access

cryptsetup: minor typo fix

networkd: fix a couple of memory leaks

networkd: netdev - fix error handling in set_ifindex()

Firstly, remove stray assert(). Also be a bit stricter when verifying the
received info. If we get an applicable newlink message that we can't make
sense of, we will now enter NETDEV_FAILED, as we cannot reasonably continue
without knowing the ifindex of our device.

core: don't try to relabel mounts before we loaded the policy

timedate: fix numerous grammar errors in comments and output/debug messages

sd-rtnl: tests - drop redundant tests

These tests were both broken and redundant, so let's drop them.

libsystemd: Don't use "class" in public headers

For compatibility with C++

core: remove tcpwrap support

tcpwrap is legacy code, that is barely maintained upstream. It's APIs
are awful, and the feature set it exposes (such as DNS and IDENT
access control) questionnable. We should not support this natively in
systemd.

Hence, let's remove the code. If people want to continue making use of
this, they can do so by plugging in "tcpd" for the processes they start.
With that scheme things are as well or badly supported as they were from
traditional inetd, hence no functionality is really lost.

build-sys: add makefile link

service: don't take chkconfig priority into account

Given that native services do not carry a sysv priority anyway it is
pointless reading them from chkconfig headers, and pretend they'd work.
So let's drop this.

networkd: add CapabilityBoundingSet

sd-rtnl: message parsing - log when ignoring message attributes

networkd: netdev - verify that newlink messages has the expected kind

We match 'newlink' messages with expected netdev's based on their names. Now also
make sure that the receieved link has the expected kind.

sd-rtnl: add sd_rtnl_message_enter_container()

Extend rta_offset_tb into a stack of offset tables, one for each parent of the
current container, and make sd_rtnl_message_{enter,exit}_container() pop/push
to this stack.

Also make sd_rtnl_message_rewind() parse the top-level container, and use this
when reading a message from the socket.

This changes the API by dropping the now redundant sd_rtnl_message_read()
method.