build-sys: check that python is enabled for "make dist"

Running "make dist" requires Python support since some of the man page sources
(such as man/systemd.index.xml and man/systemd.directives.xml) are generated by
Python scripts, so break "make dist" and give an useful error message when
Python or the Python lxml module is not available.

Tested:
  $ ./configure --without-python && make && make dist
  *** python and python-lxml module must be installed and enabled in order to make dist
  make: *** [dist-check-python] Error 1

build-sys: configure --with-python when running distcheck

Python support is pretty much essential to create man pages, so we should make
sure that distcheck will request it during configure.

Tested: Successfully ran "make distcheck" and confirmed --with-python was
present in the ./configure run inside the unpacked distribution directory.

build-sys: add verbosity to python-lxml detection in ./configure

Be verbose when checking if Python module lxml is available.  Also warn that
Python support will be disabled when the lxml module is not present.

Fixes: https://bugs.freedesktop.org/show_bug.cgi?id=80005

Tested:
- Without python-lxml package installed:
  $ ./configure
  checking for python extension module directory... ${exec_prefix}/lib64/python2.7/site-packages
  checking for python lxml module... no
  configure: WARNING: *** python support requires python-xml module installed

- With python-lxml package installed:
  $ ./configure
  checking for python extension module directory... ${exec_prefix}/lib64/python2.7/site-packages
  checking for python lxml module... yes
  checking for PYTHON_DEVEL... yes
  ...
          Python:                  yes
          Python Headers:          yes

build-sys: do not include id128-constants.h in the dist archive

File src/python-systemd/id128-constants.h is auto generated and its generation
does not require special tools, only sed.  There is no point in bundling it in
the distribution archive, so let's mark it as nodist_ to have it excluded.

Fixes: https://bugs.freedesktop.org/show_bug.cgi?id=80006

Tested: Successfully ran "make dist" after ./configure --without-python.

util: do not strip /dev prefix twice

Remove libattr mentions from README

It is no longer required.

sd-dhcp-server: remove unused cleanup function

Removes _cleanup_dhcp_lease_free_. While the automatic cleanup
functions are great to have this one is never used and causes
a warning in clang.

core: clean-up signal reset logic when reexec

There's no need to save the old sigmask, if we are going to die. Let's
simplify this. Also, reset all the signal handlers, so that we don't
leave SIG_IGN set for some of them across reexec.

tmpfiles: copy/link /usr/share/factory/ files when the source argument is omitted

po: add German translation

https://bugs.freedesktop.org/show_bug.cgi?id=79430

build-sys: fix indentation in make-man-rules generated output

This fixes the footer where 7 spaces were used on the first line of EXTRA_DIST,
but a Tab was clearly intended.

build-sys: add sysusers.d/systemd.conf to CLEANFILES

The sysusers.d/systemd.conf configuration file was originally introduced in
commit 1b99214789101, but it was not marked for cleanup.  This caused distcheck
to complain about the file not being removed by distcleam.

Tested: Successfully ran "make distcheck" with this patchset.

sysusers.d - fix typo in user definition file

debug-generator: add new kernel cmdline option systemd.wants= to add units to the initial transaction

networkd: link - fix memleak of icmp6 struct

networkd: veth - fix creation of veth netdev

Avoid freeing the netdev structure in the cleanup macro.

shared: fix search_and_fopen with alternate roots

Update for the current behavior of path_strv_resolve which now returns
paths relative to the given root, not the full absolute paths.

test: ensure conf_files_list returns absolute paths

conf-files: include root in returned file paths

This restores the original root handling logic that was present prior to
112cfb18 when path expansion moved to path_strv_canonicalize_absolute.
That behavior partially went away in 12ed81d9.

Alternatively all users of conf_files_list* could be updated to
concatenate the paths themselves as unit_file_query_preset did but since
no user needs the un-concatenated form that is pointless duplication.

test: unit test for using alternate roots with path_strv_resolve

shared: rename path_strv_canonicalize_absolute functions

Since 12ed81d9 path_strv_canonicalize_absolute leaves the search list
relative to the given root directory instead of resolving paths to their
true location as the name implies. To better reflect this behavior
rename to the less strongly worded path_strv_resolve.

getty-generator: properly escape instance names

Otherwise the add_symlink() function tries to make directories for
each slash even for the slash after the @ symbol in the final link
name, failing for /dev/3270/tty1.

Based on a patch by Werner Fink <werner@suse.de>.

getty-generator: use strappenda

Allocating on the stack should be fine for the fixed number
of items.

man: also describe an udev rule for bridge sysctl

man: document statically loading modules for sysctl settings

https://bugzilla.redhat.com/show_bug.cgi?id=1022977
https://bugzilla.novell.com/show_bug.cgi?id=725412

units/systemd-sysctl.service.in: run after load-modules

Modules might or will register new sysctl options.

[zj: This mechanism of adding modules just to reliably set sysctl
attributes is not ideal. Nevertheless, sysctl for dynamically created
attributes is simply broken, and this is the easiest workaround.]

https://bugzilla.redhat.com/show_bug.cgi?id=1022977
https://bugzilla.novell.com/show_bug.cgi?id=725412

util.c: simplify rm_rf_children_dangerous

tests: add tests for strv_extendf

tests: add tests to test-util

add tests for:
  - filename_is_safe
  - ascii_strlower
  - files_same
  - is_valid_documentation_url
  - file_in_same_dir
  - endswith
  - close_nointr
  - unlink_noerrno
  - readlink_and_make_absolute
  - read_one_char
  - ignore_signals
  - strshorten

tests: add missing return

tests: fix test-icmp6-rs

Don't close the fd given to sd-icmp6-nd, since it will be aynschonously closed
by sd_icmp6_nd_unref

sd-icmp6-nd: fix uninitialized fd

sd-dhcp6-client: fix uninitialized variables

coredump: fix include of xattr.h

The correct path is now <sys/xattr.h> (from glibc-headers) and no longer
<attr/xattr.h> (from libattr-devel.)

Fixes: 34c10968cbe3b5591b3c0ce225b8694edd9709d0

sd-dhcp6-client: include dhcp6-protocol.h in the list of sources

If the file is not listed, then "make dist" will not include it.

Tested: "make distcheck" works after this fix is applied.

Fixes: 139b011ab81ccea1d51f09e0261a1c390115c6ff

sd-dhcp6-client: fix path of sd-icmp6-nd.h in Makefile.am

It was incorrectly looking for a file in src/libsystemd-network/ when the file was actually deployed to src/systemd/ instead.  This broke "make dist".

Tested: "make dist" works again after this patchset is applied.

Fixes: f20a35cc0d537dd4cfc1054cf7936b04a1700f3a

sd-dhcp6-client: remove bogus dependency on dhcp6-icmp6.h

Makefile.am had a reference to it but it none of the sources included it.

Tested: "make dist" works again after this patchset is applied.

Fixes: 2ea8857effb833615b16d10fc7a19a7104c19e13

copy: don't eat up error from chown()/chmod()

The idea was to not fail on, nor to ignore errors from chown()/chmod(),
but to proceed and simply return the most recent error...

units: order systemd-tmpfiles-clean.service after time-sync.target

That way, on systems lacking an RTC we don't false start removing aged
files too early.

networkd: fix refcounting with UseMTU=yes

The link was unintentionally being unreferenced instead of referenced for the
MTU setup.

units: add missing caps so that GetAddresses() can work

tmpfiles: make sure "C" doesn't copy anything if the destination already exists

Previously it would recursively copy the entire tree in, and descend
into subdirectories even if the destination already exists. Let's do
what the documentation says and not do that.

If files down the tree shall be copied too, they should get their own
"C" lines.

tmpfiles: do not fail when copying an empty directory

man: document new coredumpctl commands

coredumpctl: add missing entries to --help

coredumpctl: fix columns sizing for timestamp

build-sys: add missing Makefile symlink

net: enable dhcp6 for containers

man: add documentation for systemd-debug-generator

gitignore: hide dhcp6/icmp6-rs tests

stop complaining about unknown kernel cmdline options

Also stop warning about unknown kernel cmdline options in the various
tools, not just in PID 1

man: add new kernel command line switches to kernel-command-line(7)

update TODO

main: don't show help text anymore when we detect an unknown kernel cmdline value starting with "systemd."

As generators and other components started to maintain their own kernel
command line options this help text needed more and more exceptions and
wasn't complete anyway. Fixing that would leak more information about
specific generators into PID 1, which we should avoid.

Given that kernel cmdline handling traditionally doesn't generate errors
or show help texts, let's just remove the logic for it for systemd too.

main: honour rd.systemd.unit= only in the initrd, not the host

gitignore: sort properly

debug-generator: add new generator

debug-generator can mask specific units if they are specified on the
kernel command line with systemd.mask=.

debug-generator can pull in debug-shell.service is systemd.debug-shell
is passed on the kernel command line.

sd-dhcp6-client: Initialize fd to -1 and rename function

client_initialize name is misleading, since the function is actually
useful at the *end*, to reinitialize the object. But reset is shorter,
so rename it to client_reset.

man: fix typo

journal-send.c: use automatic cleanup

networkd: Add initial DHCPv6 support

Enable DHCPv6 support by creating a DHCPv6 boolean in the Network
section. Add necessary DHCPv6 structures and initial function calls.

sd-dhcp6-client: Add reply sending for test

Enhance the test case by generating a Reply. With a properly formed
Reply the callback function will be called and the additional
earlier event loop exit can now be removed.

sd-dhcp6-client: Receive and parse a reply and set T1 and T2 timers

Receive and parse a Reply from the server. Set up T1 and T2 timers and
notify the library user of an acquired DHCPv6 lease.

sd-dhcp6-client: Add Advertise sending for test case

Enhance the test case by replying with an Advertise message to the
client. Copy the transaction id, IAID and DUID from the Solicit
message. Verify the Request message created by the DHCPv6 client
implementation and move the main loop exit to the end of the Request
message verification.

sd-dhcp6-client: Add Request message sending

As described in RFC 3315, Section 17.1.2, a client has to wait until the
first timeout has elapsed before it is allowed to request IPv6 addresses
from the DHCPv6 server. This is indicated by a non-NULL lease and a
non-zero resend count. Should the Advertisement contain a preference
value of 255 or be received after the first timeout, IPv6 address
requesting is started immediately.

In response to these events, create a Request message and set up proper
resend timers to send the message to the server.

sd-dhcp6-client: Update start function to take a state

Update the start function so that the client state can be conveniently
changed with the previous message resend timers cleared. On initial
startup also create and bind to the UDP socket.

sd-dhcp6-client: Add test case for Advertise message parsing

Add a basic test case excersising once more option parsing function
in addition to lease handling. Check that the address iteration
functions return the correct IPv6 address and lifetimes and that
only one address is returned. Also verify that the server ID and
preference values are read correctly.

sd-dhcp6-lease: Add functions for accessing lease and addresses

Add support functions for accessing the current client lease as well
as iterating over the addresses and get their preferred and valid
lifetimes.

sd-dhcp6-client: Receive and parse Advertise messages

When receiving DHCPv6 messages, discard the ones that are not meant
for DHCPv6 clients and verify the transaction id. Once that is done,
process the Advertise message and select the Advertise with the
highest preference.

Create a separate function for lease information parsing so that it
can be reused in other parts of the protocol. Verify both DUID and
IAID in the received message and store other necessary information
with the lease structure.

sd-dhcp6-client: Add IA Address option parsing

Add functionality to parse DHCPv6 Identity Association for
Non-temporary (IA_NA) and Temporary Addresses (IA_TA) options.
Both of them contain one or more IA Address (IAADDR) options
and optinally a status code option. Only the IA_NA option
contains lease lifetimes. See RFC 3315, sections 22.4., 22.5.,
22.6., 22.13. and appendix B. for details. If the lease
timeouts are not set, use the ones recommended for servers in
section 22.4.

Factor out common code in the form of an option header parsing
helper function.

sd-dhcp6-lease: Add DHCPv6 lease handling

Create a structure describing a DHCPv6 lease. Add internal functions
for creating a new lease and accessing the server ID, preference and
IAID. Provide functions for clearing addresses and associated timers.

External users are initially given only the capabilities of
referencing and unreferencing the lease structure.

sd-dhcp6-client: Add DHCPv6 Solicit test case

Verify the Solicit message created by the DHCPv6 client code.

Provide local variants for detect_vm(), detect_container() and
detect_virtualization() defined in virt.h. This makes the DHCPv6
library believe it is run in a container and does not try to request
interface information from udev for the non-existing interface index
used by the test case code.

sd-dhcp6-client: Add DHCPv6 Solicit message creation and sending

Implement the initial functionality used for creating a DHCPv6 Solicit
message containing the needed options and send it to the DHCPv6
broadcast address. Increase the sent message count and ensure that
the Solicit Initial Retransmission Time is strictly greater than
the Solicitation IRT as described in RFC 3315, section 17.1.2.

sd-dhcp6-client: Add functions to bind to DHCPv6 UDP socket

Add a function that creates a UDP socket bound to the given interface
and optionally to an IPv6 address. Add another function that will
send the DHCPv6 UDP packet to its destination.

Using IPV6_PKTINFO in setsockopt to bind the IPv6 socket to an
interface is documented in section 4. of RFC 3542, "Advanced Sockets
Application Program Interface (API) for IPv6"

Add a define for DHCPv6 Relay Agents and Servers multicast address as
its not available elsewhere.

sd-dhcp6-client: Add basic DHCPv6 option handling

Add option appending and parsing. DHCPv6 options are not aligned, thus
the option handling code must be able to handle options starting at
any byte boundary.

Add a test case for the basic option handling.

sd-dhcp6-client: Add DHCPv6 client Solicitation timeout handling

Add the core of DHCPv6 client message retransmission and upper bound
timer and message count handling according to RFC 3315 Secions 7.1.2
and 14. Omit the DHCPv6 initial delay; for now it is assumed that
systemd-networkd will provide decent startup randomization that will
desynchronize the clients.

When reinitializing the client, clear all timers.

sd-dhcp6-client: Add basic DHCPv6 test cases

Add test cases for basic DHCPv6 client handling, e.g. setting
interface index, mac address and attaching event loop.

sd-dhcp6-client: Add DHCPv6 IAID functionality

Create structures describing Identity Association IDentifiers and
IPv6 lease addresses.

[tomegun: initialize the IAID when client is started. Base this off of the
predictable udev names, if available, as these satisfy the requirement of
the IAID, and base it off the mac addres otherwise, as that is the best we
have.]

network-internal: split out net_get_name()

sd-dhcp6-client: Initialize DUID

Initialize DHCP Unique Identifier when creating the client. The
DUID is generated based on the machine-id, which satisfies all the
requirements of what an DUID should be. The DUID type is DUID-EN.

Based on patch by Patrik Flykt.

sd-icmp6-nd: Add initial Router Advertisement test case

Feed a Router Advertisement to the code and expect proper events
each time. The sending part is ignored, as all of it is static code
in the real dhcp_network_icmp6_send_rs() function.

sd-icmp6-nd: Add Router Solicitation and Advertisement support

Provide functions to bind the ICMPv6 socket to the approriate interface
and set multicast sending and receiving according to RFC 3493, section
5.2. and RFC 3542, sections 3. and 3.3. Filter out all ICMPv6 messages
except Router Advertisements for the socket in question according to
RFC 3542, section 3.2.

Send Router Solicitations to the all routers multicast group as
described in RFC 4861, section 6. and act on the received Router
Advertisments according to section 6.3.7.

Implement a similar API for ICMPv6 handling as is done for DHCPv4 and
DHCPv6.

sd-dhcp6-client: Add initial DHCPv6 client files

Add initial structure definition and functions for setting index, MAC
address, callback and event loop. Define protocol values and states.

build-sys: run forgotten 'make update-man-list'

coredump: coredumpctl is so useful now, make it a first-class citizen

Drop the "systemd-" prefix, renaming it from "systemd-coredumpctl" to
"coredumpctl".

update TODO

journald: make SplitMode=uid the default

Now that we actually can distuingish system and normal users there's no
point in taking session information into account anymore when splitting
up logs.

This has the beenfit with that coredump information will actually end up
in each user's own journal.

update TODO

coredumpctl: introduce new -1 switch for showing a single, most recent entry only

"coredumpctl info -1" is now incredibly useful for showing the most recent
stacktrace.

coredump: simplify how we apply extended attributes to coredumps

coredump: include stacktrace of coredumps in the log message

elfutils' libdw is maintained, can read DWARF debug data and appears to
be the library of choice for generating backtraces today.

bootchart: add assert

since 376cd3b89c62f580a6f576cecfbbb28d3944118f LIST_FIND_TAIL accepts
an empty list. That removed an assert in LIST_FIND_TAIL and we now
theoretically risk a null pointer deref. This adds the assert directly
to protect against that.

coredump: add 3 more metadata fields to coredump entries

coredump: add new "info" verb to coredumpctl showing detailed information about a coredump

coredump: make sure coredumpctl can handle externally stored coredumps

tmpfiles: automatically clean up /var/lib/systemd/coredump after 3d

coredump: optionally store coredumps on disk, not in the journal

Introduce a new configuration file /etc/systemd/coredump.conf to
configure when to place coredumps in the journal and when on disk.

Since the coredumps are quite large, default to storing them only on
disk.

dhcp-server: simplify dhcp server unref call

No need to use HASHMAP_ITERATE when we destruct all entries anyway.

TODO: update

socket: check return from exec_spawn