bus: rework how we attach fds to event loops

When trying a couple of addresses one after the other, make sure to
reattach the fds to the event loop.

event: add ability to change fd of an active event source

event: allow to query userdata and watchdog state

man: add another nspawn example

Taken from https://bugs.freedesktop.org/show_bug.cgi?id=68369.

event: when unreffing an event source from its own handler, detach fd from epoll

The pattern of unreffing an IO event source and then closing its fd is
frequently seen in even source callbacks. Previously this likely
resultet in us removing the fd from the epoll after it was closed which
is problematic, since while we were dispatching we always kept an extra
reference to event source objects because we might still need it later.

event: be more conservative when returning errors from event handler callbacks

We really should return errors from event handlers if we have a
continous problem and don't know any other solution.

git: update .gitignore

namespace: include boot id in private tmp directories

This way it is easy to only exclude directories from the current boot
from automatic clean up in /var/tmp.

Also, pick a longer name for the directories so that are globs in
tmp.conf can be simpler yet equally accurate.

event: rework sd-event exit logic

With this change a failing event source handler will not cause the
entire event loop to fail. Instead, we just disable the specific event
source, log a message at debug level and go on.

This also introduces a new concept of "exit code" which can be stored in
the event loop and is returned by sd_event_loop(). We also rename "quit"
to "exit" everywhere else.

Altogether this should make things more robus and keep errors local
while still providing a way to return event loop errors in a clear way.

bus: fix make check

bus: properly parse NameOwnerChanged messages when caller explicitly wants to match against names coming/going

man: update sd_bus_request_name() man page

bus: make sure exit-on-idle logic works on kdbus systems that do not generate NameLost

bus: fix parsing of matches against empty strings

scan-build: silence some warnings

test-fileio/test-strv:
Use the streq_ptr to make build-scan not worry about passing in a null
to a nonnull function.

test-dhcp-option:
Prevent a theoretical null pointer dereference

bus: fix rewind logic

service: process watchdog timeouts with lowest priority

bus: remove explicit activator-specific flags, the kdbus supports it now

bus: update kdbus.h

bus: always pass valid timeout to kdbus

bus: enforce endianess and marshalling for messages we send

timedatectl: work with old timedated

Which does have TimeUSec. Should we specifically check for this method
instead of assuming time=0 means it doesn't exist?

Before:
shawn@debian-T61:~/git/systemd$ ./timedatectl
      Local time: Wed 1969-12-31 16:00:00 PST
  Universal time: Thu 1970-01-01 00:00:00 UTC
        RTC time: n/a
        Timezone: America/Los_Angeles (PST, -0800)
     NTP enabled: n/a
NTP synchronized: no
 RTC in local TZ: no
      DST active: no
 Last DST change: DST ended at
                  Sun 1969-10-26 01:59:59 PDT
                  Sun 1969-10-26 01:00:00 PST
 Next DST change: DST begins (the clock jumps one hour forward) at
                  Sun 1970-04-26 01:59:59 PST
                  Sun 1970-04-26 03:00:00 PDT

After:
shawn@debian-T61:~/git/systemd$ ./timedatectl
      Local time: Wed 2013-12-11 14:03:21 PST
  Universal time: Wed 2013-12-11 22:03:21 UTC
        RTC time: n/a
        Timezone: America/Los_Angeles (PST, -0800)
     NTP enabled: n/a
NTP synchronized: no
 RTC in local TZ: no
      DST active: no
 Last DST change: DST ended at
                  Sun 2013-11-03 01:59:59 PDT
                  Sun 2013-11-03 01:00:00 PST
 Next DST change: DST begins (the clock jumps one hour forward) at
                  Sun 2014-03-09 01:59:59 PST
                  Sun 2014-03-09 03:00:00 PDT

build-sys: use internal library for dhcp client tests

Also clean up AM_CFLAGS in a few places.

dhcp: Add function to free DHCP client data

dhcp: Add notification callback

Define a notification callback and events for stopping and client
lease expiry. Add functions to fetch IP parameters from a lease.

dhcp: Compute expire, T1 and T2 timers

Compute the default T1 and T2 timer values if they were not set by
the DHCP server. Verify that the values are reasonable.

dhcp: Process DHCP Ack/Nak message

Process a DHCP Ack/Nak in much the same way as an DHCP Offer. Factor
out header verification and process options sent. Add notification
functionality with discrete values for the outcome of the DHCP Ack/
Nak processing.

dhcp: Add maximum message size option

Add maximum message size option to keep some DHCP server implementations
from sending too big messages. See ConnMan commit
0c5c862749c05193cf4c513628328c6db02b5222.

dhcp: Send DHCP Request to acquire an IP address

Create and send a DHCP Request message reusing already existing parts
of the code. This causes factoring out IP and UDP header creation and
moving next timeout calculation to be done every time in the timer
callback function independent of DHCP state. Also add an exponential
part to the timer calculation, bail out if there are errors while
resending the DHCP message for the sixth or more times.

dhcp: Handle received DHCP Offer message

Create a function for handling the full IP, UDP and DHCP packet
and tie it to the main loop. Verify IP and UDP headers and checksum.
Creat a new lease structure with using the values supplied in the
DHCP message. Free the lease structure when client is stopped.

Split out socket handling into a creation and a sending part. As a
result modify the test code.

dhcp: Add timeout and main loop support

Require a main loop to be set when creating a DHCP client. Set up
a timer to resend DHCP Discover messages and add a 0-2 second
delay to the timeout value. Move to state Selecting after successful
sending of a Discover message.

build: Add dependency on libsystemd-bus needed for main loop

dhcp: Add function to stop the DHCP client

The client is stopped and brought back to its initial state.

dhcp: Support seconds elapsed since start of DHCP negotiation

It was noticed by Grant Erickson in ConnMan commit
95e15c09350acf58d4707056ae2614570883ef66 that:

   "Certain DHCP servers, such as that implemented in Mac OS X
    (< 10.7) for its "Internet Sharing" feature, refuse to issue
    a DHCP lease to clients that have not set a non-zero value
    in their DISCOVER or REQUEST packets."

dhcp: Add test for discover DHCP packet creation

Set a fake MAC address and emulate raw packet sending. When the buffer
containing the Discover message is received, check selected IP and
UDP headers and compute IP header and UDP message checksums. Also
send the DHCP message for option parsing and expect a successful
outcome.

build: Add libsystemd-dhcp

dhcp: Add DHCP discover sending

On starting the client, use the supplied interface mac address and create
a transaction id. Puzzle together an IP/UDP/DHCP Discover message, compute
checksums and send it out as a raw packet.

Create an additional function that constructs default options common to
all DHCP messages.

Set the DHCP Client ID option as noticed by Grant Erickson in ConnMan
commit b18d9798b3a0ae46ed87d6d2be8d5a474bf3ab1e:

   "Some Internet gateways and Wi-Fi access points are unhappy when the
    DHCPv4 client-id option (61) is missing and will refuse to issue a
    DHCP lease."

dhcp: Add function for sending a raw packet

Open a packet socket, create a link level header, send packet and
close socket. Adding it to a separate file makes testing of the
DHCP sending much easier, as the test program can supply any socket
to the DHCP client code.

shared: Add struct sockaddr_ll to sockaddr_union

dhcp: Add test function for computing checksum

dhcp: Add option append tests

Add checks for invalid lengths and parameters when using the option
appending function. Add also checks for adding options, see to it
that the resulting array is identical to the array of options added.

dhcp: Add tests for DHCP options, file and sname fields

Add a structure describing the DHCP file, sname and trailing options
fields. Create a messge holding these fields and call the internal
option parsing function.

In the test callback function verify that only regular options are
passed and figure out which part of the DHCP message is the one that
is being processed. As the test program knows the full contents of
the test options in the test structure, skip all non-regular fields
and verify that the option provided to the callback indeed is the
one expected. Check also if non-regular option fields are to be
ignored in the end of the option field as the callback is not called
again and the final check when the whole message has been processed
needs to be successful.

Add a boolean flag for pretty-printing, anticipate there will be a
nice option to toggle it in the future.

build: Add DHCP option test

dhcp: Add buffer length and invalid cookie tests for DHCP options

Create an initial simple test program for these two cases.

dhcp: Add option appending and parsing

Add functions to append and parse DHCP options. Not all options
are passed to the callback function, the ones not exposed are
pad, end, message type and overload. If indicated by the overload
option, file and sname fields will be examined for more options.

The option functions are internal to DHCP, add a new header files
for interal function prototypes.

build: Add initial build support

The client test program is the only one to be built so far.

dhcp: Add test for DHCP client initialization and parameter setting

dhcp: Add DHCP client initialization

Provide functionality for initializing a DHCP client struct, setting
interface index, last used address and additional options to request.
On initialization the most useful options are added by default.

dhcp: Add DHCP protocol structures and initial defines

Create a new directory to host DHCP components.

log: protect errno when we use assert_return()

core: suppress gcc warnings on selinux-less systems

update TODO

shared: add missing include

Needed for socketpair, recv

bus: add SD_BUS_NAME_REPLACE_EXISTING to all activatable services, fix one flags conversion

bus: instead of exposing the dbus1 flags when acquiring a name use our own that are closer to kdbus

This turns around DO_NOT_QUEUE into QUEUE which implies a more useful
default. (And negative options are awful anyway.)

bus: properly return an error when we detect a method call timeout

core: fix bus registration on daemon reexec

nspawn: complain and continue if machine has same id

If --link-journal=host or --link-journal=guest is used, this totally
cannot work and we exit with an error. If however --link-journal=auto
or --link-journal=no is used, just display a warning.

Having the same machine id can happen if booting from the same
filesystem as the host. Since other things mostly function correctly,
let's allow that.

https://bugs.freedesktop.org/show_bug.cgi?id=68369

Do not log all assert_return failures

% build/journalctl help
Assertion 'match_is_valid(data, size)' failed at ../src/journal/sd-journal.c:227, function sd_journal_add_match(). Ignoring.

Callers cannot be expect to check all arguments always.

journal: pipe journalctl help output into a pager

journalctl help output might run off the screen, so be consistent
as other systemd tools do and pipe it into a pager.

man: mention SYSTEMD_USER_WANTS

Also split into paragraphs for easier reading and make a few minor
corrections.

service: actually leave watchdog enabled in the states where it matters

timedated: make sure GetAll() succeeds in systems lacking /dev/rtc (such as containers)

test-fileio: replace mktemp with mkstemp to avoid warnings

This is a fairly useless thing to do but it makes the compilers
and analyzers shut up about the use of mktemp.

bus: properly generate NameOwnerChanged messages when we take from/give back to queue/starter

bus: fix order in which we check creds

update TODO

bus: update name listing logic to current kernel interface

bus: when checking whether a creds object contains some field, don't use assert_return()

These are not programming errors, so they shouldn't use assert_return()

bus: connect directly via kdbus in sd_bus_open_system_container()

kdbus fortunately exposes the container's busses in the host fs, hence
we can access it directly instead of doing the namespacing dance.

sd-event: try to move each wakeup to the same spot within every 10s

In addition to the same spot within every 1min, every 1s, every 250s

journald: make sure the stdout/stderr stream fd is removed from epoll before we close it

units: don't run readahead done timers in containers

We don't run the collector in the container either, hence we don't need
to stop it either.

journald: cache cgroup root path, instead of querying it on every incoming log message

journal: when listing logs of a container make sure we don't accidentally show messages from host too

journald: cache hostname, boot_id and machine_id fields instead of generating them fresh for each log entry

journal: don't go belly up when an stdout/stderr client terminates the connection

journal: add ability to browse journals of running OS containers

This adds the new library call sd_journal_open_container() and a new
"-M" switch to journalctl. Particular care is taken that journalctl's
"-b" switch resolves to the current boot ID of the container, not the
host.

service: clean up watchdog logic a bit

journald: port to sd-event and enable watchdog support

man: explain in more detail how SYSTEMD_READY= influences SYSTEMD_WANTS= in udev rules

https://bugzilla.redhat.com/show_bug.cgi?id=1026860

event: hook up sd-event with the service watchdog logic

Adds a new call sd_event_set_watchdog() that can be used to hook up the
event loop with the watchdog supervision logic of systemd. If enabled
and $WATCHDOG_USEC is set the event loop will ping the invoking systemd
daemon right after coming back from epoll_wait() but not more often than
$WATCHDOG_USEC/4. The epoll_wait() will sleep no longer than
$WATCHDOG_USEC/4*3, to make sure the service manager is called in time.

This means that setting WatchdogSec= in a .service file and calling
sd_event_set_watchdog() in your daemon is enough to hook it up with the
watchdog logic.

event: when handling SIGCHLD of a child process only reap after dispatching event source

That way the even source callback is run with the zombie process still
around so that it can access /proc/$PID/ and similar, and so that it can
be sure that the PID has not been reused yet.

bus: kdbus - skip only STARTER and IN_QUEUE names for NameOwnerChanged

activate: clean up inherited descriptors

> [simon@troela server]$ /usr/lib/systemd/systemd-activate -l 9000 main.js
> Assertion 'fd == 3 + count' failed at src/activate/activate.c:115,
> function open_sockets(). Aborting.
> Aborted (core dumped)

> after a bit debuging i found the problem:
> slim appears to leak an fd into all of its children:
> stat /proc/14004/fd/3  (14004 is the pid a random process in my session)
>  File: '/proc/14004/fd/3' -> '/var/log/slim.log'

systemd-activate should be robust against the shell (or anything else) leaking
descriptors. Now everything except stdin/stdout/stderr and received sockets
will be closed.

Update README with test/ requirements

journald: malloc less when streaming messages

ptyfwd: Don't set the output prop of stdin, nor the input props of stdout.

It was calling cfmakeraw(3) on the properties for STDIN_FILENO; cfmakeraw
sets both input and output properties.  If (and only if) stdin and stdout
are the same device is this correct.  Otherwise, we must change only the
input properties of stdin, and only the output properties of stdout.

ptyfwd: Set the size of the PTY base on the size of stdout, not stdin.

core: fix Unit.SetProperties argument parsing

SetProperties has signature "ba(sv)", but the bus_unit_set_properties()
helper already does a enter_container('a', "sv") so we have to skip it in
bus_unit_method_set_properties().

bus: do not dispatch incoming method calls that are broacasted to vtables

bus: don't generate assert warnings when we detach a detached bus from an event

update TODO

core: epoll and signalfd has been moved into sd event loop

fix scan-build issues

The static analyzer scan-build had a few issues with analysing
parts of systemd.

gpt-auto-generator.c:
scan-build could not find blkid.h. Whether it should be blkid.h or
blkid/blkid.h seems to depend on the version used. We already use
blkid/blkid.h in udev-builtin-blkid.c so it seems safe to use that
here too.

Makefile.am:
Moved some -D's from CFLAGS to CPPFLAGS. I also simplified them a
bit and got rid of a left over DBUS_CFLAGS.

test-cgroup-mask.c/test-sched-prio.c
A variable was added to store the replaced TEST_DIR. When wrapped
in an assert_se TEST_DIR was not replaced in the logged error.
While not an issue introduced in this patch we might as well fix
it up while we are here.

bus: generate debug messages when we cannot deliver messages via kdbus

bus: when we _unref() a NULL pointer, don't use assert_return()

We support unreffing NULL pointers just fine and we shouldn't pay the
_unlikely_() price for it, not get a debug message if we do, hence let's
not use assert_return() here.

bus: Add bus_kernel_monitor function

hashmap: make gcc shut up on old glibcs that lack getauxval()

journald: use a bit more cleanup magic!