bash completion: add --template to nspawn

man: fix typo in systemd-sysv-generator

Merge pull request #2865 from utezduyar/journald-upload

journal-upload: remove microhttpd dependency

Merge pull request #2862 from evverx/nspawn-expose-ports-error

nspawn: don't run nspawn --port=... without libiptc support

journal-upload: remove microhttpd dependency

journal-upload doesn't really need microhttpd to run.
Without the dependency, we can cross compile systemd
without microhttpd and get the uploader part of the
remote logging.

Change-Id: I28dfa5ad2aae94e50de1d32713e1827623c3fd1d

hwdb: Update database of Bluetooth company identifiers

nspawn: don't run nspawn --port=... without libiptc support

We get
$ systemd-nspawn --image /dev/loop1 --port 8080:80 -n -b 3
--port= is not supported, compiled without libiptc support.

instead of a ping-nc-iptables debugging session

Merge pull request #2839 from keszybz/use-sendfile-smarter

Use sendfile smarter

Merge pull request #2854 from keszybz/log-colors

systemd: obey systemd.log_color config

Merge pull request #2856 from msekletar/merge-instance

core: look for instance when processing template name

basic/missing: move syscall definitions to basic/missing_syscall.h

We have a bunch of syscall wrapper definitions and it's easier to
see that they follow the same pattern if they are not interspersed
with other defines.

Change the wrappers to be uniform:
- if __NR_XXX is not defined, do not bother to call the syscall,
  and return -1/ENOSYS immediately.
- do not check __NR_XXX defines if we detect the symbol as defined,
  since we don't need them anyway
- reindent stuff for readability

New file basic/missing_syscall.h is included at the end of missing.h
because it might make use of some of the definitions in missing.h.

basic/copy: use copy_file_range()

For btrfs, c_f_r() is like BTRFS_IOC_CLONE which we already used, but also
works when max_bytes is set. We do call copy_bytes in coredump code with
max_bytes set, and for large files, so we might see some benefit from using
c_f_r() on btrfs.

For other filesystems, c_f_r() falls back to do_splice_direct(), the same as
sendfile, which we already call, so there shouldn't be much difference.

Tested with test-copy and systemd-coredump on Linux 4.3 (w/o c_f_r)
and 4.5 (w/ c_f_r).

basic/missing: add copy_file_range

syscall numbers based on:
https://fedora.juszkiewicz.com.pl/syscalls.html

Merge pull request #2858 from keszybz/fbdev-uaccess

rules: allow users to access frame buffer devices

Merge pull request #2848 from keszybz/clang-warnings

Clang warnings

Merge pull request #2859 from msekletar/ldconfig-after-localfs

units: run ldconfig.service after we have mounted all local file systems

units: run ldconfig.service after we have mounted all local file systems

Also drop ConditionNeedsUpdate=|/etc. Regardless if system is updated
online or offline, updating dynamic loader cache should always be
responsibility of packaging tools/scripts.

systemd: obey systemd.log_color config

Fixes #2845.

rules: allow users to access frame buffer devices

For example it allows weston to be started unprivileged.

Related discussion:
https://bugs.freedesktop.org/show_bug.cgi?id=73782
https://lists.freedesktop.org/archives/wayland-devel/2015-May/022005.html
https://bugzilla.redhat.com/show_bug.cgi?id=1226680

core: look for instance when processing template name

If first attempt to merge units failed and we are trying to do
merge the other way around and at the same time we are working with
template name, then other unit can't possibly be template, because it is
not possible to have template unit running, only instances of the
template. Thus we need to look for already active instance instead.

Merge pull request #2855 from tklauser/master

nspawn: Fix two misspellings of "hierarchy" in error messages

nspawn: Fix two misspellings of "hierarchy" in error messages

Merge pull request #2851 from eliasp/patch-1

Reference correct `machinectl` command in 219 NEWS

Reference correct `machinectl` command in 219 NEWS

NEWS for `219` references `machinectl list-images` to describe the introduced clone feature - this looks like a copy'n'paste problem.
Use `machinectl clone` instead.

Merge pull request #2797 from evverx/selinux-use-raw

selinux: use *_raw API from libselinux

Merge pull request #2842 from petrosagg/nspawn-doc-fix

man: document missing KillSignal= .nspawn option

Merge pull request #2843 from NetworkManager/clock_boottime

time-util: fall back to CLOCK_MONOTONIC if CLOCK_BOOTTIME unsupported

Merge pull request #2847 from whot/hwdb-updates

hwdb: correct resolution for Asus x550cc

basic/log: remove unused return value

basic/c-rbtree: remove unused function

basic/macros: clang 3.5 doesn't support alloc_size

The attribute was removed in commit c047507 in the clang repository as it
was never properly implemented anyway. Avoid using the attribute with
clang because it generates a ton of annoying warnings.

test-copy: test with different max_bytes values

man: document missing KillSignal= .nspawn option

Signed-off-by: Petros Angelatos <petrosagg@gmail.com>

hwdb: correct resolution for Asus x550cc

https://bugzilla.redhat.com/show_bug.cgi?id=1316655

basic/copy: use sendfile smarter

We called sendfile with 16kb (a.k.a. COPY_BUFFER_SIZE) as the maximum
number of bytes to copy. This seems rather inefficient, especially with
large files. Instead, call sendfile with a "large" maximum.

What "large" max means is a bit tricky: current file offset + max
must fit in loff_t. This means that as we call sendfile more than once,
we have to lower the max size.

With this patch, test-copy calls sendfile twice, e.g.:
sendfile(4, 3, NULL, 9223372036854775807) = 738760
sendfile(4, 3, NULL, 9223372036854037047) = 0
The second call is necessary to determine EOF.

test-copy: add a test shuffling bytes between normal files

I started looking into adding copy_file_range support, and discovered
that we can improve the way we call sendfile:
- sendfile(2) man page is missing an important bit: the number of bytes to
  copy cannot be too big (SSIZE_MAX actually), and the description of EINVAL
  return code does not mention this either,
- our implementation works but calls sendfile over and over with a small
  size, which seems suboptimal.

First add a test which (under strace) can be used to see current behaviour.

time-util: fall back to CLOCK_MONOTONIC if CLOCK_BOOTTIME unsupported

It was added in 2.6.39, and causes an assertion to fail when running in mock
hosted on 2.6.23-based RHEL-6:

Assertion 'clock_gettime(map_clock_id(clock_id), &ts) == 0' failed at systemd/src/basic/time-util.c:70, function now(). Aborting.

Merge pull request #2840 from linkmauve/use-xdg-config-home

sd-path: use XDG_CONFIG_HOME instead of hardcoding ~/.config for user-dirs

sd-path: use XDG_CONFIG_HOME instead of hardcoding ~/.config for user-dirs

Merge pull request #2838 from vapier/master

include sys/sysmacros.h in more places

include sys/sysmacros.h in more places

Since glibc is moving away from implicitly including sys/sysmacros.h
all the time via sys/types.h, include the header directly in more
places.  This seems to cover most makedev/major/minor usage.

Merge pull request #2827 from keszybz/public-headers

ANSI C compatibility for public headers

Merge pull request #2735 from evverx/fix-2730

Add test for -.mount with Alias=root.mount, bug #2730.

Merge pull request #2834 from coling/master

Merge pull request #2832 from evverx/fix-mkfs-btrfs-checking

Fix mkfs.btrfs checking

Merge pull request #2835 from tklauser/man-spelling

man: network - Fix misspelling of "router advertisement"

man: network - Fix misspelling of "router advertisement"

device: Ensure we have sysfs path before comparing.

In some cases we do not have a udev device when setting up a unit
(certainly the code gracefully handles this). However, we do
then go on to compare the path via path_equal which will assert
if a null value is passed in.

See https://bugs.mageia.org/show_bug.cgi?id=17766

Not sure if this is the correct fix, but it avoids the crash

shared/machine-pool: fix another mkfs.btrfs checking

Fixes:
       Message: Process 806 (systemd-importd) of user 0 dumped core.

                Stack trace of thread 806:
                #0  0x00007f5eaeff7227 raise (libc.so.6)
                #1  0x00007f5eaeff8e8a abort (libc.so.6)
                #2  0x000055b6d3418f4f log_assert_failed (systemd-importd)
                #3  0x000055b6d3409daf safe_close (systemd-importd)
                #4  0x000055b6d33c25ea closep (systemd-importd)
                #5  0x000055b6d33c38d9 setup_machine_directory (systemd-importd)
                #6  0x000055b6d33b8536 method_pull_tar_or_raw (systemd-importd)
                #7  0x000055b6d33ed097 method_callbacks_run (systemd-importd)
                #8  0x000055b6d33ef929 object_find_and_run (systemd-importd)
                #9  0x000055b6d33eff6b bus_process_object (systemd-importd)
                #10 0x000055b6d3447f77 process_message (systemd-importd)
                #11 0x000055b6d344815a process_running (systemd-importd)
                #12 0x000055b6d3448a10 bus_process_internal (systemd-importd)
                #13 0x000055b6d3448ae1 sd_bus_process (systemd-importd)
                #14 0x000055b6d3449779 time_callback (systemd-importd)
                #15 0x000055b6d3454ff4 source_dispatch (systemd-importd)
                #16 0x000055b6d34562b9 sd_event_dispatch (systemd-importd)
                #17 0x000055b6d34566f8 sd_event_run (systemd-importd)
                #18 0x000055b6d33ba72a bus_event_loop_with_idle (systemd-importd)
                #19 0x000055b6d33b95bc manager_run (systemd-importd)
                #20 0x000055b6d33b9766 main (systemd-importd)
                #21 0x00007f5eaefe2a00 __libc_start_main (libc.so.6)
                #22 0x000055b6d33b5569 _start (systemd-importd)

shared/machine-pool: fix mkfs.btrfs checking

binary_is_good translates ENOENT to 0
See https://github.com/systemd/systemd/commit/85eca92e#diff-bcad68c477b6651521e880c40b7a9b40R813

Merge pull request #2828 from mineo/run-help

run: Improve the help message about timer options and existing units

run: Improve the help message about timer options and existing units

headers: remove commas at end of enum lists

src/systemd/sd-journal.h:75:51: warning: commas at the end of enumerator
      lists are a C99-specific feature [-Wc99-extensions]

headers: do not use siginfo_t if not defined

Simply avoid the trouble and use a void* if the define
is missing. We lose type safety, but who cares.
sigaction(2) says that siginfo_t requires _POSIX_C_SOURCE >= 199309L,
but we can be a bit more generous and use the same define
as /usr/include/signal.h.

headers: use __inline__ instead of inline

https://gcc.gnu.org/onlinedocs/gcc-5.3.0/gcc/Alternate-Keywords.html#Alternate-Keywords
recommends __inline__ over inline in ANSI C compatible headers.
Tested with gcc-5.3 and clang-3.7.

https://bugzilla.redhat.com/show_bug.cgi?id=1316964

build-sys: add check that our headers are ANSI compatible

Merge pull request #2821 from keszybz/mac_selinux_bind-do-not-rely-on-errno

socket_address_listen: do not rely on errno (2)

Merge pull request #2794 from jhol/dont-unmount-initramfs-mounts

core/mount: Don't unmount initramfs mounts

socket_address_listen: do not rely on errno (2)

We'd still use the invalid errno for a return value. Rework
the code to simply return the right error right away.

Merge pull request #2818 from vinaykul/master

DHCP DUID and IAID configurability

Merge pull request #2820 from lnykryn/test-ipcrm

test-ipcrm: fix log message

Merge pull request #2819 from bachradsusi/mac_selinux_bind-do-not-rely-on-errno

socket_address_listen - do not rely on errno

test-ipcrm: fix log message

socket_address_listen - do not rely on errno

Currently socket_address_listen() calls mac_selinux_bind() to bind a UNIX
socket and checks its return value and errno for EADDRINUSE. This is not
correct. When there's an SELinux context change made for the new socket,
bind() is not the last function called in mac_selinux_bind(). In that
case the last call is setfscreatecon() from libselinux which can change
errno as it uses access() to check if /proc/thread-self is available.
It fails on kernels before 3.17 and errno is set to ENOENT.

It's safe to check only the return value at it's set to -errno.

DHCP DUID and IAID configurability

Merge pull request #2792 from ronnychevalier/rc/tests_movev2

tests: move out unrelated tests from test-util to their own file

Merge pull request #2816 from rhatdan/selinux

/dev/console must be labeled with SELinux label in containers

Merge pull request #2793 from fbuihuu/fstab-generator-automount-option

fstab-generator: fix automounts to not mount automatically

Merge pull request #2755 from keszybz/more-tests

Enable more tests by default, and even more with `--enable-tests=unsafe`

/dev/console must be labeled with SELinux label

If the user specifies an selinux_apifs_context all content created in
the container including /dev/console should use this label.

Currently when this uses the default label it gets labeled user_devpts_t,
which would require us to write a policy allowing container processes to
manage user_devpts_t.  This means that an escaped process would be allowed
to attack all users terminals as well as other container terminals.  Changing
the label to match the apifs_context, means the processes would only be allowed
to manage their specific tty.

This change fixes a problem preventing RKT containers from working with systemd-nspawn.

Merge pull request #2768 from benjarobin/fix-2718

systemctl: Replace check_one_unit() by get_state_one_unit()

Merge pull request #2803 from 0xAX/lacess-tree-wide

firstboot: use laccess macro instead of facessat()

firstboot: use laccess macro instead of facessat()

README: bump kernel version to 3.12

It is required for %P is sysctl kernel.core_pattern.

Fixes #2800.

Merge pull request #2791 from 0xAX/clear-flag-macro

tree-wide: use SET_FLAG() macro to make code more clear

Merge pull request #2795 from jhol/replace-irreversibly-on-failure

core/failure-action: set job-modes to replace-irreversibly

Merge pull request #2801 from ronnychevalier/rc/systemctl_error_msg

systemctl: improve error message when starting a unit failed

tree-wide: use SET_FLAG() macro to make code more clear

systemctl: improve error message when starting a unit failed

Fixes #2798

test-compress-benchmark: skip loop iteration if size is 0

Otherwise we would hit an assert in the compression code.

test-selinux: use yes_no() and strnull()

networkctl: avoid reading past end of input buffer

name is IFNAMSIZ bytes, but we would copy sizeof(info->name) bytes,
which is IFNAMSIZ + 1. In effect we would go outside of the source
buffer and possibly leave a non-null terminated string in info->name.

CID #1351754.

networkctl: use ETHER_ADDR_NULL in one more place

lldp: fix memleak

in_addr_to_string returned 0, which was treated as error by the calling
code, which expects 1 on success.

CID #1351757, #1351758.

test-journal-enum: enable by default

It will get at most ten values, I don't know why we wouldn't
always run this test.

test-libudev: disable monitor mode by default and add to automatic tests

test-libudev: modernization

build-sys: ignore Python 2 bytecode files

We ignored __pycache__ which works for Python 3, but the rule
for Python 2 got lost somehow.

Enable test-ipcrm, test-hostname in unsafe tests

Enable test-daemon, test-log, test-watchdog by default

Those should be safe to run, resulting in some messages in logs.

shared/acpi-fpdt: use ENODATA for missing data and skip test

This data is simply missing on non-UEFI systems, and it is useful
to distinguish that from corrupted data.

Rename test-boot-timestamp to test-boot-timestamps and enable by default

The source file name and the binary name were mismatched.
Rename binary to match.

Make the test exit with TEST_SKIP if the data is missing or we
have no permissions. Otherwise, the data will be printed, which
should be safe to enable by default.

Move test-loopback to normal tests

In the normal case lo should be already configured and this should be
a noop, even when run under root.

fstab-generator: fix automount option and don't start associated mount unit at boot

Without this patch applied the mount unit with 'automount' option was still
pulled by local-fs.target and thus was activated during the boot process which
defeats the purpose of the 'automount' option:

   $ grep /mnt /etc/fstab
   /dev/vdb1 /mnt ext2 defaults,x-systemd.automount 0 0

   $ reboot
   ...

   $ mount | grep mnt
   systemd-1 on /mnt type autofs (rw,relatime,fd=34,pgrp=1,timeout=0,minproto=5,maxproto=5,direct)
   /dev/vdb1 on /mnt type ext2 (rw,relatime)

   $ systemctl status mnt.mount | grep Active
      Active: active (mounted) since Thu 2016-03-03 21:36:22 CET; 42s ago

With the patch applied:

   $ reboot
   ...

   $ mount | grep mnt
   systemd-1 on /mnt type autofs (rw,relatime,fd=22,pgrp=1,timeout=0,minproto=5,maxproto=5,direct)

   $ systemctl status mnt.mount | grep Active
      Active: inactive (dead)

   $ ls /mnt
   lost+found

   $ systemctl status mnt.mount | grep Active
      Active: active (mounted) since Thu 2016-03-03 21:47:32 CET; 4s ago

core/mount: Don't unmount initramfs mounts

A mount within /run/initramfs is indicative that the mount was
created by initramfs init and will be unmounted by initramfs
shutdown.

It is unlikely that such a mount point would even be unmountable
by the the main system, for example in the case of the root file-
system being loop-mounted from a file in a /run/initramfs mount.

core/failure-action: Set job-modes to replace-irreversibly

Up until now, the failure action has launched reboot.target and
poweroff.target with a less aggressive job mode than
"systemctl reboot" does. This has meant that the reboot and power-
off operations can stall if there are any conflicts with the target
during rebooting.

selinux: use *_raw API from libselinux

This is a follow-up to 5c5433ad32

tests: add create_strace_wrapper

Very handy for early-boot debugging
See https://github.com/systemd/systemd/pull/2781#discussion_r54782628

test-util: remove now unused includes

tests: move xattr-util related tests to test-xattr-util.c