test-compress-benchmark: properly initialize buffer

We were compressing unitialized memory, which should not result in
any problems, but is inelegant.

test-compress-benchmark: limit default runtime to 2 seconds per subtest

If both lz4 and xz are enabled, this results in a limit of
2×3×2 s ~= 12 s runtime.

Previous implementation started with really small buffer sizes. When
combined with a short time limit this resulteded in abysmal results for xz.
It seems that the initialization overead is really significant for small
buffers. Since xz will not be used by default anymore, this does not
seem worth fixing. Instead buffer sizes are changed to run a
pseudo-random non-repeating pattern. This should allow reasonable testing
for all buffer sizes. For testing, both runtime and the buffer size seed
can be specified on the command line. Sufficiently large runtime allows
all buffer sizes up to 1MB to be tested.

build-sys: enable lz4 by default if available

--enable-lz4 can be used to force lz4 requirement,
--disable-lz4 can be used to skip lz4 support even if available.

Also, make surrounding checks for bzip2, xz, and zlib similar in structure.
This fixes the check for requested but missing bzip2.

compress: return errors without logging, do not fake errno

Logging for compression and decompression is assymetrical on purpose:
if compiled without some type of compression, those compression code
paths should never be invoked. OTOH, it is possible to encounter
unsupported format on decompression, so leave those log_debug statements
in, to make it easier to diagnose stuff.

compress: fix mmap error handling

test-compress-benchmark: test three cases (zeros, simple, semi-random)

Existing test would use highly-compressible repeatable
input. Two types of input are added:
- zeros
- random blocks interspersed with zeros

The idea is to get more information about behaviour in various cases.

On Intel Xeon the results are:

% ./test-compress-benchmark
XZ/zeros: compressed & decompressed 2535301373 bytes in 32.56s (74.26MiB/s), mean compresion 99.96%, skipped 3160 bytes
LZ4/zeros: compressed & decompressed 2535304362 bytes in 1.16s (2088.69MiB/s), mean compresion 99.60%, skipped 171 bytes
XZ/simple: compressed & decompressed 2535300963 bytes in 30.42s (79.48MiB/s), mean compresion 99.95%, skipped 3570 bytes
LZ4/simple: compressed & decompressed 2535303543 bytes in 1.22s (1978.86MiB/s), mean compresion 99.60%, skipped 990 bytes
XZ/random: compressed & decompressed 381756649 bytes in 60.02s (6.07MiB/s), mean compresion 39.64%, skipped 27813723 bytes
LZ4/random: compressed & decompressed 2507385036 bytes in 0.97s (2477.52MiB/s), mean compresion 54.77%, skipped 27919497 bytes

If someone has ideas for more realistic test cases, they can be easily
added to this framework.

coredump: use lz4frame api to compress coredumps

This converts the stream compression to use the new lz4frame api,
compatible with lz4cat. Previous code used custom headers, so the
compressed file was not compatible with lz4 command line tools.
I considered this the last blocker to using lz4 by default.

Speed seems to be reasonable, although a bit (a few percent) slower
than the lz4 binary, even though compression is the same. I don't
consider this important. It could be caused by the overhead of library
calls, but is probably caused by slightly different buffer sizes or
such. The code in this patch uses mmap, since since this allows the
buffer to be reused while not making the code more complicated at all.
In my testing, this version is noticably faster (~20%) than a naive
single-buffered version. mmap can cause the program to be killed with
SIGBUS, if the underlying file is truncated or a disk error occurs. We
only use this from within coredump and coredumpctl, so I don't
consider this an issue.

Old decompression code is retained and is used if the new code fails
indicating a format error. There have been reports of various smaller
distributions using previous lz4 code, i.e. the old format, and it is
nice to provide backwards compatibility. We can remove the legacy code
in a few versions.

The way that blobs are compressed in the journal is not affected.

build-sys: use pkgconfig and lz4 and bump version

The new frame api was released in v. 125.

tree-wide: never use the off_t unless glibc makes us use it

off_t is a really weird type as it is usually 64bit these days (at least
in sane programs), but could theoretically be 32bit. We don't support
off_t as 32bit builds though, but still constantly deal with safely
converting from off_t to other types and back for no point.

Hence, never use the type anymore. Always use uint64_t instead. This has
various benefits, including that we can expose these values directly as
D-Bus properties, and also that the values parse the same in all cases.

Merge pull request #1226 from poettering/coccinelle-fixes3

Third round of Coccinelle fixes

Merge pull request #1234 from medhefgo/master

cryptsetup-generator: Properly check return code

cryptsetup-generator: Properly check return code

Merge pull request #1230 from swem/master

Add microphone mute keymap for Dell Precision

Add microphone mute keymap for Dell Precision

Merge pull request #1225 from mbiebl/remove-sphinx-leftover2

README: remove obsolete instructions regarding python-systemd/sphinx

tree-wide: take benefit of the fact that hashmap_free() returns NULL

And set_free() too.

Another Coccinelle patch.

README: remove obsolete instructions regarding python-systemd/sphinx

tree-wide: make use of the fact that strv_free() returns NULL

Another Coccinelle patch.

Makefile: fix gardel target

Merge pull request #1220 from zonque/logind-dry-run

logind: make dry run command line arguments work again (v2)

systemctl: add dry-run support for scheduled shutdowns

Prefix the action parameter with "dry-" in case the --dry-run command
line switch was passed.

logind: allow dry run variants for scheduled shutdowns

Allow passing a "dry-" prefix to the action parameter passed to
.ScheduleShutdown(). When strings with this prefix are passed,
the scheduled action will not take place. Instead, an info message
is logged.

Merge pull request #1213 from evverx/systemd-notify-log

notify: log error when sd_pid_notify() == 0

Merge pull request #1218 from poettering/safe-fclose

util: introduce safe_fclose() and port everything over to it

README: document new /etc/mtab requirement

util: introduce safe_fclose() and port everything over to it

Adds a coccinelle script to port things over automatically.

Merge pull request #1217 from zonque/free-and-replace

locale: kill free_and_replace()

locale: kill free_and_replace()

That function really makes little sense, as the open-coded variant
is much more readable. Also, if the 2nd argument is NULL, mfree()
is a much better candidate.

Convert the only users of this function in localed, and then remove it
entirely.

Merge pull request #1216 from poettering/coccinelle-fixes-2

Coccinelle fixes 2

tree-wide: replace while(1) by for(;;) everywhere

Another Coccinelle script.

tree-wide: update empty-if coccinelle script to cover empty-while and more

Let's also clean up single-line while and for blocks.

tree-wide: make use of log_error_errno() return value in more cases

The previous coccinelle semantic patch that improved usage of
log_error_errno()'s return value, only looked for log_error_errno()
invocations with a single parameter after the error parameter. Update
the patch to handle arbitrary numbers of additional arguments.

sd-bus: drop weird empty lines

We should never put empty lines between `if` and `else if`, unless we use
braces.

Merge pull request #1215 from maciejaszek/fds_pass_fixes

sd_pid_notify_with_fds: fix computing msg_controllen

Merge pull request #1214 from zonque/mtab

core: freeze execution if /etc/mtab exists

sd_pid_notify_with_fds: fix computing msg_controllen

CMSG_SPACE(0) may return value other than 0. This caused sendmsg to fail
with EINVAL, when have_pid or n_fds was 0.

Merge pull request #1212 from again4you/devel/fix_smack_label_#3

Wrong smack label of the symlink in CGROUP root directory when enabling '--with-smack-run-label' (v3)

core: freeze execution if /etc/mtab exists

The mount monitor that was added to libmount v2.27 requires /etc/mtab to be
non-existant. As systemd now uses that functionality, we cannot monitor any
mounts anymore, and hence not support .mount units.

Systems that have /etc/mtab around as regular file are unsupported by
systemd since a long time.

This patch makes that condition fatal, so we do not boot up with
non-working mount monitor support.

notify: log error when sd_pid_notify() == 0

smack: bugfix the smack label of symlink when '--with-smack-run-label' is set

Even though systemd has its own smack label since
'--with-smack-run-label' configuration is set, the smack label of each
CGROUP root directory should have the star (i.e. *) label. This is
mainly because current Linux Kernel set the label in this way.
(Refer to smack_d_instantiate() in security/smack/smack_lsm.c)

However, if systemd has its own smack label and arg_join_controllers is
explicitly set or initialized by initialize_join_controllers() function,
current systemd creates the symlink in CGROUP root directory with its
own smack label as below.

lrwxrwxrwx. 1 root root System  11 Dec 31 16:00 cpu -> cpu,cpuacct
dr-xr-xr-x. 4 root root *        0 Dec 31 16:01 cpu,cpuacct
lrwxrwxrwx. 1 root root System  11 Dec 31 16:00 cpuacct -> cpu,cpuacct

This patch fixes that bug by copying the smack label from the origin.

smack: introduce new mac_smack_copy() function

This adds a new mac_smack_copy() function in order to read the smack
label from the source and apply it to the destination.

importd: fix typos

Merge pull request #1210 from poettering/import-fixes

cgroup fix, nspawn fix, plus change to download .nspawn files in importd

Merge pull request #1207 from poettering/coccinelle-fixes

Coccinelle fixes

nspawn: add missing comma to gperf file

Merge pull request #1180 from evverx/dot-from-to-alias-handling

analyze: add alias handling for --{from,to}-pattern options of the dot command

tree-wide: drop {} from one-line if blocks

Patch via coccinelle.

tree-wide: make use of log_error_errno() return value

Turns this:

        r = -errno;
        log_error_errno(errno, "foo");

into this:

        r = log_error_errno(errno, "foo");

and this:

        r = log_error_errno(errno, "foo");
        return r;

into this:

        return log_error_errno(errno, "foo");

tree-wide: don't do assignments within if checks

Turn this:

       if ((r = foo()) < 0) { ...

into this:

       r = foo();
       if (r < 0) { ...

tree-wide: drop redundant if checks before safe_close()

Replace this:

        if (fd >= 0)
                safe_close(fd);

by this:

        safe_close(fd);

tree-wide: make more code use safe_close()

Replace this:

        close(fd);
        fd = -1;

write this:

        fd = safe_close(fd);

tree-wide: use coccinelle to patch a lot of code to use mfree()

This replaces this:

        free(p);
        p = NULL;

by this:

        p = mfree(p);

Change generated using coccinelle. Semantic patch is added to the
sources.

Merge pull request #1206 from davidmilburn/ata-by-path

udev: build by-path identifiers for ATA devices.

udev: build by-path identifiers for ATA devices.

/dev/disk/by-path

total 0
lrwxrwxrwx. 1 root root  9 Sep  4 10:02 pci-0000:00:1f.2-ata-2 -> ../../sr0
lrwxrwxrwx. 1 root root  9 Sep  4 10:02 pci-0000:00:1f.2-ata-3 -> ../../sdd
lrwxrwxrwx. 1 root root 10 Sep  4 10:02 pci-0000:00:1f.2-ata-3-part1 -> ../../sdd1
lrwxrwxrwx. 1 root root 10 Sep  4 10:02 pci-0000:00:1f.2-ata-3-part2 -> ../../sdd2
lrwxrwxrwx. 1 root root 10 Sep  4 10:02 pci-0000:00:1f.2-ata-3-part3 -> ../../sdd3
lrwxrwxrwx. 1 root root  9 Sep  4 10:02 pci-0000:03:00.0-ata-4 -> ../../sda
lrwxrwxrwx. 1 root root 10 Sep  4 10:02 pci-0000:03:00.0-ata-4-part1 -> ../../sda1
lrwxrwxrwx. 1 root root 10 Sep  4 10:02 pci-0000:03:00.0-ata-4-part2 -> ../../sda2
lrwxrwxrwx. 1 root root  9 Sep  4 10:02 pci-0000:08:00.0-ata-1 -> ../../sdc
lrwxrwxrwx. 1 root root 10 Sep  4 10:02 pci-0000:08:00.0-ata-1-part1 -> ../../sdc1
lrwxrwxrwx. 1 root root 10 Sep  4 10:02 pci-0000:08:00.0-ata-1-part2 -> ../../sdc2

Merge pull request #1203 from mus65/fix-esp-options

gpt-auto: fix ESP options and description

gpt-auto: fix ESP options and description

Since 59512f21 the parameters were passed in the wrong order, causing the
options to be interpreted as the description.

Also, while "false" was supposed to be passed for "rw", the ESP should actually
be mounted read-write. It just happened to be "true" since the description char*
was passed for "rw".

importd: for .raw and .tar images, try to download .nspawn settings file too

cgroups: make sure the "devices" controller's enum is named the same way as the controller in the kernel

Follow-up to 5bf8002a3a6723ce50331c024122078552fb600a.

Merge pull request #1190 from poettering/rework-virt

basic: rework virtualization detection API

sd-login: fix sd_seat_get_active() to return ENODATA

This seems to be an oversight from:
    707b66c66381c899d7ef640e158ffdd5bcff4deb

We have to return ENODATA instead of ENOENT if a requested entry is
non-present. Also fix the call-site in udev to check for these errors.

build: prepare for v226

Bump version info and update NEWS for the upcoming release.

Merge pull request #1201 from torstehu/fix-typo

treewide: fix typos

Merge pull request #1192 from poettering/sd-bus-container

sd-bus: pass container bus errors up to calling process

treewide: fix typos

Merge pull request #1196 from evverx/systemctl-add-consists-of

systemctl: add ConsistsOf as the inverse of PartOf

Merge pull request #1198 from martinpitt/master

cgroup-util: fix devices controller

cgroup-util: fix devices controller

Commit efdb0237 accidentally changed the name of the "devices" cgroup
controller to "device".

Merge pull request #1195 from poettering/nspawn-fixes

Various nspawn fixes

systemctl: add ConsistsOf as the inverse of PartOf

update TODO

NEWS: update contributors list

nspawn: also close uid shift socket in the parent

We should really close all parent sides of our child/parent socket
pairs.

nspawn: short reads do not set errno, hence don't try to print it

inspawn: switch from SOCK_DGRAM to SOCK_SEQPACKET for internal socketpairs

SOCK_DGRAM and SOCK_SEQPACKET have very similar semantics when used with
socketpair(). However, SOCK_SEQPACKET has the advantage of knowing a
hangup concept, since it is inherently connection-oriented.

Since we use socket pairs to communicate between the nspawn main process
and the nspawn child process, where the child might die abnormally it's
interesting to us to learn about this via hangups if the child side of
the pair is closed. Hence, let's switch to SOCK_SEQPACKET for these
internal communication sockets.

Fixes #956.

nspawn: properly propagate errors when we fail to set soemthing up

Merge pull request #1193 from phomes/typos

man: typo fixes

man: typo fixes

machined: improve error message when trying to get a bus in bus-less containers

Now that we get useful error messages from sd-bus for container
connections, let's make use of this and report better errors back to
machined clients.

Fixes #685.

sd-bus: when connecting to a container AF_UNIX bus, return error

When forking of a child process for connecting to a container, pass
the preicse connection error to the calling process.

We already did this correctly for kdbus busses, let's do so for dbus1
busses, too.

Merge pull request #1191 from poettering/nspawn-split

nspawn: split up nspawn.c into multiple smaller .c files

nspawn: sort and clean up included header list

Let's remove unnecessary inclusions, and order the list alphabetically
as suggested in CODING_STYLE now.

nspawn: remove nspawn.h, it's empty now

nspawn: split out --uid= logic into nspawn-setuid.[ch]

nspawn: split out machined registration code to nspawn-register.[ch]

nspawn: split out cgroup related calls into nspawn-cgroup.[ch]

nspawn: split out network related code to nspawn-network.[ch]

nspawn: split all port exposure code into nspawn-expose-port.[ch]

nspawn: split out mount related functions into a new nspawn-mount.c file

Merge pull request #1189 from poettering/unit-start

unit: move "not supported" check after condition check in unit_start()

unit: move "not supported" check after condition check in unit_start()

Make sure we always check conditions before checking whether the unit
type is supported in unit_start(), since condition checks are "clean
errors", while "not supported" errors are fatal.

This cleans up the boot output of systemd in containers, where a lot of
NOTSUPP lines were shown befor this fix.

This partially reverts 8ff4d2ab0d4758e914aea6d86154d85f2b2c787f which
reorder the checks.

basic: rework virtualization detection API

Introduce a proper enum, and don't pass around string ids anymore. This
simplifies things quite a bit, and makes virtualization detection more
similar to architecture detection.

NEWS: fix typos

update NEWS

Merge pull request #1178 from poettering/gpt-auto-fixes

handle LUKS root partitions better in gpt-auto, plus other fixes

Merge pull request #1183 from dvdhrm/cpename

man: clarify wording of os-release.CPE_NAME

Merge pull request #1182 from martinpitt/master

tests: Skip test-cgroup-util test_mask_supported() when not running under systemd

man: clarify wording of os-release.CPE_NAME

We expect the CPE_NAME to be formatted in URI binding syntax. Make that
clear in the documentation. Furthermore, the CPE-spec has been taken over
by NIST, so adjust the links as well.

Reported by: Ben Harris <bjh21@cam.ac.uk>

tests: Skip test-cgroup-util test_mask_supported() when not running under systemd

Commit 5f4c5fef6 introduced this new test case, but this does not work in
build chroots where cgroupfs is not mounted. So skip the test if systemd is not
running.

Merge pull request #1181 from evverx/update-systemd-analyze-completion

shell-completion: update systemd-analyze bash-completion

shell-completion: update systemd-analyze bash-completion

* Change --no-man to --man (see dad29df)
* --{from,to}-pattern require arg