core: parse socket port to extract_first_word

Merge pull request #1754 from martinpitt/master

core: drop check for /etc/mtab

Merge pull request #1759 from davidstrauss/master

man: Drop "internally," which is misleading

Merge pull request #1758 from poettering/varietygalore

A grab bag of stuff

man: Drop "internally," which is misleading

The existing text misleads readers into thinking how the notify socket protocol is "internals" and that they can only use the functions. However, the socket is part of the Interface Stability Promise. So, we should drop "internally" from the description so the man page both indicates both how the functions work and how one would talk to the socket directly.

log-generator: add option to generate easily compressible data

This is useful to check that compression actually works, and how
compression influences file size in the best-case-scenario for
compression. (The answer is that not as much as one would hope:
there's still a big overhead of the indexing and since every field
is compressed separately, even fields that compress very well
contribute to the file size. This overhead becomes negligible only
for very big fields.)

parse-util: introduce parse_ifindex() and make use of it everywhere

We have enough places where we parse an ifindex, hence introduce a
proper parsing function for it, that verifies all parameters.

machine: when we fail to extract a network interface from the machine state, don't try again

If we failed to extract a word, then that's how it is, we shouldn't try
to extract it again and again, it's unlikely to work, and we just
deadlock.

This is a fix-up for 52278ad31d92dffa9029c8a171b9e9348f5dcc8f.

journalctl: when we fail to open a journal file, print why

When we enumerate journal files and encounter an invalid one, remember
which this, and show it to the user.

Note the possibly slightly surprising logic here: we store only one path
per error code. This means we show all error kinds but not every actual
error we encounter. This has the benefit of not requiring us to keep a
potentially unbounded list of errors with their sources around, but can
still provide a pretty complete overview on the errors we encountered.

Fixes #1669.

sd-journal: various clean-ups and modernizations

- Always print a debug log message about files and directories we cannot
  open right when it happens instead of the caller, thus reducing the
  number of places where we need to generate the debug message.

- Always push the errors we encounter immediately into the error set,
  when we run into them, instead of in the caller. Thus, we never forget
  to push them in.

- Use stack instead of heap memory where we can.

- Make remove_file() void, since it cannot fail anyway and always
  returned 0.

- Make local machine check of journal directories explicit in a
  function, to make things more readable.

- Port to all directory listing loops FOREACH_DIRENT_ALL()

- sd-daemon is library code, hence never log at higher log levels than
  LOG_DEBUG.

journalctl: continue operation, even if we run into an invalid file

journal: return better error for empty files

When reading stuff, we should only return EIO when an actual read error
occured, not when we don't like the data for whatever reason.

We already return ENODATA for all other kinds of file truncation, hence
do the same for the most obvious kind, so that callers know what ENODATA
means.

core: expose number of file descriptors in fd store on the bus

For each service expose how many file descriptors there are currently in
the fd store.

(Also, fix the exporting of the fdstore limit, given that the field is
just an "unsigned" but we exported it as "uint32_t". Not that there way
any effective difference, but let's make this clean...)

proc-cmdline: return proper errors from shall_restore_state()

Let's not eat up errors in shall_restore_state(), but in the consumers
instead, just for the sake of keeping the library calls generic.

core: bump net.unix.max_dgram_qlen really early during boot

Only that way it actually has an effect on all our sockets, including
$NOTIFY_SOCKET.

Merge pull request #1757 from phomes/minor-fixes

Minor fixes

sysv-generator: remove duplicate const

I assume this was a typo in c279613f861636c816f2f7df051b02c2f55a5134

man: various typos

string-util: rework memory_erase() so that it cannot be optimized away

memory_erase() so far just called memset(), which the compiler might
optimize away under certain conditions if it feels there's benefit in
it. C11 knows a new memset_s() call that is like memset(), but may not
be optimized away. Ideally, we'd just use that call, but glibc currently
does not support it. Hence, implement our own simplistic version of it.

We use a GCC pragma to turn off optimization for this call, and also use
the "volatile" keyword on the pointers to ensure that gcc will use the
pointers as-is. According to a variety of internet sources, either one
does the trick. However, there are also reports that at least the
volatile thing isn't fully correct, hence let's add some snake oil and
employ both techniques.

https://news.ycombinator.com/item?id=4711346

Merge pull request #1690 from evverx/run-runtime-directory

systemd-run can launch units with RuntimeDirectory

Merge pull request #1736 from ronnychevalier/rc/test_execute_more_tests2

test-execute: add more tests

Merge pull request #1753 from fbuihuu/teach-delegate-for-runtime

Teach bus_append_unit_property_assignment() about 'Delegate' property

Merge pull request #1755 from ssahani/word-systemctl

systemctl: port to extract_first_word

systemctl: port to extract_first_word

core: drop check for /etc/mtab

util-linux 2.27.1 now entirely stops looking at /etc/mtab, so we don't need to
verify /etc/mtab during early boot any more. Later on, tmpfiles.d/etc.conf will
fix /etc/mtab anyway, so there's not even a point in warning about it.

Drop test_mtab() and bump the util-linux dependency to >= 2.17.1.

Fixes #1495

Merge pull request #1751 from ssahani/word-machine

machine: fix #1739

Teach bus_append_unit_property_assignment() about 'Delegate' property

machine: fix extract_first_word

Merge pull request #1722 from evverx/port-cap-bounding-set-to-extract-first-word

Port capabiliy bounding set parsing to extract_first_word

Merge pull request #1750 from systemd/revert-1740-master

Revert "utf8.[ch]: use char32_t and char16_t instead of int, int32_t,…

Merge pull request #1725 from ssahani/word-journal

sd-journal.c: port to extract_first_word

Revert "utf8.[ch]: use char32_t and char16_t instead of int, int32_t, int16_t"

Merge pull request #1739 from ssahani/word-machine

machine: : port to extract_first_word

Merge pull request #1740 from shawnl/master

utf8.[ch]: use char32_t and char16_t instead of int, int32_t, int16_t

Merge pull request #1738 from evverx/fix-paths-lookup-test

tests: lookup_paths_init depends on SYSTEMD_UNIT_PATH. Test it

Merge pull request #1749 from zonque/cmsg

core: two trivial debug/error message improvements

Merge pull request #1711 from mustrumr/network-use-after-free

network: fix use-after-free in link_free

Merge pull request #1748 from karelzak/todo

update TODO

core: be more verbose when NameOwnerChanged subscriptions fail

core: service: fix error message

The directive is called FileDescriptorStoreMax=, not FDStoreMax=.

Merge pull request #1745 from poettering/journal-deadlock

Make sure journald never blocks on sd_notify() to PID 1

update TODO

- inotify utab has been removed and we use libmount now
- x-systemd.requires= fstab option has been implemented to specify
  dependencies in fstab

journal-remote: remove unused variable warning when building without GNUTLS.

journald: never block when sending messages on NOTIFY_SOCKET socket

Otherwise we might run into deadlocks, when journald blocks on the
notify socket on PID 1, and PID 1 blocks on IPC to dbus-daemon and
dbus-daemon blocks on logging to journald. Break this cycle by making
sure that journald never ever blocks on PID 1.

Note that this change disables support for event loop watchdog support,
as these messages are sent in blocking style by sd-event. That should
not be a big loss though, as people reported frequent problems with the
watchdog hitting journald on excessively slow IO.

Fixes: #1505.

sd-daemon: verify NOTIFY_SOCKET path length

Better generate a real error then simply connect to the wrong socket.

utf8.[ch]: use char32_t and char16_t instead of int, int32_t, int16_t

rework C11 utf8.[ch] to use char32_t instead of uint32_t when referring
to unicode chars, to make things more expressive.

machine: : port to extract_first_word

sd-journal.c: port to extract_first_word

man: MANAGER_SYSTEM understands SYSTEMD_UNIT_PATH too

tests: lookup_paths_init depends on SYSTEMD_UNIT_PATH. Test it

sd-daemon: increase sd_notify() socket buffer size

Let's make sure we don't start blocking on sd_notify() earlier than
necessary, let's bump the socket buffer sizes to 8M.

We already do something similar for our logging socket buffers, hence
apply a similar bump here.

sysctl.d: bump number of queueable AF_UNIX/SOCK_DGRAM datagrams

The default of 16 is pretty low, let's bump this to accomodate for more
queued datagrams. This is useful for AF_UNIX/SOCK_DGRAM logging and
sd_notify() sockets as this allows queuing more datagrams before things
start to block, thus improving parallelization and logging performance.

sysv-generator: modernize

- Make sure we log each error at least once, and at most once

- Replace FOREACH_WORD loops by extract_first_word() loops

- Use FOREACH_DIRENT() for directory loops

- Use free_and_strdup() where appropriate

- Do not operate on half-loaded SysV files

- Always properly free all memory

core: bail our earlier when doing audit

Let's make sure we don't even try to create the audit socket

core,nspawn: minor coding style fixes

nspawn: fix minor memory leak

When rebooting nspawn containers about 400 times we'd otherwise hit the
fd limit and refuse further reboots.

core: constify a few things

systemctl: add a way to explicitly request client-side unit installing

This adds support for a new environment variable
SYSTEMCTL_INSTALL_CLIENT_SIDE, that ensures that systemctl executes
install operations client-side instead of passing them to PID1. This is
useful in debugging situations, but even beyond that. However, we don't
want to make it official API, hence let's just make it an undocumented
environment variable.

Similar, add a second variable, SYSTEMCTL_SKIP_SYSV which allows
skipping the SysV chkconfig fall-back if set. This is useful for similar
reasons, and exposed as undocumented as environment variable for similar
reasons, too.

Merge pull request #1734 from evverx/overwrite-sysemd-unit-path

core: set_unit_path overwrites SYSTEMD_UNIT_PATH

test-path: move all related test files to a specific directory

To avoid polluting test/

test-execute: move all files related to a specific directory

To avoid polluting test/

build-sys: add missing test files to EXTRA_DIST

test-execute: add tests for IOSchedulingClass

test-execute: add tests for OOMScoreAdjust

test-execute: add test for EnvironmentFile

test-execute: add test for PrivateNetwork

core: set_unit_path overwrites SYSTEMD_UNIT_PATH

core: port config_parse_bounding_set to extract_first_word

Merge pull request #1729 from endocode/dongsu/jr-mhd-memlimit-v3

journal-remote: increase memory limit per connection to avoid errors …

journal-remote: increase memory limit per connection to avoid errors with HTTPS

Explicitly set MHD_OPTION_CONNECTION_MEMORY_LIMIT to a larger value,
when setting up microhttpd, to give more memory per HTTP(S) connection.

This way systemd-journal-remote can now prevent microhttpd from failing
in creating response headers with messages like "Not enough memory for
write", especially when lots of HTTPS requests arrive. That's precisely
because MHD_OPTION_CONNECTION_MEMORY_LIMIT in libmicrohttpd defaults to
32768, which is in practice insufficient in this case.
See also https://gnunet.org/bugs/view.php?id=4007 for more details.

Fixes: https://github.com/coreos/bugs/issues/927

Merge pull request #1720 from evverx/shell-completion-global-mode

shell-completion: systemctl: show completions for `user` in `global` …

tests: add test for capability bounding set parsing

hwdb: Update database of Bluetooth company identifiers

shell-completion: systemctl: show completions for `user` in `global` mode

Merge pull request #1709 from evverx/set-location-completion

shell-completion: hostnamectl: add the command set-location

Merge pull request #1717 from ronnychevalier/rc/test_capabilityboundingset2

test: add tests to ensure that the capabilities are properly set

test: add tests to ensure that the capabilities are properly set

Merge pull request #1713 from evverx/test-cap-bounding-set-merging

Another fix of the CapabilityBoundingSet parsing

core: fix capability bounding set parsing

bug: CapabilityBoundingSet= doesn't reset all caps

test: add test for capability bounding set parsing

network: fix use-after-free in link_free

Freeing a link removes it both from addresses and addresses_foreign,
causing SIGSEGV if one of the sets is freed.

shell-completion: hostnamectl: add the command set-location

Merge pull request #1700 from ssahani/word

Port to extract_first_word

Merge pull request #1707 from dvdhrm/notify-prio

core: fix priority ordering in notify-handling

core: fix priority ordering in notify-handling

Currently, we dispatch NOTIFY messages in a tight loop. Regardless how
much data is incoming, we always dispatch everything that is queued.
This, however, completely breaks priority event-handling of sd-event.
When dispatching one NOTIFY event, another completely different event
might fire, or might be queued by the NOTIFY handling. However, this
event will not get dispatched until all other further NOTIFY messages are
handled. Those might even arrive _after_ the other event fired, and as
such completely break priority ordering of sd-event (which several code
paths rely on).

Break this by never dispatching multiple messages. Just return after each
message that was read and let sd-event handle everything else.

(The patch looks scarier that it is. It basically just drops the for(;;)
 loop and re-indents the loop-content.)

nspwan: port to extract_first_word

install: port to extract_first_word

journal-remote: port to extract_first_word

Merge pull request #1705 from filbranden/testutil1

Move tests for extract-word and parse-util into separate test cases

test-parse-util: Move parse-util tests into their own test case

Tests for the functions defined in src/basic/parse-util.c. Reorder them
to match the order in which the functions are defined in the source
file. Adjusted the list of include files to remove the ones no longer
needed in test-util.c.

Tested that `make check` still passes as expected. Also checked the
number of lines removed from test-util.c matches the expected, as an
additional verification that no tests were dropped or duplicated in the
move.

test-extract-word: Move extract-word tests into their own test case

Tests for the functions defined in src/basic/extract-word.c.

Tested that `make check` still passes as expected.

build-sys: Keep .gitignore sorted

Let's try to keep it that way! :-)

Merge pull request #1703 from ronnychevalier/rc/test_execute_check_nobody2

test-execute: check if nobody exists before running some tests

Merge pull request #1699 from filbranden/cpuaffinity9

cpu-set-util: Support ranges in parse_cpu_set_and_warn (v4)

test-execute: check if nobody exists before running some tests

Merge pull request #1701 from hosiet/l10n-cn

l10n: add Simplified Chinese translation.

l10n: add zh_CN translation.

man: Update man page documentation for CPUAffinity

Document support for commas as a separator and possibility of specifying
ranges of CPU indices.

Tested by regenerating the manpages locally and reading them on man.

cpu-set-util: Support ranges in parse_cpu_set_and_warn

Tested CPUAffinity ranges on both a service unit and in system.conf and
confirmed they work as expected (by inspecting /proc/PID/status, for the
main pid of the service and for pid 1).  Also mixed ranges with both
spaces, commas, trailing commas and spaces.

Added new tests to increase coverage of ranges and prevent regressions.

parse-util: Introduce new parse_range function

This function will be useful for CPUAffinity settings that involve
ranges of CPUs.

Make it generic and include test coverage to prevent regressions.