Merge pull request #355 from dvdhrm/netlink

sd-netlink cleanups

Merge pull request #335 from aroig/gh/fix_check_unneeded

core: fix reversed dependency check in unit_check_unneeded

Merge pull request #347 from poettering/check-api-docs

build-sys: make sure check-api-docs sees each symbol just once

sd-netlink: don't export internal type-system details

The kernel bonding layer allows passing an array of ARP IP targets as
bond-configuration. Due to the weird implementation of arrays in netlink
(which we haven't figure out a generic way to support, yet), we usually
hard-code the supported array-sizes. However, this should not be exported
from sd-netlink.

Instead, make sure the caller just uses it's current hack of enumerating
the types, and the sd-netlink core will have it's own list of supported
array-sizes (to be removed in future extensions, btw!). If either does not
match, we will just return a normal error.

Note that we provide 2 constants for ARP_IP_TARGETS_MAX now. However, both
have very different reasons:
 - the constant in netdev-bond.c is used to warn the user that the given
   number of targets might not be supported by the kernel (even though the
   kernel might increase that number at _any_ time)
 - the constant in sd-netlink is solely used due to us missing a proper
   array implementation. Once that's supported in the type-system, it can
   be removed without notice

Last but not least, this patch turns the log_error() into a log_warning().
Given that the previous condition was off-by-one, anyway, it never hit at
the right time. Thus, it was probably of no real use.

sd-netlink: don't treat NULL as root type-system

Explicitly export the root type-system to the type-system callers. This
avoids treating NULL as root, which for one really looks backwards (NULL
is usually a leaf, not root), and secondly prevents us from properly
debugging calling into non-nested types.

Also rename the root to "type_system_root". Once we support more than
rtnl, well will have to revisit that, anyway.

sd-netlink: don't treat type_system->count==0 as invalid

Empty type-systems are just fine. Avoid the nasty hack in
union-type-systems that treat empty type-systems as invalid. Instead check
for the actual types-array and make sure it's non-NULL (which is even true
for empty type-systems, due to "empty_types" array).

sd-netlink: make sure the root-level type is nested

In sd-netlink-message, we always guarantee that the currently selected
type-system is non-NULL. Otherwise, we would be unable to parse any types
in the current container level. Hence, this assertion must be true:
    message->container_type_system[m->n_containers] != NULL

During message_new() we currently do not verify that this assertion is
true. Instead, we blindly access nl_type->type_system and use it (which
might be NULL for basic types and unions). Fix this, by explicitly
checking that the root-level type is nested.

Note that this is *not* a strict requirement of netlink, but it's a strict
requirement for all message types we currently support. Furthermore, all
the callers of message_new() already verify that only supported types are
passed, therefore, this is a pure cosmetic check. However, it might be
needed on the future, so make sure we don't trap into this once we change
the type-system.

sd-netlink: drop NETLINK_TYPE_META

The NETLINK_TYPE_META pseudo-type is actually equivalent to an empty
nested type. Drop it and define an empty type-system instead.

This also has the nice side-effect that m->container_type_system[0] is
never NULL (which has really nasty side-effects if you try to read
attributes).

sd-netlink: turn 'max' into 'count' to support empty type-systems

Right now we store the maximum type-ID of a type-system. This prevents us
from creating empty type-systems. Store the "count" instead, which should
be treated as max+1.

Note that type_system_union_protocol_get_type_system() currently has a
nasty hack to treat empty type-systems as invalid. This might need some
modification later on as well.

sd-netlink: avoid casting size_t into int

size_t is usually 64bit and int 32bit on a 64bit machine. This probably
does not matter for netlink message sizes, but nevertheless, avoid
hard-coding it anywhere.

sd-netlink: make NLTypeSystem internal

Same as NLType, move NLTypeSystem into netlink-types.c and hide it from
the outside. Provide an accessor function for the 'max' field that is used
to allocate suitable array sizes.

Note that this will probably be removed later on, anyway. Once we support
bigger type-systems, it just seems impractical to allocate such big arrays
for each container entry. An RBTree would probably do just fine.

sd-netlink: make NLType internal

If we extend NLType to support arrays and further extended types, we
really want to avoid hard-coding the type-layout outside of
netlink-types.c. We already avoid accessing nl_type->type_system outside
of netlink-types.c, extend this to also avoid accessing any other fields.

Provide accessor functions for nl_type->type and nl_type->size and then
move NLType away from the type-system header.

With this in place, follow-up patches can safely turn "type_system" and
"type_system_union" into a real "union { }", and then add another type for
arrays.

sd-netlink: don't access type->type_system[_union] directly

Make sure we never access type->type_system or type->type_system_union
directly. This is an implementation detail of the type-system and we
should always use the accessors. Right now, they only exist for 2-level
accesses (type-system to type-system). This patch introduces the 1-level
accessors (type to type-system) and makes use of it.

This patch makes sure the proper assertions are in place, so we never
accidentally access sub-type-systems for non-nested/union types.

Note that this places hard-asserts on the accessors. This should be fine,
as we expect callers to only access sub type-systems if they *know*
they're dealing with nested types.

sd-netlink: rename NLA_ to NETLINK_TYPE_

The NLA_ names are used to name real datatypes we extract out of netlink
messages. The kernel has an internal enum with the same names
(NLA_foobar), which is *NOT* binary compatible to our types. Furthermore,
we support a different set of types than the kernel (as we try to treat
some kernel peculiarities as our own types to simplify the API).

Rename NLA_ to NETLINK_TYPE_ to make clear that this is our own set of
types.

Merge pull request #346 from poettering/install-bad-memory

install: fix minor bad memory access

Merge pull request #349 from systemd-mailing-devs/1435103298-2439-1-git-send-email-jengelh@inai.de

ata_id: unbotch format specifier

ata_id: unbotch format specifier

Commit v218-247-g11c6f69 broke the output of the utility. "%1$" PRIu64
"x" expands to "%1$lux", essentially "%lux", which shows the problem.
u and x cannot be combined, u wins as the type character, and x gets
emitted verbatim to stdout.

References: https://bugzilla.redhat.com/show_bug.cgi?id=1227503

install: fix bad memory access

build-sys: make sure check-api-docs sees each symbol just once

Given that some symbols are exposed by multiple libraries (due to the
compatibility libraries), let's ensure "make check-api-docs" only shows
each symbol once by filtering out duplicates.

Merge pull request #339 from teg/udev-coverity

coverity fixes in udev

Merge pull request #338 from xnox/fix-copy-bytes

test: fix test-copy without /etc/os-release.

test: fix test-copy without /etc/os-release.

udevadm: trigger - check return values

Fixes CID#1296243.

udev: worker - check return value of udev_monitor_enable_receiving()

Fixes CID#1297430.

udev: event - check return code of dup2()

This fixes CID#1304688.

udev: bulitin-hwdb - fix memory leak

This fixes CID#1292782.

Merge pull request #332 from xnox/bootchart-scales

bootchart: fix per-cpu & small scales.

bootchart: fix per-cpu scales.

Closes systemd/systemd#330

core: fix reversed dependency check in unit_check_unneeded

This was introduced by commit be7d9ff730cb88d7c6a8 and breaks
StopWhenUnneeded=true in the presence of a Requisite dependency.

README: mention "git archive"

Merge pull request #318 from walyong/smack_v02

SMACK v02: support modify rules and add default executed process label

Merge pull request #328 from kaysievers/nodist

build-sys: add all source files and no built files to the tar ball

build-sys: add all source files and no built files to the tar ball

This fully synchronizes the content of a "make dist" and a "git archive"
tar ball.

  http://lists.freedesktop.org/archives/systemd-devel/2015-June/033214.html

man: install networkctl and sysusers.d man page conditionally

Merge pull request #324 from llua/zsh-completion

zsh-completion: _loginctl/_systemd/_systemd-inhibit improvements

Merge pull request #326 from whot/hwdb-updates

Hwdb updates

hwdb: move a couple of entries to expected sort order

hwdb: add Logitech MX Revolution

build-sys: let "make git-tar" archive HEAD

zsh-completion: _loginctl/_systemd/_systemd-inhibit improvements

_loginctl: respects the verbose style. which allows a user to get
the pre d5df0d950f8bc behavior of not showing a description for sessions
and users, by default they aren't shown.

zstyle ':completion:*' verbose true
or
zstyle ':completion:*:loginctl*:*' verbose true # or similar
Will show the descriptions.

zstyle ':completion:*' verbose true
and
zstyle ':completion:*:loginctl*:*' verbose false # or similar
Won't show descriptions for loginctl only

_systemd: complete pids for systemd-notify's --pid option.
display a message of the expected argument for other options.

_systemd-inhibit: complete block & delay for --mode
display a message of the expected argument for --who/--why

build-sys: remove $(NULL)

build-sys: add custom "make git-tar" target

Merge pull request #314 from geertj/missing-exports

export sd_bus_object_added() / _removed()

Merge pull request #319 from teg/udev-cgroup-warning

udevd: suppress warning if we don't find cgroup

Merge pull request #322 from kaysievers/wip

man: remove outdated links and stray character

man: remove stray · from header

man: remove links to outdated kdbus development repository

udevd: suppress warning if we don't find cgroup

This is expected on non-systemd systems, so just log it at debug level.

This fixes issue #309.

smack: add default smack process label config

Similar to SmackProcessLabel=, if this configuration is set, systemd
executes processes with given SMACK label. If unit has
SmackProcessLabel=, this config is overwritten.
But, do NOT be confused with SMACK64EXEC of execute file. This default
execute process label(and also label which is set by
SmackProcessLabel=) is set fork-ed process SMACK subject label and
used to access the execute file.
If the execution file has also SMACK64EXEC, finally executed process
has SMACK64EXEC subject.
While if the execution file has no SMACK64EXEC, the executed process
has label of this config(or label which is set by
SmackProcessLabel=). Because if execution file has no SMACK64EXEC then
excuted process inherits label from caller process(in this case, the
caller is systemd).

smack: support smack access change-rule

Smack is also able to have modification rules of existing rules. In
this case, the rule has additional argument to modify previous
rule. /sys/fs/smackfs/load2 node can only take three arguments:
subject object access. So if modification rules are written to
/sys/fs/smackfs/load2, EINVAL error is happen. Those modification
rules have to be written to /sys/fs/smackfs/change-rule.
To distinguish access with operation of cipso2, split write_rules()
for each operation. And, in write access rules, parse the rule and if
the rule has four argument then write into
/sys/fs/smackfs/change-rule.
https://lwn.net/Articles/532340/

fwrite() or fputs() are fancy functions to write byte stream such like
regular file. But special files on linux such like proc, sysfs are not
stream of bytes. Those special files on linux have to be written with
specific size.
By this reason, in some of many case, fputs() was failed to write
buffer to smack load2 node.
The write operation for the smack nodes should be performed with
write().

Merge pull request #315 from llua/zsh-completion

zsh-completion: _systemd-nspawn - add more argument completion

export sd_bus_object_added() / _removed()

Fixes #306.

zsh-completion: _systemd-nspawn - add more argument completion

filenames will be completed for --image/-i/--bind/--bind-ro/--tmpfs
network interfaces for --network-(interface|macvlan|ipvlan|bridge)
users for --user/-u, yes & no for --register, x86 * x86-64 for
--personality

display a message of the expected argument for --machine/-M/--uuid
--slice/-S/--port/-p/--selinux-*/-Z/-L/--setenv

Allow completing commands(and their options) of the host system for COMMAND

Merge pull request #304 from mknjc/master

fix machinectl bind man entry

pam_systemd: Properly check kdbus availability

This properly avoids setting DBUS_SESSION_BUS_ADDRESS if kdbus
is loaded (or built into the kernel) but not wanted.

fix machinectl bind man entry

Merge pull request #303 from zonque/man

man: rename systemd-bus-proxyd@.service.xml → systemd-bus-proxyd.…

man: rename systemd-bus-proxyd@.service.xml → systemd-bus-proxyd.service.xml

The bus proxy is multi-threaded now. Reflect that in the man pages.

Merge pull request #301 from daurnimator/master

man: sd-bus: it's 'machine' not 'container'

man: sd-bus: it's 'machine' not 'container'

man: be more careful with the wording in busctl(1)

man: various documentation improvements for sd-bus

po: run make update-po

Merge pull request #298 from zonque/intltool

build-sys: bring back an intltool-update workaround

build-sys: bring back an intltool-update workaround

Currently, 'make distcheck' fails with an error such as this:

    srcdir=../../po /usr/bin/intltool-update -m
    The following files contain translations and are currently not in use.
    Please consider adding these to the POTFILES.in file, located in the po/ directory.

    build2/src/core/org.freedesktop.systemd1.policy.in
    build3/src/core/org.freedesktop.systemd1.policy.in

    [...]

This is caused by a new behavior of autmake 1.15 which changed the
location of the build tree during 'make distcheck', and the fact that
intltool doesn't yet ignore that paths.

We used to have a workaround in configure.ac that makes the failing call
a no-op, but it was accidentially removed in 23756070
("remove gudev and gtk-doc").

Bring back that snipet for now, until intltool and automake sorted out
their issues and like each other again.

Also see

  https://bugs.launchpad.net/intltool/+bug/1117944

Merge pull request #297 from ssahani/net

networkd: vlan improve logging

networkd: vlan improve logging

Replaces strerror() usage with log_netdev_error_errno()

update TODO

NEWS: update contributors list and date

Merge pull request #293 from teg/man-revert

man: revert dynamic paths for split-usr setups

Merge pull request #294 from teg/hashmap-debug-locking-2

hashmap: debug - lock access to the global hashmap list

Merge pull request #292 from teg/man-udev-2

man: udev_device - finish new_* man page

Merge pull request #291 from poettering/nspawn-suppress-eloop

nspawn: suppress warning when /etc/resolv.conf is a valid symlink

hashmap: debug - lock access to the global hashmap list

This may be used from multi-threaded programs (say through nss-resolve),
so we must protect the global list.

This is still only relevant for debug builds, so we do not try to handle
cases where the locking fail, but simply assert.

update TODO

update TODO

man: revert dynamic paths for split-usr setups

This did not really work out as we had hoped. Trying to do this upstream
introduced several problems that probably makes it better suited as a
downstream patch after all. At any rate, it is not releaseable in the
current state, so we at least need to revert this before the release.

 * by adjusting the path to binaries, but not do the same thing to the
   search path we end up with inconsistent man-pages. Adjusting the search
   path too would be quite messy, and it is not at all obvious that this is
   worth the effort, but at any rate it would have to be done before we
   could ship this.

 * this means that distributed man-pages does not make sense as they depend
   on config options, and for better or worse we are still distributing
   man pages, so that is something that definitely needs sorting out before
   we could ship with this patch.

 * we have long held that split-usr is only minimally supported in order
   to boot, and something we hope will eventually go away. So before we start
   adding even more magic/effort in order to make this work nicely, we should
   probably question if it makes sense at all.

nspawn: suppress warning when /etc/resolv.conf is a valid symlink

In such a case let's suppress the warning (downgrade to LOG_DEBUG),
under the assumption that the user has no config file to update in its
place, but a symlink that points to something like resolved's
automatically managed resolve.conf file.

While we are at it, also stop complaining if we cannot write /etc/resolv.conf
due to a read-only disk, given that there's little we could do about it.

update TODO

man: udev_device - finish new_* man page

A description of device_id lacked. We still need to do the other
udev_device_* man pages.

Merge pull request #288 from phomes/cgroup-util

cgroup-util: actually use the path callback

Merge pull request #285 from poettering/audit-table-fix

Audit table fix

Merge pull request #286 from jsynacek/fix-edit-v3

systemctl: fix edit when EDITOR contains arguments

Merge pull request #289 from michich/hashmap-small-cleanup

a tiny hashmap cleanup

cgroup-util: actually use the path callback

We allow to specify a callback but then ignore the result. Looks like a trivial typo.
From 7b3fd6313c4b07b6f822a9f979d0c22350a401d9#diff-f010fa21ba7b659b519c122743e55604

Merge pull request #287 from phomes/master

NEWS: typo fixes

NEWS: typo fixes

NEWS: fix typo

Merge pull request #282 from martinpitt/master

Fix out-of-tree builds and distcheck

systemctl: fix edit when EDITOR contains arguments

Correctly support cases when the EDITOR environment variable and friends
also contain arguments. For example, to run emacs in terminal only, one
can say:

EDITOR="emacs -nw" systemctl edit myservice

audit: make sure to include libaudit-defined audit events in table

This change hooks up $(audit_list_includes) that was already
defined since the beginning of the audit type list, but never actually
made use of.

It thus completes 4733607eec54034d2083534ebff2dad89c28574e.

update TODO

Merge pull request #247 from shaded-enmity/origin/pullfix

import/pull: fix for the name/reference overwrite

import/pull: fix pulling by image digest

When pulling by image digest the identifiers that
were produced by parsing image digest were later
overwritten by code parsing image tag.
This resulted in invalid identifiers being used
when contacting the remote endpoint, resulting in 404.

Reported here:
http://lists.freedesktop.org/archives/systemd-devel/2015-June/033039.html

test: disable test-barrier by default

The test-barrier binary uses real-time alarms and timeouts to test for
races in the thread-barrier implementation. Hence, if your system is under
high load and your scheduler decides to not run test-barrier for
>BASE_TIME, then the tests are likely to fail.

Two options:
 1) Increase BASE_TIME. This will make the test take significantly longer
    for no real good. Furthermore, it is still not guaranteed that the
    task is scheduled.
 2) Don't rely on real-time timers, but use explicit synchronization. This
    would basically test one barrier implementation with another.. kinda
    ironic.. but maybe something worth looking into.
 3) Disable test-barrier by default.

This patch chooses option 3) and makes sure test-barrier only runs if you
pass any argument.

Side note:
        test-barrier is written in a way that if it fails under load, but
        does not on idle systems, then it is very _unlikely_ that the
        barrier implementation is the culprit. Hence, it makes little
        sense to run it under load, anyway. It will not improve the test
        coverage of barrier.c, but rather the coverage of the test itself.

Merge pull request #281 from michaelolbrich/glibc-2.16-fix

exit-status: add missing include for SIG* defines

build-sys: don't dist man/systemd.directives.xml

It depends on man/custom-entities.ent which is (and needs to be) a built file,
so we need to always build man/systemd.directives.xml as well.

We also need to drop this from update-man-list so that it doesn't get disted
from Makefile-man.am.

Fixes distcheck failure.

https://github.com/systemd/systemd/issues/215

exit-status: add missing include for SIG* defines

Otherwise building fails with glibc 2.16. It works with glibc >= 2.17
because it is implicitly included via macro.h -> sys/param.h -> signal.h

build-sys: make SOURCE_XML_FILES array relative to $(top_srcdir)

When calling the build commands from another directory than the toplevel:

  mkdir build
  cd build
  ../configure [...]

... the compilation fails with the following error:

 GEN      man/systemd.directives.xml
Traceback (most recent call last):
  File "../tools/make-directive-index.py", line 313, in make_page
    _extract_directives(directive_groups, formatting, page)
  File "../tools/make-directive-index.py", line 191, in _extract_directives
    t = xml_parse(page)
  File "/home/martin/upstream/systemd/tools/xml_helper.py", line 30, in xml_parse
    doc = tree.parse(page, _parser)
  File "lxml.etree.pyx", line 3301, in lxml.etree.parse (src/lxml/lxml.etree.c:72453)
  File "parser.pxi", line 1791, in lxml.etree._parseDocument (src/lxml/lxml.etree.c:105915)
  File "parser.pxi", line 1817, in lxml.etree._parseDocumentFromURL (src/lxml/lxml.etree.c:106214)
  File "parser.pxi", line 1721, in lxml.etree._parseDocFromFile (src/lxml/lxml.etree.c:105213)
  File "parser.pxi", line 1122, in lxml.etree._BaseParser._parseDocFromFile (src/lxml/lxml.etree.c:100163)
  File "parser.pxi", line 580, in lxml.etree._ParserContext._handleParseResultDoc (src/lxml/lxml.etree.c:94286)
  File "parser.pxi", line 690, in lxml.etree._handleParseResult (src/lxml/lxml.etree.c:95722)
  File "parser.pxi", line 618, in lxml.etree._raiseParseError (src/lxml/lxml.etree.c:94754)
OSError: Error reading file 'man/bootup.xml': failed to load external entity "man/bootup.xml"

That is because the file names in the XML_FILES array are not relative
to $(top_srcdir), and hence ../tools/make-directive-index.py is called
with non-existant arguments.

To fix this, call patsubst when generating SOURCE_XML_FILES from
NON_INDEX_XML_FILES.

Merge pull request #269 from teg/udev-docs-1

man: libudev - add description to udev_device_*