journal: when verifying journal files, handle empty ones nicely

A journal file that carries no objects should be considered valid.

journal: avoid mapping empty data and field hash tables

When a new journal file is created we write the header first, then sync
and only then create the data and field hash tables in them. That means
to other processes it might appear that the files have a valid header
but not data and field hash tables. Our reader code should be able to
deal with this.

With this change we'll not map the two hash tables right-away after
opening a file for reading anymore (because that will of course fail if
the objects are missing), but delay this until the first time we access
them. On top of that, when we want to look something up in the hash
tables and we notice they aren't initialized yet, we consider them
empty.

This improves handling of some journal files reported in #487.

journal-verify: don't hit SIGFPE when determining progress

If we determine the progress based on a number of objects available,
don't blindly devide by the number of objects, given that it might be 0.

Merge pull request #678 from eworm-de/oracle-kvm

Oracle kvm

Merge pull request #691 from teg/networkd-after-sysctl

units: order networkd after sysctl

virt: handle Virtualbox 5.0 with kvm hypervisor

Virtualbox 5.0 now supports kvm hypervisor. In this case cpuid
identidies as "kvm", which breaks units depending on
ConditionVirtualization=oracle.
So return "oracle" even with kvm hypervisor.

Merge pull request #682 from ssahani/bridge

networkd: add bridge link properties

units: order networkd after sysctl

This way networkd will correctly and race-freely inherit the default settings
applied by sysctl.

Suggested in issue #468.

man: add man for bridge params

networkd: add bridge link properties

new bridge properties

br.network

[Match]
Name=enp0s25

[Network]
Bridge=br-test

[Bridge]
Cost=332
BPDUGuard = true
HairPin = true
FastLeave = true
RootBlock = true
UnicastFlood = true

Merge pull request #604 from heftig/master

build-sys: Use slim LTO objects if possible

Merge pull request #690 from teg/resolved-fixes-2

resolved: assorted fixes v2

resolve: transaction - stop processing packet when found to be invalid

We were stopping the transaction, but we need to stop processing the packet alltogether.

resolved: packet - fix segfault in truncate()

A size_t was being accessed as a char* due to the order of arguments being inverted.

resolved: rr - ignore pseudo types in NSEC(3) bitmaps

resolved: rr - fix parsing of NSEC3

We were appending rather than reading the bitmap.

resolved: rr - don't read past end of RR when parsing NSEC(3)

We can never read past the end of the packet, so this seems impossible
to exploit, but let's error out early as reading past the end of the
current RR is clearly an error.

Found by Lennart, based on patch by Daniel.

resolved: rr - SSHFP contains the fingerprint, not the key

Rename the field to make this clearer.

resolved: packet - fail on invalid zero-length data

Most blobs (keys, signatures, ...) should have a specific size given by
the relevant algorithm. However, as we don't use/verify the algorithms
yet, let's just ensure that we don't read out zero-length data in cases
where this does not make sense.

The only exceptions, where zero-length data is allowed are in the NSEC3
salt field, and the generic data (which we don't know anything about,
so  better not make any assumptions).

Merge pull request #687 from poettering/bitmap-fixes

bitmap: various clean-ups

bitmap: various clean-ups

a) use memcmp() to compare bitmaps efficiently

b) use UINT64_C() macro instead of ULL suffixes to get right suffix for
   uint64_t constants

c) add a few assert()s

d) when comparing integers with 0 we generally try to make this explicit
   with "!= 0".

e) remove redundant bitmap_isset() if check, as we don't have it in
   bitmap_isset() either.

f) It should be fine to invoke bitmap_unset() on a NULL bitmap

Merge pull request #669 from poettering/dns-rr-memdup

resolve: unify memdup() code when parsing RRs

sd-netlink: add bridge NL params

Add bridge NL params to missing.h

Merge pull request #677 from zonque/bitmap2

basic: bitmap: use uint64_t instead if long long unsigned

Merge pull request #674 from ssahani/tunnel

ip6 tunnel: add support for DSCP

man: add man for DSCP

Merge pull request #537 from poettering/nss-mymachines-userns

Hook up container userns with nss-mymachines

Merge pull request #663 from poettering/tmpfiles-chattr-enotty

tmpfiles: downgrade errors when a file system does not support file a…

Merge pull request #673 from poettering/dns-packet-append-type-window

resolved: make sure we alway initialize *start in dns_packet_append_t…

basic: bitmap: use uint64_t instead if long long unsigned

long long unsigned is always 64 bit wide, so use a more readable type.

Merge pull request #672 from poettering/bitmap-isclear

bitmap: bitmap_clear()

networkd: ip6 tunnel add DSCP

This patch adds support for setting the
DSCP field in the ip6 tunnel.

when set it inherits DSCP field between inner and outer header.

resolved: make sure we alway initialize *start in dns_packet_append_type_window()

bitmap: bitmap_clear()

No need to actually reset the bitmap, we can just truncate it back zero
size. That not only makes bitmap_clear() quicker, but also subsequent
bitmap_isclear().

resolve: unify memdup() code when parsing RRs

Let's make dns_packet_read_public_key() more generic by renaming it to
dns_packet_read_memdup() (which more accurately describes what it
does...). Then, patch all cases where we memdup() RR data to use this
new call.

This specifically checks for zero-length objects, and handles them
gracefully. It will set zero length payload fields as a result.

Special care should be taken to ensure that any code using this call
can handle the returned allocated field to be NULL if the size is
specified as 0!

Merge pull request #667 from poettering/dns-rr-memleak

resolve: fix two minor memory leaks

Merge pull request #666 from poettering/drop-good-dns-server

resolve: drop dns_scope_good_dns_server()

resolve: fix two minor memory leaks

strv_extend() already strdup()s internally, no need to to this twice.
(Also, was missing OOM check...).

Use strv_consume() when we already have a string allocated whose
ownership we want to pass to the strv.

This fixes 50f1e641a93cacfc693b0c3d300bee5df0c8c460.

resolve: drop dns_scope_good_dns_server()

It's not used anymore since 29815b6c608b836cada5e349d06a96b63eaa65f3,
hence let's remove it from the sources.

Merge pull request #665 from poettering/reword-journal-size-msg

journal: reword msg about enforced size limits a bit

journal: reword msg about enforced size limits a bit

http://lists.freedesktop.org/archives/systemd-devel/2015-July/033574.html

Merge pull request #632 from Stebalien/cgls-nspawn

Machines can also be services

cgls: machines can also be services

This makes `systemd-cgls -M <machine name>` work with nspawn containers in
systemd 222.

tmpfiles: downgrade errors when a file system does not support file attributes

This downgrades errors from setting file attributes via tmpfiles to
warnings and makes them non-fatal.

Also, as a special case, if a file system does not support file
attributes at all, then the message is downgraded to debug, so that it
is not seen at all.

With this change reiserfs should not see any messages at all anymore
(since it apparently does not implement file attributes at all), but XFS
will still get a warning but no failure. The warning is something the
XFS kernel folks should fix though, by adjusting their file attributes
behaviour to be identical to ext234's.

Fixes #560.

Merge pull request #660 from michich/in-set

improve IN_SET macro

basic: more optimizable IN_SET macro

Making the array static allows gcc -O2 to generate smaller code:

"size systemd" before:
   text    data     bss     dec     hex filename
1377286  128608    2632 1508526  1704ae systemd

After:
   text    data     bss     dec     hex filename
1374326  128572    2664 1505562  16f91a systemd

(IN_SET still results in worse generated code than using
 "x == FOO || x == BAR || ...". I don't think we'll be able to match
 that with the C preprocessor.)

This change limits the use of IN_SET to sets with constant elements. All
present callers use constants. The compiler would report an "initializer
element is not constant" error otherwise.

basic: better readable IN_SET macro

Putting the set elements in an array variable and using ELEMENTSOF makes
it clearer what's going on.

Incidentally, it also makes gcc -O2 generate slightly smaller code:
"size systemd", before:
   text    data     bss     dec     hex filename
1378318  128608    2632 1509558  1708b6 systemd

After:
   text    data     bss     dec     hex filename
1377286  128608    2632 1508526  1704ae systemd

Merge pull request #654 from ssahani/nl

network: Add tunnel params

Merge pull request #647 from michich/job-logging

Job logging fixes and improvements

Merge pull request #651 from keszybz/ata_id-wwn-ordering

ata_id: unreverse WWN identifier

sd-netlink: add tunnel params

Tunnel NL params: Add to missing.h

Merge pull request #652 from whot/hwdb-updates

hwdb: add Logitech MX Master DPI settings

ata_id: unreverse WWN identifier

An endianness conversion was lost in 6024a6e302bad6bcf073fa84a41a6123305dc845.
Restore it. Now ata_id and scsi_id output match.

https://bugzilla.redhat.com/show_bug.cgi?id=1227503

hwdb: add Logitech MX Master DPI settings

Merge pull request #648 from michich/udev-log-priority

udev.log-priority crash fix and cleanup

udev: unify reporting of invalid cmdline keys

This way it does not need distinct string literals and it also preserves
the "rd." prefix.

udev: fix crash with invalid udev.log-priority

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1245293

core: adjust job completion message log levels

We do not print all non-OK job completion status messages to the console
in red, because not all of them are plain errors. We do however log the
same messages as LOG_ERR.

Differentiate the log levels by deducing them from the job result in a
way that more or less matches the color of the console message.

core: small refactor of job completion logging

Joins three log_struct() calls into one.

core: log completion of remaining job types

JOB_RESTART and failed JOB_VERIFY_ACTIVE completions were printed to
console but not to the log.

core: do not log done failed-condition jobs as if unit started

It is misleading to see "Started foo." in the log when the unit's
condition was false.

core: remove generic job completion messages from unit vtables

These units' message format strings are identical to the generic
strings. Since we can always rely on the fallback, these are now
redundant.

core: try harder to get job completion messages too

This is similar to "core: always try harder to get unit status
message format string", but for job completion status messages.
It makes generic status messages applicable for printing to the console.
And it rewrites the functions in a more table-based style.

core: unit_get_status_message_format() never returns NULL

unit_get_status_message_format() is used only with one of JOB_START,
JOB_STOP, JOB_RELOAD, all of which have fallback message strings
defined, so the function may never return NULL.

bootchart: fix negative 'timeleft' condition

Fix the overrun case in sample acquistion and negative number calculations.

Reported by Stefan Sauer.

Fixes #642

Merge pull request #643 from zonque/fileio

basic/fileio: fix write_string_file() fallout

user-sessions: fix write_string_file() fallout

WRITE_STRING_FILE_ATOMIC is only valid if WRITE_STRING_FILE_CREATE is also
given. IOW, an atomic file write operation is only possible when creating a
file is also being asked for.

This is a regression from the recent write_string_file() rework.

logind: fix write_string_file() fallout

WRITE_STRING_FILE_ATOMIC is only valid if WRITE_STRING_FILE_CREATE is also
given. IOW, an atomic file write operation is only possible when creating a
file is also being asked for.

This is a regression from the recent write_string_file() rework.

core: always try harder to get unit status message format string

The starting/stopping messages are printed to the console only if the
corresponding format string is defined in the unit's vtable. To avoid
excessive messages on the console, the unit types whose start/stop
jobs are instantaneous had the format strings intentionally undefined.
When logging the same event to the journal, a fallback to generic
Starting/Stopping/Reloading messages is used.

The problem of excessive console messages with instantaneous jobs
is already resolved in a nicer way ("core: fix confusing logging of
instantaneous jobs"), so there's no longer a need to have two ways of
getting the format strings. Let's fold them into one function with
the fallback to generic message strings.

core: correct return value from reload methods

Return 1 from *_reload() methods to signify "we did something", just
like in *_start(). This causes "Reloading foo..." messages to be logged.
"Reloaded foo." messages are already logged.

core: fix confusing logging of instantaneous jobs

For instantaneous jobs (e.g. starting of targets, sockets, slices, or
Type=simple services) the log shows the job completion
before starting:

        systemd[1]: Created slice -.slice.
        systemd[1]: Starting -.slice.
        systemd[1]: Created slice System Slice.
        systemd[1]: Starting System Slice.
        systemd[1]: Listening on Journal Audit Socket.
        systemd[1]: Starting Journal Audit Socket.
        systemd[1]: Reached target Timers.
        systemd[1]: Starting Timers.
        ...

The reason is that the job completes before the ->start() method returns
and only then does unit_start() print the "Starting ..." message.
The same thing happens when stopping units.

Rather than fixing the order of the messages, let's just not emit the
Starting/Stopping message at all when the job completes instantaneously.
The job completion message is sufficient in this case.

Merge pull request #636 from ssahani/tunnel

networkd: ip6 tunnel add support for flowlabel

man: add man ipv6 flowlabel support for ip6 tunnels

networkd: ip6 tunnel add support for flowlabel

Add Pv6 Flow Label support. The 20-bit Flow Label field in the IPv6
header[RFC2460] is used by a  node to label packets of a flow.

Merge pull request #625 from ssahani/tun2

sd-netlink: add tunnel parameters

Merge pull request #630 from namhyung/use-isempty

sd-bus: use isempty() consistently

Merge pull request #549 from ssahani/dhcp

networkd: allow hostname override

sd-bus: use isempty() consistently

Instead of open-coding, use isempty() to check NULL or empty string
for consistency.

Merge pull request #626 from systemd-mailing-devs/1437135133-9646-2-git-send-email-vivenzio.pagliari@nokia.com

man: Typo fix in systemd.preset manpage

add NL parameters to missing.h

sd-netlink: add tunnel NL parameters

Merge pull request #614 from teg/bitmap-overflow

basic: bitmap - complete fix for bitshift overflow

basic: bitmap - complete fix for bitshift overflow

The bug found by David existed in several places, fix them all. Also
extend the tests to cover these cases.

Typo fix in systemd.preset manpage

Merge pull request #611 from dvdhrm/bitmap-fixes

Bitmap fixes

Merge pull request #607 from ssahani/vxlan1

networkd: move config parsers to specific header files

Merge pull request #610 from utezduyar/include-signal-header

cgtop: include missing signal.h for sigwinch

bitmap: avoid 32bit integer overflow in shift

We really must use 64bit integers to calculate long-long shifts.
Otherwise, we will never get higher masks than 2^31.

bitmap: allow bitmap_iterate() on NULL bitmap

Make sure we properly treat NULL bitmaps as empty. Right now, we don't
(which really looks like a typo).

cgtop: include missing signal.h for sigwinch

logind: never select closing sessions for a VT

If a session is in closing state (and already got rid of its VT), then
never re-select it for that VT. There is no reason why we should grant
something to a session that is already going away *AND* already got rid
of exactly that.

build: add ./test-bitmap to .gitignore

Make sure to ignore build files of Tom's recent test-bitmap addition.

logind: prefer new sessions over older ones on VT switches

Our seat->positions[] array keeps track of the 'preferred' session on a
VT. The only situation this is used, is to select the session to activate
when a VT is activated. In the normal case, there's only one session per
VT so the selection is trivial.

Older greeters, however, implement take-overs when they start sessions on
the same VT that the greeter ran on. We recently limited such take-overs
to VTs where a greeter is running on, to force people to never share VTs
in new code that is written.

For legacy reasons, we need to be compatible to old greeters, though.
Hence, we allow those greeters to implement take-over. In such take-overs,
however, we should really make sure that the new sessions gets preferred
over the old one under all circumstances. Hence, make sure we override
the previous preferred session with a new session.

Merge pull request #605 from dvdhrm/test-bus-proxy

sd-bus: add new test for NameAcquired via proxy/dbus-daemon

networkd: move config_parse_tunnel_address

move config_parse_tunnel_address from networkd.h to

tunnel specific file networkd-netdev-tunnel.h

networkd: move config_parse_vxlan_group_address

move config_parse_vxlan_group_address from
networkd.h to networkd-netdev-vxlan.h

sd-bus: add new test for NameAcquired via proxy/dbus-daemon

This adds test-bus-proxy which should be used to test correct behavior of
systemd-bus-proxyd. The first test that was added is to verify we actually
receive NameAcquired signals for ourselves on bus-connect.

build-sys: Use slim LTO objects if possible

While 235c6e6 gets LTO builds running again, it goes back to using fat
LTO objects instead of using gcc-{ar,nm,ranlib}. Building these fat
objects takes significantly more time.

Use the suggested solution and look for gcc-{ar,nm,ranlib}, which launch
the binutils tools with the appropriate --plugin parameter. GCC versions
that do not ship these should either default to -ffat-lto-objects or do
not support LTO at all.

On another note, nm from binutils 2.25 seems to be smart enough to load
the LTO plugin when needed without having to specify --plugin.