resolved: packet - fix segfault in truncate()

A size_t was being accessed as a char* due to the order of arguments being inverted.

resolved: rr - ignore pseudo types in NSEC(3) bitmaps

resolved: rr - fix parsing of NSEC3

We were appending rather than reading the bitmap.

resolved: rr - don't read past end of RR when parsing NSEC(3)

We can never read past the end of the packet, so this seems impossible
to exploit, but let's error out early as reading past the end of the
current RR is clearly an error.

Found by Lennart, based on patch by Daniel.

resolved: rr - SSHFP contains the fingerprint, not the key

Rename the field to make this clearer.

resolved: packet - fail on invalid zero-length data

Most blobs (keys, signatures, ...) should have a specific size given by
the relevant algorithm. However, as we don't use/verify the algorithms
yet, let's just ensure that we don't read out zero-length data in cases
where this does not make sense.

The only exceptions, where zero-length data is allowed are in the NSEC3
salt field, and the generic data (which we don't know anything about,
so  better not make any assumptions).

Merge pull request #687 from poettering/bitmap-fixes

bitmap: various clean-ups

bitmap: various clean-ups

a) use memcmp() to compare bitmaps efficiently

b) use UINT64_C() macro instead of ULL suffixes to get right suffix for
   uint64_t constants

c) add a few assert()s

d) when comparing integers with 0 we generally try to make this explicit
   with "!= 0".

e) remove redundant bitmap_isset() if check, as we don't have it in
   bitmap_isset() either.

f) It should be fine to invoke bitmap_unset() on a NULL bitmap

Merge pull request #669 from poettering/dns-rr-memdup

resolve: unify memdup() code when parsing RRs

Merge pull request #677 from zonque/bitmap2

basic: bitmap: use uint64_t instead if long long unsigned

Merge pull request #674 from ssahani/tunnel

ip6 tunnel: add support for DSCP

man: add man for DSCP

Merge pull request #537 from poettering/nss-mymachines-userns

Hook up container userns with nss-mymachines

Merge pull request #663 from poettering/tmpfiles-chattr-enotty

tmpfiles: downgrade errors when a file system does not support file a…

Merge pull request #673 from poettering/dns-packet-append-type-window

resolved: make sure we alway initialize *start in dns_packet_append_t…

basic: bitmap: use uint64_t instead if long long unsigned

long long unsigned is always 64 bit wide, so use a more readable type.

Merge pull request #672 from poettering/bitmap-isclear

bitmap: bitmap_clear()

networkd: ip6 tunnel add DSCP

This patch adds support for setting the
DSCP field in the ip6 tunnel.

when set it inherits DSCP field between inner and outer header.

resolved: make sure we alway initialize *start in dns_packet_append_type_window()

bitmap: bitmap_clear()

No need to actually reset the bitmap, we can just truncate it back zero
size. That not only makes bitmap_clear() quicker, but also subsequent
bitmap_isclear().

resolve: unify memdup() code when parsing RRs

Let's make dns_packet_read_public_key() more generic by renaming it to
dns_packet_read_memdup() (which more accurately describes what it
does...). Then, patch all cases where we memdup() RR data to use this
new call.

This specifically checks for zero-length objects, and handles them
gracefully. It will set zero length payload fields as a result.

Special care should be taken to ensure that any code using this call
can handle the returned allocated field to be NULL if the size is
specified as 0!

Merge pull request #667 from poettering/dns-rr-memleak

resolve: fix two minor memory leaks

Merge pull request #666 from poettering/drop-good-dns-server

resolve: drop dns_scope_good_dns_server()

resolve: fix two minor memory leaks

strv_extend() already strdup()s internally, no need to to this twice.
(Also, was missing OOM check...).

Use strv_consume() when we already have a string allocated whose
ownership we want to pass to the strv.

This fixes 50f1e641a93cacfc693b0c3d300bee5df0c8c460.

resolve: drop dns_scope_good_dns_server()

It's not used anymore since 29815b6c608b836cada5e349d06a96b63eaa65f3,
hence let's remove it from the sources.

Merge pull request #665 from poettering/reword-journal-size-msg

journal: reword msg about enforced size limits a bit

journal: reword msg about enforced size limits a bit

http://lists.freedesktop.org/archives/systemd-devel/2015-July/033574.html

Merge pull request #632 from Stebalien/cgls-nspawn

Machines can also be services

cgls: machines can also be services

This makes `systemd-cgls -M <machine name>` work with nspawn containers in
systemd 222.

tmpfiles: downgrade errors when a file system does not support file attributes

This downgrades errors from setting file attributes via tmpfiles to
warnings and makes them non-fatal.

Also, as a special case, if a file system does not support file
attributes at all, then the message is downgraded to debug, so that it
is not seen at all.

With this change reiserfs should not see any messages at all anymore
(since it apparently does not implement file attributes at all), but XFS
will still get a warning but no failure. The warning is something the
XFS kernel folks should fix though, by adjusting their file attributes
behaviour to be identical to ext234's.

Fixes #560.

Merge pull request #660 from michich/in-set

improve IN_SET macro

basic: more optimizable IN_SET macro

Making the array static allows gcc -O2 to generate smaller code:

"size systemd" before:
   text    data     bss     dec     hex filename
1377286  128608    2632 1508526  1704ae systemd

After:
   text    data     bss     dec     hex filename
1374326  128572    2664 1505562  16f91a systemd

(IN_SET still results in worse generated code than using
 "x == FOO || x == BAR || ...". I don't think we'll be able to match
 that with the C preprocessor.)

This change limits the use of IN_SET to sets with constant elements. All
present callers use constants. The compiler would report an "initializer
element is not constant" error otherwise.

basic: better readable IN_SET macro

Putting the set elements in an array variable and using ELEMENTSOF makes
it clearer what's going on.

Incidentally, it also makes gcc -O2 generate slightly smaller code:
"size systemd", before:
   text    data     bss     dec     hex filename
1378318  128608    2632 1509558  1708b6 systemd

After:
   text    data     bss     dec     hex filename
1377286  128608    2632 1508526  1704ae systemd

Merge pull request #654 from ssahani/nl

network: Add tunnel params

Merge pull request #647 from michich/job-logging

Job logging fixes and improvements

Merge pull request #651 from keszybz/ata_id-wwn-ordering

ata_id: unreverse WWN identifier

sd-netlink: add tunnel params

Tunnel NL params: Add to missing.h

Merge pull request #652 from whot/hwdb-updates

hwdb: add Logitech MX Master DPI settings

ata_id: unreverse WWN identifier

An endianness conversion was lost in 6024a6e302bad6bcf073fa84a41a6123305dc845.
Restore it. Now ata_id and scsi_id output match.

https://bugzilla.redhat.com/show_bug.cgi?id=1227503

hwdb: add Logitech MX Master DPI settings

Merge pull request #648 from michich/udev-log-priority

udev.log-priority crash fix and cleanup

udev: unify reporting of invalid cmdline keys

This way it does not need distinct string literals and it also preserves
the "rd." prefix.

udev: fix crash with invalid udev.log-priority

Fixes: https://bugzilla.redhat.com/show_bug.cgi?id=1245293

core: adjust job completion message log levels

We do not print all non-OK job completion status messages to the console
in red, because not all of them are plain errors. We do however log the
same messages as LOG_ERR.

Differentiate the log levels by deducing them from the job result in a
way that more or less matches the color of the console message.

core: small refactor of job completion logging

Joins three log_struct() calls into one.

core: log completion of remaining job types

JOB_RESTART and failed JOB_VERIFY_ACTIVE completions were printed to
console but not to the log.

core: do not log done failed-condition jobs as if unit started

It is misleading to see "Started foo." in the log when the unit's
condition was false.

core: remove generic job completion messages from unit vtables

These units' message format strings are identical to the generic
strings. Since we can always rely on the fallback, these are now
redundant.

core: try harder to get job completion messages too

This is similar to "core: always try harder to get unit status
message format string", but for job completion status messages.
It makes generic status messages applicable for printing to the console.
And it rewrites the functions in a more table-based style.

core: unit_get_status_message_format() never returns NULL

unit_get_status_message_format() is used only with one of JOB_START,
JOB_STOP, JOB_RELOAD, all of which have fallback message strings
defined, so the function may never return NULL.

bootchart: fix negative 'timeleft' condition

Fix the overrun case in sample acquistion and negative number calculations.

Reported by Stefan Sauer.

Fixes #642

Merge pull request #643 from zonque/fileio

basic/fileio: fix write_string_file() fallout

user-sessions: fix write_string_file() fallout

WRITE_STRING_FILE_ATOMIC is only valid if WRITE_STRING_FILE_CREATE is also
given. IOW, an atomic file write operation is only possible when creating a
file is also being asked for.

This is a regression from the recent write_string_file() rework.

logind: fix write_string_file() fallout

WRITE_STRING_FILE_ATOMIC is only valid if WRITE_STRING_FILE_CREATE is also
given. IOW, an atomic file write operation is only possible when creating a
file is also being asked for.

This is a regression from the recent write_string_file() rework.

core: always try harder to get unit status message format string

The starting/stopping messages are printed to the console only if the
corresponding format string is defined in the unit's vtable. To avoid
excessive messages on the console, the unit types whose start/stop
jobs are instantaneous had the format strings intentionally undefined.
When logging the same event to the journal, a fallback to generic
Starting/Stopping/Reloading messages is used.

The problem of excessive console messages with instantaneous jobs
is already resolved in a nicer way ("core: fix confusing logging of
instantaneous jobs"), so there's no longer a need to have two ways of
getting the format strings. Let's fold them into one function with
the fallback to generic message strings.

core: correct return value from reload methods

Return 1 from *_reload() methods to signify "we did something", just
like in *_start(). This causes "Reloading foo..." messages to be logged.
"Reloaded foo." messages are already logged.

core: fix confusing logging of instantaneous jobs

For instantaneous jobs (e.g. starting of targets, sockets, slices, or
Type=simple services) the log shows the job completion
before starting:

        systemd[1]: Created slice -.slice.
        systemd[1]: Starting -.slice.
        systemd[1]: Created slice System Slice.
        systemd[1]: Starting System Slice.
        systemd[1]: Listening on Journal Audit Socket.
        systemd[1]: Starting Journal Audit Socket.
        systemd[1]: Reached target Timers.
        systemd[1]: Starting Timers.
        ...

The reason is that the job completes before the ->start() method returns
and only then does unit_start() print the "Starting ..." message.
The same thing happens when stopping units.

Rather than fixing the order of the messages, let's just not emit the
Starting/Stopping message at all when the job completes instantaneously.
The job completion message is sufficient in this case.

Merge pull request #636 from ssahani/tunnel

networkd: ip6 tunnel add support for flowlabel

man: add man ipv6 flowlabel support for ip6 tunnels

networkd: ip6 tunnel add support for flowlabel

Add Pv6 Flow Label support. The 20-bit Flow Label field in the IPv6
header[RFC2460] is used by a  node to label packets of a flow.

Merge pull request #625 from ssahani/tun2

sd-netlink: add tunnel parameters

Merge pull request #630 from namhyung/use-isempty

sd-bus: use isempty() consistently

Merge pull request #549 from ssahani/dhcp

networkd: allow hostname override

sd-bus: use isempty() consistently

Instead of open-coding, use isempty() to check NULL or empty string
for consistency.

Merge pull request #626 from systemd-mailing-devs/1437135133-9646-2-git-send-email-vivenzio.pagliari@nokia.com

man: Typo fix in systemd.preset manpage

add NL parameters to missing.h

sd-netlink: add tunnel NL parameters

Merge pull request #614 from teg/bitmap-overflow

basic: bitmap - complete fix for bitshift overflow

basic: bitmap - complete fix for bitshift overflow

The bug found by David existed in several places, fix them all. Also
extend the tests to cover these cases.

Typo fix in systemd.preset manpage

Merge pull request #611 from dvdhrm/bitmap-fixes

Bitmap fixes

Merge pull request #607 from ssahani/vxlan1

networkd: move config parsers to specific header files

Merge pull request #610 from utezduyar/include-signal-header

cgtop: include missing signal.h for sigwinch

bitmap: avoid 32bit integer overflow in shift

We really must use 64bit integers to calculate long-long shifts.
Otherwise, we will never get higher masks than 2^31.

bitmap: allow bitmap_iterate() on NULL bitmap

Make sure we properly treat NULL bitmaps as empty. Right now, we don't
(which really looks like a typo).

cgtop: include missing signal.h for sigwinch

logind: never select closing sessions for a VT

If a session is in closing state (and already got rid of its VT), then
never re-select it for that VT. There is no reason why we should grant
something to a session that is already going away *AND* already got rid
of exactly that.

build: add ./test-bitmap to .gitignore

Make sure to ignore build files of Tom's recent test-bitmap addition.

logind: prefer new sessions over older ones on VT switches

Our seat->positions[] array keeps track of the 'preferred' session on a
VT. The only situation this is used, is to select the session to activate
when a VT is activated. In the normal case, there's only one session per
VT so the selection is trivial.

Older greeters, however, implement take-overs when they start sessions on
the same VT that the greeter ran on. We recently limited such take-overs
to VTs where a greeter is running on, to force people to never share VTs
in new code that is written.

For legacy reasons, we need to be compatible to old greeters, though.
Hence, we allow those greeters to implement take-over. In such take-overs,
however, we should really make sure that the new sessions gets preferred
over the old one under all circumstances. Hence, make sure we override
the previous preferred session with a new session.

Merge pull request #605 from dvdhrm/test-bus-proxy

sd-bus: add new test for NameAcquired via proxy/dbus-daemon

networkd: move config_parse_tunnel_address

move config_parse_tunnel_address from networkd.h to

tunnel specific file networkd-netdev-tunnel.h

networkd: move config_parse_vxlan_group_address

move config_parse_vxlan_group_address from
networkd.h to networkd-netdev-vxlan.h

sd-bus: add new test for NameAcquired via proxy/dbus-daemon

This adds test-bus-proxy which should be used to test correct behavior of
systemd-bus-proxyd. The first test that was added is to verify we actually
receive NameAcquired signals for ourselves on bus-connect.

Merge pull request #602 from teg/bitmap-iterator

bitmap: use external iterator

sd-bus: properly match ID changes

If the caller does not specify arg1 for NameOwnerChanged matches, we
really must take the ID from arg2 or arg3, if provided. They are
guaranteed to be identical to arg1 if either is supplied, but there is no
strict requiredment that arg1 is supplied. Hence, make sure to always
take the more restrictive match. Otherwise, we install rather wide
matches without anyone requiring them.

sd-bus: destination-matches cannot match NameOwnerChanged

Make sure we don't install NameOwnerChanged matches if the caller passed
a destination='' match (except if it is the broadcast address). Per spec,
all NameOwnerChanged signals are broadcasts.

Only the NameLost/NameAcquired signals are unicasts, but those are never
received through sd-bus. Instead, the bus-proxy synthesizes them and it
already installs proper matches for them.

sd-bus: fix invalid stack access on test-bus-marshal

Make sure we actually parse "unsigned long long" if we encode a uint64_t.
Otherwise, we will get random data from the stack.

bitmap: use external iterator

Reuse the Iterator object from hashmap.h and expose a similar API.

This allows us to do

{
    Iterator i;
    unsigned n;

    BITMAP_FOREACH(n, b, i) {
        Iterator j;
        unsigned m;

        BITMAP_FOREACH(m, b, j) {
            ...
        }
    }
}

without getting confused. Requested by David.

sd-bus: fix gvariant structure encoding

In gvariant, all fixed-size objects need to be sized a multiple of their
alignment. If a structure has only fixed-size members, it is required to
be fixed size itself. If you imagine a structure like (ty), you have an
8-byte member followed by an 1-byte member. Hence, the overall inner-size
is 9. The alignment of the object is 8, though. Therefore, the specs
mandates final padding after fixed-size structures, to make sure it's
sized a multiple of its alignment (=> 16).

On the gvariant decoder side, we already account for this in
bus_gvariant_get_size(), as we apply overall padding to the size of the
structure. Therefore, our decoder correctly skips such final padding when
parsing fixed-size structure.

On the gvariant encoder side, however, we don't account for this final
padding. This patch fixes the structure and dict-entry encoders to
properly place such padding at the end of non-uniform fixed-size
structures.

The problem can be easily seen by running:
    $ busctl --user monitor
and
    $ busctl call --user org.freedesktop.systemd1 / org.foobar foobar "(ty)" 777 8

The monitor will fail to parse the message and print an error. With this
patch applied, everything works fine again.

This patch also adds a bunch of test-cases to force non-uniform
structures with non-pre-aligned positions.

Thanks to Jan Alexander Steffens <jan.steffens@gmail.com> for spotting
this and narrowing it down to non-uniform gvariant structures. Fixes #597.

Merge pull request #588 from teg/resolved-nsec

resolved: add basic NSEC and NSEC3 support

build: add convenience target 'build-sources'

This target allows to trigger a build of $(BUILT_SOURCES) manually. This
is handy if you tend to use 'make systemd-foobar' to directly build a
single binary. Those do not pull in $(BUILT_SOURCES), unfortunately. See
automake docs for that.

sd-bus: fix object tree to be deeper than 2 levels

So right now our object-tree is limited to 2 levels at most
('/' and '/foo/...../bar'). We never link any intermediate levels, even
though that was clearly the plan. Fix the bus_node_allocate() helper to
actually link all intermediate nodes, too, not just the root node.

This fixes a simple inverse ptr-diff bug.

The downside of this fix is that we clearly never tested (nor used) the
object tree in any way. The only reason that the introspection works is
that our enumerators shortcut the object tree.

Lets see whether that code actually works..

Thanks to: Nathaniel McCallum <nathaniel@themccallums.org>
..for reporting this. See #524 for an actual example code.

sd-device: never return NULL+0

It is highly confusing if a getter function returns 0, but the value is
set to NULL. This, right now, triggers assertions as code relies on the
returned values to be non-NULL.

Like with sd-bus-creds and friends, return 0 only if a value is actually
available.

Discussed with Tom, and actually fixes real bugs as in #512.

sd-boot: ignore missing /etc/machine-id

If /etc/machine-id is missing (eg., gold images), we should not fail
installing sd-boot. This is a perfectly fine use-case and we should simply
skip installing the default loader config in that case.

resolved: rr - add NSEC3 support

Needed for DNSSEC.

basic: util - add base32hexmem() function similar to hexmem()

This implements more of RFC4648.

Merge pull request #587 from teg/unbase64mem-memleak

basic: util - fix memleak on error in unbase64mem()

resolved: rr - add NSEC support

Needed for DNSSEC.

basic: add a Bitmap implementation

For when a Hashmap is overkill.