nbd-server: block SIGCHLD when handling SIGTERM, and visa versa

SIGCHLD handler must be blocked during execution of SIGTERM handler,
and visa versa, because the former changes "children" hash table
iterated by the latter.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-server: fix several memory leaks in connection handling code

This change fixes a CLIENT leak on normal path in the parent process,
several CLIENT leaks on error path in the parent process, a pid_t leak
on error path in the parent process, and a pid_t leak in the child
process.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-server: do not call fcntl F_SETFL unnecessarily

Call fcntl F_SETFL only when new file status flags differ from the old one.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-server: do not lose connections

When select reports that more than one connection is ready to be
accepted, handle them all instead of losing all of them but one.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-server: move connection handling code to a separate function

The serveloop function has grown too much, and the indentation of
connection handling code unnecessarily complicates further changes.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-server: treat accept errors as non-fatal

In most cases, an error returned by accept system call is a network
error, which should not terminate the whole nbd-server.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-server: fix accepted connections descriptor initialization and use

Change the value for undefined descriptor from 0 to -1 because
any value greater or equal to 0 can be a valid file descriptor.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-server: avoid modernsock descriptor leaking to child processes

Close modernsock descriptor in child processes.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-server: fix modernsock descriptor initialization and use

Change the value for undefined "modern handler" descriptor from 0 to -1
because any value greater or equal to 0 can be a valid file descriptor.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-server: zeroise hash table pointer after destroying the table

This is required to avoid accessing freed data later in
sigterm_handler.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-client: try harder to reconnect in persist mode

When nbd-client in persist mode is trying to reconnect because of
nbd-server restart, it is highly probable that nbd-server will not be
ready to serve a reconnection request in time causing nbd-client to exit
with "connection refused" diagnostics.  This change makes nbd-client in
persist mode retry its reconnection attempts until succeeded.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-client: adjust the oom-killer score in swap mode

In swap mode, it is highly desirable to take all available measures that
could help nbd-client survival in low memory conditions.  One of such
measures is to disable oom killing of nbd-client by adjusting the
oom-killer score.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>

nbd-client: do not leave child processes in the zombie state

Change SIGCHLD handler to SIG_DFL with SA_NOCLDWAIT flag set, to avoid
transforming child processes into zombies when they terminate.  Since
the main process is inevitably blocked in NBD_DO_IT ioctl at the time
when child processes terminate, this is the simplest way to get rid of
zombie processes.

Signed-off-by: Dmitry V. Levin <ldv@altlinux.org>
Signed-off-by: Wouter Verhelst <w@uter.be>

Don't kill processes unless we're sure there's actually a process to kill

Add some more logging

refer to the correct manpage

Mark test as skipped, rather than as successful

Fix a minor memory leak

The 'next' label does some cleanup, so jump there rather than to the
start of the loop.

Add test for "list exports"

occasionally, since this uses the regular nbd-client, it also tests
whether it will at least do something useful, and not crash and burn at
startup. We can't test whether it will connect properly, since we're not
sure we have the environment set up for that completely, but this is a
good idea regardless.

Updates

Prepare for 3.1.1

Initialize stack variables opts and cflags.

Without initializing these variables, nbd-client will some of the time
list exports instead of connecting to them, depending on the wing flaps
of a butterfly and cosmic alien rays. The fix is to set the flags to 0
so that nbd-client operates reliably.

Group local headers together beyond the system headers and library headers.

compat: Define AI_NUMERICSERV as `0' if necessary

AI_NUMERICSERV as a value for the `ai_flags' member
of `struct addrinfo' of header <netdb.h> has only
been available since:

  POSIX 1003.1-2008, Issue 7
  glibc 2.3.4
  Mac OS X 10.6
  etc.

Fortunately, its main purpose seems to be only
to optimize calls of `getaddrinfo', and because it
is meant to be a bit flag, it can therefore be
[relatively] safely ignored by defining it to have
the value zero.

Signed-off-by: Michael Witten <mfwitten@gmail.com>

Initialize needed_flags

otherwise we may end up sending garbage to the negotiation.

Remove outdated comment

Documentation update for list exports

Prepare for 3.1

Don't overdo it on the output

"make check" would produce massive amounts of data, that we don't always
need; and if we do, there's script(1).

Meanwhile, this makes sure we can still scroll up and see what happened
with previous tests.

Fix alignment issues and build on SPARC

nbd-tester-client, in the "integrity" test, was making some assumptions
that were incorrect on architectures such as SPARC which care about
alignment. This patch fixes those, by making sure we always access
64-bit values through a uint64_t, rather than through a char.

Don't forget to convert to network byte order

Make output somewhat more pretty

Implement "list exports" message

Previously, there was no way for the client to get a list of all
available exports from an nbd-server. This implements that.

Additionally, it implements a way for the server to understand more
options than just the one "NBD_OPT_EXPORT_NAME" we did before, and
proper handling of "sorry, I don't know what you're talking about".

Fix reference to INSTALL file -- oops, that was still open

Fix for device name detection

Our nbd devices end up in /dev/block/nbd*. check_conn() tries to
derive the path to the pid file under /sys/block/<nbd device>/pid by
stripping a leading /dev/ path prefix. In our case it ends up with
/sys/block/block/<nbd device>/pid and is unable to locate the pid file.
The attached patch nbd-client-devname.patch uses

        if( (p=strrchr(devname, '/')) ) {
                devname=p+1;
        }

to derive the name of the device.

Fix for error handling

When a client disconnects from the nbd device (triggered via nbd-client
-d <nbd device>) the ioctl(nbd, NBD_DO_IT) returns with an error.
nbd-client checks errno to figure out whether it was disconnected and
whether it should terminate or not. Unfortunatly it invokes fprintf()
before checking errno and fprintf overwrites the current value of errno.
The attached patch saves the current value of errno and checks the saved
value.

Use the formatted string, not the unformatted one.

Use less syscalls

If we've just done ftruncate, then either we were successful and know
the new file size (and then we don't need an lseek), or we weren't and
then we need to error out anyway.

Doing things this way also avoids another warning in the code.

Transition do_oldstyle variable to a global flags mask

... in preparation for more global options.

Use assert rather than g_assert

Support filesystems that don't return filetypes in readdir()

Do the check_conn in the child, not the parent

Release 3.0

Also, pull a Linus -- the version number does not seem to make much
sense anymore, so change to 3.x version numbers rather than trying to
stick to the 2.x.y one. Not because it's a major update, but because I
want to start making sense again.

Merge pull request #5 from tabraham/master

properly check for HAVE_FALLOC_PH define in both occurrences

properly check for HAVE_FALLOC_PH in both occurrences

Make assertions about state in negotiation function

Improve indentation to avoid this kind of thing from happening again.

nbd-server: use modern alternative to legacy index() function

index() was marked as obsolete by susv3, and isn't available on uClibc
in some configurations, so use the equivalent strchr() instead:

http://pubs.opengroup.org/onlinepubs/009695399/functions/index.html

Signed-off-by: Peter Korsgaard <jacmet@sunsite.dk>

lfs.h: fix !LFS builds

Commit 448637fba4 (Fix 32/64 bit confusion) broke !LFS builds as it
added the PARAM_OFFT defines inside the wrong conditional.

Signed-off-by: Peter Korsgaard <jacmet@sunsite.dk>

Check for defines the right way

I keep forgetting that autoconf says '#define FOO 0' rather than '#undef
FOO'...

Release 2.9.25

Use proper values

.required is a gboolean, so specify its value as FALSE rather than 0.
The result is the same, but this reads better...

Fix this check

Due to a mistake, it was placed in the "if (virtstyle)" case, rather
than always. Whether a user is specifying a virtualization style has
nothing to do with whether they should specify a port number...

Update manpage

There were some confusing examples at the bottom of the manpage that
were still showing the old ways of doing things. Update them so they no
longer show 'port=' parameters without also showing 'oldstyle=true'.

Via https://forums.gentoo.org/viewtopic-t-896132.html?sid=51ce5d51b9c62fc5d9eecfdaa988ceef

Bump required version of libglib

Use msg3 instead of msg2 (oops, my mistake)

Fix msg2 calls

Save and restore errno before calling functions

not doing this caused problems on Debian GNU/kFreeBSD

Implement TRIM as fallocate(FALLOC_FL_PUNCH_HOLE) call

Compile-tested, but not yet functionally tested.

Fix check for FALLOCATE_FL_PUNCH_HOLE

- We were using AC_COMPILE_IFELSE when there was a perfectly good
  AC_CHECK_DECL specifically for this purpose.
- The check for the result of the header file check used the wrong name
  for the cache variable, so always returned false, so we never checked,
  in fact. D'oh.

It now properly returns true when needed

Remove unused variable

Add test for config file snippet stuff, and make the server pass it.

Document trim option in manpage, too.

add support for NBD_CMD_TRIM, update docs

Update the protocol documentation, and implement it as a dummy
command in the server.

Fix error handling

Fix size_t/socklen_t confusion.

Update config file format description

Add missing include

otherwise ntohl isn't defined, which means breakage later on.

Portability fix

RFC3493 ("Basic Socket Interface Extensions for IPv6") only specifies the
s6_addr member of struct in6_addr, nothing more; and e.g., FreeBSD does
not implement s6_addr32 as visible by anything but the kernel.

Since we want nbd-server to be portable, only use the 8-bit version
here. There will be a slight performance penalty, but not a noticeable
one.

Check for fdatasync before trying to use it

Prepare for 2.9.24 (not released yet)

Fix checking for generic section in individual files

Re-sort, and add documentation on new includedir option.

Implement config.d style config management

Test for presence of FALLOC_FL_PUNCH_HOLE

In preparation for protocol support for this

Remove outdated comments

Don't forget to include stdbool if we're going to use it.

Report more often on our progress

Debian autobuild software has an inactivity timer that is dependent on
produced output, which we're hitting sometimes currently. Multiply the
amount of time we output something by a factor 10, so that we're less
likely to.

Fix 32/64 bit confusion

Log occurrance of oversized request only once, so that the integrityhuge check doesn't take forever

Merge remote-tracking branch 'debian/master'

Debugging improvements, and fix running on on (Debian/k)FreeBSD

We had 12 instances of err("Negotiation failed:"), which makes it kinda
hard to figure out which one exactly is failing. Make it clearer by
numbering them.

Also, the test suite failed on FreeBSD because we set the listening
socket to O_NONBLOCK, but don't actually handle EAGAIN in the
negotiation then. This is silly, so stop doing O_NONBLOCK (it's not like
it's helping us anyway)

Release 2.9.23

Update copyright statement -- apparently I forgot this like forever :-)

Fix typo

Add "temporary" option, and ability to create files.

This commit:
* Adds a "temporary" option, which causes a unique file to be
  created, which is unliked as soon as it is created (and thus
  will not be present on exit). This is used for creation of
  temporary disks.
* Will create a file, if "filesize" is specified and the file
  is not present or is zero length (useful in conjunction with the
  above).

Remove unused assignment

Remove dead assignment

This used to be part of option handling, but is dead and useless since
we switched option handling to getopt() calls.

Add missing break

Make integrity tests respect request ordering.

Prior to this patch, the integrity test fired reads and writes as
quickly as they could at the server. This included firing overlapping
reads and writes, before the prior read or write was acknowledged.
Under the protocol, the server is permitted to reorder reads and
writes until they are acknowledged. Whilst nbd-server does not
currently reorder reads or writes, this caused a "false failure"
in other servers that do reorder reads and writes. Also, the workload
as sent was unrealistic (in that servers do not normally have
overlapping reads and writes in their queue).

This patch maintains a record of the reads and writes inflight, and
ensures that:

1. If any block X is covered by an inflight write request, then
   no other request covering block X will be sent until a reply
   to such inflight write is received.

2. If any block X is covered by an inflight read or write request,
   then no write request covering block X will be sent until a reply
   to such inflight request is received.

In otherwords, disallow all overlapping inflight requests, except
overlapping inflight reads, which are permitted.

The "-l" option to nbd-tester-client can be used to turn on
looseordering, IE not do the above.

I have tested this on nbd-server (no change as expected) and on
a server which does reorder requests (which now passes the tests).

nbd-tester-client: analyse bad data using hash function huersistic

The hash function used by the integrity test was designed specifically
such that with < (2^32) blocks and < (2^32) read/write operations, it
can accurately guess how the bad data returned was generated. This
patch uses this huersistic to provide a guess as to what is wrong.
EG if it prints out a correct block number but a bad sequence number,
it is likely the server is disordering writes or has missed writes.

nbd-tester-client: ignore SIGPIPE so we pick up and print the error

Fix a few branch checks

There were still two errors in the ifs in negotiate() that made 'make
check fail'. It works again now.

Remove some more crack

- Don't touch values unless they're actually set in the config file
- Remove silly test for port thing. This is broken in so many ways, I'm
  not even going to try explaining it anymore.

Implement proper branches

Trying to implement differing negotiation based on parameters that just
happen to be there is a bad strategy, as this bug demonstrates.

Instead, add a parameter to the negotiate() function that is a bitmask
telling us which part of the negotiation we would like to see: modern vs
oldstyle, initial phase versus 'the rest'.

This doesn't actually survive 'make check' yet, because of a different
bit of crack that's still in there. Different bug, different commit.

Update proto.txt

Minor difference: we now allow new-style handshakes on nonstandard
ports, so hrm. That's not part of the standard, really, but oh well.

Also, unignore the doc directory, ignore doc/doxygen-output instead.

Allow varying the port for new-style handshakes

which is useful for debugging purposes.

More sorting

Don't send to syslog from nbd-trdump

- we don't include the necessary headers
- it's less than useful here

Makefile changes

- Add make-integrityhuge to EXTRA_PROGRAMS (so it doesn't get installed,
  but its source will be part of 'make dist')
- Remove knbd-client, leftover of a failed attempt at building
  nbd-client against klibc.