Merge remote-tracking branch 'debian/master'

Debugging improvements, and fix running on on (Debian/k)FreeBSD

We had 12 instances of err("Negotiation failed:"), which makes it kinda
hard to figure out which one exactly is failing. Make it clearer by
numbering them.

Also, the test suite failed on FreeBSD because we set the listening
socket to O_NONBLOCK, but don't actually handle EAGAIN in the
negotiation then. This is silly, so stop doing O_NONBLOCK (it's not like
it's helping us anyway)

Release 2.9.23

Update copyright statement -- apparently I forgot this like forever :-)

Fix typo

Add "temporary" option, and ability to create files.

This commit:
* Adds a "temporary" option, which causes a unique file to be
  created, which is unliked as soon as it is created (and thus
  will not be present on exit). This is used for creation of
  temporary disks.
* Will create a file, if "filesize" is specified and the file
  is not present or is zero length (useful in conjunction with the
  above).

Remove unused assignment

Remove dead assignment

This used to be part of option handling, but is dead and useless since
we switched option handling to getopt() calls.

Add missing break

Make integrity tests respect request ordering.

Prior to this patch, the integrity test fired reads and writes as
quickly as they could at the server. This included firing overlapping
reads and writes, before the prior read or write was acknowledged.
Under the protocol, the server is permitted to reorder reads and
writes until they are acknowledged. Whilst nbd-server does not
currently reorder reads or writes, this caused a "false failure"
in other servers that do reorder reads and writes. Also, the workload
as sent was unrealistic (in that servers do not normally have
overlapping reads and writes in their queue).

This patch maintains a record of the reads and writes inflight, and
ensures that:

1. If any block X is covered by an inflight write request, then
   no other request covering block X will be sent until a reply
   to such inflight write is received.

2. If any block X is covered by an inflight read or write request,
   then no write request covering block X will be sent until a reply
   to such inflight request is received.

In otherwords, disallow all overlapping inflight requests, except
overlapping inflight reads, which are permitted.

The "-l" option to nbd-tester-client can be used to turn on
looseordering, IE not do the above.

I have tested this on nbd-server (no change as expected) and on
a server which does reorder requests (which now passes the tests).

nbd-tester-client: analyse bad data using hash function huersistic

The hash function used by the integrity test was designed specifically
such that with < (2^32) blocks and < (2^32) read/write operations, it
can accurately guess how the bad data returned was generated. This
patch uses this huersistic to provide a guess as to what is wrong.
EG if it prints out a correct block number but a bad sequence number,
it is likely the server is disordering writes or has missed writes.

nbd-tester-client: ignore SIGPIPE so we pick up and print the error

Fix a few branch checks

There were still two errors in the ifs in negotiate() that made 'make
check fail'. It works again now.

Remove some more crack

- Don't touch values unless they're actually set in the config file
- Remove silly test for port thing. This is broken in so many ways, I'm
  not even going to try explaining it anymore.

Implement proper branches

Trying to implement differing negotiation based on parameters that just
happen to be there is a bad strategy, as this bug demonstrates.

Instead, add a parameter to the negotiate() function that is a bitmask
telling us which part of the negotiation we would like to see: modern vs
oldstyle, initial phase versus 'the rest'.

This doesn't actually survive 'make check' yet, because of a different
bit of crack that's still in there. Different bug, different commit.

Update proto.txt

Minor difference: we now allow new-style handshakes on nonstandard
ports, so hrm. That's not part of the standard, really, but oh well.

Also, unignore the doc directory, ignore doc/doxygen-output instead.

Allow varying the port for new-style handshakes

which is useful for debugging purposes.

More sorting

Don't send to syslog from nbd-trdump

- we don't include the necessary headers
- it's less than useful here

Makefile changes

- Add make-integrityhuge to EXTRA_PROGRAMS (so it doesn't get installed,
  but its source will be part of 'make dist')
- Remove knbd-client, leftover of a failed attempt at building
  nbd-client against klibc.

Fix .gitignore

Merge branch 'master' of git://nbd.git.sourceforge.net/gitroot/nbd/nbd

Add integrity test for huge writes. Fix speed calc problem.

This commit

* Fixes a speed calculation on the integrity tests (we were
  assuming total transferred bytes was the size of the disk,
  which it is for throughputtest but is not for the integrity
  test)

* Adds a binary blob integrityhuge-test.tr, which contains
  instructions to do huge oversize reads and writes with
  flushes over a 50MB disk. This is added as a binary blob
  so everyone has the same data.

* Adds make-integrityhuge.c - a simple program which will make
  the above binary blob (though as it uses random data it will
  not be the same each time)

* Adds an /integrity_huge test to "make check"

* Modifies integritytest() to use properly buffered I/O so it
  does not deadlock.

* Modifies integritytest() to keep handles in a hash table
  to avoid spurious memory accesses if the server returns
  a duff handle.

Fix oversize writes to write to correct area of disk

Oversize writes were not incrementing the seek location for
writes. This could cause disk corruption.

Fix handling of oversize writes

Oversize writes were attempting to write the whole length of the
write each time, rather than BUFSIZ chunks. This could cause
disk corruption.

Consume unwanted data on a write that fails

When a write fails, we should consume the unwanted data sent to use. Whilst
currently the server exits (under certain conditions), it does so messily
(attempting to read some incoming data as commands). Instead, throw away
the data for easier debugging.

Fix typo

coutesy of Godwin von Brederlow

Merge branch 'alex'

Move nbd-trdump.8 to nbd-trdump.1, where it belongs.

Merge branch 'alex'

Document function parameters for doxygen

Prepare for 2.9.22

which will arrive this weekend (just not yet)

Actually add the nbd-trdump manpage rather than just infrastructure

Add nbd-trdump manpage

Only send one reply on oversize writes

Install nbd-trdump to .../bin

Implement basic --help option

Clear up mainloop()

* Replace if/else/... by a switch()
* Fix debug line that did not support new commands
* Only check len is oversized when len is used
* Check for disconnect after check for magic number, not before

Fix INPUT

Since this was moved to a subdirectory, suddenly doxygen didn't work
anymore as it should've.

Distribute maketr, too

Fix 'make distcheck'

if we want the test suite to remain working, it has to have all the data
it wants. Ship it with the .tgz so the test suite doesn't have to
generate it (though I suppose we could make it do so if we wanted).

Also, rename the file so it's clear what it's needed for, and so it
isn't accidentally overwritten just because it's the default name.

use mktemp -d

appending a suffix to a safely-created temporary file to do other stuff is not
necessarily a good idea. Create a directory safely instead.

Re-sort documentation

This used to be alphabetically sorted, but wasn't any more. Fix that.

Clarify documentation slightly

I'm not sure every nbd user understands what an 'elevator' is (beyond
"device that makes people go up and down"); make it slightly more
obvious how the pieces fit together.

Remove double "it", and redundant information about defaults

The manpage says "All booleans default to false unless specified
otherwise" higher up; adding stuff about defaults to just two options
could be confusing.

Modernize DEBUG macros, and make code -Wall -Werror clean

This involved several things:
- Remove unused variables
- Mark variables that may or may not be used when specific macros are
  defined, but which we still want to define for the other cases without
  having to #ifdef too much, as such by way of G_GNUC_UNUSED.
- use varargs macros instead of the DEBUG[2-5] ones (which we can now do
  since we require a C99 compiler).
- cast integers to what we request in the format string, and
  standardize on assuming that size_t is an unsigned int everywhere.
  This may not always be correct (depending on whether we do LFS
  support), but debugging statements that are not 100% correct (as long
  as they contain a value that maps one-on-one to the right bit pattern)
  isn't a huge problem.
- Move the "include cliserv.h" to below the "include glib.h", so we
  don't define macros twice.

Add nbd-trdump - utilty to dump traces

Add nbd-trdump - utilty to dump traces

Fix nbd-tester-client.tr properly

Do not use sync_file_range

Merge branch 'master' of git://nbd.git.sourceforge.net/gitroot/nbd/nbd

Use nbd-tester-client.tr data with conformant MBD_CMD_FLUSH offset/length fields

Chnage documentation for NBD_CMD_FLUSH again.

Use offset, length=0 for normal flushes. Reserve other options
for later (idea from Goswin von Brederlow <goswin-v-b@web.de>)

Add transaction log support and integrity test

fix documentation of NBD_CMD_FLUSH

copy handle on all requests

nbd-server: don't check length and offset on flush

Implement support for flush, fua and rotational.

This commit implements support for the flush, fua, and rotational directives
within the configuration file.

FUA means "force the current write to hit the media service" and FLUSH
means "empty the current write queue to disk". Broadly they have the same
semantics as the linux kernel REQ_FLUSH and REQ_FUA. FUA is implemented
through sync_file_range() (or if that doesn't exist, fdatasync() on the
file handle concerned), FLUSH through fsync() on all files. FUA and
FLUSH are selected in the config file, and set new flags bits which will
cause the client to sent FUA and FLUSH requests. The way these are
implemented is further explained in doc/proto.txt.

The purpose of this is reasonably obvious: without supporting either FUA
or FLUSH (and it's relatively easy to support both), filesystems on the
client have no way to ensure the relevant sectors have hit the disk.
The patch is implement such that the default behaviour is unchanged.

Additionally, it introduces an F_ROTATIONAL flag. This will turn off
the use of QUEUE_FLAG_NONROT in the client. QUEUE_FLAG_NONROT effectively
disables the elevator algorithm, making the algorithm merge only. That is
unhelpful where the server does not have its own elevator algorithm
or where the client elevator algorithm is neutered (e.g. writing to a
raw partition with F_SYNC with nbd-server). It's not going to be used
often where the backing store is a file.

It also incidentally fixes a bug where F_SYNC is ignored if F_COPYONWRITE
is set (not that this currently has much utility).

Note the following:

* The top 16 bits of the command type have been reserved
  (see NBD_CMD_MASK_COMMAND) for passing flags to be attached to commands.
  NBD_CMD_FLAG_FUA is the first of these.

* simple_test has been modified so it does not stomp over nbd.conf and
  pid files in the current directory.

* A new ioctl has been added which passes the export flags to the kernel.
  There is currently no support for this in the kernel (I will submit
  a patch in due course)

* "make check" now performs a flush and fua test. These have been verified
  by strace to "do the right thing".

* nbd-client incorrectly shifted the flags value left by 16 after reading it.
  This caused the test of the readonly bit to always fail. I suspect this
  may have been an attempt to combine server flags and export flags into
  a single 32 bit word. However, the low 16 bits were never set, and only
  the low 16 bits are tested. As the only thing it was testing for was the
  read only flag, and that is supplied in the flags, and as this allows
  transparent passing to the ioctl, I suggest it is changed as per this commit.
  If there's something else to add, it can be put in the upper 16 bits.

I have tested this lightly with nbd-client (obviously the kernel does not
yet send FLUSH or FUA) and with the test suite. It's probably ready to
go in marked "experimental".

Merge branch 'alex'

Merge commit '085441290'

write flags value to return to the rest of program in preparation for flush

Add 'do not fork' option

Add flush test

move NBD_FLAGS from cliserv.h to nbd.h as they will be used in the kernel when we have the ioctl. Add NBD_CMD_FLUSH.

Use flags for tests; introduce TEST_FLUSH

Merge branch 'master' of git://nbd.git.sourceforge.net/gitroot/nbd/nbd

Improve timing of tests; avoid wrapping tv_usec and tv_sec problems; better rounding; display speed with decimal places

Handle failed negotiation on modern socket

When negotiating fails for some reason, nbd-server currently segfaults
due to a NULL-pointer dereference. This should not happen.

CVE request outstanding

Add write test to test suite

Remove compilation warnings and increase error checking in test suite

Fix lp[] initialization

Originally, the s variable was a pointer which was allocated with
calloc() every time we went through the loop. Now, it's a stack variable
which gets memset() back to zero instead, and is copied to the array.

This change was done for an unrelated reason (which is why we didn't
change this assignment back then), but with the current code it's more
efficient and less error-prone if we assign values to the pointers when
we declare the lp[] array, rather than when we go through the loop. So
do that, then.

fix autogen.sh

Building from source fails on a clean git pull, due to autogen.sh failing.

$ ./autogen.sh
+ make -C man -f Makefile.am infiles
make: Entering directory `/home/amb/nbd/nbd/man'
make: *** No rule to make target `infiles'. Stop.
make: Leaving directory `/home/amb/nbd/nbd/man'

A manual autoreconf does this.

$ autoreconf -f -i -s
configure.ac:123: required file `man/nbd-client.8.sh.in' not found
configure.ac:123: required file `man/nbd-server.5.sh.in' not found
configure.ac:123: required file `man/nbd-server.1.sh.in' not found
autoreconf: automake failed with exit status: 1

I think the attached is the right patch (well, I have ./configure
now). There may be a prettier way of doing it (e.g. putting an
"infiles" target into man/Makefile.am) but this is least intrusive.

--
Alex Bligh

Signed-off-by: Alex Bligh <alex@alex.org.uk>

Ensure all options have option length

This is a documentation only patch to the new handshake protocol, but
changes the protocol in completely back compatible manner.

Under the current handshake protocol, it is impliedly necessary for the
server to understand every option presented by the client, as there is
no way for the server to skip options it does not understand (as the
length field is not always part of the option).

My proposal is to include the length field as a 32 bit unsigned length
in the same way that it currently forms the first 4 octets of the
NBD_OPT_EXPORT_NAME. So the length field has technically moved out
of the option data and into the option header (obviously there is
no code change required). This will allow servers to skip options
presented by clients that the server does not understand.

--
Alex Bligh

Signed-off-by: Alex Bligh <alex@alex.org.uk>

Release 2.9.21a

Add sh.tmpl to EXTRA_DIST so it won't break

Release 2.9.21

Fix 'make distcheck'

Fix thinko

It's nbd-client.8, not nbd-server.8

Don't forget the template, and ignore generated files

Manpage generation revisited

Previously, we would generate manpages using direct automake-style @foo@
substitution. These, however, contain data in shell syntaxis, which
results in a manpage in the style of '${prefix}/etc/nbd-server/config
allows to configure the nbd-server', which is confusing.

Instead, generate a shell script that outputs the manpage using shell
interpolation, which supposedly works correctly. It's a bit yuck, but
it's the way automake wants us to do these things.

Documentation updates

- Document the protocol
- Move developer documentation into a separate directory. This includes
  the Doxyfile. Update some other files so that doc/ isn't git ignore'd,
  and so that the Doxyfile is generated at the right location.
- Add a README which explains the purpose of that directory.

Fix dup_serve

Copy the virtstyle field too, and make sure that we copy everything from
's' (the source) rather than from 'serve' (the destination)

Fix memleak

Fix inline usage

inlines must be static, or gcc with some particular set of options (C99?
-Wall -Werror? dunno, don't care) won't compile it.

Require C99

We'll want to use a few C99-specific features, and C99 is getting older
than whisky now anyway.

Fix getopt usage

getopt returns an int, not a char. Since char is unsigned by default on
some architectures, this caused an infinite loop in option parsing
there.

Check return value of read_all in all cases

... to avoid nbd-tester-client going berzerk if the server dies (this is a test
suite! It should deal with servers dying!)

Assign a value to serve when using modern protocol

We dereference this pointer later on, so need to make sure it's
actually valid.

As an added precaution, initialize it to NULL, so that we catch any
further incorrect dereferences, too.

Release 2.9.20

Test request blocks that are larger than 1MB, too.

Fix handling of oversized requests

Previously, nbd-server would not serve requests that were over 1MB in
size. This was a problem, and even a bug since the kernel does send such
requests.

Modify the server so that it loops if the request is larger than 1MB.

Fix buffer size checking

Yes, this means we've re-introduced CVE-2005-3534. Sigh.

Remove outdated roadmap

Release 2.9.19

10 TByte partition

Moin!

The attached patch allows to run a 16TB nbd partition on a 32-bit
system.

Gruß, Stephan

nbd-server: Limit the number of connections

Hi there,

This is a patch that allows to limit the number of opened connections in
nbd-server.

This limitation can be specified from both command line and config
files:
- -M <n> or --max-connections <n> from command line
- or maxconnections = <n> in config files (export sections)

Regards,
Greg

Put nbd-client back in sbin

Move man files to man/

Signed-off-by: Laurent Vivier <laurent@vivier.eu>

Revisit documentation

There were a few issues with the documentation, where it grew some hairy
and weird phrasing. Fix those.

Remove GCC warnings:

warning: ignoring return value of ‘write’
warning: ignoring return value of ‘read’
warning: format not a string literal and no format arguments
warning: ignoring return value of ‘daemon’

Signed-off-by: Laurent Vivier <laurent@vivier.eu>