socket: Add note that the packet dropping in tcp-bsd is broken behavior

tests: Fix test-restart to only quit on state changes

Previously, there was a race between receiving the data packets and
changing state to READY, which would cause one of the final assertions
to fail.

agent: Add support for vectored I/O for sends

Add one new public function, nice_agent_send_messages_nonblocking(),
which replaces nice_agent_send_full(). This isn’t an API break, because
nice_agent_send_full() hasn’t been in a release yet. The new API allows
sending multiple messages in a single call, and supports vectors of
buffers to transmit the messages from.

The existing nice_agent_send() API has been left untouched, although
it’s a bit of a bugbear because it’s non-blocking and doesn’t fit with
the new *_nonblocking() naming scheme. Oh well.

This doesn’t bring any notable changes to the number of memcpy()s on the
critical path: it remains at zero for the common cases and common socket
types. It introduces the possibility for future work to eliminate some
memcpy()s in more complex socket types, like tcp-turn and tcp-bsd, but
these optimisations have not been made yet. FIXME comments have been
added.

This includes modifications to the test-send-recv unit test to cover the
new API.

socket: Add vectored I/O support for sending on sockets

Replace the send() API with a send_messages() API, which supports
sending multiple messages, each with multiple buffers rather than a
single monolithic buffer.

This doesn’t break API, as the socket API is not exposed outside
libnice. It does introduce a new struct: NiceOutputMessage, which is
analogous to struct mmsghdr and NiceInputMessage.

This includes updates to the test-bsd test to cover the changed API.

The existing nice_socket_send() API has been retained as a thin wrapper
around nice_socket_send_messages(), for convenience only. It’s hoped
that internal usage of this API will decline to the point where it can
be removed.

agent: Move gtk-doc comments from agent.c to agent.h for new API

I completely disagree with this, and believe the C file is a much better
place for them, as then they’re:
 • easier to read while hacking on the functions, and
 • easier to modify once finished hacking on the functions.

I think the argument for putting them in the header files (so that the
documentation is available by the function declarations) is weak, as the
generated gtk-doc manual should be installed on the system alongside the
header files in any case.

tests: Update test-send-recv to support vectored I/O

agent: Add support for vectored I/O for receives

Add two new public functions:
 • nice_agent_recv_messages()
 • nice_agent_recv_messages_nonblocking()
which allow receiving multiple messages in a single call, and support
vectors of buffers to receive the messages into.

The existing nice_agent_recv[_nonblocking]() APIs have been left
untouched.

This tidies up a lot of the message handling code internally, and
eliminates a couple of memcpy()s. There are still a few more memcpy()s
on the critical path, which could be eliminated with further work.

In the reliable agent case, every message is memcpy()ed twice: once into
the pseudo-TCP receive buffer, and once out of it. The copy on input
could be eliminated (in the case of in-order delivery of packets) by
receiving directly into the receive buffer. The copy on output can’t be
eliminated except in the I/O callback case (when
nice_agent_attach_recv() has been used), in which case the callback
could be invoked with a pointer directly into the pseudo-TCP receive
buffer.

In the non-reliable agent case, zero memcpy()s are used.

A couple of the more complex socket implementations (TURN and HTTP) have
slow paths during setup, and partially also during normal use. These
could be optimised further, and FIXME comments have been added.

tests: Fix a shadowed function name in test-pseudotcp

The write() function already exists; we can’t re-define it as a
callback.

stun: Add a fast version of stun_message_validate_buffer_length()

stun_message_validate_buffer_length() is already fast, but requires the
entire message to be in a single monolithic buffer. For introducing
vectored I/O, this becomes impossible to guarantee.

Rather than rewriting the STUN code to natively support vectors of
buffers (which would be a huge undertaking, and would probably slow
the code down considerably), implement a fast check of whether a message
is likely to be a STUN packet which *does* support vectored I/O. This
can then be used to determine whether to compact the vector of buffers
to a single monolithic one in order to validate the message more
thoroughly.

socket: Fix the formal parameter types of nice_turn_socket_parse_recv()

gsize and guint8 are more obviously for binary data than gint and gchar.

Note the signedness of the return type has changed: the function never
returns negative values.

socket: Add vectored I/O support for receiving on sockets

Replace the recv() API with a recv_messages() API, which supports
receiving multiple messages, each with multiple buffers rather than a
single monolithic buffer.

This doesn’t break API, as the socket API is not exposed outside
libnice. It does introduce a new struct: NiceInputMessage, which is
analogous to struct mmsghdr.

This includes updates to the test-bsd test to cover the changed API.

agent: Simplify control flow in agent_recv_locked()

This introduces no functional changes.

stun: Use SHA1 iteration functions directly in HMAC calculation

Rather than using an intermediate method which takes a vector of
buffers, just use the SHA1 iteration functions directly in the HMAC
calculations. This eliminates several cases where the vector of buffers
was of fixed length, and it was actually taking more code to set up and
pass the vector than it would have to call the iteration functions
directly.

outputstream: Put GError in the right GError**

component: Don't free the nice socket before detaching it

agent: Make sure there is no integer overflow if the timeout is now

Make sure that if the timeout is now, no negative number is passed as
an unsigned

pseudotcp: Don't fail when sending over 4GiB of data

Integer comparisons need to take care of rollovers

outputstream: Fix race between writable callback and GCond wait

inputstream: Make the GSource hold a weak ref on the agent

This also means that it can't have the component ref. Also make the
cancellable a child source of this GPollableInputStream one

outputstream: Don't wake up on every input buffer

So instead of actually blocking on the FD, block on a GCancellable
which is triggered when the writable callback is called. Also set the
application's GCancellable as a child of this source.

agent: Only change pseudotcp clock if the new timeout is sooner

Destroying and creating GSources is expensive, so also don't destroy and
re-create if possible, instead lets use the new g_source_set_ready_time()

pseudotcp: Switch to using monotonic time

outputstream: Release blocking send lock while sending

Otherwise it produces a deadlock

outputstream: Make the blocking send thread safe

There was a possible race between disconnection and freeing of the WriteDatas
structure, now it's ref-counted so it can never happen. Also set the len to -1
if the cancellable was cancelled.

agent: Return G_IO_ERROR_WOULD_BLOCK for non-connected pseudoTCP

agent: Return cancelled if sending is cancelled

nice: Add nice_agent_build_io_stream to exported symbols

agent: Queue incoming pseudo-TCP messages until ACKs can be sent

If pseudo-TCP messages are received before a socket has been selected
from all the STUN candidates, they would previously be immediately
passed to the pseudo-TCP state machine, which would attempt to send ACKs
for them. This would fail (due to a lack of an outbound UDP socket), and
would incur a retransmit timeout in the TCP state machine. This slowed
down the tests enormously if one agent in a test completed candidate
selection before the other (which is an entirely reasonable scenario).

This never occurred before because the existing tests artificially run
both agents in lock-step, and never send data packets from one to the
other until both have completed candidate selection. This is basically
cheating.

Fix the problem by queuing incoming pseudo-TCP messages until an
outbound UDP socket is available to send the ACKs or SYNACKs on.

agent: Correct maximum UDP data length

The maximum number of bytes in a UDP packet (ignoring problems like
fragmentation and MTUs) is 65535 = 2^16-1 bytes, as the length field
in the packet header is 16b wide.

tests: Remove redundant GLIB_CHECK_VERSION checks

Since we define GLIB_VERSION_MIN_REQUIRED, GLib will not emit deprecated
function call warnings for functions like g_type_init() or
g_thread_init().

agent: Slightly improve debugging output

agent: Document correctness of io_mutex locking

agent: Combine nice_agent_recv() and nice_agent_recv_nonblocking()

Sharing is caring.

agent: Add a couple of comments to the pseudo-TCP implementation

agent: Hold a reference to pseudotcp while calling its callbacks

This prevents the pseudotcp socket from being destroyed from within a
callback.

socket: Ensure variables are nullified correctly in UDP sockets

When closing a socket, ensure its private data structure is set to NULL.
When sending a message fails to construct a new socket address, ensure
the pointer to the old address (which has just been unreffed) is removed.

This makes debugging problems with sockets being freed early much
easier.

tests: Add tests for the I/O stream classes

agent: Always emit a readable callback when pseudo-TCP data arrives

Previously, the pseudo-TCP implementation’s readable() callback would
only be invoked when new data was received if it was enabled. The
callback is enabled by reading all data from the TCP input buffer until
EWOULDBLOCK is returned.

Reading all that data is not possible if the client buffer is of a
limited size, and can lead to livelocks if the client reads exactly the
number of bytes in the TCP input buffer (i.e. its buffer size matches
the TCP buffer fill level).

Instead, always invoke the readable() callback. This might be slightly
less performant, but the whole pseudo-TCP implementation is a shambles
anyway, and the callbacks need removing, so why not?

agent: Add GPollableOutputStream support to NiceOutputStream

agent: Add GPollableInputStream support to NiceInputStream

agent: Add a nice_agent_recv_nonblocking() function

This is a non-blocking variant of nice_agent_recv(), and will be used
internally by the GPollableInputStream implementation. External
implementations may use it as well.

It reserves the right to iterate the main context, but doesn’t currently
do so.

agent: Add nice_agent_build_io_stream() API

This allows creation of a NiceIOStream from an existing NiceAgent
instance.

agent: Add support for GIO-style I/O streams

This adds three new classes:
 • NiceIOStream
 • NiceInputStream
 • NiceOutputStream
which allow wrapping a single stream/component pair in an I/O stream
which can be used with the standard GIO functions.

The streams are constructed as wrappers around a NiceAgent, with changes
to the NiceAgent’s properties affecting all instantiated streams.
Streams are only supported for reliable connections.

If the NiceAgent stream which underlies a NiceInputStream,
NiceOutputStream or NiceIOStream is removed, the I/O stream is marked as
closed.

This is based on work originally done by Youness Alaoui
<youness.alaoui@collabora.co.uk>.

agent: Add a ComponentSource to Component

This is a type of GSource which proxies all poll events from the sockets
in a Component. It’s necessary for the implementation of
GPollableInputStream and GPollableOutputStream.

This adds no new external API, but does add ComponentSource and
component_source_new() as new internal API.

agent: Add a nice_agent_send_full() API exposing error information

This adds GError and GCancellable parameters to the existing
nice_agent_send() API, and is identical in all other respects (notably,
it is non-blocking).

The GCancellable is currently unused, but could be used in future if the
API grows to support blocking writes.

The GError is used to return more interesting error codes than just
‘-1’.

agent: Add nice_agent_recv() allowing blocking receives on sockets

This is a blocking receive function, designed to be called from a worker
thread. It cannot be used in conjunction with the existing
nice_agent_attach_recv() API, as the blocking receive and the GSource
would compete over access to the single copy of the data in the kernel’s
receive buffer.

agent: Move GSource handling into Component

Rather than handle GSource creation, attachment and removal in
NiceAgent, handle it inside Component. This brings it closer to the
networking code, and improves encapsulation of the state of each
Component.

agent: Fix format specifiers in debug messages

Mostly problems with the specifier for gsize.

agent: Support invoking I/O callbacks in non-default contexts

If the Component’s I/O receiver machinery is invoked from a thread which
can’t acquire the main context specified for the I/O callbacks, the
callbacks need to be queued as idle handlers in that main context.

This is needed for the case where blocking reads are being performed in
one thread, with their callbacks needing to be delivered in another
thread.

This introduces a new fine-grained lock to Component: io_mutex. This
protects accesses to Component->io_callback, Component->io_user_data and
Component->pending_io_callbacks. If being locked at the same time as the
main agent lock, it must always be locked afterwards, but the agent lock
does not *have* to be held in order to lock io_mutex.

agent: Eliminate redundant arguments from component_emit_io_callback()

agent: Integrate TcpUserData into Component

It was allocated separately and always set, which is a wasted
allocation. Instead, pull the NiceAgent and Stream pointers into the
Component directly, and eliminate the redundant allocation.

This also means the NiceAgent and Stream are available for use elsewhere
in the Component code (not just with TCP stuff).

agent: Clarify naming of internal recv function

Add ‘_locked’ to the name to clarify that it must be called with the
agent’s lock already held.

agent: Use guint8* as the type for internal buffers

…rather than gchar*. This differentiates binary buffers from strings a
little better, although the two types are functionally equivalent.

Also use gsize for buffer sizes, rather than guint.

agent: Move I/O callback handling from NiceAgent into Component

Compartmentalise the handling of setting and clearing the user-provided
per-Component I/O callbacks.

Data flows from the socket, through nice_agent_g_source_cb(), to
component_emit_io_callback() which calls the callback provided by the
user when originally attaching to the stream/component.

agent: Move socket/source handling from NiceAgent into Component

This compartmentalises it a little more, reducing the spread of
state-changing code from three files down to one.

The key change is the switch from using two GSLists of NiceSockets and
GSources in Component, to using a single GSList of a struct {
NiceSocket, GSource }. This is possible because there is at most one
GSource per NiceSocket. This change reduces memory overhead (from the
GSList structures) slightly, and makes the relationship between sockets
and sources much clearer.

agent: Refactor nice_agent_g_source_cb()

Move all functionality which is unrelated to the GSource into
_nice_agent_recv().

agent: Add a NiceAgent::streams-removed signal

This is emitted when one or more streams are removed from the agent
due to a call to nice_agent_remove_stream().

tests: Remove a potential race from test-thread

A g_usleep() was introduced in commit
e22ecb19662970a42def6df74db6359e58084727 to fix a potential race where
the non-main threads would finish all their work before the error_loop
was started, leaving the error_loop to run for 30s then abort the test.

A better fix, instead of doing a racy sleep, is to have the non-main
threads spin until the error_loop is running. GLib takes care of all the
locking for us, and since we don’t care about efficiency for test cases,
spinning is fine (the wait is also going to be quite short).

build: Add various compiler warnings to --enable-compile-warnings

Add various compiler warnings to the different levels of
--enable-compile-warnings. No particular scheme has been used to assign
different warnings to different levels, other than that more critical
ones are typically enabled at lower levels upwards.

All code in libnice except the tests currently compiles with
--enable-compile-warnings=error.

stun: Add missing switch cases

This appeases GCC’s -Wswitch-enum warning, and makes it more obvious
that those enum cases have been explicitly considered, rather than just
forgotten about.

This introduces no functional changes.

socket: Add missing switch cases

This appeases GCC’s -Wswitch-enum warning, and makes it more obvious
that those enum cases have been explicitly considered, rather than just
forgotten about.

This introduces no functional changes.

gst: Add missing switch cases

This appeases GCC’s -Wswitch-enum warning, and makes it more obvious
that those enum cases have been explicitly considered, rather than just
forgotten about.

This introduces no functional changes.

stun: Fix potential zero-length memset() call

GCC warns about this. Might as well prevent the warning.

tests: Add missing switch cases

This appeases GCC’s -Wswitch-enum warning, and makes it more obvious
that those enum cases have been explicitly considered, rather than just
forgotten about.

This introduces no functional changes.

tests: Fix strict aliasing of sockaddr structures

Casting from one struct sockaddr type to another breaks C’s strict
aliasing rules (variables of different types cannot alias). Fix this
cleanly by using unions of struct sockaddrs to convert between the
types (i.e. type-punning).

I wish sockaddr didn’t have to be this painful.

See:
http://gcc.gnu.org/onlinedocs/gcc-4.4.1/gcc/Optimize-Options.html#Type_002dpunning

stun: Make the MD5 code strict-aliasing correct

build: Update .gitignore file

pseudotcp: Add methods to query the state of the send and recv buffers

pseudotcp: Implement window scaling for PseudoTCP.

Syncs with libjingle SVN rev 77

tests: Add more asserts to pseudotcp test

tests: Use right type when taking to stdio f*()  C APIs

tests: Close pseudosocket as soon as it's done sending

tests: Fix racy destruction of pseudotcp object

tests: No need to call adjust_clock in readable

This can only be called after we received a packet, where we already
adjust the clock

tests: Use one struct for data and buffer

pseudotcp: Only consolidate recv buffer if it's getting buffer

Should improve receive performance a bit.

Syncs with libjingle SVN rev 76

pseudotcp: Make it possible to disable the Nagle Algorithm

Syncs with libjingle SVN rev 56

agent: Don't make relayed sockets available in nice_agent_get_selected_socket()

Also document that fact.

agent: Note that nice_agent_set_relay_info() can be called many times

Add to the documentation to note that it can be called several times to
set details for several relay servers during discovery.

build: Don’t unconditionally enable -Werror for non-release builds

Do not unconditionally enable -Werror, since that breaks the build for
people who have stricter compilation warnings enabled.

Instead, add an --enable-compile-warnings configure flag which enables
-Werror when passed as --enable-compile-warnings=error. This mimics the
flag in gnome-common, for consistency. But we enable errors by default
on non-released versions.

agent: Read all socket data in nice_agent_g_source_cb

stun: Add printf function attribute

This shuts a compiler warning up and allows for format string checking
of debug messages.

stun: Fix format specifier for a size_t variable

This fix may not be entirely cross-platform, and I have been unable to
test whether it is; making it cross-platform is made more difficult by
the fact that the STUN code doesn’t use GLib.

The PRIuPTR macro was defined in POSIX:2004, and later in C99.
http://pubs.opengroup.org/onlinepubs/009696799/basedefs/inttypes.h.html

build: Update .gitignore file

build: Remove auto-generated INSTALL file

It gets automatically generated by autotools, so just gets in the way if
checked into git.

configure: Verify that the compiler understands warning cflags

Older compilers don't understand all of the flags

agent: Add warning on incorrect API usage

stun: Indications are never authentication when using long term auth

turn: Send queued TURN messages to the turn server

It was trying to send queued messages to the final destination instead
of going through the TURN server

conncheck: Avoid reading null username

examples: Remove g_type_init() call for recent GLib versions

stun: Fix a use of a function with an aggregate return value

div() has an aggregate return, which GCC doesn’t like, although this
seems like a pretty pointless warning because div_t is the same size as
a pointer on 64-bit platforms (probably) and hardly going to cause
performance problems by passing it by value.

Anyway, it seems easier to simplify the code by using explicit / and %
operators inline, than it does to add pragmas and shut the warning up.

stun: Explicitly avoid a memcpy() from NULL

If stun_message_append_bytes() is called through
stun_message_append_flag(), data will be NULL and len will be 0. This
will result in a memcpy(ptr, NULL, 0) call. This probably won’t do any
harm (since any reasonable memcpy() implementation will immediately
return if (len == 0)), but the standard allows for memcpy() to explode
if (data == NULL), regardless of the value of len.

In order to be conformant, and to shut up the scan-build static analysis
warning about it, only do the memcpy() if (len > 0).

stun: Remove unused variables

agent: Avoid memcpy()ing garbage between username strings

If (username_len > uname_len), memcpy() would fall off the end of the
uname string and copy (username_len - uname_len) bytes of garbage into
username.

Theoretical bug: not actually attempted to be demonstrated in the wild.

agent: Fix an old-style function declaration

agent: Avoid a potential NULL pointer dereference

password could be NULL (priv_get_password() can return NULL), but
g_base64_decode() aborts if it receives NULL for the encoded text.

agent: Fix format specifiers in debug messages

Mostly problems with the specifier for gsize.

agent: Add missing format specifiers to debug messages

agent: Add printf function attribute

This shuts a compiler warning up and allows for format string checking
of debug messages. (See future commits for the fixes this has resulted
in.)