agent: Fix a potential re-entrancy situation

If we emit signals from component_io_cb() in the middle of a read, it’s
possible that one of those signals will be picked up by the client to
perform another read. A likely candidate (and what was triggering the
re-entrancy here) would be component-state-changed. Since signals are
emitted synchronously, the second read would being inside the first, and
trigger the anti-re-entrancy assertion.

tests: Use dynamically allocated port for test-new-dribble

tests: Fix horribly raciness in test-new-dribble

tests: Split racy "closing" into a test for stopping while reading or writing

We wan't to make sure not to have a race where a thread blocks in a blocking
receive or send while nice_agent_remove_stream() is called

test: Use a less racy way to know if the test is ready to start

Also, keep a pointer to the other structure for tests to use

outputstream: Add a cancellable to get out of blocking write if the stream is removed

component: Add a GCancellable to get of out blocking nice_agent_recv()

Otherwise, it may be stuck iterating the context forever if all of the
other sources are gone.

component: Keep its own context at all times

Don't re-create it.

Ignore .trs and .log file from newer automake

agent: Delay signal emission after the lock has been released

This way, there can be no annoying re-entrancy in our code.

agent: Replace recursive mutex with non-recursive

This should prevent us from re-adding re-entrancy in the future

agent: Delay signal emission after the lock has been released

This way, there can be no annoying re-entrancy in our code.

iostream: remove re-entrant call into NiceAgent

outputstream: If tcp, only check for space in the PseudoTCP queue

agent: Expand documentation for a couple of NiceAgent functions

Expand documentation for nice_agent_gather_candidates() and
nice_agent_set_remote_credentials().

agent: Fix inlining of nice_debug() if NDEBUG is defined

agent: Assert on re-entrant reads

Ensure the agent’s context doesn’t get iterated while in the middle of
reading a message, as that will corrupt the component->recv_messages
state.

agent: Improve debug output

agent: Add nice_input_message_iter_compare()

Use it instead of memcmp() to avoid comparing padding bytes.

docs: Remove NiceIOStream, nothing specific to document

agent: returning 0 valid messages is valid, it means EOF

iostream: iostreams are only for reliable streams, no need to check

agent: Use locally allocated memory if the application buffer is not big enough for one STUN packet

outputstream: Trigger the pollable source on error or removal

agent: Fix compiler warnings

configure: Add newline ignoring

Otherwise it ran the "yes" command

configure: Move -Werror=unsafe-loop-optimizations to the maximum level

It tends to cause false warnings

pseudotcp: Remove one duplicated call to g_get_monotonic_time()

agent: Remove weak pointers, they aren't thread safe anyway

And we get close to 10% perf boost

pseudotcp: Add list of unsent segment

Looping through the list of send segment was the only thing from libnice
showing up in my profiler. Keeping a list of segment that were never sent
has made it disappear.

agent: Avoid calling nice_address_to_string() when debugging is disabled

pseudotcp: Use GQueue for list that has stuff inserted in the end

pseudotcp: Don't change the receive buffer size if it hasnt changed

agent: Restore the ability nice_agent_send() to send partial buffers

This is very important for reliable mode.

Also use it in the GOutputStream so as to not get into the case where
there is still some space in the TCP buffer, but not enough for one message.
Also warn against this problem.

agent: Replace nice_agent_build_io_stream() with nice_agent_get_io_stream()

Also made the GIOStream into a singleton, it always returns the same one.
Also make it impossible to create a GIOStream for a non-existing stream/component

Remove the "length" parameter from NiceOutputMessage

It was used correctly only half the time anyway

Remove the "to" parameter from NiceOutputMessage

We never send multiple messages to separate targets in practice, so
this will simplify the code

agent: Attaching to a NULL context should attach to the default one

Otherwise it would have attached to a newly created context

socket: Add note that the packet dropping in tcp-bsd is broken behavior

tests: Fix test-restart to only quit on state changes

Previously, there was a race between receiving the data packets and
changing state to READY, which would cause one of the final assertions
to fail.

agent: Add support for vectored I/O for sends

Add one new public function, nice_agent_send_messages_nonblocking(),
which replaces nice_agent_send_full(). This isn’t an API break, because
nice_agent_send_full() hasn’t been in a release yet. The new API allows
sending multiple messages in a single call, and supports vectors of
buffers to transmit the messages from.

The existing nice_agent_send() API has been left untouched, although
it’s a bit of a bugbear because it’s non-blocking and doesn’t fit with
the new *_nonblocking() naming scheme. Oh well.

This doesn’t bring any notable changes to the number of memcpy()s on the
critical path: it remains at zero for the common cases and common socket
types. It introduces the possibility for future work to eliminate some
memcpy()s in more complex socket types, like tcp-turn and tcp-bsd, but
these optimisations have not been made yet. FIXME comments have been
added.

This includes modifications to the test-send-recv unit test to cover the
new API.

socket: Add vectored I/O support for sending on sockets

Replace the send() API with a send_messages() API, which supports
sending multiple messages, each with multiple buffers rather than a
single monolithic buffer.

This doesn’t break API, as the socket API is not exposed outside
libnice. It does introduce a new struct: NiceOutputMessage, which is
analogous to struct mmsghdr and NiceInputMessage.

This includes updates to the test-bsd test to cover the changed API.

The existing nice_socket_send() API has been retained as a thin wrapper
around nice_socket_send_messages(), for convenience only. It’s hoped
that internal usage of this API will decline to the point where it can
be removed.

agent: Move gtk-doc comments from agent.c to agent.h for new API

I completely disagree with this, and believe the C file is a much better
place for them, as then they’re:
 • easier to read while hacking on the functions, and
 • easier to modify once finished hacking on the functions.

I think the argument for putting them in the header files (so that the
documentation is available by the function declarations) is weak, as the
generated gtk-doc manual should be installed on the system alongside the
header files in any case.

tests: Update test-send-recv to support vectored I/O

agent: Add support for vectored I/O for receives

Add two new public functions:
 • nice_agent_recv_messages()
 • nice_agent_recv_messages_nonblocking()
which allow receiving multiple messages in a single call, and support
vectors of buffers to receive the messages into.

The existing nice_agent_recv[_nonblocking]() APIs have been left
untouched.

This tidies up a lot of the message handling code internally, and
eliminates a couple of memcpy()s. There are still a few more memcpy()s
on the critical path, which could be eliminated with further work.

In the reliable agent case, every message is memcpy()ed twice: once into
the pseudo-TCP receive buffer, and once out of it. The copy on input
could be eliminated (in the case of in-order delivery of packets) by
receiving directly into the receive buffer. The copy on output can’t be
eliminated except in the I/O callback case (when
nice_agent_attach_recv() has been used), in which case the callback
could be invoked with a pointer directly into the pseudo-TCP receive
buffer.

In the non-reliable agent case, zero memcpy()s are used.

A couple of the more complex socket implementations (TURN and HTTP) have
slow paths during setup, and partially also during normal use. These
could be optimised further, and FIXME comments have been added.

tests: Fix a shadowed function name in test-pseudotcp

The write() function already exists; we can’t re-define it as a
callback.

stun: Add a fast version of stun_message_validate_buffer_length()

stun_message_validate_buffer_length() is already fast, but requires the
entire message to be in a single monolithic buffer. For introducing
vectored I/O, this becomes impossible to guarantee.

Rather than rewriting the STUN code to natively support vectors of
buffers (which would be a huge undertaking, and would probably slow
the code down considerably), implement a fast check of whether a message
is likely to be a STUN packet which *does* support vectored I/O. This
can then be used to determine whether to compact the vector of buffers
to a single monolithic one in order to validate the message more
thoroughly.

socket: Fix the formal parameter types of nice_turn_socket_parse_recv()

gsize and guint8 are more obviously for binary data than gint and gchar.

Note the signedness of the return type has changed: the function never
returns negative values.

socket: Add vectored I/O support for receiving on sockets

Replace the recv() API with a recv_messages() API, which supports
receiving multiple messages, each with multiple buffers rather than a
single monolithic buffer.

This doesn’t break API, as the socket API is not exposed outside
libnice. It does introduce a new struct: NiceInputMessage, which is
analogous to struct mmsghdr.

This includes updates to the test-bsd test to cover the changed API.

agent: Simplify control flow in agent_recv_locked()

This introduces no functional changes.

stun: Use SHA1 iteration functions directly in HMAC calculation

Rather than using an intermediate method which takes a vector of
buffers, just use the SHA1 iteration functions directly in the HMAC
calculations. This eliminates several cases where the vector of buffers
was of fixed length, and it was actually taking more code to set up and
pass the vector than it would have to call the iteration functions
directly.

outputstream: Put GError in the right GError**

component: Don't free the nice socket before detaching it

agent: Make sure there is no integer overflow if the timeout is now

Make sure that if the timeout is now, no negative number is passed as
an unsigned

pseudotcp: Don't fail when sending over 4GiB of data

Integer comparisons need to take care of rollovers

outputstream: Fix race between writable callback and GCond wait

inputstream: Make the GSource hold a weak ref on the agent

This also means that it can't have the component ref. Also make the
cancellable a child source of this GPollableInputStream one

outputstream: Don't wake up on every input buffer

So instead of actually blocking on the FD, block on a GCancellable
which is triggered when the writable callback is called. Also set the
application's GCancellable as a child of this source.

agent: Only change pseudotcp clock if the new timeout is sooner

Destroying and creating GSources is expensive, so also don't destroy and
re-create if possible, instead lets use the new g_source_set_ready_time()

pseudotcp: Switch to using monotonic time

outputstream: Release blocking send lock while sending

Otherwise it produces a deadlock

outputstream: Make the blocking send thread safe

There was a possible race between disconnection and freeing of the WriteDatas
structure, now it's ref-counted so it can never happen. Also set the len to -1
if the cancellable was cancelled.

agent: Return G_IO_ERROR_WOULD_BLOCK for non-connected pseudoTCP

agent: Return cancelled if sending is cancelled

nice: Add nice_agent_build_io_stream to exported symbols

agent: Queue incoming pseudo-TCP messages until ACKs can be sent

If pseudo-TCP messages are received before a socket has been selected
from all the STUN candidates, they would previously be immediately
passed to the pseudo-TCP state machine, which would attempt to send ACKs
for them. This would fail (due to a lack of an outbound UDP socket), and
would incur a retransmit timeout in the TCP state machine. This slowed
down the tests enormously if one agent in a test completed candidate
selection before the other (which is an entirely reasonable scenario).

This never occurred before because the existing tests artificially run
both agents in lock-step, and never send data packets from one to the
other until both have completed candidate selection. This is basically
cheating.

Fix the problem by queuing incoming pseudo-TCP messages until an
outbound UDP socket is available to send the ACKs or SYNACKs on.

agent: Correct maximum UDP data length

The maximum number of bytes in a UDP packet (ignoring problems like
fragmentation and MTUs) is 65535 = 2^16-1 bytes, as the length field
in the packet header is 16b wide.

tests: Remove redundant GLIB_CHECK_VERSION checks

Since we define GLIB_VERSION_MIN_REQUIRED, GLib will not emit deprecated
function call warnings for functions like g_type_init() or
g_thread_init().

agent: Slightly improve debugging output

agent: Document correctness of io_mutex locking

agent: Combine nice_agent_recv() and nice_agent_recv_nonblocking()

Sharing is caring.

agent: Add a couple of comments to the pseudo-TCP implementation

agent: Hold a reference to pseudotcp while calling its callbacks

This prevents the pseudotcp socket from being destroyed from within a
callback.

socket: Ensure variables are nullified correctly in UDP sockets

When closing a socket, ensure its private data structure is set to NULL.
When sending a message fails to construct a new socket address, ensure
the pointer to the old address (which has just been unreffed) is removed.

This makes debugging problems with sockets being freed early much
easier.

tests: Add tests for the I/O stream classes

agent: Always emit a readable callback when pseudo-TCP data arrives

Previously, the pseudo-TCP implementation’s readable() callback would
only be invoked when new data was received if it was enabled. The
callback is enabled by reading all data from the TCP input buffer until
EWOULDBLOCK is returned.

Reading all that data is not possible if the client buffer is of a
limited size, and can lead to livelocks if the client reads exactly the
number of bytes in the TCP input buffer (i.e. its buffer size matches
the TCP buffer fill level).

Instead, always invoke the readable() callback. This might be slightly
less performant, but the whole pseudo-TCP implementation is a shambles
anyway, and the callbacks need removing, so why not?

agent: Add GPollableOutputStream support to NiceOutputStream

agent: Add GPollableInputStream support to NiceInputStream

agent: Add a nice_agent_recv_nonblocking() function

This is a non-blocking variant of nice_agent_recv(), and will be used
internally by the GPollableInputStream implementation. External
implementations may use it as well.

It reserves the right to iterate the main context, but doesn’t currently
do so.

agent: Add nice_agent_build_io_stream() API

This allows creation of a NiceIOStream from an existing NiceAgent
instance.

agent: Add support for GIO-style I/O streams

This adds three new classes:
 • NiceIOStream
 • NiceInputStream
 • NiceOutputStream
which allow wrapping a single stream/component pair in an I/O stream
which can be used with the standard GIO functions.

The streams are constructed as wrappers around a NiceAgent, with changes
to the NiceAgent’s properties affecting all instantiated streams.
Streams are only supported for reliable connections.

If the NiceAgent stream which underlies a NiceInputStream,
NiceOutputStream or NiceIOStream is removed, the I/O stream is marked as
closed.

This is based on work originally done by Youness Alaoui
<youness.alaoui@collabora.co.uk>.

agent: Add a ComponentSource to Component

This is a type of GSource which proxies all poll events from the sockets
in a Component. It’s necessary for the implementation of
GPollableInputStream and GPollableOutputStream.

This adds no new external API, but does add ComponentSource and
component_source_new() as new internal API.

agent: Add a nice_agent_send_full() API exposing error information

This adds GError and GCancellable parameters to the existing
nice_agent_send() API, and is identical in all other respects (notably,
it is non-blocking).

The GCancellable is currently unused, but could be used in future if the
API grows to support blocking writes.

The GError is used to return more interesting error codes than just
‘-1’.

agent: Add nice_agent_recv() allowing blocking receives on sockets

This is a blocking receive function, designed to be called from a worker
thread. It cannot be used in conjunction with the existing
nice_agent_attach_recv() API, as the blocking receive and the GSource
would compete over access to the single copy of the data in the kernel’s
receive buffer.

agent: Move GSource handling into Component

Rather than handle GSource creation, attachment and removal in
NiceAgent, handle it inside Component. This brings it closer to the
networking code, and improves encapsulation of the state of each
Component.

agent: Fix format specifiers in debug messages

Mostly problems with the specifier for gsize.

agent: Support invoking I/O callbacks in non-default contexts

If the Component’s I/O receiver machinery is invoked from a thread which
can’t acquire the main context specified for the I/O callbacks, the
callbacks need to be queued as idle handlers in that main context.

This is needed for the case where blocking reads are being performed in
one thread, with their callbacks needing to be delivered in another
thread.

This introduces a new fine-grained lock to Component: io_mutex. This
protects accesses to Component->io_callback, Component->io_user_data and
Component->pending_io_callbacks. If being locked at the same time as the
main agent lock, it must always be locked afterwards, but the agent lock
does not *have* to be held in order to lock io_mutex.

agent: Eliminate redundant arguments from component_emit_io_callback()

agent: Integrate TcpUserData into Component

It was allocated separately and always set, which is a wasted
allocation. Instead, pull the NiceAgent and Stream pointers into the
Component directly, and eliminate the redundant allocation.

This also means the NiceAgent and Stream are available for use elsewhere
in the Component code (not just with TCP stuff).

agent: Clarify naming of internal recv function

Add ‘_locked’ to the name to clarify that it must be called with the
agent’s lock already held.

agent: Use guint8* as the type for internal buffers

…rather than gchar*. This differentiates binary buffers from strings a
little better, although the two types are functionally equivalent.

Also use gsize for buffer sizes, rather than guint.

agent: Move I/O callback handling from NiceAgent into Component

Compartmentalise the handling of setting and clearing the user-provided
per-Component I/O callbacks.

Data flows from the socket, through nice_agent_g_source_cb(), to
component_emit_io_callback() which calls the callback provided by the
user when originally attaching to the stream/component.

agent: Move socket/source handling from NiceAgent into Component

This compartmentalises it a little more, reducing the spread of
state-changing code from three files down to one.

The key change is the switch from using two GSLists of NiceSockets and
GSources in Component, to using a single GSList of a struct {
NiceSocket, GSource }. This is possible because there is at most one
GSource per NiceSocket. This change reduces memory overhead (from the
GSList structures) slightly, and makes the relationship between sockets
and sources much clearer.

agent: Refactor nice_agent_g_source_cb()

Move all functionality which is unrelated to the GSource into
_nice_agent_recv().

agent: Add a NiceAgent::streams-removed signal

This is emitted when one or more streams are removed from the agent
due to a call to nice_agent_remove_stream().

tests: Remove a potential race from test-thread

A g_usleep() was introduced in commit
e22ecb19662970a42def6df74db6359e58084727 to fix a potential race where
the non-main threads would finish all their work before the error_loop
was started, leaving the error_loop to run for 30s then abort the test.

A better fix, instead of doing a racy sleep, is to have the non-main
threads spin until the error_loop is running. GLib takes care of all the
locking for us, and since we don’t care about efficiency for test cases,
spinning is fine (the wait is also going to be quite short).

build: Add various compiler warnings to --enable-compile-warnings

Add various compiler warnings to the different levels of
--enable-compile-warnings. No particular scheme has been used to assign
different warnings to different levels, other than that more critical
ones are typically enabled at lower levels upwards.

All code in libnice except the tests currently compiles with
--enable-compile-warnings=error.

stun: Add missing switch cases

This appeases GCC’s -Wswitch-enum warning, and makes it more obvious
that those enum cases have been explicitly considered, rather than just
forgotten about.

This introduces no functional changes.

socket: Add missing switch cases

This appeases GCC’s -Wswitch-enum warning, and makes it more obvious
that those enum cases have been explicitly considered, rather than just
forgotten about.

This introduces no functional changes.

gst: Add missing switch cases

This appeases GCC’s -Wswitch-enum warning, and makes it more obvious
that those enum cases have been explicitly considered, rather than just
forgotten about.

This introduces no functional changes.