extensions fix deflate stream vs mux and veto it on mux children

This patch gets deflate-stream working with x-google-mux.

It adds a clean veto system where are extension can veto the proposal
of any extension when opening a new connection.  x-google-mux uses that
in its callback to defeat any use of deflate-stream on mux children.

However deflate stream is allowed on the parent connection and works
transparently now alongside x-google-mux.

Signed-off-by: Andy Green <andy@warmcat.com>

x google mux handle illegal channel add indexes cleanup handle ch1 rx

Signed-off-by: Andy Green <andy@warmcat.com>

extensions introduce pre close veto

This establishes a pre-close extension check to allow an extension to
veto a close.  x-google-mux then uses this to stop ch1 going down
(subchannel 1 is the original socket connection that turns into a mux
parent) if it has active mux children; it just marks ch1 as closed in
its conn struct in that case and returns 1 from the callback to veto.

Code is also added to take care of the case ch1 is 'closed', and the
last child is subsequently closed, it actively calls close on the mux
parent then.

Signed-off-by: Andy Green <andy@warmcat.com>

extensions change child count to highest child subchannel

This also changes the wsi_children array to be indexed by subchannel - 2,
non-existent channels are NULL in there and highest_child_subchannel
is a highwater mark for the highest subchannel ever used.  That way we
can immediately get the wsi for a subchannel at the cost of some extra
sparse skipping during management.

This also takes care of scanning for empty slots on allocation and
NULLing on close of subchannel instead of deletion.

Signed-off-by: Andy Green <andy@warmcat.com>

extensions ensure per conn allocation starts zeroed

Signed-off-by: Andy Green <andy@warmcat.com>

x google mux complete introduction of MUX_REAL_CHILD_INDEX_OFFSET that got included accidentally

Accidentally included half-done MUX_REAL_CHILD_INDEX_OFFSET addition a couple
of patches back after late night hacking, this patch completes it.

This makes mux added channels start at channel index 2.

1 is reserved for original carrier channel, 0 for as-yet badly defined global mux commands

Signed-off-by: Andy Green <andy@warmcat.com>

add gitignore

Signed-off-by: Jean-Pierre Gygax <gygax@practicomp.ch>

win32 update for vc 2010 contributed

Signed-off-by: Jean-Pierre Gygax <gygax@practicomp.ch>

remove use mux blocks macro

Signed-off-by: Andy Green <andy@warmcat.com>

x google mux change to new compact channel index scheme

Signed-off-by: Andy Green <andy@warmcat.com>

x google mux introduce sticky mux opcode usage if ever used in channel

Signed-off-by: Andy Green <andy@warmcat.com>

x google mux implement child close

This implements clean client and server close for mux child connections,
and deals with accounting for parent child lists.

The mux link can then survive constant connection bringup and teardown
found in the new test client.

Signed-off-by: Andy Green <andy@warmcat.com>

test client add flag to defeat mux extension

Signed-off-by: Andy Green <andy@warmcat.com>

test client make mirror data source channel open and close all the time

This changes the test client so that for the mirror protocol socket,
the lifetime of the connection is decided randomly to last on the order
of a second or so, then the connection is closed and a new one opened when
the close is complete.

This is to enhance testing of connection bringup and teardown especially
in mux case.

The overall functionality remains the same, spamming circles to all clients.

Signed-off-by: Andy Green <andy@warmcat.com>

Modify Zlib VS project to be able to build in 64 bit

Signed-off-by: Michel Archembault <marchamb@matrox.com>

Move include of gettimeofday.h to be able to build in C and C++

Signed-off-by: Michel Archambault <marchamb@matrox.com>

move win32 zlib to correct place

Signed-off-by: Michel Archembault <marchamb@matrox.com>
Signed-off-by: Andy Green <andy@warmcat.com>

dump active protocols and extensions at context create

Signed-off-by: Andy Green <andy@warmcat.com>

fix parser reaction to zero length payloads

Zero length payloads aren't handled properly.  This patch
should solve that.

Reported-by: Chee Wooi Saw <cheewooi@gtwholdings.com>
Signed-off-by: Andy Green <andy@warmcat.com>

fix server ping coming as client payload

Client does auto-service server's ping, but then it
fell through and issued it as payload.  This fixes that
so there is no payload issued.

Reported-by: Chee Wooi Saw <cheewooi@gtwholdings.com>
Signed-off-by: Andy Green <andy@warmcat.com>

introduce x google mux very draft indeed

This is initial x-google-mux support.  It's disabled by default
since it's very pre-alpha.

1) To enable it, reconfigure with --enable-x-google-mux

2) It conflicts with deflate-stream, use the -u switch on
   the test client to disable deflate-stream

3) It deviates from the google standard by sending full
   headers in the addchannel subcommand rather than just
   changed ones from original connect

4) Quota is not implemented yet

5) Close of subchannel is not really implemented yet

6) Google opcode 0xf is changed to 0x7 to account for
   v7 protocol changes to opcode layout

However despite those caveats, in fact it can run the
test client reliably over one socket (both dumb-increment
and lws-mirror-protocol), you can open a browser on the
same test server too and see the circles, etc.

Signed-off-by: Andy Green <andy@warmcat.com>

win32 update projects

Signed-off-by: Michel Archambault <marchamb@matrox.com>
Signed-off-by: Andy Green <andy@warmcat.com>

remove line end at 72 for base64 encode

Reported-by: Michel Archambault <marchamb@matrox.com>
Signed-off-by: Andy Green <andy@warmcat.com>

win32 use binary flag on opening http file

Reported-by: Michel Archambault <marchamb@matrox.com>
Signed-off-by: Andy Green <andy@warmcat.com>

make base 64 helper apis public

Signed-off-by: Andy Green <andy@warmcat.com>

win32 move gettimeofday include inside extern c

Reported-by: Michel Archambault <marchamb@matrox.com>
Signed-off-by: Andy Green <andy@warmcat.com>

win32 nuke autogenerated files from tree

These guys aren't needed in git

Reported-by: Michel Archambault <marchamb@matrox.com>
Signed-off-by: Andy Green <andy@warmcat.com>

win32 fix release build

static inline blows up release builds on VC

Reported-by: Michel Archambault <marchamb@matrox.com>
Signed-off-by: Andy Green <andy@warmcat.com>

fix deflate window

Mozilla implementationcan issue window of up to 15,
need to match it

Reported-by: Patrick McManus <pmcmanus@mozilla.com>
Signed-off-by: Andy Green <andy@warmcat.com>

move send pipe choked api to public exports

Signed-off-by: Andy Green <andy.green@linaro.org>

handle new masking order and fixups

Signed-off-by: Andy Green <andy@warmcat.com>

interpret new opcode map when 07

Signed-off-by: Andy Green <andy@warmcat.com>

issue new opcodes when 07

Signed-off-by: Andy Green <andy@warmcat.com>

write client frames the new way for 07

Signed-off-by: Andy Green <andy@warmcat.com>

carry over 06 stuff to 07

Signed-off-by: Andy Green <andy@warmcat.com>

add 07 support

Signed-off-by: Andy Green <andy@warmcat.com>

introduce 07 opcode ordering

Signed-off-by: Andy Green <andy@warmcat.com>

fix frgmented server reply

Server handshake reply might not come in one packet as pointed out by
Pavel Borzenkov.  This replaces his fix with one directly in the packet
state machine.

Signed-off-by: Andy Green <andy@warmcat.com>

Revert Pavel's patch looping in recv

Signed-off-by: Andy Green <andy@warmcat.com>

Fix segfault in libwebsocket_write()

Since 'shift' has unsigned integer type,
the following code may lead to infinite cycle
and segfault:

    while (shift >= 0) {
     if (shift)
     buf[0 - pre + n] =
     ((len >> shift) & 127) | 0x80;
     else
     buf[0 - pre + n] =
     ((len >> shift) & 127);
     n++;
     shift -= 7;
    }

Change type to signed integer.

Signed-off-by: Pavel Borzenkov <pavel.borzenkov@auriga.com>

recv() may not return all data

While performing handshake recv() is called only once.
It may return only part of the data and handshake
will fail. This patch modifies libwebsocket_service_fd()
to ensure that there is not data left in the socket.

Signed-off-by: Pavel Borzenkov <pavel.borzenkov@auriga.com>

Use IPPROTO_TCP instead of SOL_TCP

This change fixes compilation on *BSD systems.

Signed-off-by: Pavel Borzenkov <pavel.borzenkov@auriga.com>

HTTP headers may be case-sensitive

For the IETF revision 00 send 'Upgrade: WebSocket' header
instead of 'Upgrade: websocket' as described in the IETF standard.
Some servers (for example, phpdaemon) are case-sensitive.

Signed-off-by: Pavel Borzenkov <pavel.borzenkov@auriga.com>

select raw zlib compression

Patrick McManus from Mozilla pointed out that the spec requires a specific kind
of zlib compression, which is raw.  You can select that by using a funny api in
zlib.  Mozilla are correcting their compression to this, pywebsockets already did
it right in the first place, libwebsockets should now work OK with those.

Signed-off-by: Andy Green <andy@warmcat.com>

pass ext pointer in ext callback

Signed-off-by: Andy Green <andy@warmcat.com>

update win32 support for zlib

Signed-off-by: Peter Hinz <cerebusrc@gmail.com>

Re: Windows port of your libwebsocket

The latest code changed need some win32 fixes:

Signed-off-by: Peter Hinz <cerebusrc@gmail.com>

try to cover AF_LOCAL in libwebsockets_get_peer_addresses

Signed-off-by: Andy Green <andy@warmcat.com>

use unsigned peer dotted quad

Reported-by: Pierre-Paul Lavoie <ppl@idios.org>
Signed-off-by: Andy Green <andy@warmcat.com>

beautify fraggle

Signed-off-by: Andy Green <andy@warmcat.com>

libwebsockets - gcc warnings

you have your makefiles set up to treat warnings as errors, and my gcc
4.4.5 (64 bit) compiler generates 3 warnings that need fixing:

(that sprintf() one is a real bug.. if ext_name contains formatting
characters you are looking at a potential segv).

Signed-off-by: Patrick McManus <mcmanus@ducksong.com>

disable nagle algorithm

Ago noticed that some Windows clients experience small packets
from the server being aggregated and set after a long delay
(200-300ms).

He found that TCP_NODELAY on the socket solved this, I tested it
and it didn't have any noticable bad effect, so I implemented it
for all sockets, client and server.

Thans Ago for debugging this and notifying the cause.

Reported-by: Ago Allikmaa <maxorator@gmail.com>
Signed-off-by: Andy Green <andy@warmcat.com>

clean fraggle

Signed-off-by: Andy Green <andy@warmcat.com>

introduce fraggle test app

Signed-off-by: Andy Green <andy@warmcat.com>

introduce libwebsocket_is_final_fragment

Signed-off-by: Andy Green <andy@warmcat.com>

fix misunderstood fragmentation restriction

Signed-off-by: Andy Green <andy@warmcat.com>

add CONTINUATION write mode

Signed-off-by: Andy Green <andy@warmcat.com>

expose SHA1 api

Signed-off-by: Andy Green <andy@warmcat.com>

expose random api

Signed-off-by: Andy Green <andy@warmcat.com>

add separate server writeable and change naming to match rest of callbacks

Notice that the naming is changed, the notification to a server that it can write to
the client is now called LWS_CALLBACK_SERVER_WRITEABLE, and the notification to a client
that it can write to a server is LWS_CALLBACK_CLIENT_WRITEABLE.

Signed-off-by: Andy Green <andy@warmcat.com>

remove bogus bytes on first line of websockets.c

Reported-by: Pierre-Paul Lavoie <ppl@idios.org>
Signed-off-by: Andy Green <andy@warmcat.com>

add explicit libz inclusion

Reported-by: Pierre-Paul Lavoie <ppl@idios.org>
Signed-off-by: Andy Green <andy@warmcat.com>

flush extensions when closing

Extensions might be caching stuff that we should spill before a controlled close.
It's not allowed to send anything on the wire after the close request, so we need
to make the extensions spill just before.

Signed-off-by: Andy Green <andy@warmcat.com>

add extra state for waiting on close ack with timeout

Signed-off-by: Andy Green <andy@warmcat.com>

introduce test server close testing switch

Signed-off-by: Andy Green <andy@warmcat.com>

interop notes - libwebsocket -06 close

... this afternoon I was just doing a little
interoperability testing around close... in my test-server I added

 libwebsocket_close_and_free_session(this, wsi, LWS_CLOSE_STATUS_NORMAL);

in order to generate a server driven close.. I hope that was the right
way to go about it. In any event, in generated an invalid websocket
frame - I think you want this patch, or something like it:

Signed-off-by: \"Pat McManus @Mozilla\" <mcmanus@ducksong.com>

configure add requirement for zlib.h

Signed-off-by: Andy Green <andy@warmcat.com>

add compression defeat switch to test client

Signed-off-by: Andy Green <andy@warmcat.com>

introduce deflate compression extension

Signed-off-by: Andy Green <andy@warmcat.com>

allow extensions for parsing

Signed-off-by: Andy Green <andy@warmcat.com>

introduce internal extensions array

Signed-off-by: Andy Green <andy@warmcat.com>

instantiate extensions server accepted

Signed-off-by: Andy Green <andy@warmcat.com>

dynamically create client extensions offer from extensions list

Signed-off-by: Andy Green <andy@warmcat.com>

document extension callback reasons

Signed-off-by: Andy Green <andy@warmcat.com>

callback each active extension on packet tx pre send

Signed-off-by: Andy Green <andy@warmcat.com>

callback each active extension on packet rx pre parse

Signed-off-by: Andy Green <andy@warmcat.com>

introduce lws_send_pipe_choked

Signed-off-by: Andy Green <andy@warmcat.com>

introduce lws_issue_raw

Signed-off-by: Andy Green <andy@warmcat.com>

deallocate extension contexts on connection close

Signed-off-by: Andy Green <andy@warmcat.com>

create server extension response dynamically

This goes through the extentsions the client requested, selects the ones
that we support at the server, and then further calls back to the appropriate
protocol callback in user code to check it's OK to actually use that
extension in this context.  If it is (callback unhandled == it is) then
it's added to the list of extensions sent back to the client.

Accepted extensions are also added to the connection's active extension
list and the private "user" memory allocation for the extension context is
done and bound to the connection.

Signed-off-by: Andy Green <andy@warmcat.com>

introduce struct libwebsocket_extension

Signed-off-by: Andy Green <andy@warmcat.com>

fix openssl breakage from win32

Signed-off-by: Andy Green <andy@warmcat.com>

win32 build fixup missing includes

Signed-off-by: Andy Green <andy@warmcat.com>

introduce win32 build capability

This adds win32 build compatability to libwebsockets.

The patch is from Peter Hinz, Andy Green has cleaned it up a bit and
possibly broken win32 compatability since I can't test it, so there
may be followup patches.  It compiles fine under Linux after this
patch anyway.

Much of the patch is changing a reserved keyword for Visual C compiler
"this" to "context", but there is no real C99 support in the MSFT
compiler even though it is 2011 so C99 style array declarations
have been mangled back into "ancient C" style.

Some windows-isms are also added like closesocket() but these are
quite localized.  Win32 random is just using C library random() call
at the moment vs Linux /dev/urandom.  canonical hostname detection is
broken in win32 at the moment.

Signed-off-by: Peter Hinz <cerebusrc@gmail.com>
Signed-off-by: Andy Green <andy@warmcat.com>

introduce LWS_CALLBACK_CLIENT_APPEND_HANDSHAKE_HEADER

This adds a callback to protocols[0] which happens when the
Client HTTP handshake packet is being composed.  After all the
headers for the websocket handshake to the server have been
added, the callback is called with a pointer to a char *
that allows extra headers to be added.  See the comments in
libwebsocket.h or the api documentation for example code.

Signed-off-by: Andy Green <andy@warmcat.com>

introduce 76 00 client support

This adds 76/00 client support to libwebsockets.  It's still shipped
by browsers and more importantly still the only version supported by
server stuff like socket.io.

Signed-off-by: Andy Green <andy@warmcat.com>

update README with known good OSX configure

Christopher Baker sent in a working OSX configure string,
add it to the README

Reported-by: Christopher Baker <me@christopherbaker.net>
Signed-off-by: Andy Green <andy@warmcat.com>

fix null protocol dereference when closing session

Thanks to Christopher Baker for pointing out that when we close a session,
if the close is coming before a protocol was negotiated for the connection
or when the protocol was otherwise left at NULL, we'll blow a segfault.

This implements his proposed fix.

Reported-by: Christopher Baker <me@christopherbaker.net>
Signed-off-by: Andy Green <andy@warmcat.com>

only have nonce requirement and processing for exactly 04

Signed-off-by: Andy Green <andy@warmcat.com>

carry over 05 specific stuff to 06

Signed-off-by: Andy Green <andy@warmcat.com>

change default client version to 06

Signed-off-by: Andy Green <andy@warmcat.com>

remove duplicated poll handling in hangup on client

Signed-off-by: Andy Green <andy@warmcat.com>

require close reason argument on close and free session

Signed-off-by: Andy Green <andy@warmcat.com>

introduce 06 close status codes

Signed-off-by: Andy Green <andy@warmcat.com>

only send sec webscoket nonce on 04

Signed-off-by: Andy Green <andy@warmcat.com>

make origin optional on server

Signed-off-by: Andy Green <andy@warmcat.com>

make origin optional on client

Signed-off-by: Andy Green <andy@warmcat.com>

add callback for OpenSSL client cert verification action

Signed-off-by: Andy Green <andy@warmcat.com>

add callback to allow additional server verification certs

This adds a LWS_CALLBACK_OPENSSL_LOAD_EXTRA_SERVER_VERIFY_CERTS callback
which offers a chance for the server context to be loaded with additional
certtificates allowing it to verify incoming client certs.  The callback
always comes to protocol[0].

It also introduces the context option LWS_SERVER_OPTION_REQUIRE_VALID_OPENSSL_CLIENT_CERT
which will enforce client cert checking on any ssl connection.

Signed-off-by: Andy Green <andy@warmcat.com>

add callback to allow additional client verification certs

Signed-off-by: Andy Green <andy@warmcat.com>