Fixed compilation on Windows.

update memory performance info

Signed-off-by: Andy Green <andy.green@linaro.org>

fix ssl reject path for freeing header allocation

If the SSL connection failed before the headers came, we were not
dealing with deallocating the header malloc.  This takes care of it.

Using CyaSSL, we are then valgrind-clean for ssl client and server.

With OpenSSL, there is 88 bytes lost at init that never changes or
gets recovered.  AFAIK there's nothing to do about that.

OpenSSL also blows these during operation

==1059== Conditional jump or move depends on uninitialised value(s)
==1059==    at 0x4A0B131: bcmp (mc_replace_strmem.c:935)
==1059==    by 0x3014CDDBA8: ??? (in /usr/lib64/libcrypto.so.1.0.1c)
==1059==    by 0x3015430852: tls1_enc (in /usr/lib64/libssl.so.1.0.1c)
==1059==    by 0x3015428CEC: ssl3_read_bytes (in /usr/lib64/libssl.so.1.0.1c)
==1059==    by 0x30154264C5: ??? (in /usr/lib64/libssl.so.1.0.1c)
==1059==    by 0x4C3C596: lws_server_socket_service (server.c:153)
==1059==    by 0x4C32C1E: libwebsocket_service_fd (libwebsockets.c:927)
==1059==    by 0x4C33270: libwebsocket_service (libwebsockets.c:1225)
==1059==    by 0x401C84: main (in /usr/bin/libwebsockets-test-server)

However googling around

https://bugs.launchpad.net/ubuntu/+source/openssl/+bug/60021
http://www.openssl.org/support/faq.html#PROG13
(also the next FAQ down)

it seems OpenSSL have a relaxed attitude to this and it's expected.
It's interesting CyaSSL works fine but doesn't have that problem...

Signed-off-by: Andy Green <andy.green@linaro.org>

fix busted debug format in ssl mode

CyaSSL blows (symptomless?) uninitialized memory accesses in
valgrind when using SSL_get_version()... don't need to do it...

Signed-off-by: Andy Green <andy.green@linaro.org>

fix string escape runon

Oh well it was a big patch to just be cosmetic ^^

Signed-off-by: Andy Green <andy.green@linaro.org>

fix without server

Signed-off-by: Andy Green <andy.green@linaro.org>

style cleanup

This brings the library sources into compliance with checkpatch
style except for three or four exceptions like WIN32 related stuff
and one long string constant I don't want to break into multiple
sprintf calls.

There should be no functional or compilability change from all
this (hopefully).

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind openssl destroy as far as possible

OpenSSL doesn't seem to have a way to close out three allocations
it creates during SSL library init.

Even after doing the magic incantations suggested on the openssl list, we're
left with these.  Well, 88 bytes from ssl init is probably not critical,
but it's annoying

==15206== HEAP SUMMARY:
==15206==     in use at exit: 88 bytes in 3 blocks
==15206==   total heap usage: 13,566 allocs, 13,563 frees, 5,933,134 bytes allocated
==15206==
==15206== 24 bytes in 1 blocks are still reachable in loss record 1 of 3
==15206==    at 0x4A06409: malloc (vg_replace_malloc.c:270)
==15206==    by 0x3014C612B2: CRYPTO_malloc (in /usr/lib64/libcrypto.so.1.0.1c)
==15206==    by 0x3015441B38: ??? (in /usr/lib64/libssl.so.1.0.1c)
==15206==    by 0x3015443A78: SSL_COMP_get_compression_methods (in /usr/lib64/libssl.so.1.0.1c)
==15206==    by 0x301544932B: SSL_library_init (in /usr/lib64/libssl.so.1.0.1c)
==15206==    by 0x4C340D4: libwebsocket_create_context (libwebsockets.c:1796)
==15206==    by 0x401C08: main (in /usr/bin/libwebsockets-test-server)
==15206==
==15206== 32 bytes in 1 blocks are still reachable in loss record 2 of 3
==15206==    at 0x4A06409: malloc (vg_replace_malloc.c:270)
==15206==    by 0x3014C612B2: CRYPTO_malloc (in /usr/lib64/libcrypto.so.1.0.1c)
==15206==    by 0x3014CC91BE: sk_new (in /usr/lib64/libcrypto.so.1.0.1c)
==15206==    by 0x3015441AF9: ??? (in /usr/lib64/libssl.so.1.0.1c)
==15206==    by 0x3015443A78: SSL_COMP_get_compression_methods (in /usr/lib64/libssl.so.1.0.1c)
==15206==    by 0x301544932B: SSL_library_init (in /usr/lib64/libssl.so.1.0.1c)
==15206==    by 0x4C340D4: libwebsocket_create_context (libwebsockets.c:1796)
==15206==    by 0x401C08: main (in /usr/bin/libwebsockets-test-server)
==15206==
==15206== 32 bytes in 1 blocks are still reachable in loss record 3 of 3
==15206==    at 0x4A06409: malloc (vg_replace_malloc.c:270)
==15206==    by 0x3014C612B2: CRYPTO_malloc (in /usr/lib64/libcrypto.so.1.0.1c)
==15206==    by 0x3014CC91DC: sk_new (in /usr/lib64/libcrypto.so.1.0.1c)
==15206==    by 0x3015441AF9: ??? (in /usr/lib64/libssl.so.1.0.1c)
==15206==    by 0x3015443A78: SSL_COMP_get_compression_methods (in /usr/lib64/libssl.so.1.0.1c)
==15206==    by 0x301544932B: SSL_library_init (in /usr/lib64/libssl.so.1.0.1c)
==15206==    by 0x4C340D4: libwebsocket_create_context (libwebsockets.c:1796)
==15206==    by 0x401C08: main (in /usr/bin/libwebsockets-test-server)
==15206==
==15206== LEAK SUMMARY:
==15206==    definitely lost: 0 bytes in 0 blocks
==15206==    indirectly lost: 0 bytes in 0 blocks
==15206==      possibly lost: 0 bytes in 0 blocks
==15206==    still reachable: 88 bytes in 3 blocks
==15206==         suppressed: 0 bytes in 0 blocks

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind client close in a controlled way on SIGINT

With this, both the test server and client are valgrind-clean
tested with a chrome session also active to the server

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind eliminate uninitialized warning on close

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind also deallocate rx buf on close when client

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind dont close things directly in the callback

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind client go through context destroy on connection error

Signed-off-by: Andy Green <andy.green@linaro.org>

client convert to new headers scheme eliminating mallocs

This removes all the direct wsi members specific to clients,
most of them are moved to being fake headers in the next 3-layer
header scheme, c_port moves to being a member of the u.hdr
unionized struct.

It gets rid of a lot of fiddly mallocs and frees(), despite it
adds a small internal API to create the fake headers, actually
the patch deletes more than it adds...

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind free rx_user_buffer if entered CONNMODE_WS_SERVING

This seems to be enough to get a clean valgrind run for the
test server with 1 x chrome and 1 x libwebsockets-test-client
session being run for 10s

lwsts[19767]: libwebsockets-test-server exited cleanly
==19767==
==19767== HEAP SUMMARY:
==19767==     in use at exit: 0 bytes in 0 blocks
==19767==   total heap usage: 41,071 allocs, 41,071 frees, 27,464,834 bytes allocated
==19767==
==19767== All heap blocks were freed -- no leaks are possible
==19767==
==19767== For counts of detected and suppressed errors, rerun with: -v
==19767== ERROR SUMMARY: 0 errors from 0 contexts (suppressed: 2 from 2)

test client is another story...

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind introduce protocol init and destroy user callbacks

To get a clean bill of health from valgrind, we have to have a way to
inform the user code that we're going down and it should free everything
it is holding that was malloc'd.

This patch introduces LWS_CALLBACK_PROTOCOL_DESTROY which each protocol
gets when the context is being destroyed and no more activity will come
after that call.  They can get rid of everything there.

To match it, LWS_CALLBACK_PROTOCOL_INIT is introduced which would allow
one-time init per protocol too.

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind context destroy close all conns properly

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind drop header allocation down http path

Signed-off-by: Andy Green <andy.green@linaro.org>

replace per header mallocs with single malloc 3 level struct

This big patch replaces the malloc / realloc per header
approach used until now with a single three-level struct
that gets malloc'd during the header union phase and freed
in one go when we transition to a different union phase.

It's more expensive in that we malloc a bit more than 4Kbytes,
but it's a lot cheaper in terms of malloc, frees, heap fragmentation,
no reallocs, nothing to configure.  It also moves from arrays of
pointers (8 bytes on x86_64) to unsigned short offsets into the
data array, (2 bytes on all platforms).

The 3-level thing is all in one struct

 - array indexed by the header enum, pointing to first "fragment" index
(ie, header type to fragment lookup, or 0 for none)

 - array of fragments indexes, enough for 2 x the number of known headers
(fragment array... note that fragments can point to a "next"
fragment if the same header is spread across multiple entries)

 - linear char array where the known header payload gets written
(fragments point into null-terminated strings stored in here,
only the known header content is stored)

http headers can legally be split over multiple headers of the same
name which should be concatenated.  This scheme does not linearly
conatenate them but uses a linked list in the fragment structs to
link them.  There are apis to get the total length and copy out a
linear, concatenated version to a buffer.

Signed-off-by: Andy Green <andy.green@linaro.org>

improve static allocation notice

Signed-off-by: Andy Green <andy.green@linaro.org>

valgrind free context allocations

Signed-off-by: Andy Green <andy.green@linaro.org>

remove extension cruft from struct lws

Signed-off-by: Andy Green <andy.green@linaro.org>

use part of service buffer to make response not malloc

Done with an offset because the encoded key is stored at the
start of service_buffer at this time

Signed-off-by: Andy Green <andy.green@linaro.org>

remove minimum frame size for deflate

The idea here seems wrong, if we have a mixture of frames of varying
sizes above and below the limit, we segfault in deflate after skipping
it once.

If the protocol doesn't want compression because many frames are
small, it should veto the extension in the user callback.  If only
a few frames are tiny, the overhead for compressing it all is tiny.

Signed-off-by: Andy Green <andy.green@linaro.org>

stop O2 override

Now we are building with -O0 -g and debug enabled by default.
--disable-debug in configure will get you a -04 without -g

Signed-off-by: Andy Green <andy.green@linaro.org>

dont close in user callback wrapper let ancestor do it

Signed-off-by: Andy Green <andy.green@linaro.org>

fix error path in file transfer

Signed-off-by: Andy Green <andy.green@linaro.org>

throw out lws_websocket_related cruft

Signed-off-by: Andy Green <andy.green@linaro.org>

optimize wsi using bitfields and enums to chars

Also max protocols to 5 (overridable by configure) and max extensions
from 10 to 3 by default (also overridable by configure).

wsi is down to 608 on x86_64 with this.

Signed-off-by: Andy Green <andy.green@linaro.org>

use context service buffer instead of stack for clent_connect

Signed-off-by: Andy Green <andy.green@linaro.org>

use context service buffer instead of stack for clent_connect_2

Signed-off-by: Andy Green <andy.green@linaro.org>

use context service buffer instead of stack for create_context

Signed-off-by: Andy Green <andy.green@linaro.org>

fix non ssl changes missed from context api change

http://libwebsockets.org/trac/ticket/11#comment:5

Reported-by: amn
Signed-off-by: Andy Green <andy.green@linaro.org>

use context service buffer instead of stack for lws_client_socket_service

Signed-off-by: Andy Green <andy.green@linaro.org>

use context service buffer instead of stack for server_socket_service

Reduces lws_server_socket_service from 4208 to 80 stack allocation
on x86_64

Signed-off-by: Andy Green <andy.green@linaro.org>

add static stack analysis

You can get a worst-first list of stack allocators like this

$ cat ./lib/.libs/*.su | sort -k2g | tac

On x86_64, currently the ones above 100 bytes are

server.c:126:5:lws_server_socket_service 4208 static
client.c:42:5:lws_client_socket_service 1584 static
libwebsockets.c:1539:1:libwebsocket_create_context 1136 static
libwebsockets.c:783:1:libwebsocket_service_fd 656 static
client-handshake.c:3:22:__libwebsocket_client_connect_2 592 static
libwebsockets.c:2149:6:_lws_log 496 static
server-handshake.c:33:1:handshake_0405 464 static
libwebsockets.c:2102:13:lwsl_emit_stderr 352 static
client.c:351:1:lws_client_interpret_server_handshake 240 static
daemonize.c:93:1:lws_daemonize 224 static
libwebsockets.c:434:1:libwebsockets_get_peer_addresses 208 static
client.c:694:1:libwebsockets_generate_client_handshake 208 static
output.c:534:5:libwebsockets_serve_http_file 192 static
output.c:51:6:lwsl_hexdump 176 static
sha-1.c:316:1:SHA1 160 static
libwebsockets.c:157:1:libwebsocket_close_and_free_session 144 static

Signed-off-by: Andy Green <andy.green@linaro.org>

dont try figure out listen_service_fd position if unset

Signed-off-by: Andy Green <andy.green@linaro.org>

dont try set per socket keepalive timing on bsds

As per http://libwebsockets.org/trac/ticket/10
BSD doesn't support setting keepalive info per-socket

Signed-off-by: Andy Green <andy.green@linaro.org>

fix broken listen socket piggybacking

As reported here

http://libwebsockets.org/trac/ticket/11

the code for connection storm handling had rotted, fds[0] is no longer
always related to the listen socket when serving.

This patch updates it to determine the listen socket correctly to stop
infinite recursion here.

Reported-by: amn
Signed-off-by: Andy Green <andy.green@linaro.org>

introduce keepalive option and make common socket options function

Signed-off-by: Andy Green <andy.green@linaro.org>

remove receiving timeout for client

Now we enforce nonblocking everywhere, hopefully properly,
this rx timeout stuff shouldn't be needed.

Signed-off-by: Andy Green <andy.green@linaro.org>

correct test client to close synchronously with last send

Noticed previously the test client lifetime is decoupled from
the actual send activity.  With SSL if the connection starts but
there is a period of SSL-layer "blocking" (actually fail-and-retry)
the mirror lifetime could be exhausted before the connection really
completed, making it stall after it was then closed.

This corrects that so connection lifetime management is done in the
send callback.

Signed-off-by: Andy Green <andy.green@linaro.org>

align max frame for mirror protocol to what the code does

Signed-off-by: Andy Green <andy.green@linaro.org>

change context creation params to struct

*** This patch changes an API all apps use ***

Context creation parameters are getting a bit out of control, this
patch creates a struct to contain them.

All the test apps are updated accordingly.

Signed-off-by: Andy Green <andy.green@linaro.org>

handshake bail3 should be bail

Reported-by: Jack Mitchell <ml@communistcode.co.uk>
Signed-off-by: Andy Green <andy.green@linaro.org>

remove fixed rx buffer allow definition per protocol

A new protocol member is defined that controls the size of rx
buffer allocation per connection.  For compatibility 0 size
allocates 4096, but you should adapt your protocol definition
array in the user code to declare an appropriate value.

See the changelog for more detail.

The advantage is the rx frame buffer size is now tailored to
what is expected from the protocol, rather than being fixed
to a default of 4096.  If your protocol only sends frames of
a dozen bytes this allows you to only allocate an rx frame
buffer of the same size.

For example the per-connection allocation (excluding headers)
for the test server fell from ~4500 to < 750 bytes with this.

Signed-off-by: Andy Green <andy.green@linaro.org>

account for context in static allocation figure

Signed-off-by: Andy Green <andy.green@linaro.org>

remove all PATH_MAX or MAX_PATH

Signed-off-by: Andy Green <andy.green@linaro.org>

use context service buf in place of large stack arrays

Signed-off-by: Andy Green <andy.green@linaro.org>

remove need for filepath buffer on http file serve

This gets rid of the stack buffer while serving files, and the
PATH_MAX char array that used to hold the filepath in the wsi.

It holds an extra file descriptor open while serving the file,
however it attempts to stuff the socket with as much of the
file as it can take.  For files of a few KB, that typically
completes (without blocking) in the call to
libwebsockets_serve_http_file() and then closes the file
descriptor before returning.

Signed-off-by: Andy Green <andy.green@linaro.org>

add static linking exception to LICENSE

Signed-off-by: Andy Green <andy.green@linaro.org>

add unchanged lgpl 2.1 in LICENSE

Signed-off-by: Andy Green <andy.green@linaro.org>

Fix memory leaks when creating a context.

Generate the API reference in text format, too.

Fix two typos.

changelog header lifecycle

Signed-off-by: Andy Green <andy.green@linaro.org>

add autotools bits for cyassl

Signed-off-by: Andy Green <andy.green@linaro.org>

unionize header token array

This reduces the size of struct libwebscocket from 4840 to 4552
on x86_64

There are also big benefits on malloc pool fragmentation and
allocation, the header allocations only exist between the first
peer communication and websocket connection establishment for
both server and client.

Signed-off-by: Andy Green <andy.green@linaro.org>

document header lifecycle change

Signed-off-by: Andy Green <andy.green@linaro.org>

headers deleted after websocket established

Signed-off-by: Andy Green <andy.green@linaro.org>

leverage TOKEN_SKIPPING better in parser

Signed-off-by: Andy Green <andy.green@linaro.org>

simplify parsing complete

Signed-off-by: Andy Green <andy.green@linaro.org>

act on fatal parse problems

Signed-off-by: Andy Green <andy.green@linaro.org>

remove deprecated vcxproj

Signed-off-by: Andy Green <andy.green@linaro.org>

update changelog about cmake

Signed-off-by: Andy Green <andy.green@linaro.org>

Added build instructions for CMake.

Also changed it so that specifying the include directories for CyaSSL is nicer.

add README

Signed-off-by: Andy Green <andy.green@linaro.org>

Fixed compilation on NetBSD.

Cleaned up the CyaSSL linking in the CMake project a bit.

Separated the CyaSSL linking and OpenSSL linking for more clearity.
Now tested on both OSX and Windows as well.

Fixed windows build.

- Fixed the original visual studio project so that inline gets defined.
- Fix error in CMake with zlib.

Added some minor changes to CMake build file.

- Added options for compiling without server/client parts.
- Fixed a syntax error on printing an error on CyaSSL compilation.
- Don't compile server-extpoll either when the server isn't compiled.

Added support for CyaSSL replacement of OpenSSL.

http://www.yassl.com/yaSSL/Products-cyassl.html
- Small Size: 20-100kB
- Runtime Memory:  1-36kB
- 20X smaller than OpenSSL

So far only tested on Linux.

Note that this requires a bugfix in cyassl, otherwise it will crash. Pull request has been made to the official repos, in the meantime the following repos can be used: git://github.com/JoakimSoderberg/cyassl.git

Added check for inline keyword availability.

Both to CMake project and Autoconf. inline will be defined to whatever inline replacement exists on the system, such as __inline or __inline__

Fixed build on OSX.

- For some reason the "extern int pid_daemon" usage in libwebsockets.c would cause an "undefined symbols" linker error for the test-apps. This only happens with the CMake project, not the normal Makefiles. I have no clue why this is. Fixed it by getting the pid via a function instead.

- Added test-server-extpoll

- Renamed the library from libwebsocket -> libwebsockets

Fixed linux compilation and added more compile options.

- Tested and works on Linux now also, including SSL support.
- Look for ZLIB not zlib.
- Added CMake options for setting all LWS_ defines.

CMake support + fixed windows build.
- Finalized CMake support (tested on windows only so far).
  - Uses a generated lws_config.h that is included in
  private-libwebsocket to pass defines, only used if CMAKE_BUILD is set.
  - Support for SSL on Windows.
  - Initial support for CyaSSL replacement of OpenSSL (This has been added
    to my older CMake-fork but haven't been tested on this version yet).
- Fixed windows build (see below for details).
- Fixed at least the 32-bit Debug build for the existing Visual Studio
  Project. (Not to keen fixing all the others when we have CMake support
  anyway (which can generate much better project files)...)
- BUGFIXES:
  - handshake.c
    - used C99 definition of handshake_0405 function
  - libwebsocket.c
    - syslog not available on windows, put in ifdefs.
    - Fixed previous known crash bug on Windows where WSAPoll in
      Ws2_32.dll would not be present, causing the poll function pointer
      being set to NULL.
    - Uninitialized variable context->listen_service_extraseen would
      result in stack overflow because of infinite recursion. Fixed by
      initializing in libwebsocket_create_context
    - SO_REUSADDR means something different on Windows compared to Unix.
    - Setting a socket to nonblocking is done differently on Windows.
      (This should probably broken out into a helper function instead)
    - lwsl_emit_syslog -> lwsl_emit_stderr on Windows.
  - private-libwebsocket.h
    - PATH_MAX is not available on Windows, define as MAX_PATH
    - Always define LWS_NO_DAEMONIZE on windows.
    - Don't define lws_latency as inline that does nothing. inline is not
      support by the Microsoft compiler, replaced with an empty define
      instead. (It's __inline in MSVC)
  - server.c
    - Fixed nonblock call on windows
  - test-ping.c
    - Don't use C99 features (Microsoft compiler does not support it).
    - Move non-win32 headers into ifdefs.
    - Skip use of sighandler on Windows.
  - test-server.c
    - ifdef syslog parts on Windows.

Some more Cmake stuff.

Started redoing CMake support based on the up to date repos

improve test server poll loop docs

Signed-off-by: Andy Green <andy.green@linaro.org>

add note about MIPS opewrt configure options

Signed-off-by: Andy Green <andy.green@linaro.org>

remove one more mention of broadcast callback

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce library version plus git hash

This exposes the library version and git head hash it was built from
into LWS_LIBRARY_VERSION and LWS_BUILD_HASH.

These are combined into a version string that's both printed as a
notice log by the library and made available to the app using a new
api lws_get_library_version().  The version looks like

 1.1 178d78c

Signed-off-by: Andy Green <andy.green@linaro.org>

remove stray reference to max broadcast size from readme.build

Signed-off-by: Andy Green <andy.green@linaro.org>

additional casts allow test server build as cpp

With these explicit casts that are not needed in C, it's possible to build
the test server using g++ like this, after building and installing the
library.

g++ -DINSTALL_DATADIR=\"/usr/share\" -ocpptest test.cpp -lwebsockets

Add a small documentation to README.coding

Signed-off-by: Andy Green <andy.green@linaro.org>

update changelog tag chrome 26 firefox 18

Signed-off-by: Andy Green <andy.green@linaro.org>

renovate test html

Signed-off-by: Andy Green <andy.green@linaro.org>

add changelog v1.0 to v1.1

Signed-off-by: Andy Green <andy.green@linaro.org>

bump version to 1.1 and soname to 2

Signed-off-by: Andy Green <andy.green@linaro.org>

clean out remaining mentions of deprecated broadcast

Signed-off-by: Andy Green <andy.green@linaro.org>

get error from getnameinfo if unable to improve hostname and use hostname

Signed-off-by: Andy Green <andy.green@linaro.org>

fixes for without server and without client

Signed-off-by: Andy Green <andy.green@linaro.org>

fix unused var if no enable openssl

Signed-off-by: Jack Mitchell <ml@communistcode.co.uk>

introduce test echo

Signed-off-by: Andy Green <andy.green@linaro.org>

add info about why we close to more places

Signed-off-by: Andy Green <andy.green@linaro.org>

roubustness handle problems in read loop better

Signed-off-by: Andy Green <andy.green@linaro.org>

server allow NULL protocol map to protocol 0

Signed-off-by: Andy Green <andy.green@linaro.org>

change get_peer_addresses to use context wsi latency

Signed-off-by: Andy Green <andy.green@linaro.org>

instrument latency

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce lws_latency

Signed-off-by: Andy Green <andy.green@linaro.org>

fix docs about protocol version supported

Signed-off-by: Andy Green <andy.green@linaro.org>