update test server html serving callback to use aepd whitelist approach

Signed-off-by: Andy Green <andy.green@linaro.org>

add libwebsockets.org logo to share

Signed-off-by: Andy Green <andy.green@linaro.org>

optimize http file sending

This adapts the approach from the single-packet-per-poll-loop improvement
to sending more packets while the socket can take them.

It still falls back to the multi-state scheme if the socket ever chokes,
which it certainly will on larger files, so it's safe while being highly
efficient at smaller file sizes.

Nor should it significantly add to latency for other sockets, it simply
stuffs the pipe asynchronously as much as the pipe can take.

We also increase the packet payoad size from 512 to 1400 a time.

This reduces the time taken in the 300 connection / 5000 transfers ab test
from >8s to ~3.4s, transferring the same amount of data.

$ ab -t 100 -n 5000 -c 300 'http://127.0.0.1:7681/'
This is ApacheBench, Version 2.3 <$Revision: 1373084 $>
Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/
Licensed to The Apache Software Foundation, http://www.apache.org/

Benchmarking 127.0.0.1 (be patient)
Completed 500 requests
Completed 1000 requests
Completed 1500 requests
Completed 2000 requests
Completed 2500 requests
Completed 3000 requests
Completed 3500 requests
Completed 4000 requests
Completed 4500 requests
Completed 5000 requests
Finished 5000 requests

Server Software:        libwebsockets
Server Hostname:        127.0.0.1
Server Port:            7681

Document Path:          /
Document Length:        8447 bytes

Concurrency Level:      300
Time taken for tests:   3.400 seconds
Complete requests:      5000
Failed requests:        0
Write errors:           0
Total transferred:      42680000 bytes
HTML transferred:       42235000 bytes
Requests per second:    1470.76 [#/sec] (mean)
Time per request:       203.976 [ms] (mean)
Time per request:       0.680 [ms] (mean, across all concurrent requests)
Transfer rate:          12260.17 [Kbytes/sec] received

Connection Times (ms)
              min  mean[+/-sd] median   max
Connect:        7   24  15.6     20     125
Processing:    32  172  50.2    161     407
Waiting:       27  154  49.4    142     386
Total:         81  196  48.3    182     428

Percentage of the requests served within a certain time (ms)
  50%    182
  66%    185
  75%    188
  80%    194
  90%    304
  95%    316
  98%    322
  99%    328
 100%    428 (longest request)

Signed-off-by: Andy Green <andy.green@linaro.org>

listen socket more frequent service

From an idea by Edwin van den Oetelaar <oetelaar.automatisering@gmail.com>

When testing libwebsockets with ab, Edwin found an unexpected bump in
the distribution of latencies, some connections were held back almost
the whole test duration.

http://ml.libwebsockets.org/pipermail/libwebsockets/2013-January/000006.html

Studying the problem revealed that when there are mass pending connections
amongst many active connections, we do not service the listen socket often
enough to clear the backlog, some seem to get stale violating FIFO ordering.

This patch introduces listen socket service "piggybacking", where every n
normal socket service actions we also check the listen socket and deal with
pending connections there.

Normally, it checks the listen socket gratuitously every 10 normal socket
services.  However, if it finds something waiting, it forces a check on the
next normal socket service too by keeping stats on how often something was
waiting.  If the probability of something waiting each time becomes high,
it will allow up to two waiting connections to be serviced for each normal
socket service.

In that way it has low burden in the normal case, but rapidly adapts by
detecting mass connection loads as found in ab.

Signed-off-by: Andy Green <andy.green@linaro.org>

add empty m4 dir as workaround for autoreconf issue

Signed-off-by: Andy Green <andy.green@linaro.org>

allow LWS_SOMAXCONN to be defined at configuretime

Default remains at SOMAXCONN, you can force it at configure time
along these lines

./configure CFLAGS="-DLWS_SOMAXCONN=16384"

Signed-off-by: Andy Green <andy.green@linaro.org>

extpoll use hashtable for fd tracking

This implements a much faster, hashtable-based tracking scheme for
external poll fds.

Signed-off-by: Andy Green <andy.green@linaro.org>

allow building just the library not the testapps

From an idea by Jack Mitchell <ml@communistcode.co.uk>

Use --without-testapps at configure time to suppress building them

Signed-off-by: Andy Green <andy.green@linaro.org>

make sure we have PATH_MAX on some linux toolchains
(AG modified a bit)

Signed-off-by: Jack Mitchell <ml@communistcode.co.uk>

extpoll break out of loop when set or clear finds fd

Signed-off-by: Edwin van der Oetelaar <oetelaar.automatisering@gmail.com>

http service break into outer loop states

Previously we sat and looped to dump a file over http protocol.

Actually that's a source of blocking to the other sockets being serviced.

This patch breaks up the file service into a roundtrip around the poll()
loop for each 512-byte packet.  It doesn't make much difference if the
server is idle, but if it's busy it makes sure everyone else is getting
service while the file is sent.

It doesn't try to optimize multiple users of the file or to keep the
descriptor open, the point of this patch is to establish the breaking up
of the file send action into the poll loop.

On the user side, there are two differences:

 - context is now needed in the first argument to libwebsockets_serve_http_file()
that's not too bad since we provide context in the callback.

 - file send is now asynchronous to the user code, you get a new callback coming
in protocol 0 when it's done, LWS_CALLBACK_HTTP_FILE_COMPLETION

libwebsockets-test-server is updated accordingly.

Signed-off-by: Andy Green <andy.green@linaro.org>

merge test server extpoll into test server

the -extpoll version of the test server was starting to rot compared to
the test-server.c it was originally based on.

This patch deletes the -extpoll.c version and instead has the test-server.c
source built two different ways in the makefile, once with the define
EXTERNAL_POLL which forces non-fork mode and enables the "by hand"
pollfd array handling.  The resulting binary of that is still called
libwebsockets-test-server-extpoll.

Another problem was that the pollfd array length needs to match MAX_CLIENTS, that
now happens during the build.

Signed-off-by: Andy Green <andy.green@linaro.org>

optimize extpoll fd delete

Previous method of shifting back array by one to cover the deleted
item could be expensive when the list was large and the deleted item
appeared early in it.

This scheme swaps the last guy into the vacant space and reduces the
list size by one.

(AG adapted for style and not to care if n is end guy)

Signed-off-by: Edwin van der Oetelaar <oetelaar.automatisering@gmail.com>
Signed-off-by: Andy Green <andy.green@linaro.org>

deal with SSL_ERROR_WANT_ in client connect action

"4b0e01f Retry SSL_connect when SSL_get_error requests it. " from David Galeano
noticed the problem that client connect may receive SSL_ERROR_WANT_* from
SSL_connect, which is basically WOULDBLOCK.  That patch tried to deal with it
by blocking in a while(1) until the condition went away.

That's problematic because of it blocks service of anything else (including
the host application sockets in the external socket poll sharing case) for
up to 5s controlled by conditions at one client.

After fiddling with and researching this, the actual problem with the code is
we are not getting the SSL layer error correctly, it is not contained in the
code returned from the Connect api directly.

I was unable to get a renegotiation forced on my modern SSL libs, it complained
about protocol error are reopened the connection instead.  So I think the stuff
found in the docs and the web about the SSL_ERROR_WANT_ is probably not something
we will see in reality (if we check the right error code...)

Signed-off-by: Andy Green <andy.green@linaro.org>

add longlived option to test client

Needed to confirm pending timeouts won't kill the connection, by default
it spams the server with connections that live less than 5s

Signed-off-by: Andy Green <andy.green@linaro.org>

logging ensure everyone has a newline

Signed-off-by: Andy Green <andy.green@linaro.org>

replace ifdefs around close socket with compatible_close

Signed-off-by: Andy Green <andy.green@linaro.org>

ssl client certs fix crash

I run a web socket server that requires clients to present a certificate.

context_ssl_ = libwebsocket_create_context(wssPort_, wssIpAddr_.c_str(), protocols_ssl,

                           libwebsocket_internal_extensions,

                           cert_path.c_str(), key_path.c_str(), -1, -1,

LWS_SERVER_OPTION_REQUIRE_VALID_OPENSSL_CLIENT_CERT);

I am getting a crash in the OpenSSL_verify_callback().

The SSL_get_ex_data() call is returning NULL

I could not find a call to SSL_set_ex_data() for server mode operation.

Has anyone seen this crash in the newer versions?

Signed-off-by: Larry Hayes <larry.hayes@prodeasystems.com>

absorb README.rst into main README and code

Some of the advice in README.rst became deprecated with recent patches,
the (good) advice about http connection close is better demonstrated
in the code and API docs, and the remainder can go in the main README,
which will have to be refactored itself at some point.

Signed-off-by: Andy Green <andy.green@linaro.org>

expose compiletime constants to setting from configure

This patch allows control of the main compiletime constants in libwebsockets
from the configure commandline.

README is updated with documentation on what's available, how to set them
and the defaults.

The constants are logged with "info" severity (not visible by default) at
context create time.

The zlib constant previously exposed like this is moved to private-libwebsockets.h
so it can be printed along with the rest.

Signed-off-by: Andy Green <andy.green@linaro.org>

renable deflate frame buffer expansion fixing DoS

This reverts the removal of the deflate_frame code that was crashing after porting
David Galeano's code: he pointed out there's a typo in the merged version causing
the crash which is fixed here.

However the fixed code has a problem, there's no limit (other than int size) to the
amount of memory it will try to malloc, which can allow a DoS of the server by the
client sending malicious compression states that inflate to a large amount.  I have
added checking for OOM already that will avert the segfault that would otherwise follow
but the server will be unusuable if malicious connections were made repeatedly each
forcing it to allocate large buffers and cause small allocations on other connections
to fail.

The patch changes the code to use realloc(), and introduces a configurable limit
on the amount of memory one connection may need for zlib before the server hangs
up the connection.  It defaults to 64KBytes but can be set from ./configure as
described now in the README.

Signed-off-by: Andy Green <andy.green@linaro.org>

fix config enable name for getifaddrs

copy-paste...

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce getifaddrs for toolchains without it

David found that uclibc did not provide this slightly esoteric api
and provided one from BSD that can be built by the library internally.

AG: Made contingent on configure option --enable-builtin-getifaddrs

Signed-off-by: David <cymerio@gmail.com>
Signed-off-by: Andy Green <andy.green@linaro.org>

audit and make all malloc check for OOM

Signed-off-by: Andy Green <andy.green@linaro.org>

logging add timestamp

Signed-off-by: Andy Green <andy.green@linaro.org>

logging extend level set api to allow setting emission function

Signed-off-by: Andy Green <andy.green@linaro.org>

update README with info on new logging scheme

Signed-off-by: Andy Green <andy.green@linaro.org>

allow enabling debug contexts from test apps

Adds a -d switch to everything so you can set the log level bitfeld.

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce logging api and convert all library output to use it

 - multiple debug context calls lwsl_ err, warn, debug, parser, ext, client

 - api added to set which contexts output to stderr using a bitfield log_level

 - --disable-debug on configure removes all code that is not err or warn severity

 - err and warn contexts always output to stderr unless disabled by log_level

 - err and warn enabled by default in log_level

Signed-off-by: Andy Green <andy@warmcat.com>

compile in xcode, privatize debug macro

update soname and configure to v1.0

Signed-off-by: Andy Green <andy.green@linaro.org>

correct autotools warning

Signed-off-by: Andy Green <andy.green@linaro.org>

zlib code add OOM checks remove buffer expansion on rx path

Here testing with the test serer and chrome 25, the buffer expansion
code on Rx was triggered by a valid no data output condition and looped
until it exhausted all memory.

This patch adds OOM check to all malloc()s and removes the buffer expansion
code on the rx path... leaving the code on tx path for now.

Signed-off-by: Andy Green <andy.green@linaro.org>

Avoid leaking a socket when SSL_accept fails.

Print error string on accept failure.

Increased MAX_BROADCAST_PAYLOAD to match MAX_USER_RX_BUFFER.

Added README file with some useful tips for using the library.

Added support for continuation frames on the server.

Close connection if LWS_CALLBACK_HTTP returns non-zero.

Fixed to keep reading data until the SSL internal buffer is empty.
Before this fix only 2048 bytes were read,
the rest were buffered inside SSL until another message arrived!!!

Added no-cache headers to client handshake:
http://www.ietf.org/mail-archive/web/hybi/current/msg09841.html

Separate compression levels for server and client,
increased the later one to zlib default (6).

More correct handling of inflate result.

Fixed crash when HTTP requests method is not GET.

Check if macro SSL_OP_NO_COMPRESSION is defined before trying to use it.

Using size_t instead of int for deflate-frame offsets and length.

Added private macro CIPHERS_LIST_STRING to define ciphers list string.

When choosing a cipher, use the server's preferences.

Pass URI length to LWS_CALLBACK_HTTP.

Disable compression for SSL socket,
it is a waste of CPU when using compression extensions.

Using "SSL_CTX_use_certificate_chain_file" instead of "SSL_CTX_use_certificate_file"
to support server certificates signed by intermediaries.

Better definition of "debug" macro for Win32 builds.

Use __inline for Win32 builds.

Avoid checking choked pipe if no extension has more data to write.

zlib update 1.2.7

Signed-off-by: Andy Green <andy.green@linaro.org>

Set listen backlog to SOMAXCONN.

Fixed operator precedence bug.

Avoid deflate of small packets.

Support compressed packets bigger than MAX_USER_RX_BUFFER.
(AG adapted style and removed logging stuff)

Allow extensions when no protocol was specified.

Added extension "deflate-frame".
Using by default instead of "deflate-stream".

Added support for extensions that only manipulate application data.

Fixed deflate-stream extension.
When the output buffer was exhausted the input buffer was discarded
without checking if zlib had actually consumed all the input,
now we copy the remaining input data for the next call.

Added private macro AWAITING_TIMEOUT instead of harcoded value 5.

Fixed spacing.

Added context creation parameter for CA certificates file.

Return NULL if the handshake failed to complete,
libwebsocket_service_fd closes and frees the websocket in that case.

Ignoring linux build files

Use feature check rather than browser check.

Changed client handshake to use "Origin" instead of "Sec-WebSocket-Origin" as defined by RFC 6455 when using version 13 of the protocol.

Fixed compiler warnings on Windows.

Added new status codes from RFC 6455.

Fixed compiler warning on Windows.

required version of autoconf can be lower

Static variable is now const.

add context construction option to skip server hostname lookup

Signed-off-by: Andy Green <andy.green@linaro.org>

add missing docs for new context user pointer

Signed-off-by: Andy Green <andy.green@linaro.org>

libwebsocket_service_fd: EAGAIN is harmless, treat like EINTR

Only tested on linux.

Signed-off-by: Alon Levy <alevy@redhat.com>

libwebsocket_context: add userspace pointer for use before wsi creation

Signed-off-by: Alon Levy <alevy@redhat.com>

lib/Makefile.am: whitespace fix

Signed-off-by: Alon Levy <alevy@redhat.com>

add pkg-config file libwebsockets.pc

Signed-off-by: Alon Levy <alevy@redhat.com>

Added test.html favicon.ico to EXTRA_DIST.

Add missing .h files to sources.

Add kernel doc to extra_dist.

always taking an interest in ppid wont hurt

Signed-off-by: Andy Green <andy.green@linaro.org>

remove depcomp

Signed-off-by: Andy Green <andy.green@linaro.org>

stop being so fragile on socket lifecycle

Signed-off-by: Andy Green <andy.green@linaro.org>

use autogen.sh

Signed-off-by: Andy Green <andy.green@linaro.org>

Updating changelog

Adding Tizen packaging files

add not about autoreconf and libtoolize

Signed-off-by: Andy Green <andy.green@linaro.org>

restore accept error as closure signal

Signed-off-by: Andy Green <andy.green@linaro.org>

check for prctl, poll parent PID if not present

this allows forking code to be used on non-linux systems

Fixing uninitialised memory

These were found with valgrind tool.
Signed-off-by: Paulo Roberto Urio <paulourio@gmail.com>

some toolchains need stddef

Signed-off-by: Paulo Roberto Urio <paulourio@gmail.com>

add missing sa_data init to canonical hostname code

Shay noticed we're no longer initializing the initial lookup of
server canonical hostname correctly

Reported-by: Shay Zuker <shay@boxee.tv>
Signed-off-by: Andy Green <andy.green@linaro.org>

Fixed segfault in libwebsocket_context_destroy.

When creating a context with NULL extensions list,
a segmentation fault was yelled when trying to
destroy the context.  This checks if the
extension list is NULL before go through the list.
Signed-off-by: Paulo Roberto Urio <paulourio@gmail.com>

sockets were left open if connection could not be
 established resulting in a mass of unusable open file
 descriptors

Signed-off-by: Tobias Maier <tobias.maier@netplace.com>

link lz explicitly for mips

    fix link error since libz is not linked in

Signed-off-by: yuval tal <yuvalt@boxee.tv>

null exception with null extensions list

I was under the impression extensions could be null, so heres a patch to fix this error in libwebsockets. Cheers!

Signed-off-by: Andrew Chambers <andrewchamberss@gmail.com>
--