release checklist coverity

Signed-off-by: Andy Green <andy.green@linaro.org>

api doc update pre 1.7

Signed-off-by: Andy Green <andy.green@linaro.org>

timeout settable from info

This adds an info member that allows the user code to
set the library's network action timeout in seconds.

If left at the default 0, the build-time default
AWAITING_TIMEOUT continues to be used.

As suggested

https://github.com/warmcat/libwebsockets/issues/427

Signed-off-by: Andy Green <andy.green@linaro.org>

release checklist api updates

Signed-off-by: Andy Green <andy.green@linaro.org>

http_transaction_completed handle two completions in detach reset order

Signed-off-by: Andy Green <andy.green@linaro.org>

ah owns rxbuf

This is intended to solve a longstanding problem with the
relationship between http/1.1 keep-alive and the service
loop.

Ah now contain an rx buffer which is used during header
processing, and the ah may not be detached from the wsi
until the rx buffer is exhausted.

Having the rx buffer in the ah means we can delay using the
rx until a later service loop.

Ah which have pending rx force POLLIN service on the wsi
they are attached to automatically, so we can interleave
general service / connections with draining each ah rx
buffer.

The possible http/1.1 situations and their dispositions are:

 1) exactly one set of http headers come.  After processing,
    the ah is detached since no pending rx left.  If more
    headers come later, a fresh ah is aqcuired when available
    and the rx flow control blocks the read until then.

 2) more that one whole set of headers come and we remain in
    http mode (no upgrade).  The ah is left attached and
    returns to the service loop after the first set of headers.
    We will get forced service due to the ah having pending
    content (respecting flowcontrol) and process the pending
    rx in the ah.  If we use it all up, we will detach the
    ah.

 3) one set of http headers come with ws traffic appended.
    We service the headers, do the upgrade, and keep the ah
    until the remaining ws content is used.  When we
    exhausted the ws traffix in the ah rx buffer, we
    detach the ah.

Since there can be any amount of http/1.1 pipelining on a
connection, and each may be expensive to service, it's now
enforced there is a return to the service loop after each
header set is serviced on a connection.

When I added the forced service for ah with pending buffering,
I added support for it to the windows plat code.  However this
is untested.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn wait for all fork completion

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn put back 2.10 2.11

The test ordering breaks if we try to skip them, just
leave them in.

Signed-off-by: Andy Green <andy.green@linaro.org>

attack.sh add http1.1 pipelining check

Signed-off-by: Andy Green <andy.green@linaro.org>

release checklist qa

Signed-off-by: Andy Green <andy.green@linaro.org>

libuv integration

This gets the libuv stuff plumbed in and working.

Currently it's only workable for some service thread, and there
is an isolated valgrind problem left

==28425== 128 bytes in 1 blocks are definitely lost in loss record 3 of 3
==28425==    at 0x4C28C50: malloc (in /usr/lib64/valgrind/vgpreload_memcheck-amd64-linux.so)
==28425==    by 0x4C2AB1E: realloc (in /usr/lib64/valgrind/vgpreload_memcheck-amd64-linux.so)
==28425==    by 0x58BBB27: maybe_resize (core.c:748)
==28425==    by 0x58BBB27: uv__io_start (core.c:787)
==28425==    by 0x58C1B80: uv__signal_loop_once_init (signal.c:225)
==28425==    by 0x58C1B80: uv_signal_init (signal.c:260)
==28425==    by 0x58BF7A6: uv_loop_init (loop.c:66)
==28425==    by 0x4157F5: lws_uv_initloop (libuv.c:89)
==28425==    by 0x405536: main (test-server-libuv.c:284)

libuv wants to sign off on all libuv 'handles' that will close, and
callback to do the close confirmation asynchronously.  The wsi close function
is adapted when libuv is in use to work with libuv accordingly and exit the uv
loop the number of remaining wsi is zero.

Signed-off-by: Andy Green <andy.green@linaro.org>

port test-server-libuv.c from libev to libuv

libuv initial replace libev version

release-checklist

Ask sysconf for Android's getdtablesize.

fixed LWS_PRE description

specfile add fuzxy

https://github.com/warmcat/libwebsockets/issues/419

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_reset_header_table dont reset NULL

This is only a temporary, fragile solution.

https://github.com/warmcat/libwebsockets/issues/416

Signed-off-by: Andy Green <andy.green@linaro.org>

license clarification and test apps CC zero

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_parse_uri fix test client use and add more docs

https://github.com/warmcat/libwebsockets/issues/414

Signed-off-by: Andy Green <andy.green@linaro.org>

ah pool take care about freeing headers after parsing

Signed-off-by: Andy Green <andy.green@linaro.org>

debug spew remove ah reset logging

Signed-off-by: Andy Green <andy.green@linaro.org>

LWS_WARN_DEPRECATED and fixup older test apps

Enforce no more internal use of deprecated apis (esp in the test apps)

Also signal clearly to users what is on the way out.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn add test script

Signed-off-by: Andy Green <andy.green@linaro.org>

attack.sh exit 0 on success

Signed-off-by: Andy Green <andy.green@linaro.org>

ah http1.1 deal with pipelined headers properly

Connections must hold an ah for the whole time they are
processing one header set, even if eg, the headers are
fragmented and it involves network roundtrip times.

However on http1.1 / keepalive, it must drop the ah when
there are no more header sets to deal with, and reacquire
the ah later when more data appears.  It's because the
time between header sets / http1.1 requests is unbounded
and the ah would be tied up forever.

But in the case that we got pipelined http1.1 requests,
even partial already buffered, we must keep the ah,
resetting it instead of dropping it.  Because we store
the rx data conveniently in a per-tsi buffer since it only
does one thing at a time per thread, we cannot go back to
the event loop to await a new ah inside one service action.

But no problem since we definitely already have an ah,
let's just reuse it at http completion time if more rx is
already buffered.

NB: attack.sh makes request with echo | nc, this
accidentally sends a trailing '\n' from the echo showing
this problem.  With this patch attack.sh can complete well.

Signed-off-by: Andy Green <andy.green@linaro.org>

clean pre 1.7

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 157401 dont test SHUTDOWN state in mode switch

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 157402 explicitly disallow handling invalid sockfd

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 157403 fuzxy handle currently impossible error

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 157404 get rid of needless NULL check

Signed-off-by: Andy Green <andy.green@linaro.org>

cleanup test app startup messages

Signed-off-by: Andy Green <andy.green@linaro.org>

restrict SO_REUSEPORT to multithreading only so no unexpected change otherwise

SO_REUSEPORT means you don't get any error any more if another
server instance is already running, this will be quite unexpected
for singlethreaded users.

Signed-off-by: Andy Green <andy.green@linaro.org>

http1.1 keepalive drop ah betweentimes

https://github.com/warmcat/libwebsockets/issues/404

Tested with

wget -O- http://localhost:7681/test.html http://localhost:7681/test.html http://localhost:7681/test.html http://localhost:7681/test.html http://localhost:7681/test.html

and confirm no connection processing during that on server side

Signed-off-by: Andy Green <andy.green@linaro.org>

win dont redefine _WINSOCK_DEPRECATED_NO_WARNINGS

Signed-off-by: Andy Green <andy.green@linaro.org>

lextable add x-real-ip

Signed-off-by: Andy Green <andy.green@linaro.org>

reduce debug logging mark socket dead when pollert

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_adopt_socket

Signed-off-by: Andy Green <andy.green@linaro.org>

multithread stability

Signed-off-by: Andy Green <andy.green@linaro.org>

mbed simplify

Signed-off-by: Andy Green <andy.green@linaro.org>

pthreads only as needed

This just lets you build lws 1.6 without pthreads if your OS / toolchain
makes that possible, in the case you don't build the test apps
(libwebsockets-test-server-pthreads needs it)

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzxy some toolchains need sys socket.h

https://github.com/warmcat/libwebsockets/issues/407

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzzer handle junk after upgrade header

Signed-off-by: Andy Green <andy.green@linaro.org>

unify bounds checking in parser

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzxy add test parser and some tests

Signed-off-by: Andy Green <andy.green@linaro.org>

win add dummy LWS_WARN_UNUSED_RESULT

Signed-off-by: Andy Green <andy.green@linaro.org>

mbed align with pt changes

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce LWS_WARN_UNUSED_RESULT

Signed-off-by: Andy Green <andy.green@linaro.org>

header fragment reject empty early

Signed-off-by: Andy Green <andy.green@linaro.org>

tolower remove

https://github.com/warmcat/libwebsockets/issues/403

Signed-off-by: Andy Green <andy.green@linaro.org>

parser issue_char audit

Signed-off-by: Andy Green <andy.green@linaro.org>

timeout also fixup for0middle guy deletion case

Signed-off-by: Andy Green <andy.green@linaro.org>

timeout check take copies since he may be deleted

Signed-off-by: Andy Green <andy.green@linaro.org>

test server http dont print junk if string too long

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 156864 fuzxy close socket if connect fails

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 156863 fuzxy handle cant get socket

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 156860 wsi dereference before NULL check

... bit in reality, wsi can never be NULL

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 156861 context destroy dereference context before NULL check

Context could be NULL only if context creation failed in the first
place and user error path is bad... no network connectivity at that
point...

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 156862 unused return value

Not exactly a problem...

Signed-off-by: Andy Green <andy.green@linaro.org>

multithreaded service

This adds support for multithreaded service to lws without adding any
threading or locking code in the library.

At context creation time you can request split the service part of the
context into n service domains, which are load-balanced so that the most
idle one gets the next listen socket accept.

There's a single listen socket on one port still.

User code may then spawn n threads doing n service loops / poll()s
simultaneously.  Locking is only required (I think) in the existing
FD lock callbacks already handled by the pthreads server example,
and that locking takes place in user code.  So the library remains
completely agnostic about the threading / locking scheme.

And by default, it's completely compatible with one service thread
so no changes are required by people uninterested in multithreaded
service.

However for people interested in extremely lightweight mass http[s]/
ws[s] service with minimum provisioning, the library can now do
everything out of the box.

To test it, just try

$ libwebsockets-test-server-pthreads -j 8

where -j controls the number of service threads

Signed-off-by: Andy Green <andy.green@linaro.org>

fix broken ext arg parsing

This gets us back to all the Autobahn tests passing

Signed-off-by: Andy Green <andy.green@linaro.org>

timeout move to doubly linked list

In the case we have a lot of connections, checking them all for timeout state
once a second becomes burdensome.  At the moment if you have 100K connections,
once a second they all get checked for timeout in a loop.

This patch adds a doubly-linked list based in the context to each wsi, and
only wsi with pending timeouts appear on it.  At checking time, we traverse
the list, which costs nothing if empty because nobody has a pending timeout.

Similarly adding and removing from the list costs almost nothing since no
iteration is required no matter how big the list.

The extra 8 or 16 bytes in the wsi are offset a little bit by demoting .pps
from int to char (save 3 bytes).  And trim max act exts to 2, since we only
provide one, saving 8 /16 bytes by itself if exts enabled.

Signed-off-by: Andy Green <andy.green@linaro.org>

From 8dc784c121fb387f1871245b3194eae662bddfa3 Mon Sep 17 00:00:00 2001
Subject: [PATCH] bump version in rpm spec file.

From 1e933db07bed7a0b5ac8dc49146815348ae37ded Mon Sep 17 00:00:00 2001
Subject: [PATCH] rpm specfile fixes: group, license, build requires, files

From 7f39ea761e98ea96f79a7e69d4cdeee0c39d316e Mon Sep 17 00:00:00 2001
Subject: [PATCH] fix missing ${LIB_SUFFIX} on cmake config dir

Generate the API documentation in a reproducible way.

Sort the list of source files before passing them to the kernel-doc
script so that it always outputs the discovered functions and
structures in the same order.

avoid using deallocated things during context dedtroy

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzxy

This is the initial push of a fuzzing proxy we will use for testing lws.

Run libwebsockets-test-fuzxy and the test server if it's local.

Then run the test client with

http_proxy=localhost:8880 libwebsockets-test-client localhost (or whatever)

Right now he only fuzzes one thing but he is operational as a proxy.

cleaning

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_interface_to_sa

Expose interface handling code as an api

use lws_close not raw close

https://github.com/warmcat/libwebsockets/issues/400

Signed-off-by: Andy Green <andy.green@linaro.org>

Subject: [PATCH] Make echo test app option consistent with the other test
 options

permessage deflate male callback VISIBLE

Signed-off-by: Andy Green <andy.green@linaro.org>

fix client getting hung up on at negotiation

Signed-off-by: Andy Green <andy.green@linaro.org>

redirect

This adds redirect support to the client side.  Lws will follow
server redirects (301) up to three deep.

Signed-off-by: Andy Green <andy.green@linaro.org>

parse_uri

Signed-off-by: Andy Green <andy.green@linaro.org>

ssl add ECDH server support

(AG clean style add option flag and docs)

only report CLIENT_CONNECTION_ERROR once on some paths

In most cases the close api will see it should send the CCE because
we are still in the waiting server reply state until the end of the
interpretation.  Only if we completed the interpretation and moved
on to ESTABLISHED do we need to handle sending it ourselves.

Signed-off-by: Andy Green <andy.green@linaro.org>

remove double free attempts from no ACCEPT server response cleanup path

The generic wsi close code is smart enough to clean up after these allocations itself

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzzer eliminate hsecond ah free path firing assert sentinel

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzzer rx overflow mitigate

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_client_connect_via_info

https://github.com/warmcat/libwebsockets/issues/396

Signed-off-by: Andy Green <andy.green@linaro.org>

test client remove abs modulo

llvm and gcc 5.3 do different things with it

https://github.com/warmcat/libwebsockets/issues/395

Signed-off-by: Andy Green <andy.green@linaro.org>

extension permessage deflate

Signed-off-by: Andy Green <andy.green@linaro.org>

clean libev.c style

Signed-off-by: Andy Green <andy.green@linaro.org>

libev set events to match revents

https://github.com/warmcat/libwebsockets/issues/393

Signed-off-by: Andy Green <andy.green@linaro.org>

partial always use partial buffering if send incomplete

After "rerelease"

https://github.com/warmcat/libwebsockets/issues/392#issuecomment-170003294

Since we introduced partial buffering a long while ago,
user code shold never see partial sends and very few
user callbsck attempt to deal with them.

Let's just eliminate the whole concept of user callback
partial send handling under any circumstances.

Signed-off-by: Andy Green <andy.green@linaro.org>

properly skip protocols with NULL name

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

fix callback typedefs and declarations

Remove declarations of callback and extension_callback as these are
functions declared in header but not defined anywhere.

Also rename typedefs callback_function and extension_callback_function
to lws_callback_function and lws_extension_callback_function so all
symbolx exported by header have lws prefix;

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

doc improve docs around header access apis

Signed-off-by: Andy Green <andy.green@linaro.org>

ext negotiation tolerate semicolon args

Signed-off-by: Andy Green <andy.green@linaro.org>

utf8 check compatible with extensions

Signed-off-by: Andy Green <andy.green@linaro.org>

optimize utf8 check tests into state bit

Considering we go through it once per incoming char, the tests to see if we
should be checking utf-8 are too expensive... move them to a bit that lives
in the wsi and set them once per frame (except for CLOSE who has to update
after the close code has been skipped).

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce LWS_SERVER_OPTION_VALIDATE_UTF8

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn check utf8 on TEXT and CLOSE

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn reject forbidden close code ranges

Complain like autobahn expects if we get a funny close code

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn README.test apps.md

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn reject noncontinuation based on pending FIN state

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn detect disordered continuation

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn add same serverside rxflow cache to client

Server side has had immediate RX flow control for quite a while.

But client side made do with RX continuing until what had been received was exhausted.

For what Autobahn tests, that's not enough.

This patch gives clientside RX flow control the same immediate effect as the server
side enjoys, re-using the same code.

Signed-off-by: Andy Green <andy.green@linaro.org>