http1.1 keepalive drop ah betweentimes

https://github.com/warmcat/libwebsockets/issues/404

Tested with

wget -O- http://localhost:7681/test.html http://localhost:7681/test.html http://localhost:7681/test.html http://localhost:7681/test.html http://localhost:7681/test.html

and confirm no connection processing during that on server side

Signed-off-by: Andy Green <andy.green@linaro.org>

win dont redefine _WINSOCK_DEPRECATED_NO_WARNINGS

Signed-off-by: Andy Green <andy.green@linaro.org>

lextable add x-real-ip

Signed-off-by: Andy Green <andy.green@linaro.org>

reduce debug logging mark socket dead when pollert

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_adopt_socket

Signed-off-by: Andy Green <andy.green@linaro.org>

multithread stability

Signed-off-by: Andy Green <andy.green@linaro.org>

mbed simplify

Signed-off-by: Andy Green <andy.green@linaro.org>

pthreads only as needed

This just lets you build lws 1.6 without pthreads if your OS / toolchain
makes that possible, in the case you don't build the test apps
(libwebsockets-test-server-pthreads needs it)

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzxy some toolchains need sys socket.h

https://github.com/warmcat/libwebsockets/issues/407

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzzer handle junk after upgrade header

Signed-off-by: Andy Green <andy.green@linaro.org>

unify bounds checking in parser

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzxy add test parser and some tests

Signed-off-by: Andy Green <andy.green@linaro.org>

win add dummy LWS_WARN_UNUSED_RESULT

Signed-off-by: Andy Green <andy.green@linaro.org>

mbed align with pt changes

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce LWS_WARN_UNUSED_RESULT

Signed-off-by: Andy Green <andy.green@linaro.org>

header fragment reject empty early

Signed-off-by: Andy Green <andy.green@linaro.org>

tolower remove

https://github.com/warmcat/libwebsockets/issues/403

Signed-off-by: Andy Green <andy.green@linaro.org>

parser issue_char audit

Signed-off-by: Andy Green <andy.green@linaro.org>

timeout also fixup for0middle guy deletion case

Signed-off-by: Andy Green <andy.green@linaro.org>

timeout check take copies since he may be deleted

Signed-off-by: Andy Green <andy.green@linaro.org>

test server http dont print junk if string too long

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 156864 fuzxy close socket if connect fails

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 156863 fuzxy handle cant get socket

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 156860 wsi dereference before NULL check

... bit in reality, wsi can never be NULL

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 156861 context destroy dereference context before NULL check

Context could be NULL only if context creation failed in the first
place and user error path is bad... no network connectivity at that
point...

Signed-off-by: Andy Green <andy.green@linaro.org>

coverity 156862 unused return value

Not exactly a problem...

Signed-off-by: Andy Green <andy.green@linaro.org>

multithreaded service

This adds support for multithreaded service to lws without adding any
threading or locking code in the library.

At context creation time you can request split the service part of the
context into n service domains, which are load-balanced so that the most
idle one gets the next listen socket accept.

There's a single listen socket on one port still.

User code may then spawn n threads doing n service loops / poll()s
simultaneously.  Locking is only required (I think) in the existing
FD lock callbacks already handled by the pthreads server example,
and that locking takes place in user code.  So the library remains
completely agnostic about the threading / locking scheme.

And by default, it's completely compatible with one service thread
so no changes are required by people uninterested in multithreaded
service.

However for people interested in extremely lightweight mass http[s]/
ws[s] service with minimum provisioning, the library can now do
everything out of the box.

To test it, just try

$ libwebsockets-test-server-pthreads -j 8

where -j controls the number of service threads

Signed-off-by: Andy Green <andy.green@linaro.org>

fix broken ext arg parsing

This gets us back to all the Autobahn tests passing

Signed-off-by: Andy Green <andy.green@linaro.org>

timeout move to doubly linked list

In the case we have a lot of connections, checking them all for timeout state
once a second becomes burdensome.  At the moment if you have 100K connections,
once a second they all get checked for timeout in a loop.

This patch adds a doubly-linked list based in the context to each wsi, and
only wsi with pending timeouts appear on it.  At checking time, we traverse
the list, which costs nothing if empty because nobody has a pending timeout.

Similarly adding and removing from the list costs almost nothing since no
iteration is required no matter how big the list.

The extra 8 or 16 bytes in the wsi are offset a little bit by demoting .pps
from int to char (save 3 bytes).  And trim max act exts to 2, since we only
provide one, saving 8 /16 bytes by itself if exts enabled.

Signed-off-by: Andy Green <andy.green@linaro.org>

From 8dc784c121fb387f1871245b3194eae662bddfa3 Mon Sep 17 00:00:00 2001
Subject: [PATCH] bump version in rpm spec file.

From 1e933db07bed7a0b5ac8dc49146815348ae37ded Mon Sep 17 00:00:00 2001
Subject: [PATCH] rpm specfile fixes: group, license, build requires, files

From 7f39ea761e98ea96f79a7e69d4cdeee0c39d316e Mon Sep 17 00:00:00 2001
Subject: [PATCH] fix missing ${LIB_SUFFIX} on cmake config dir

Generate the API documentation in a reproducible way.

Sort the list of source files before passing them to the kernel-doc
script so that it always outputs the discovered functions and
structures in the same order.

avoid using deallocated things during context dedtroy

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzxy

This is the initial push of a fuzzing proxy we will use for testing lws.

Run libwebsockets-test-fuzxy and the test server if it's local.

Then run the test client with

http_proxy=localhost:8880 libwebsockets-test-client localhost (or whatever)

Right now he only fuzzes one thing but he is operational as a proxy.

cleaning

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_interface_to_sa

Expose interface handling code as an api

use lws_close not raw close

https://github.com/warmcat/libwebsockets/issues/400

Signed-off-by: Andy Green <andy.green@linaro.org>

Subject: [PATCH] Make echo test app option consistent with the other test
 options

permessage deflate male callback VISIBLE

Signed-off-by: Andy Green <andy.green@linaro.org>

fix client getting hung up on at negotiation

Signed-off-by: Andy Green <andy.green@linaro.org>

redirect

This adds redirect support to the client side.  Lws will follow
server redirects (301) up to three deep.

Signed-off-by: Andy Green <andy.green@linaro.org>

parse_uri

Signed-off-by: Andy Green <andy.green@linaro.org>

ssl add ECDH server support

(AG clean style add option flag and docs)

only report CLIENT_CONNECTION_ERROR once on some paths

In most cases the close api will see it should send the CCE because
we are still in the waiting server reply state until the end of the
interpretation.  Only if we completed the interpretation and moved
on to ESTABLISHED do we need to handle sending it ourselves.

Signed-off-by: Andy Green <andy.green@linaro.org>

remove double free attempts from no ACCEPT server response cleanup path

The generic wsi close code is smart enough to clean up after these allocations itself

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzzer eliminate hsecond ah free path firing assert sentinel

Signed-off-by: Andy Green <andy.green@linaro.org>

fuzzer rx overflow mitigate

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_client_connect_via_info

https://github.com/warmcat/libwebsockets/issues/396

Signed-off-by: Andy Green <andy.green@linaro.org>

test client remove abs modulo

llvm and gcc 5.3 do different things with it

https://github.com/warmcat/libwebsockets/issues/395

Signed-off-by: Andy Green <andy.green@linaro.org>

extension permessage deflate

Signed-off-by: Andy Green <andy.green@linaro.org>

clean libev.c style

Signed-off-by: Andy Green <andy.green@linaro.org>

libev set events to match revents

https://github.com/warmcat/libwebsockets/issues/393

Signed-off-by: Andy Green <andy.green@linaro.org>

partial always use partial buffering if send incomplete

After "rerelease"

https://github.com/warmcat/libwebsockets/issues/392#issuecomment-170003294

Since we introduced partial buffering a long while ago,
user code shold never see partial sends and very few
user callbsck attempt to deal with them.

Let's just eliminate the whole concept of user callback
partial send handling under any circumstances.

Signed-off-by: Andy Green <andy.green@linaro.org>

properly skip protocols with NULL name

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

fix callback typedefs and declarations

Remove declarations of callback and extension_callback as these are
functions declared in header but not defined anywhere.

Also rename typedefs callback_function and extension_callback_function
to lws_callback_function and lws_extension_callback_function so all
symbolx exported by header have lws prefix;

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

doc improve docs around header access apis

Signed-off-by: Andy Green <andy.green@linaro.org>

ext negotiation tolerate semicolon args

Signed-off-by: Andy Green <andy.green@linaro.org>

utf8 check compatible with extensions

Signed-off-by: Andy Green <andy.green@linaro.org>

optimize utf8 check tests into state bit

Considering we go through it once per incoming char, the tests to see if we
should be checking utf-8 are too expensive... move them to a bit that lives
in the wsi and set them once per frame (except for CLOSE who has to update
after the close code has been skipped).

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce LWS_SERVER_OPTION_VALIDATE_UTF8

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn check utf8 on TEXT and CLOSE

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn reject forbidden close code ranges

Complain like autobahn expects if we get a funny close code

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn README.test apps.md

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn reject noncontinuation based on pending FIN state

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn detect disordered continuation

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn add same serverside rxflow cache to client

Server side has had immediate RX flow control for quite a while.

But client side made do with RX continuing until what had been received was exhausted.

For what Autobahn tests, that's not enough.

This patch gives clientside RX flow control the same immediate effect as the server
side enjoys, re-using the same code.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn reject on reserved opcode or bits

Because extensions may use them, we didn't reject on reserved opc or bits set,
just ignored.  But the standard does say we should, so now we do.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn test echo extend max echo and follow message boundary

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn extend max ping pong close payload to 125

We only supported those specific control packet payloads up to 124.
125 is the correct limit.

Lws was consistent about the wrong limit so there are no other
issues.  It doesn't affect user ABI correcting it either.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn report final frag only on final rx bufload

If the final message fragment contains a payload that has to be
handled in multiple RX callbacks, until now we reported the ws
fragment header FIN state in lws_is_final_fragment().

That was correct, but it's kind of not useful to hear that the
intermediate bufferloads are "final".  So now we delay
reporting the logical ws fragment FIN until the final part of
his payload is delivered.

This gets us Autobahn 1.1.6 working.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn requires zero length tx allowed

Again we treat user code sending zero length things as a bug in user code.

But Autobahn insists to be able to do it, so now we allow it.

That buys us a pass on Autobahn test 1.1.1 (the first of a bazillion)

Reproduce with

libwebsockets-test-echo --client localhost --port 9001 -u "/runCase?case=1&agent=libwebsockets" -v -d 65535 -n 1

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn requires zero length rx allowed

We suppress zero length rx from getting to userland, but autobahn
requires it... oh well.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn test echo meddling

Signed-off-by: Andy Green <andy.green@linaro.org>

clean windows warnings

Signed-off-by: Andy Green <andy.green@linaro.org>

test server libev

If we enabled libev support, generate a test server variant that uses it.

Libev has sets its face against fixing its warnings and says -Werror is
"stupid".  So we work around it for the problems their apis cause in
Travis.

Signed-off-by: Andy Green <andy.green@linaro.org>

clarify changelog

Signed-off-by: Andy Green <andy.green@linaro.org>

update api docs

Signed-off-by: Andy Green <andy.green@linaro.org>

close add api to control sent close frame contents

This adds an api lws_close_reason() which lets you control what will
be sent in the close frame when the connection is closed by returning
nonzero from the user callback.

The test server demo is extended to prove it works in both directions.

With this, we should have nice close support.

https://github.com/warmcat/libwebsockets/issues/196

Signed-off-by: Andy Green <andy.green@linaro.org>

close add callback to get peer close reason

https://github.com/warmcat/libwebsockets/issues/196

Signed-off-by: Andy Green <andy.green@linaro.org>

mbed3 remove forcing _DEBUG

It saves us ~4KB of lwsl_info / _debug etc strings.

The test app comes in at 114KB then, including 19KB of html, png and ico assets.

Signed-off-by: Andy Green <andy.green@linaro.org>

mbed3 remove unused allocations

Signed-off-by: Andy Green <andy.green@linaro.org>

deprecate LWS_SEND_BUFFER_POST_PADDING

The only guy who cared about this for a long while
(since I eliminated the pre-standard protocol variants)
was sending a close frame.

 - Set it to 0 so old code remains happy.  It only affects
user code buffer commit, if there's overcommit no harm
done so no effect directly on user ABI.

 - Remove all uses inside the library.  The sample apps
don't have it any more and that's the recommendation now.

Signed-off-by: Andy Green <andy.green@linaro.org>

output eliminate redundant post calculation

Signed-off-by: Andy Green <andy.green@linaro.org>

remove MAX_MUX_RECURSION from PRE padding

The old google mux thing is long dead

This only affects app buffer sizing, if old apps overcommit, no worries.

Signed-off-by: Andy Green <andy.green@linaro.org>

rearrange private struct packing 2

Further reduces lws size to 512 on x86_64 "for free"

Both this and the last patch only rearrange private struct members.

Also convert win32-specific member from BOOL to bitfield:1.

Signed-off-by: Andy Green <andy.green@linaro.org>

Recognize Debian GNU/kFreeBSD as FreeBSD-ish.

Some of the FreeBSD-specific code in libwebsockets is related to
the FreeBSD kernel, not the general build environment.  Thus, it is
important to make this distinction, especially when building on
platforms that have a FreeBSD kernel and a non-FreeBSD userland build
environment, such as Debian GNU/kFreeBSD.

When checking for FreeBSD kernel features, also check for the newly
introduced __FreeBSD_kernel__ preprocessor constant; it is present in
the GNU/kFreeBSD kernel and also in FreeBSD itself since the 9.1 release
about three years ago.

rearrange struct packing

Surprisingly it's enough to reduce wsi from 536 to 520 on x86_64

Signed-off-by: Andy Green <andy.green@linaro.org>

http header malloc pool implement pool

Signed-off-by: Andy Green <andy.green@linaro.org>

http header malloc pool allow listen accept flow control

Add a private api to enable and disable server listen socket POLLIN

Signed-off-by: Andy Green <andy.green@linaro.org>

ws ping buffer allocate in wsi ws union member

Signed-off-by: Andy Green <andy.green@linaro.org>

info struct add padding pool

The info struct is too fragile against additions being able to keep soname.

Because if we add something, the library can't count on the user code being
built against latest headers with largest info struct size.  Then the user
code may not have zeroed down enough of the struct and give us junk in the
new members.

Add a pool at the end of the info struct that exists so it will be zeroed
down even though no current use for those future members, then later
library versions can compatibly use them without breaking soname if it is
understood 0 means default.

Because keeping sizeof info straight if you add something is now a thing,
also add an lwsl_info letting you confirm it easily.

It's fine if the size of info differs on different platforms.  But when
we add things to the struct we need to balance the padding using a scheme
like

       short  new_member;
       unsigned char _padding1[sizeof(void *) - sizeof(short)];

which is immune to differences in platform differences in sizeof void *.

Signed-off-by: Andy Green <andy.green@linaro.org>

detect service tid once and use wsi with valid context to do it

Signed-off-by: Andy Green <andy.green@linaro.org>

libev complete unix plat context init

https://github.com/warmcat/libwebsockets/issues/381

Signed-off-by: Andy Green <andy.green@linaro.org>

libev context destroy

https://github.com/warmcat/libwebsockets/issues/380

test ping android compatibility

After "emptyVoid" at

https://github.com/warmcat/libwebsockets/issues/379

Signed-off-by: Andy Green <andy.green@linaro.org>

Subject: [PATCH] Typo in macro name.

uridecoding lws_hdr_fragment_length

Signed-off-by: Andy Green <andy.green@linaro.org>

whitespace tidy

Signed-off-by: Andy Green <andy.green@linaro.org>

uridecode no need to require length plus 2

length + 1 (for the '\0' is enough)

Signed-off-by: Andy Green <andy.green@linaro.org>