partial always use partial buffering if send incomplete

After "rerelease"

https://github.com/warmcat/libwebsockets/issues/392#issuecomment-170003294

Since we introduced partial buffering a long while ago,
user code shold never see partial sends and very few
user callbsck attempt to deal with them.

Let's just eliminate the whole concept of user callback
partial send handling under any circumstances.

Signed-off-by: Andy Green <andy.green@linaro.org>

properly skip protocols with NULL name

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

fix callback typedefs and declarations

Remove declarations of callback and extension_callback as these are
functions declared in header but not defined anywhere.

Also rename typedefs callback_function and extension_callback_function
to lws_callback_function and lws_extension_callback_function so all
symbolx exported by header have lws prefix;

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

doc improve docs around header access apis

Signed-off-by: Andy Green <andy.green@linaro.org>

ext negotiation tolerate semicolon args

Signed-off-by: Andy Green <andy.green@linaro.org>

utf8 check compatible with extensions

Signed-off-by: Andy Green <andy.green@linaro.org>

optimize utf8 check tests into state bit

Considering we go through it once per incoming char, the tests to see if we
should be checking utf-8 are too expensive... move them to a bit that lives
in the wsi and set them once per frame (except for CLOSE who has to update
after the close code has been skipped).

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce LWS_SERVER_OPTION_VALIDATE_UTF8

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn check utf8 on TEXT and CLOSE

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn reject forbidden close code ranges

Complain like autobahn expects if we get a funny close code

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn README.test apps.md

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn reject noncontinuation based on pending FIN state

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn detect disordered continuation

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn add same serverside rxflow cache to client

Server side has had immediate RX flow control for quite a while.

But client side made do with RX continuing until what had been received was exhausted.

For what Autobahn tests, that's not enough.

This patch gives clientside RX flow control the same immediate effect as the server
side enjoys, re-using the same code.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn reject on reserved opcode or bits

Because extensions may use them, we didn't reject on reserved opc or bits set,
just ignored.  But the standard does say we should, so now we do.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn test echo extend max echo and follow message boundary

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn extend max ping pong close payload to 125

We only supported those specific control packet payloads up to 124.
125 is the correct limit.

Lws was consistent about the wrong limit so there are no other
issues.  It doesn't affect user ABI correcting it either.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn report final frag only on final rx bufload

If the final message fragment contains a payload that has to be
handled in multiple RX callbacks, until now we reported the ws
fragment header FIN state in lws_is_final_fragment().

That was correct, but it's kind of not useful to hear that the
intermediate bufferloads are "final".  So now we delay
reporting the logical ws fragment FIN until the final part of
his payload is delivered.

This gets us Autobahn 1.1.6 working.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn requires zero length tx allowed

Again we treat user code sending zero length things as a bug in user code.

But Autobahn insists to be able to do it, so now we allow it.

That buys us a pass on Autobahn test 1.1.1 (the first of a bazillion)

Reproduce with

libwebsockets-test-echo --client localhost --port 9001 -u "/runCase?case=1&agent=libwebsockets" -v -d 65535 -n 1

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn requires zero length rx allowed

We suppress zero length rx from getting to userland, but autobahn
requires it... oh well.

Signed-off-by: Andy Green <andy.green@linaro.org>

autobahn test echo meddling

Signed-off-by: Andy Green <andy.green@linaro.org>

clean windows warnings

Signed-off-by: Andy Green <andy.green@linaro.org>

test server libev

If we enabled libev support, generate a test server variant that uses it.

Libev has sets its face against fixing its warnings and says -Werror is
"stupid".  So we work around it for the problems their apis cause in
Travis.

Signed-off-by: Andy Green <andy.green@linaro.org>

clarify changelog

Signed-off-by: Andy Green <andy.green@linaro.org>

update api docs

Signed-off-by: Andy Green <andy.green@linaro.org>

close add api to control sent close frame contents

This adds an api lws_close_reason() which lets you control what will
be sent in the close frame when the connection is closed by returning
nonzero from the user callback.

The test server demo is extended to prove it works in both directions.

With this, we should have nice close support.

https://github.com/warmcat/libwebsockets/issues/196

Signed-off-by: Andy Green <andy.green@linaro.org>

close add callback to get peer close reason

https://github.com/warmcat/libwebsockets/issues/196

Signed-off-by: Andy Green <andy.green@linaro.org>

mbed3 remove forcing _DEBUG

It saves us ~4KB of lwsl_info / _debug etc strings.

The test app comes in at 114KB then, including 19KB of html, png and ico assets.

Signed-off-by: Andy Green <andy.green@linaro.org>

mbed3 remove unused allocations

Signed-off-by: Andy Green <andy.green@linaro.org>

deprecate LWS_SEND_BUFFER_POST_PADDING

The only guy who cared about this for a long while
(since I eliminated the pre-standard protocol variants)
was sending a close frame.

 - Set it to 0 so old code remains happy.  It only affects
user code buffer commit, if there's overcommit no harm
done so no effect directly on user ABI.

 - Remove all uses inside the library.  The sample apps
don't have it any more and that's the recommendation now.

Signed-off-by: Andy Green <andy.green@linaro.org>

output eliminate redundant post calculation

Signed-off-by: Andy Green <andy.green@linaro.org>

remove MAX_MUX_RECURSION from PRE padding

The old google mux thing is long dead

This only affects app buffer sizing, if old apps overcommit, no worries.

Signed-off-by: Andy Green <andy.green@linaro.org>

rearrange private struct packing 2

Further reduces lws size to 512 on x86_64 "for free"

Both this and the last patch only rearrange private struct members.

Also convert win32-specific member from BOOL to bitfield:1.

Signed-off-by: Andy Green <andy.green@linaro.org>

Recognize Debian GNU/kFreeBSD as FreeBSD-ish.

Some of the FreeBSD-specific code in libwebsockets is related to
the FreeBSD kernel, not the general build environment.  Thus, it is
important to make this distinction, especially when building on
platforms that have a FreeBSD kernel and a non-FreeBSD userland build
environment, such as Debian GNU/kFreeBSD.

When checking for FreeBSD kernel features, also check for the newly
introduced __FreeBSD_kernel__ preprocessor constant; it is present in
the GNU/kFreeBSD kernel and also in FreeBSD itself since the 9.1 release
about three years ago.

rearrange struct packing

Surprisingly it's enough to reduce wsi from 536 to 520 on x86_64

Signed-off-by: Andy Green <andy.green@linaro.org>

http header malloc pool implement pool

Signed-off-by: Andy Green <andy.green@linaro.org>

http header malloc pool allow listen accept flow control

Add a private api to enable and disable server listen socket POLLIN

Signed-off-by: Andy Green <andy.green@linaro.org>

ws ping buffer allocate in wsi ws union member

Signed-off-by: Andy Green <andy.green@linaro.org>

info struct add padding pool

The info struct is too fragile against additions being able to keep soname.

Because if we add something, the library can't count on the user code being
built against latest headers with largest info struct size.  Then the user
code may not have zeroed down enough of the struct and give us junk in the
new members.

Add a pool at the end of the info struct that exists so it will be zeroed
down even though no current use for those future members, then later
library versions can compatibly use them without breaking soname if it is
understood 0 means default.

Because keeping sizeof info straight if you add something is now a thing,
also add an lwsl_info letting you confirm it easily.

It's fine if the size of info differs on different platforms.  But when
we add things to the struct we need to balance the padding using a scheme
like

       short  new_member;
       unsigned char _padding1[sizeof(void *) - sizeof(short)];

which is immune to differences in platform differences in sizeof void *.

Signed-off-by: Andy Green <andy.green@linaro.org>

detect service tid once and use wsi with valid context to do it

Signed-off-by: Andy Green <andy.green@linaro.org>

libev complete unix plat context init

https://github.com/warmcat/libwebsockets/issues/381

Signed-off-by: Andy Green <andy.green@linaro.org>

libev context destroy

https://github.com/warmcat/libwebsockets/issues/380

test ping android compatibility

After "emptyVoid" at

https://github.com/warmcat/libwebsockets/issues/379

Signed-off-by: Andy Green <andy.green@linaro.org>

Subject: [PATCH] Typo in macro name.

uridecoding lws_hdr_fragment_length

Signed-off-by: Andy Green <andy.green@linaro.org>

whitespace tidy

Signed-off-by: Andy Green <andy.green@linaro.org>

uridecode no need to require length plus 2

length + 1 (for the '\0' is enough)

Signed-off-by: Andy Green <andy.green@linaro.org>

uridecoding disallow uriencoded equals in name part

Signed-off-by: Andy Green <andy.green@linaro.org>

uridecoding handle plus chars as space

Signed-off-by: Andy Green <andy.green@linaro.org>

uridecoding support optional semicolon as delimiter

Signed-off-by: Andy Green <andy.green@linaro.org>

version 1.6.0

Signed-off-by: Andy Green <andy.green@linaro.org>

api doc v1.6.0

Signed-off-by: Andy Green <andy.green@linaro.org>

changelog pre v1.6.0

Signed-off-by: Andy Green <andy.green@linaro.org>

clean uri arg dump

Signed-off-by: Andy Green <andy.green@linaro.org>

context protocol destroy provide nonnull wsi with context

Signed-off-by: Andy Green <andy.green@linaro.org>

server check cb return during establish

Signed-off-by: Andy Green <andy.green@linaro.org>

client check cb return during establish

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_get_context not _ctx

Signed-off-by: Andy Green <andy.green@linaro.org>

clean internal refactor

 - Mainly symbol length reduction
 - Whitespace clean
 - Code refactor for linear flow
 - Audit @Context for API docs vs changes

Signed-off-by: Andy Green <andy.green@linaro.org>

win cover clearing sock_send_blocking when external poll

Signed-off-by: Andy Green <andy.green@linaro.org>

win solve various cranky problems with msvc

After emptyVoid at --->

https://github.com/warmcat/libwebsockets/issues/374

Signed-off-by: Andy Green <andy.green@linaro.org>

clean misc 1

Signed-off-by: Andy Green <andy.green@linaro.org>

public api remove context from user callback API BREAK

Since struct lws (wsi) now has his own context pointer,
we were able to remove the need for passing context
almost everywhere in the apis.

In turn, that means there's no real use for context being
passed to every callback; in the rare cases context is
needed user code can get it with lws_get_ctx(wsi)

Signed-off-by: Andy Green <andy.green@linaro.org>

windows fix wsapoll conflict on some toolchains

After EmptyVoid at github

https://github.com/warmcat/libwebsockets/issues/374

Signed-off-by: Andy Green <andy.green@linaro.org>

public api remove superfluous context params API BREAK

Extend the cleanout caused by wsi having a context pointer
into the public api.

There's no point keeping the 1.5 compatibility work,
we have changed the api in several places and
rebuilt wasn't going to be enough a while ago.

Signed-off-by: Andy Green <andy.green@linaro.org>

add LWS_INLINE to deal with crappy msvc

Signed-off-by: Andy Green <andy.green@linaro.org>

http uri arguments process in fragments

This makes the URI argument processing split each parameter into
a "fragment".  Processing header content as fragments already exists
in lws, because it's legal to deliver header content by repeating
the header.

Now there's an api to access individual fragments, also add the
code to the test server to print each URI argument separately.

Adapt attack.sh to parse the fragments.

Signed-off-by: Andy Green <andy.green@linaro.org>

URIPS_ARGUMENTS is redundant

Signed-off-by: Andy Green <andy.green@linaro.org>

document how the header fragments work

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce lws_hdr_copy_fragment

This adds a public API variant of the header copy api that lets you
choose which fragment you want copied.

Normally you want the existing one that aggregates the fragments.

But it can be useful to get each part in turn (that corresponds to
the content provided by each duplicated header normally).

Signed-off-by: Andy Green <andy.green@linaro.org>

refactor needless context with wsi paramater passing

Now we bit the bullet and gave each wsi an lws_context *, many
internal apis that take both a context and wsi parameter only
need the wsi.

Also simplify parser code by making a temp var for
allocated_headers * instead of the longwinded
dereference chain everywhere.

Signed-off-by: Andy Green <andy.green@linaro.org>

Subject: [PATCH] Add LWS_LIBRARY_VERSION_NUMBER to lws_config.h.

This changeset adds a few preprocessor macros to lws_config.h to allow
a user of libwebsockets to determine at compile time which version of
lws they are compiling against.

This exposes the already existing LWS_LIBRARY_VERSION_MAJOR and _MINOR
values, and adds LWS_LIBRARY_VERSION_PATCH. This suggests that future
minor bugfix release versions of lws would be e.g. 1.6.0 -> 1.6.1 rather
than the style used previously: 1.2 -> 1.21.

The way this is currently set up means new minor revisions (with
_PATCH==0) always end with .0 but I could change this if preferred.

The most important addition is LWS_LIBRARY_VERSION_NUMBER, which
produces a number of the form 1005001 for version 1.5.1 - i.e. each part
major, minor, patch can extend from 0-999. This macro allows a very easy
compile time comparison of version numbers.

Fix corruption of close reason code in close frame

According to specification, close reason code is part of body

mbed3 use new upstream mbed3 nagle disable

Signed-off-by: Andy Green <andy.green@linaro.org>

uriencoding deal with0uriencoded question mark properly

Signed-off-by: Andy Green <andy.green@linaro.org>

win align to recent changes

These were warnings seen on Appveyor

Signed-off-by: Andy Green <andy.green@linaro.org>

mbed3 align to recent changes

Signed-off-by: Andy Green <andy.green@linaro.org>

Refactoring conditional directives for if wrappers

whitespace trailing mass cleanout

Signed-off-by: Andy Green <andy.green@linaro.org>

libev take care about const context where possible

Signed-off-by: Andy Green <andy.green@linaro.org>

changelog update file api about wsi

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce lws_wsi_user

Signed-off-by: Andy Green <andy.green@linaro.org>

changelog explain protocols related api changes

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_plat_fd add wsi to fops and helpers

Having the lws_context alone doesn't let us track state or act different
by wsi, which is the most interesting usecase.  Eg not only simply track
file position / decompression state per wsi but also act differently
according to wsi authentication state / associated cookies.

Signed-off-by: Andy Green <andy.green@linaro.org>

make protocols const require explicit context API BREAK

The user protocols struct has not been const until now.

This has been painful for a while because the semantics of the protocols
struct look like it's going to be treated as const.

At context creation, the protocols struct has been getting marked with the context,
and three apis exploited that to only need to be passed a pointer to a protocol to
get access to the context.

This patch removes the two writeable members in the context (these were never directly
used by user code), changes all pointers to protocols to be const, and adds an explicit
first argument to the three affected apis so they can have access to context.

The three affected apis are these

 LWS_VISIBLE LWS_EXTERN int
-lws_callback_on_writable_all_protocol(const struct lws_protocols *protocol);
+lws_callback_on_writable_all_protocol(const struct lws_context *context,
+                                     const struct lws_protocols *protocol);

 LWS_VISIBLE LWS_EXTERN int
-lws_callback_all_protocol(const struct lws_protocols *protocol, int reason);
+lws_callback_all_protocol(struct lws_context *context,
+                         const struct lws_protocols *protocol, int reason);

 LWS_VISIBLE LWS_EXTERN void
-lws_rx_flow_allow_all_protocol(const struct lws_protocols *protocol);
+lws_rx_flow_allow_all_protocol(const struct lws_context *context,
+                              const struct lws_protocols *protocol);

unfortunately the original apis can no longer be emulated and users of them must update.

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_get_ctx conversion

Signed-off-by: Andy Green <andy.green@linaro.org>

win open flags 3 lsb are not bitfields

https://github.com/warmcat/libwebsockets/issues/367

Signed-off-by: Andy Green <andy.green@linaro.org>

Revert using AI_V4MAPPED flag to getaddrinfo for Android

Because getaddrinfo will return error on Android when
AI_V4MAPPED is specified. So we should use old implemntation.
Android support of IPv6 is very poor.

windows fcntl.h

Signed-off-by: Andy Green <andy.green@linaro.org>

LWS_O_RDONLY to hide perversions

Signed-off-by: Andy Green <andy.green@linaro.org>

osx fix unsigned signed compare error 2

Signed-off-by: Andy Green <andy.green@linaro.org>

windows use right perversion flgs

Signed-off-by: Andy Green <andy.green@linaro.org>

osx fix unsigned signed compare error

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_plat_fd implement platform default handlers

This is a rewrite of the patch from Soapyman here

https://github.com/warmcat/libwebsockets/pull/363

The main changes compared to Soapyman's original patch are

 - There's no new stuff in the info struct user code does any overrides
   it may want to do explicitly after lws_context_create returns

 - User overrides for file ops can call through (subclass) to the original
   platform implementation using lws_get_fops_plat()

 - A typedef is provided for plat-specific fd type

 - Public helpers are provided to allow user code to be platform-independent
   about file access, using the lws platform file operations underneath:

static inline lws_filefd_type
lws_plat_file_open(struct lws_plat_file_ops *fops, const char *filename,
   unsigned long *filelen, int flags)

static inline int
lws_plat_file_close(struct lws_plat_file_ops *fops, lws_filefd_type fd)

static inline unsigned long
lws_plat_file_seek_cur(struct lws_plat_file_ops *fops, lws_filefd_type fd,
       long offset_from_cur_pos)

static inline int
lws_plat_file_read(struct lws_plat_file_ops *fops, lws_filefd_type fd,
   unsigned long *amount, unsigned char *buf, unsigned long len)

static inline int
lws_plat_file_write(struct lws_plat_file_ops *fops, lws_filefd_type fd,
    unsigned long *amount, unsigned char *buf, unsigned long len)

There's example documentation and implementation in the test server.

Signed-off-by: Andy Green <andy.green@linaro.org>

lws_plat_fd introduce struct

Originally from

https://github.com/warmcat/libwebsockets/pull/363

Modified by AG to change the emphasis to exporting lws plat
handlers for use by the user code portably

test client remove spamming delays

Chrome seems to be able to deal with this (or my machine is now
muscular enough it doesn't care, anyway)

Signed-off-by: Andy Green <andy.green@linaro.org>

clean comment style in libwebsockets.h

Signed-off-by: Andy Green <andy.green@linaro.org>

armour libwebsockets.h also put notices on abi structs in there

Signed-off-by: Andy Green <andy.green@linaro.org>

plat combine inits into single lws_plat_init and provide info

Signed-off-by: Andy Green <andy.green@linaro.org>

Subject: [PATCH] fixed not to use IPv4-mapped address for IPv6 only node

Since IPv6 only node can not connect with IPv4-mapped address.