per-vhost headers and lwsws conf support

This l;ets you add per-vhost arbitrary headers on served files, eg

     "headers": [{
        "X-Content-Type-Options": "nosniff",
        "X-XSS-Protection": "1; mode=block",
        "x-frame-options": "SAMEORIGIN"
        }],

Update badges in README.md

Fix the link to Appveyor and use SVG images.

Remove unneeded #include <stdint.h>

This fixes the build for Visual Studio 2008.

test html: js date uses ms

cgi-retain-timeout-after-POST-send

Sending the POST data isn't enough to let us off the hook for timeout checks, if we
are doing a CGI on it.

quench logging

cgi: deal with all methods correctly

uv: dont handle SIGSEGV, SIGFPE

https://github.com/warmcat/libwebsockets/issues/609

Remove context from lws_context_per_thread for non-libuv builds

The variable is never read when built without libuv.

Add error handling for SSL_new() of clients

Do not access wsi->ssl if SSL_new() failed and log the error.

Fix signature of lws_create_vhost() in README.coding.md

Allow serving files without known mimetype

RFC2616 only says that any HTTP/1.1 message containing an entity-body
SHOULD include a Content-Type header field defining the media type of
that body.
RFC2119 defines SHOULD as: This word mean that there may exist valid
reasons in particular circumstances to ignore a particular item, but
the full implications must be understood and carefully weighed before
choosing a different course.

AG: this isn't an oversight, it's paranoia about sending out /etc/passwd
or /etc/shadow accidentally.

I agree it should be allowed if people really want to override it.  But
the default should remain like it is I think.

I adapted the patch to allow the extra mimetype "*": "" to be declared on
a mount, as a wildcard match that serves the file without a Content-Type.

server max protocol element 64

https://github.com/warmcat/libwebsockets/issues/601

client-add-PUSH-http-body-capability

Support HTTP body sending on client connections.

Add demo to test-client.

Run the normal test server, then

$ libwebsockets-test-client http://localhost:7681/formtest -o

It will post the string "hello" to the POST test using application/x-www-form-urlencoded

https://github.com/warmcat/libwebsockets/issues/598

Also ensures any of the Client HTTP transient modes will call back LWS_CALLBACK_CLOSED_CLIENT_HTTP
if they close

https://github.com/warmcat/libwebsockets/issues/600

client fixups after esp8266

esp8266 initial support

base64 decode fix lengths

ah detach: don't print held time if actually detached

Confusingly an ah held time was printed for a previously detached ah.

Clear down the time field when detaching the ah so this can't happen any more.

ws ping pong on idle connections

This adds a new member to the context creation info struct "ws_ping_pong_interval".

If nonzero, it sets the number of seconds that established ws connections are
allowed to be idle before a PING is forced to be sent.  If zero (the default) then
tracking of idle connection is disabled for backwards compatibility.

Timeouts cover both the period between decision to send the ping and it being
sent (because it needs the socket to become writeable), and the period between
the ping being sent and the PONG coming back.

INFO debug logs are issues when the timeout stuff is operating.

You can test the server side by running the test server hacked to set ws_ping_pong_interval
and debug log mask of 15.  Both the mirror protocol and the server-status protocol are
idle if nothing is happening and will trigger the PING / PONG testing.  (You can also
test using lwsws and /etc/lwsws/conf with "ws-pingpong-secs": "20" in the global section)

For client, run the test client with -n -P 20 for 20s interval.  -n stops the test client
writing using the mirror protocol, so it will be idle and trigger the PING / PONGs.

The timeout interval may be up to +10s late, as lws checks for affected connections every
10s.

Plugin server-status cleanup

plugins-dim-webpage-when-connection-lost

plugin table dirlisting

doxygen use sections

Recheck slot when an FD gets closed and make formatting consistent

Use one event for all sockets to avoid 64 limit and fix the single dispatch issue

SNI-vhost-matching-fallback-to-wildcard

ah change default header len to 4096 and pool size 4

Users are starting to appear with clients sending more than the default max header
content buffer of 1024... with the advent of the ah pool the old reasons for keeping this
modest no longer apply, so up it to 4096 and reduce the default pool size to 4 from 16 to
keep the overall memory usage the same.

EXTPOLL export LWS_POLLXXX and document .events must be .revents

client ssl add flag to control server cert hostname check

defer ESTABLISHED until after mode is WS_SERVING

lejp-conf: substitute _lws_ddir_ with install dir

lejp_conf: pmo as alias for cgi-env

Since cgi-env only applies for cgi types, we can
re-use it for generic per-mount options (pmo)

win32-clean-and-use-do-while

lws_get_mimetype

peer closes during partial buffered just hang up

https://github.com/warmcat/libwebsockets/issues/573

CLIENT_CONNECTION_ERROR add strings

This clears up a couple of issues with client connect.

 - if CLIENT_CONNECTION_ERROR is coming, which of the many
   ways the rejection may have happened is documented in the
   in argument.  It's still possible if it just got hung up on
   in will be NULL, but now it has MANY more canned strings
   describing the issue available at the callback

"getaddrinfo (ipv6) failed"
"unknown address family"
"getaddrinfo (ipv4) failed"
"set socket opts failed"
"insert wsi failed"
"lws_ssl_client_connect1 failed"
"lws_ssl_client_connect2 failed"
"Peer hung up"
"read failed"
"HS: URI missing"
"HS: Redirect code but no Location"
"HS: URI did not parse"
"HS: Redirect failed"
"HS: Server did not return 200"
"HS: OOM"
"HS: disallowed by client filter"
"HS: disallowed at ESTABLISHED"
"HS: ACCEPT missing"
"HS: ws upgrade response not 101"
"HS: UPGRADE missing"
"HS: Upgrade to something other than websocket"
"HS: CONNECTION missing"
"HS: UPGRADE malformed"
"HS: PROTOCOL malformed"
"HS: Cannot match protocol"
"HS: EXT: list too big"
"HS: EXT: failed setting defaults"
"HS: EXT: failed parsing defaults"
"HS: EXT: failed parsing options"
"HS: EXT: Rejects server options"
"HS: EXT: unknown ext"
"HS: Accept hash wrong"
"HS: Rejected by filter cb"
"HS: OOM"
"HS: SO_SNDBUF failed"
"HS: Rejected at CLIENT_ESTABLISHED"

 - until now the user code did not get the new wsi that was created
    in the client connection action until it returned.  However the
    client connection action may provoke callbacks like
    CLIENT_CONNECTION_ERROR before then, if multiple client connections
    are initiated it makes it unknown to user code which one the callback
    applies to.  The wsi is provided in the callback but it has not yet
    returned from the client connect api to give that wsi to the user code.

    To solve that there is a new member added to client connect info struct,
    pwsi, which lets you pass a pointer to a struct wsi * in the user code
    that will get filled in with the new wsi.  That happens before any
    callbacks could be provoked, and it is updated to NULL if the connect
    action fails before returning from the client connect api.

remove polarssl mbedtls support

Just remove it from cmake

reduce log spew and document test-server variants

fix __x86_64__ check

https://github.com/warmcat/libwebsockets/issues/574

test-libev add server-status protocol

client confirm server hostname in cert

Openssl v1.0.2 and above have support for checking the hostname
the client side connected to against the hostname on the cert the
server presented.

This enables that feature if the necessary API is available in the
openssl version, meaning the connection will fail at ssl negotiation if the
cert isn't for the requested server

It's very easy to test, add a fake entry to /etc/hosts for the server IP with
a different name, using that will fail at ssl but using the correct dns name
matching the certificate will work.

windows detect client connection error

dlfcn h only if plugins

Signed-off-by: None <andy@warmcat.com>

documentation convert to doxygen

Signed-off-by: Andy Green <andy@warmcat.com>

protocol-lws-messageboard

This is a simple messageboard built on top of lwsgs

Signed-off-by: Andy Green <andy@warmcat.com>

lws_bind_protocol

When using http/1.1+ keepalive and mounts, the relationship between
a connection and a protocol becomes dynamic.  The same connection might
visit different bits of the url space served by different mounts using
different protocols.

This patch ensures protocols can cleanly manage their per-connection
allocations by using the following callbacks when the protocol changes

 LWS_CALLBACK_HTTP_BIND_PROTOCOL
 LWS_CALLBACK_HTTP_DROP_PROTOCOL

For example if the pss wants to malloc stuff at runtime, it should do it
in LWS_CALLBACK_HTTP_BIND_PROTOCOL or later, and clean it up in
...DROP_PROTOCOL.

Signed-off-by: Andy Green <andy@warmcat.com>

protocol generic sessions

Signed-off-by: Andy Green <andy@warmcat.com>

lws_json_escape

Signed-off-by: Andy Green <andy@warmcat.com>

lejp conf report human readable errors

Signed-off-by: Andy Green <andy@warmcat.com>

lws_now_secs

Signed-off-by: Andy Green <andy@warmcat.com>

Modified the 64 connections "backup" so that there is no wait if any event
is already ready.

Added a back-up in case of more than 64 connections.

lws_callback_vhost_protocols

This gives protocols a way to talk to each other via per-vhost callbacks,
one per protocol (including the sender).

Signed-off-by: Andy Green <andy@warmcat.com>

lws_process_html_args

Signed-off-by: Andy Green <andy@warmcat.com>

introduce urlencode decode and sql escape public apis

This adds

 - simple lws_urlencode()
 - simple lws_urldecode()
 - simple lws_sql_purify

Those expect the data to all be there and process it up until
the first '\0'.

There is also a larger opaque apis for handling POST_BODY urldecode.  To
enable these, you need to give cmake -DLWS_WITH_STATEFUL_URLDECODE=1 (or
arrange any larger feature that relies on it sets that in CMakeLists.txt)

 - stateful urldecode with parameter array

These have create / process / destroy semantics on a struct that maintains
decode state.

Stateful urldecode is capable of dealing with large POST data in multiple
POST_BODY callbacks cleanly, eg, file transfer by POST.

Stateful urldecode with parameter array wraps the above with a canned
callback that stores the urldecoded data and indexes them in a pointer
array matching an array of parameter names.

You may also pass it an optional callback when creating it, that will recieve
uploaded file content.

The test html is updated to support both urlencoded and multipart forms,
with some javascript to do clientside validation of an arbitrary 100KB
file size limit (there is no file size limit in the apis).

Signed-off-by: Andy Green <andy@warmcat.com>

fix for https connection code

openssl allow set clear of ssl options from info

non-openssl: only check for openssl ecdh in openssl builds

See also
https://github.com/warmcat/libwebsockets/issues/559

Signed-off-by: Karl Palsson <karlp@etactica.com>

client CONNECTION_ERROR also allow in LWSS_CLIENT_UNCONNECTED

Signed-off-by: Andy Green <andy@warmcat.com>

lws_write escalate pending truncated to make the

Signed-off-by: Andy Green <andy@warmcat.com>

smtp

Signed-off-by: Andy Green <andy@warmcat.com>

Android: update to use SDK Python script

The latest Android SDK updates deprecate the shell script
 used to create a standalone toolchain. This patch updates the Makefile for
 the Android test-client to use the new Python script to create the standalone
 toolchains.

ARRAY_SIZE dont redefine

Signed-off-by: Andy Green <andy@warmcat.com>

avoid illegal sockfd on timeout

Signed-off-by: Andy Green <andy@warmcat.com>

ipv6only add lejp conf and flag docs

Signed-off-by: Andy Green <andy@warmcat.com>

ipv6 don't ignore info.iface

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

allow modifying ipv4 mapping option (IPV6_V6ONLY)

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

vhost creation print ipv6

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

fixup! ipv6 move disable to vhost option

client ipv6 check vhost not context

fixup! ipv6 move disable to vhost option

fix missing backslash in multiline macro

ipv6 move disable to vhost option

Server ipv6 support disable is now controlled by vhost->options rather
than context->options, allowing it to be set per-vhost.

Signed-off-by: Andy Green <andy@warmcat.com>

lws_get_urlarg_by_name

Adds a convenient way to directly get the value of a URL
argument like ...?x=y&v=1, regardless of position in the
parameter list.

Signed-off-by: Andy Green <andy@warmcat.com>

add max_http_header_data2 and upgrade internal offsets from short to int

https://github.com/warmcat/libwebsockets/issues/550

Signed-off-by: Andy Green <andy@warmcat.com>

Revert changes in daemonize.c from commit 22d6f39e7fb270d0c011bae820d2f8adc8b19061

update document for lws_get_context

lwsl_timestamp month off by one

Adroid test-server client

lwsws conf.c migrate to lib

Signed-off-by: Andy Green <andy@warmcat.com>

plugins add win modifiers before libwebsockets.h for dll export flag

Signed-off-by: Andy Green <andy@warmcat.com>

windows adapt plugin name format vs functions

Signed-off-by: Andy Green <andy@warmcat.com>

windows call plugins init on win32 plat

Signed-off-by: Andy Green <andy@warmcat.com>

lws_get_peer_simple move to user api

https://github.com/warmcat/libwebsockets/issues/537

Signed-off-by: Andy Green <andy@warmcat.com>

update discard pre 2016 date if post 2016 date seen

Otherwise lwsws started at boot on a system without an RTC
may feel it was started in 1970, and when the clock is set
by ntpd a little later, has been up for 16,000 days...

Signed-off-by: Andy Green <andy@warmcat.com>

lwsws fix settable conf dir and error paths

Signed-off-by: Andy Green <andy@warmcat.com>

clean correct file comment at top and remove pointless LWS_CALLBACK_HTTP

Signed-off-by: Andy Green <andy@warmcat.com>

lws_ssl_client_connect2 remove duplicate close on error path

https://github.com/warmcat/libwebsockets/issues/532

Signed-off-by: Andy Green <andy@warmcat.com>

replace LWS_MAX_SOCKET_IO_BUF with context creation info pt_serv_buf_size

This makes it easy for user code to choose the size of the per-thread
buffer used by various things in lws, including file transfer chunking.

Previously it was 4096, if you leave info.pt_serv_buf_size as zero that
is still the default.

With some caveats, you can increase transfer efficiency by increasing it
to, eg, 128KiB, if that makes sense for your memory situation.

Signed-off-by: Andy Green <andy@warmcat.com>

lwsws localhost example conf add testcgi

Signed-off-by: Andy Green <andy@warmcat.com>

lejp string chunk 255

Signed-off-by: Andy Green <andy@warmcat.com>

lejp check callback errors and use reject path

Signed-off-by: Andy Green <andy@warmcat.com>

deprecate misnamed lws_vhost_get add lws_get_vhost

All the other simple accessors begin lws_get_...

Signed-off-by: Andy Green <andy@warmcat.com>

deprecate duplicated lws_protocol_get

Use the identical lws_get_protocol()

Signed-off-by: Andy Green <andy@warmcat.com>

lwsws update example conf to be 7681 no ssl test server

It's going to be much easier to transition to lwsws
if the example config exactly matches what used to be
seen from the default test server.

# mkdir -p /etc/lwsws/conf.d /var/log/lwsws
# cp ./lwsws/etc-lwsws-conf-EXAMPLE /etc/lwsws/conf
# cp ./lwsws/etc-lwsws-conf.d-localhost-EXAMPLE /etc/lwsws/conf.d/test-server
# sudo lwsws

Signed-off-by: Andy Green <andy@warmcat.com>

output size trimming with default rxbuf fix

5e203f78e21ee3313d763d8ee6d499fa0163f51a accidentally
trashed the "zero rz_buffer_size means 4096" handling
for tx chunking.

Signed-off-by: Andy Green <andy@warmcat.com>

win fix warnings from appveyor

Signed-off-by: Andy Green <andy@warmcat.com>

appveyor libuv integration

Signed-off-by: Andy Green <andy@warmcat.com>

lwsws conf mount extra mimetypes

This patch adds the ability to provide extra mimtypes on a mount.

lwsws conf learns how to do them.

Signed-off-by: Andy Green <andy@warmcat.com>

lejp handle name elements starting with dot

Signed-off-by: Andy Green <andy@warmcat.com>

lwsws conf allow setting cipher list and ecdh curve

Signed-off-by: Andy Green <andy@warmcat.com>

win32 more build fixes

After alexgille

https://github.com/warmcat/libwebsockets/issues/526

Signed-off-by: Andy Green <andy@warmcat.com>