test-client: fix broken protocol names

ipv6-allow-binding-to-ipv6-address-in-iface

ipv4 and ipv6 binding to a named interface works OK.  ipv4 binding to an IP also
works, but we need some extra ipv6 magic to identify the ipv6 interface from an
ipv6 address.

This patch based on code from "user3546716" at
http://stackoverflow.com/questions/13504934/binding-sockets-to-ipv6-addresses

adds the necessary magic.

https://github.com/warmcat/libwebsockets/issues/717

client: if NULL protocol vhost same linked list entry

Lws maintains a linked-list of wsi that are on the same vhost protocol...
it walks it to perform ..._all_protocol() type apis.

Client connections also participate in this list, but in the case the
selected protocol is not given during negotation (a legal case where
the server default protocol is selected) we missed adding the new
ws negotiated client wsi to the list.

This patch makes sure we add the wsi to the vhost protocols[0] list
in that case.

https://github.com/warmcat/libwebsockets/issues/716

client: avoid possible NULL deref on error path

https://github.com/warmcat/libwebsockets/issues/672

RFC7233 HTTP Ranges support for server

This adds a serverside implementation of RFC7233 HTTP ranges.

 - LWS_WITH_RANGES is on by default at cmake

 - Accept-Ranges: bytes is added if LWS_WITH_RANGES is enabled

 - Both single ranges and multipart (2+) ranges are supported

Test with curl like this

Single

$ $ curl -s -r 64-95  http://localhost:7681/libwebsockets.org-logo.png  | hexdump -C
00000000  2e 01 fd 9d 12 27 00 00  00 19 74 45 58 74 53 6f  |.....'....tEXtSo|
00000010  66 74 77 61 72 65 00 77  77 77 2e 69 6e 6b 73 63  |ftware.www.inksc|

Multipart

$ curl -s -r 64-95,128-143  http://localhost:7681/libwebsockets.org-logo.png  | hexdump -C

00000000  5f 6c 77 73 0d 0a 43 6f  6e 74 65 6e 74 2d 54 79  |_lws..Content-Ty|
00000010  70 65 3a 20 69 6d 61 67  65 2f 70 6e 67 0d 0a 43  |pe: image/png..C|
00000020  6f 6e 74 65 6e 74 2d 52  61 6e 67 65 3a 20 62 79  |ontent-Range: by|
00000030  74 65 73 20 36 34 2d 39  35 2f 37 30 32 39 0d 0a  |tes 64-95/7029..|
00000040  0d 0a 2e 01 fd 9d 12 27  00 00 00 19 74 45 58 74  |.......'....tEXt|
00000050  53 6f 66 74 77 61 72 65  00 77 77 77 2e 69 6e 6b  |Software.www.ink|
00000060  73 63 5f 6c 77 73 0d 0a  43 6f 6e 74 65 6e 74 2d  |sc_lws..Content-|
00000070  54 79 70 65 3a 20 69 6d  61 67 65 2f 70 6e 67 0d  |Type: image/png.|
00000080  0a 43 6f 6e 74 65 6e 74  2d 52 61 6e 67 65 3a 20  |.Content-Range: |
00000090  62 79 74 65 73 20 31 32  38 2d 31 34 33 2f 37 30  |bytes 128-143/70|
000000a0  32 39 0d 0a 0d 0a 05 14  50 40 05 15 a5 c4 60 43  |29......P@....`C|
000000b0  91 c4 4a d4 c4 fc 5f 6c  77 73 0d 00              |..J..._lws..|

The corresponding header part is like this

0x0030:            4854 5450 2f31 2e31 2032 3036      HTTP/1.1.206
0x0040:  200d 0a73 6572 7665 723a 206c 7773 7773  ...server:.lwsws
0x0050:  0d0a 636f 6e74 656e 742d 7479 7065 3a20  ..content-type:.
0x0060:  6d75 6c74 6970 6172 742f 6279 7465 7261  multipart/bytera
0x0070:  6e67 6573 0d0a 6163 6365 7074 2d72 616e  nges..accept-ran
0x0080:  6765 733a 2062 7974 6573 0d0a 636f 6e74  ges:.bytes..cont
0x0090:  656e 742d 6c65 6e67 7468 3a20 3138 380d  ent-length:.188.
0x00a0:  0a63 6163 6865 2d63 6f6e 7472 6f6c 3a20  .cache-control:.
0x00b0:  7072 6976 6174 6520 6d61 782d 6167 653a  private.max-age:
0x00c0:  2036 300d 0a63 6f6e 6e65 6374 696f 6e3a  .60..connection:
0x00d0:  206b 6565 702d 616c 6976 650d 0a65 7461  .keep-alive..eta
0x00e0:  673a 2030 3030 3031 4237 3535 3444 3433  g:.00001B7554D43
0x00f0:  3033 330d 0a0d 0a                        033....

clean: usused accidental global wsi

https://github.com/warmcat/libwebsockets/issues/708

lwsgt: fix check against forgot password flow defeating existing pw check

https://github.com/warmcat/libwebsockets/issues/706

This fixes a problem where the check for the existing pw was
skipped when a logged-in user is changing his password.

It's not good but because the user has to be logged in, it only affected
the situation someone changes his password on his logged in session.

token:x-forwarded-for

https://github.com/warmcat/libwebsockets/issues/702

context: external_baggage_free_on_destroy

This adds a context creation-time member that points to something
that should be freed when the context is destroyed.

It's in preparation for context deprecation, when a context might
be destroyed asynchronously... a related external with the
lifetime of thee context should also be freed at that time.

Adapt lwsws to use it with the context "strings" (also used for
aligned structs created by the config) allocation.

basic-auth

just finalize startup once

vhost: allow adding vhosts after server init

This should allow adding vhosts "late", ie, after the server is up and
running with its initial vhost(s).  The necessary housekeeping is folded
into lws_create_vhost() itself so it should be transparent.

Notice though that at the point the server starts to do service after it
starts initially, if it was requested that the UID / GID change, that
is performed at that point and is not reversible.

So vhosts added "late" find themselves running under the unprivileged
UID / GID from the very start, whereas vhosts added "early" initially
run under the UID / GID the process started with.  If protocols the
vhost uses want to, eg, open privileged files at init and then use
them unprivileged, that will fail if the vhost is added late because
the initial privs are already gone.

AG: also deal with lws_protocol_init() on late vhost init (does the
callbacks for per vh protocol creation), add comments

Update CMakeLists.txt for BSD + libdl

Fixing build failure of libwebsockets-test-fraggle  on FreeBSD when LWS_WITH_PLUGINS.
Solution: FreeBSD has no libdl

generic-sessions: move auth level check to after mount protocol selection

ws-server: restrict returned Sec-Websocket-Protocol to the chosen name only

https://libwebsockets.org/pipermail/libwebsockets/2016-November/002948.html

Updated to fix a problem with no protocol

https://github.com/warmcat/libwebsockets/issues/705

server: portable option for setsockopt

From linux ipv6(7) manual (section `Note`):

        SOL_IP, SOL_IPV6, SOL_ICMPV6 and other SOL_* socket options are
        nonportable variants of IPPROTO_*.  See also ip(7).

Ref: http://man7.org/linux/man-pages/man7/ipv6.7.html

client stash: update path variable to larger size

lws_socket_bind: use lws_sockfd_type

client: protect againt losing ah by lws_client_connect_2

post file upload: dont lose sight of end of upload just because we hit end of incoming post data

docs update

Added flag to allow expired certificates.

Better support for MINW32

From 7f84bc3e864b52eb13c670362a4b53bc3505393e Mon Sep 17 00:00:00 2001
Subject: [PATCH] Fix typo in lws_create_context documentation

client: add lws_http_client_http_response api

client: treat 304 like 200

alias lws_plat_service_tsi to lws_service_tsi in public api

Via Dosvald

lws_service_tsi() which has been around a while actually just
calls through to lws_plat_service_tsi(), meaning there is no
need to expose both apis.

Rename the internal lws_plat_service_tsi() to _lws_plat_service_tsi()
and replace the api export with a #define to lws_service_tsi for
compatibility's sake.

Add reject service keywords list

adjust_timeout: with default lws_plat_service_tsi allow beings passed 0 timeout

Some people are calling service with zero timeout, taking care of
not busywaiting by some other external arrangements.

Adapt the forced service signalling to survive this.

some compilers need void param explicitly

Correct the library name of LIBHUBBUB_LIBRARIES

It should be `hubbub` in `find_library` to make the function work.

docs: explain lws_write handling of truncated sends better

publicly document lws_service_fd timeout servicing

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

test-server-extpoll: add 1-per-second timeout servicing

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

test-server-extpoll: check for forced service before looping again

Signed-off-by: Denis Osvald <denis.osvald@sartura.hr>

v2.1.0

Bump soname to 9

extpoll: expose forced service apis

update attack.sh

Lws cares about trailing \n on a lot of these tests now.  Make it check it still cares on one and remove
the trailing \n on the others.

There's 2 changes in the results about /..//?, it seems to apply / to uri arg 1.  But it doesn't seem
to make a problem so just adapt the results for now.

ubuntu: fix uv detection for lwsws

travis: explicitly point to openssl on osx

One day this started failing at CMake autofind. This forces it to look at the right place.

fix cosmetic if end if name tag error

closing drops any pending ah rx immediately

port forced service checking from libuv

Related to second part of

https://github.com/warmcat/libwebsockets/issues/638

post form parsing fix retry as new boundary start needed after mismatching boundary

https://github.com/warmcat/libwebsockets/issues/641

Remove the cleanup functions with OpenSSL 1.1.

The thread support in OpenSSL has been rewritten almost completely
and the cleanup functions are now executed automatically.

Subject: Fix some typographical and grammatical errors.

lws_header_table_reset: make caller responsibility to clear down ah rx buffer

There are two kinds of reaason to call lws_header_table_reset(), one is we are reallocating
a destroyed ah to another wsi, and the other is we are moving to the next pipelined header set
still on the same wsi, and we need a "weaker" reset that only clears down the state related
to the header parsing, not everything about the ah context including the ah rx buffer.

This patch moves the ah rxbuffer rxpos and rxlen resetting out of lws_header_table_reset() and to
be the responsibility of the caller.  Callers who are moving the ah to another wsi are
patched to deal with resetting rxpos and rxlen and lws_http_transaction_completed() who only
resets the ah when moving to the next pipelined headers, no longer wrongly clears the ah rxbuf.

https://github.com/warmcat/libwebsockets/issues/638

Added option to build the static library with PIC

fix build problem on systems without X509_VERIFY_PARAM type

Add SVG to lws_get_mimetype()

lwsws license to cc0

https://github.com/warmcat/libwebsockets/issues/629

lws_snprintf

Thanks to Fabrice Gilot for reporting the problem that led to uncovering this.

Due to a misunderstanding of the return value of snprintf (it is not truncated according
to the max size passed in) in several places relying on snprintf to truncate the length
overflows are possible.

This patch wraps snprintf with a new lws_snprintf() which does truncate its length to allow
the buffer limiting scheme to work properly.

All users should update with these fixes.

handle rx flow control active when consuming payload

https://github.com/warmcat/libwebsockets/issues/622

generic-table: format-security

https://github.com/warmcat/libwebsockets/issues/624

lws_status protect against pss list changing

adopt_socket_vhost: error path doesn't remove us from timeout list

As found by "github user 7"

https://github.com/warmcat/libwebsockets/issues/621

Do not use ps fax on Solaris.

Updated test programs to build on Solaris. Some whitespaces cleanup.

Added build support for Solaris.

Check for sys/sockio.h.

client http: extra read notification after close

https://github.com/warmcat/libwebsockets/issues/620

windows: WCHAR in lws_plat_inet_ntop needs double the final allocation

https://github.com/warmcat/libwebsockets/issues/619

coverity 169276-9 - false positive assuming 8b char: char limits index size

coverity 169274 - lwsgt dirlisting ignore files that cant be statted

coverity 169273 - off-by-one on cgi chunking swallow limit

coverity 169272 - off-by-one possible on CGI buffer limit

coverity 169271 - take care about sockfd of -1 on close

coverity 169269 - dont issue NULL cce

coverity 169268 + 169270- dead code plus repeat NULL check on error path

coverity 169275 - lwsgt check string bounds

coverity 169267 - lwsgt strncpy may fill buffer without NUL

per-vhost headers and lwsws conf support

This l;ets you add per-vhost arbitrary headers on served files, eg

     "headers": [{
        "X-Content-Type-Options": "nosniff",
        "X-XSS-Protection": "1; mode=block",
        "x-frame-options": "SAMEORIGIN"
        }],

Update badges in README.md

Fix the link to Appveyor and use SVG images.

Remove unneeded #include <stdint.h>

This fixes the build for Visual Studio 2008.

test html: js date uses ms

cgi-retain-timeout-after-POST-send

Sending the POST data isn't enough to let us off the hook for timeout checks, if we
are doing a CGI on it.

quench logging

cgi: deal with all methods correctly

uv: dont handle SIGSEGV, SIGFPE

https://github.com/warmcat/libwebsockets/issues/609

Remove context from lws_context_per_thread for non-libuv builds

The variable is never read when built without libuv.

Add error handling for SSL_new() of clients

Do not access wsi->ssl if SSL_new() failed and log the error.

Fix signature of lws_create_vhost() in README.coding.md

Allow serving files without known mimetype

RFC2616 only says that any HTTP/1.1 message containing an entity-body
SHOULD include a Content-Type header field defining the media type of
that body.
RFC2119 defines SHOULD as: This word mean that there may exist valid
reasons in particular circumstances to ignore a particular item, but
the full implications must be understood and carefully weighed before
choosing a different course.

AG: this isn't an oversight, it's paranoia about sending out /etc/passwd
or /etc/shadow accidentally.

I agree it should be allowed if people really want to override it.  But
the default should remain like it is I think.

I adapted the patch to allow the extra mimetype "*": "" to be declared on
a mount, as a wildcard match that serves the file without a Content-Type.

server max protocol element 64

https://github.com/warmcat/libwebsockets/issues/601

client-add-PUSH-http-body-capability

Support HTTP body sending on client connections.

Add demo to test-client.

Run the normal test server, then

$ libwebsockets-test-client http://localhost:7681/formtest -o

It will post the string "hello" to the POST test using application/x-www-form-urlencoded

https://github.com/warmcat/libwebsockets/issues/598

Also ensures any of the Client HTTP transient modes will call back LWS_CALLBACK_CLOSED_CLIENT_HTTP
if they close

https://github.com/warmcat/libwebsockets/issues/600

client fixups after esp8266

esp8266 initial support

base64 decode fix lengths

ah detach: don't print held time if actually detached

Confusingly an ah held time was printed for a previously detached ah.

Clear down the time field when detaching the ah so this can't happen any more.

ws ping pong on idle connections

This adds a new member to the context creation info struct "ws_ping_pong_interval".

If nonzero, it sets the number of seconds that established ws connections are
allowed to be idle before a PING is forced to be sent.  If zero (the default) then
tracking of idle connection is disabled for backwards compatibility.

Timeouts cover both the period between decision to send the ping and it being
sent (because it needs the socket to become writeable), and the period between
the ping being sent and the PONG coming back.

INFO debug logs are issues when the timeout stuff is operating.

You can test the server side by running the test server hacked to set ws_ping_pong_interval
and debug log mask of 15.  Both the mirror protocol and the server-status protocol are
idle if nothing is happening and will trigger the PING / PONG testing.  (You can also
test using lwsws and /etc/lwsws/conf with "ws-pingpong-secs": "20" in the global section)

For client, run the test client with -n -P 20 for 20s interval.  -n stops the test client
writing using the mirror protocol, so it will be idle and trigger the PING / PONGs.

The timeout interval may be up to +10s late, as lws checks for affected connections every
10s.

Plugin server-status cleanup

plugins-dim-webpage-when-connection-lost

plugin table dirlisting

doxygen use sections

Recheck slot when an FD gets closed and make formatting consistent

Use one event for all sockets to avoid 64 limit and fix the single dispatch issue

SNI-vhost-matching-fallback-to-wildcard

ah change default header len to 4096 and pool size 4

Users are starting to appear with clients sending more than the default max header
content buffer of 1024... with the advent of the ah pool the old reasons for keeping this
modest no longer apply, so up it to 4096 and reduce the default pool size to 4 from 16 to
keep the overall memory usage the same.

EXTPOLL export LWS_POLLXXX and document .events must be .revents

client ssl add flag to control server cert hostname check