add locking callback for fds

This adds two new callbacks in protocols[0] that are optional for allowing limited thread
access to libwebsockets, LWS_CALLBACK_LOCK_POLL and LWS_CALLBACK_UNLOCK_POLL.

If you use them, they protect internal and external poll list changes, but if you want to use
external thread access to libwebsocket_callback_on_writable() you have to implement your
locking here even if you don't use external poll support.

If you will use another thread for this, take a lot of care about managing your list of
live wsi by doing it from ESTABLISHED and CLOSED callbacks (with your own locking).

Signed-off-by: Andy Green <andy.green@linaro.org>

Optionally allow non-SSL connections on same port as SSL

If enabled one listening socket will accept both SSL and plain HTTP connections.

Do not enable if you regard SSL handshake as some kind of security, eg, use
client-side certs to restrict access.

AG: changed flag names, added extra comments, changelog, add -a in test server

Signed-off-by: James Devine <fxmulder@gmail.com>
Signed-off-by: Andy Green <andy@warmcat.com>

windows use msvc baestd and ssize_t from there

Signed-off-by: James Chen <jianhua.chen@cocos2d-x.org>

distinguish error from truncation

Signed-off-by: Christian Wyss <christian.wyss@gfk.com>

ie10 lws url workaround

Signed-off-by: John Harrison <john@h-agtec.com>

NO_EXTENSIONS fixes

Trac #52

Signed-off-by: Andy Green <andy.green@linaro.org>

handle EAGAIN during send

This patch deploys the truncated send work to buffer output in case
either send() or the SSL send return a temporary "unable to send"
condition even though they signalled as writeable.

I added a by-default #if 0 test jig which enforces only half of what
you want to send is sendable, this is working when enabled.

One subtle change is that the pipe reports choked if there is any
pending remaining truncated send.  Otherwise it should be transparent.

Hopefully...

Signed-off-by: Andy Green <andy.green@linaro.org>

solve broken partial file sends

We can't force the wsi state to HTTP_BODY without considering the callback
may already have set the state to sending a file.

This fixes the bug that we can get stalled in the test app at
"choked before able to send whole file"

Signed-off-by: Andy Green <andy.green@linaro.org>

interpret zero rx buffer size as default in http

Reported by pystub

https://github.com/warmcat/libwebsockets/pull/33#issuecomment-29578258

Signed-off-by: Andy Green <andy.green@linaro.org>

protect the label with an ifdef

The only part that actually goes to this label is inside such an ifdef,
so building without extension support makes gcc bail out since an unused
label is considered an error in this project.

Subject: [PATCH] Fixed the logging of OpenSSL errors to report the correct
 details for the current OpenSSL error

Support for HTTP POST.
Rewritten by Andy Green to use chunks, add timeout, use extra states in handshake not parser.

Signed-off-by: Andy Green <andy@warmcat.com>

support for client authentication based on certs

case insensitive http headers

Svetlin wrote on github

According to RFC2616, all header field names in both HTTP requests and HTTP responses are case-insensitive. But libwebsockets uses a case-sensitive compare.

Reproduce:
Run libwebsockets against a server that sends all of its HTTP header field names in lower-case (for example: https://github.com/extend/cowboy). libwebsockets reports an error. The expected behavior is no errors reported and a successful handshake procedure.

This changes the parser reference table in minilex to all lower case.

The code to walk the parser tables then just forces a tolower on the incoming chars.

This (and minilex tables) only applies to header names.

Reported-by: svetlin-mladnov <?@github>
Signed-off-by: Andy Green <andy.green@linaro.org>

introduce uri args

If the URI coming from the client contains '?' then

 - the URI part is terminated with a '\0'

 - the remainder of the URI goes in a new header WSI_TOKEN_HTTP_URI_ARGS

 - the remainder of the URI is not subject to path sanitization measures (it
    still has %xx processing done on it)

In the test server, http requests now also dump header information to stderr.

The attack.sh script is simplified and can now parse the test server header dumps.

Signed-off-by: Andy Green <andy.green@linaro.org>

back up directory paths properly

Signed-off-by: Andy Green <andy.green@linaro.org>

real http status codes update attack.sh

Signed-off-by: Andy Green <andy.green@linaro.org>

uri santitation fixes deal with single dot update attack.sh

Signed-off-by: Andy Green <andy.green@linaro.org>

translate and protect uri test sever use uri path

This translates %xx in the GET uri and removes /.. and /... type sequences along with
translating // or /// etc to /.

Since the result is hopefully secure, it also changes the test server to actually use
the uri path pasted on a resource directory without whitelisting.

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce LWS_CALLBACK_FILTER_HTTP_CONNECTION

Signed-off-by: Andy Green <andy.green@linaro.org>

add cookie example to test server

Signed-off-by: Andy Green <andy.green@linaro.org>

allow other headers in http send file

Signed-off-by: Andy Green <andy.green@linaro.org>

make ah available in http callback properly

Signed-off-by: Andy Green <andy.green@linaro.org>

improve minilex use external parsing header

Clean up minilex
Move the header output to stdout
Introduce lexfile.h as the header output
Use lexfile.h in both minilex itself and lws
Add the following header support

       "Accept:",
       "If-Modified-Since:",
       "Accept-Encoding:",
       "Accept-Language:",
       "Pragma:",
       "Cache-Control:",
       "Authorization:",
       "Cookie:",
       "Content-Type:",
       "Date:",
       "Range:",
       "Referer:"

Signed-off-by: Andy Green <andy.green@linaro.org>

windows workaround unsigned fd in emulated poll

A common practise to temporarily disable a socket in a poll call is to negate the socket fd.  poll should then ignore the socket.
emulated_poll does this with the following code:
        if (poll_fd->fd < 0 || !poll_fd->events)
            goto skip1;

However on Windows the fd field in WSAPOLLFD is unsigned int!!!  So the check for a negative fd value always fails.
This results in select returning an error with an error code of 10038 -- Socket operation on nonsocket.
The fix is to type cast fd like so:
        if ((int)poll_fd->fd < 0 || !poll_fd->events)

This may be the cause of some high CPU load reports.  I noticed the load being 50% with my application running on Windows XP.

Signed-off-by: Graham Newton <gnewton@peavey-eu.com>

interface improve visibility fail if not found

Signed-off-by: Andy Green <andy.green@linaro.org>

Windows Fix usage in Windows XP targetting projects

This is important since this stuff is in publicly included headers
and even though the usage of the WSAPoll API is a runtime decision
the public headers may be used in code that needs to build with
_WIN32_WINNT=0x0501 to support WinXP.

When building a project using libwebsockets with that define set
to 0x0501 winsock.h will not define the WSAPOLLFD struct causing that
project to fail to compile.

unixify websock w32.h line endings

Signed-off-by: Andy Green <andy.green@linaro.org>

Windows Fix include for win32helpers

The installed headers are all in the same directory, so no relative
path possible there. The cmake files already add the win32helpers
directory to the include paths, so this builds just fine.

Windows Fix installing the dll

Without a runtime install directory, cmake won't install the dll at
all. Only the import library was installed. So fix that.

Support _WIN32 in addition to WIN32 define

MSVC8 and MSVC9 set only _WIN32, so support that define as well to be able
to compile libwebsockets with those compilers.

Drop wsockcompat.h header its not part of msvc

I don't see a wsockcompat.h anywhere in MSVC9 or MSVC8 and their
corresponding sdk's. It does not seem like this is a standard windows
header, so better drop that and add the compat-defines to the same
place that already has other WSA compat defines.

handle HUP on any mode socket

I am using libwebsockets on Windows 7 in external poll mode.
I am finding that if I present a socket fd on a normal HTTP connection
(LWS_CONNMODE_HTTP_SERVING:) to libwebsocket_service_fd with just a HUP
event, the event doesn't get handled but revents gets cleared indicating
that the event has been handled.  Should it be handled in the same way
as LWS_CONNMODE_WS_SERVING?

(Modified by AG to apply to all sockets)

Signed-off-by: Andy Green <andy.green@linaro.org>
Signed-off-by: Graham Newton <gnewton@peavey-eu.com>

trac41 WIN32 add wsockcompat.h

Using Windows 7 64 bit, cloned repo on 20130926. Using Qt creator and Microsoft Visual C++ Compiler 9.0 (x86).
Result (errors from compile output): D:\Projects\CDPStudioAPI\libwebsockets_orig\lib\client-handshake.c:87: error: C2065: 'EALREADY' : undeclared identifier
D:\Projects\CDPStudioAPI\libwebsockets_orig\lib\client-handshake.c:87: error: C2065: 'EINPROGRESS' : undeclared identifier
Possible solution is to use wsockcompat.h (compatibility header for using EALREADY, EINPROGRESS etc in older versions of Windows SDK). Compiled fine when I #included wsockcompat.h into client-handshake.c

Reported-by: mart22n via Trac 41
Signed-off-by: Andy Green <andy.green@linaro.org>

v1.2.3 changelog update

Signed-off-by: Andy Green <andy.green@linaro.org>

make header protection unique remove __prefix

Signed-off-by: Markus Elfring <markus.elfring@web.de>

fix cmake quoting

A few parameters (like "${PROJECT_BINARY_DIR}/lws_config.h" and "${PROJECT_SOURCE_DIR}/lib") are passed to CMake commands in your build script without enclosing them by quotation marks. I see that these places will result in build difficulties if the contents of the used variables will contain special characters like spaces.

Signed-off-by: Markus Elfring <markus.elfring@web.de>

cover-proxy-read-EAGAIN.patch
Subject: [PATCH] Because of nonblocking sockets reading from  proxy might not
 work in one turn. We should check for EAGAIN.

Subject: [PATCH] Additional check for EISONN. On iOS "if (connect()) == -1 ||
 errno == EISCONN)" doesn't work.

Subject: [PATCH] On iOS with nonblocking sockets I experience SSL error which
 is not really an error (
 http://lists.freeradius.org/pipermail/freeradius-users/2009-August/040155.html
 ). Added check for that. Additional fixes for comments and logging.

fix origin

And fix client header of Origin, add prefix "http://" to make a valid URI, to make golang websocket server happy.

defer changing to proxy uri until connected

Reported-by: shyswork
Signed-off-by: Andy Green <andy.green@linaro.org>

add EISCONN handling to client connect attempt

Signed-off-by: Andy Green <andy.green@linaro.org>

wait ssl connect completion on client proxy path

Subject: [PATCH] We can ran into situation (at least on iOS) when with openssl
 nonblocking BIO and http proxy we don't perform ssl_connect straight away so
 we need to retry until we finish ssl_connect. If we don't do that we will
 fail in LWS_CONNMODE_WS_CLIENT_WAITING_PROXY_REPLY when testing for "HTTP/1.0
 200" successful connection.

Signed-off-by: shys <shyswork@zoho.com>

manual proxy forcing api

add function to manually setup proxy. Useful on iOS where
 getenv doesn't return proxy settings

Simplified by AG

Signed-off-by: shys <shyswork@zoho.com>
Signed-off-by: Andy Green <andy@warmcat.com>

CMAKE help if cwd not git dir

Hi all,

please consider applying the patch below. The git is called in some
different directory and that is why fails. I'm not sure why it was
called in different directory, maybe because I build libwebsockets
with CMake's ExternalProject.

Best,
Arokux

Signed-off-by: Arokux X <arokux@gmail.com>

fix typo in NO_SERVER case

Reported-by: shyswork via github
Signed-off-by: Andy Green <andy.green@linaro.org>

use compatible_close for sockets

Signed-off-by: Andy Green <andy.green@linaro.org>

fix clean return path user code handle

Signed-off-by: Andy Green <andy.green@linaro.org>

add explicit error for partial send

This patch adds code to handle the situation that a prepared user buffer could not all be sent on the
socket at once.  There are two kinds of situation to handle

1) User code handles it: The connection only has extensions active that do not rewrite the buffer.
In this case, the patch caused libwebsocket_write() to simply return the amount of user buffer that
was consumed (this is specifically the amount of user buffer used in sending what was accepted,
nothing else).  So user code can just advance its buffer that much and resume sending when the socket
is writable again.  This continues the frame rather than starting a new one or new fragment.

2) The connections has extensions active which actually send something quite different than what the
user buffer contains, for example a compression extension.  In this case, libwebsockets will dynamically
malloc a buffer to contain a copy of the remaining unsent data, request notifiction when writeable again,
and automatically spill and free this buffer with the highest priority before passing on the writable
notification to anything else.  For this situation, the call to write will return that it used the
whole user buffer, even though part is still rebuffered.

This patch should enable libwebsockets to detect the two cases and take the appropriate action.

There are also two choices for user code to deal with partial sends.

1) Leave the no_buffer_all_partial_tx member in the protocol struct at zero.  The library will dyamically
buffer anything you send that did not get completely written to the socket, and automatically spill it next
time the socket is writable.  You can use this method if your sent frames are relatvely small and unlikely to get
truncated anyway.

2) Set the no_buffer_all_partial_tx member in the protocol struct.  User code now needs to take care of the
return value from libwebsocket_write() and deal with resending the remainder if not all of the requested amount
got sent.  You should use this method if you are sending large messages and want to maximize throughput and efficiency.

Since the new member no_buffer_all_partial_tx will be zero by default, this patch will auto-rebuffer any
partial sends by default.  That's good for most cases but if you attempt to send large blocks, make sure you
follow option 2) above.

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 40 client connection properly nonblocking

As spotted by JM on Trac#40

http://libwebsockets.org/trac/libwebsockets/ticket/40

client connect didn't do anything about being truly nonblocking.  This patch
should hopefully solve that.

Signed-off-by: Andy Green <andy.green@linaro.org>

force failed header parse to act

''...Websocket servers return failure responses other than HTTP Status 101 in the case of
mismatches of WebSocket version or additional header data etc...
It seems that libwebsockets shows "WARN: problems parsing header" error in such cases without
calling any callbacks or returning error code. Is this right?
I modified lib/client.c to handle this.''

Signed-off-by: Fujii Bunichiroh <Bunichiroh.Fujii@jp.sony.com>

remove bae64 decode and selftest

Signed-off-by: Andy Green <andy.green@linaro.org>

trac #39: allow fd 0 for connection

Reported (with fix) by Martijn The http://libwebsockets.org/trac/ticket/39

Signed-off-by: Andy Green <andy.green@linaro.org>

cmake fix for osx 64 bit

AG tested on 64-bit Fedora no problems

Signed-off-by: Erland Isaksson <erland@isaksson.info>

trac 36 make libwebsocket_set_timeout public

Signed-off-by: Andy Green <andy.green@linaro.org>

change LWS_CALLBACK_FILTER_PROTOCOL_CONNECTION user param usage

Also audit the bail_nuke_ah usage as Daniel Griscom suggested.

Signed-off-by: Andy Green <andy.green@linaro.org>

fix http incomplete send handling

Signed-off-by: David Gauchard <gauchard@laas.fr>

Request "send" not to trigger SIGPIPE on errors.

add CMake find function for libwebsockets

Signed-off-by: Jiri Hnidek <jiri.hnidek@tul.cz>

Added additional LWS_CALLBACK_CLOSED_HTTP callback to just_kill_connection branch of close_and_free_session

Support empty ping and pong packets.

Declare "sha1_init" statically to avoid naming conflicts if linked statically with other libraries providing a method with the same name (e.g. OpenSSL).

add LWS_CALLBACK_CLOSED_HTTP

Adds a callback to allow handling HTTP protocol connections
closing.

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 28 - differentiate between http serving and accepted http connection

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 28 brackets around POLLIN flag test

Signed-off-by: Simon Wulf <simonwulf.lund@bredband.net>

log err if unable to open http file

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 29 convert more snprintf stowaways

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 29 echo remoe mention of syslog constants for win32

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 29 avoid syslog in echo test if win32

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 29 eliminate snprintf again

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 29 win32 EWOULDBLOCK

Signed-off-by: Andy Green <andy.green@linaro.org>

Trac 29: win32 fix LWS_VISIBLE issue

Reported-by: davetaflin
Signed-off-by: Andy Green <andy.green@linaro.org>

cygwin compatibility

Signed-off-by: Bob Roberts <bobroberts177@gmail.com>

trac 27: use fullpath in OSX dynamic libs

Signed-off-by: thinkski <chiszp@gmail.com>

pkg config avoid hardcoded prefix

Signed-off-by: thinkski <chiszp@gmail.com>

cmake use existing spec file for RPM generation

Signed-off-by: Tomas Cejka <cejkat@cesnet.cz>

cmake added RPM generation

Signed-off-by: Tomas Cejka <cejkat@cesnet.cz>

cmake improve cross documentation

Signed-off-by: Andy Green <andy.green@linaro.org>

Hide private library symbols

Signed-off-by: Peter Pentchev <roam@ringlet.net>

SOL_SNDBUF set to protocol rx size

This tells the OS to reserve a TX buffer at least the size of the biggest RX frame
expected, for both server and client connections.

In Linux, the OS reserves 2 x the requested amount.

This is aimed at reducing the partial large atomic frame send problem to the point
it's only coming at large atomic frames the OS balks at reserving the size for.

If you have a lot of data to send, it is better to split it into multiple writes,
and use the FIN / CONTINUATION websocket stuff to manage it.

See the "fraggle" test app for example code of how to do that.

Signed-off-by: Andy Green <andy.green@linaro.org>

test server improve return checking

Signed-off-by: Andy Green <andy.green@linaro.org>

cosmetic debug improvements

Signed-off-by: Andy Green <andy.green@linaro.org>

BUGFIX: Properly add libcyassl to the lib list.

This would cause failure to build the test apps with CyaSSL.

Check for GCC/G++ explicitly instead of simply Unix.

Since we're setting gcc specific build flags.

Allow setting the resource path via command line.

It is awfully limiting when you have to set the resource path at compile time.

Instead also allow setting it via the --resource_path command line option.

introduce api for unthrottle all connections of protocol

Signed-off-by: Andy Green <andy.green@linaro.org>

test client have u option also reject deflate stream

Signed-off-by: Andy Green <andy.green@linaro.org>

cmake add gcc compile options

Signed-off-by: Andy Green <andy.green@linaro.org>

rxflow remove recursion and simplify

Signed-off-by: Andy Green <andy.green@linaro.org>

replaced last remaining close on wsi->sock with compatible_close

Signed-off-by: Tobias Maier <tobias.maier@netplace.com>

Fixed read of the jpg in Windows

Windows needs to open things with _O_BINARY

Signed-off-by: Michel Archambault <marchamb@matrox.com>

update service_fd comment and api docs

Signed-off-by: Andy Green <andy.green@linaro.org>

cmake update specfile

Signed-off-by: Andy Green <andy.green@linaro.org>

cmake add missing echo test app

Signed-off-by: Andy Green <andy.green@linaro.org>

cmake packageconfig installs to lib dir

Signed-off-by: Andy Green <andy.green@linaro.org>

cmake ignore non source things for make dist

Signed-off-by: Andy Green <andy.green@linaro.org>

android include gregorys example makefile

Signed-off-by: Gregory Junker <ggjunker@gmail.com>

update version 1.3 soname 4

Signed-off-by: Andy Green <andy.green@linaro.org>

cmake some cosmetic improvementss

Signed-off-by: Edwin van den Oetelaar <oetelaar.automatisering@gmail.com>