unionize header token array

This reduces the size of struct libwebscocket from 4840 to 4552
on x86_64

There are also big benefits on malloc pool fragmentation and
allocation, the header allocations only exist between the first
peer communication and websocket connection establishment for
both server and client.

Signed-off-by: Andy Green <andy.green@linaro.org>

document header lifecycle change

Signed-off-by: Andy Green <andy.green@linaro.org>

headers deleted after websocket established

Signed-off-by: Andy Green <andy.green@linaro.org>

leverage TOKEN_SKIPPING better in parser

Signed-off-by: Andy Green <andy.green@linaro.org>

simplify parsing complete

Signed-off-by: Andy Green <andy.green@linaro.org>

act on fatal parse problems

Signed-off-by: Andy Green <andy.green@linaro.org>

remove deprecated vcxproj

Signed-off-by: Andy Green <andy.green@linaro.org>

update changelog about cmake

Signed-off-by: Andy Green <andy.green@linaro.org>

Added build instructions for CMake.

Also changed it so that specifying the include directories for CyaSSL is nicer.

add README

Signed-off-by: Andy Green <andy.green@linaro.org>

Fixed compilation on NetBSD.

Cleaned up the CyaSSL linking in the CMake project a bit.

Separated the CyaSSL linking and OpenSSL linking for more clearity.
Now tested on both OSX and Windows as well.

Fixed windows build.

- Fixed the original visual studio project so that inline gets defined.
- Fix error in CMake with zlib.

Added some minor changes to CMake build file.

- Added options for compiling without server/client parts.
- Fixed a syntax error on printing an error on CyaSSL compilation.
- Don't compile server-extpoll either when the server isn't compiled.

Added support for CyaSSL replacement of OpenSSL.

http://www.yassl.com/yaSSL/Products-cyassl.html
- Small Size: 20-100kB
- Runtime Memory:  1-36kB
- 20X smaller than OpenSSL

So far only tested on Linux.

Note that this requires a bugfix in cyassl, otherwise it will crash. Pull request has been made to the official repos, in the meantime the following repos can be used: git://github.com/JoakimSoderberg/cyassl.git

Added check for inline keyword availability.

Both to CMake project and Autoconf. inline will be defined to whatever inline replacement exists on the system, such as __inline or __inline__

Fixed build on OSX.

- For some reason the "extern int pid_daemon" usage in libwebsockets.c would cause an "undefined symbols" linker error for the test-apps. This only happens with the CMake project, not the normal Makefiles. I have no clue why this is. Fixed it by getting the pid via a function instead.

- Added test-server-extpoll

- Renamed the library from libwebsocket -> libwebsockets

Fixed linux compilation and added more compile options.

- Tested and works on Linux now also, including SSL support.
- Look for ZLIB not zlib.
- Added CMake options for setting all LWS_ defines.

CMake support + fixed windows build.
- Finalized CMake support (tested on windows only so far).
  - Uses a generated lws_config.h that is included in
  private-libwebsocket to pass defines, only used if CMAKE_BUILD is set.
  - Support for SSL on Windows.
  - Initial support for CyaSSL replacement of OpenSSL (This has been added
    to my older CMake-fork but haven't been tested on this version yet).
- Fixed windows build (see below for details).
- Fixed at least the 32-bit Debug build for the existing Visual Studio
  Project. (Not to keen fixing all the others when we have CMake support
  anyway (which can generate much better project files)...)
- BUGFIXES:
  - handshake.c
    - used C99 definition of handshake_0405 function
  - libwebsocket.c
    - syslog not available on windows, put in ifdefs.
    - Fixed previous known crash bug on Windows where WSAPoll in
      Ws2_32.dll would not be present, causing the poll function pointer
      being set to NULL.
    - Uninitialized variable context->listen_service_extraseen would
      result in stack overflow because of infinite recursion. Fixed by
      initializing in libwebsocket_create_context
    - SO_REUSADDR means something different on Windows compared to Unix.
    - Setting a socket to nonblocking is done differently on Windows.
      (This should probably broken out into a helper function instead)
    - lwsl_emit_syslog -> lwsl_emit_stderr on Windows.
  - private-libwebsocket.h
    - PATH_MAX is not available on Windows, define as MAX_PATH
    - Always define LWS_NO_DAEMONIZE on windows.
    - Don't define lws_latency as inline that does nothing. inline is not
      support by the Microsoft compiler, replaced with an empty define
      instead. (It's __inline in MSVC)
  - server.c
    - Fixed nonblock call on windows
  - test-ping.c
    - Don't use C99 features (Microsoft compiler does not support it).
    - Move non-win32 headers into ifdefs.
    - Skip use of sighandler on Windows.
  - test-server.c
    - ifdef syslog parts on Windows.

Some more Cmake stuff.

Started redoing CMake support based on the up to date repos

improve test server poll loop docs

Signed-off-by: Andy Green <andy.green@linaro.org>

add note about MIPS opewrt configure options

Signed-off-by: Andy Green <andy.green@linaro.org>

remove one more mention of broadcast callback

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce library version plus git hash

This exposes the library version and git head hash it was built from
into LWS_LIBRARY_VERSION and LWS_BUILD_HASH.

These are combined into a version string that's both printed as a
notice log by the library and made available to the app using a new
api lws_get_library_version().  The version looks like

 1.1 178d78c

Signed-off-by: Andy Green <andy.green@linaro.org>

remove stray reference to max broadcast size from readme.build

Signed-off-by: Andy Green <andy.green@linaro.org>

additional casts allow test server build as cpp

With these explicit casts that are not needed in C, it's possible to build
the test server using g++ like this, after building and installing the
library.

g++ -DINSTALL_DATADIR=\"/usr/share\" -ocpptest test.cpp -lwebsockets

Add a small documentation to README.coding

Signed-off-by: Andy Green <andy.green@linaro.org>

update changelog tag chrome 26 firefox 18

Signed-off-by: Andy Green <andy.green@linaro.org>

renovate test html

Signed-off-by: Andy Green <andy.green@linaro.org>

add changelog v1.0 to v1.1

Signed-off-by: Andy Green <andy.green@linaro.org>

bump version to 1.1 and soname to 2

Signed-off-by: Andy Green <andy.green@linaro.org>

clean out remaining mentions of deprecated broadcast

Signed-off-by: Andy Green <andy.green@linaro.org>

get error from getnameinfo if unable to improve hostname and use hostname

Signed-off-by: Andy Green <andy.green@linaro.org>

fixes for without server and without client

Signed-off-by: Andy Green <andy.green@linaro.org>

fix unused var if no enable openssl

Signed-off-by: Jack Mitchell <ml@communistcode.co.uk>

introduce test echo

Signed-off-by: Andy Green <andy.green@linaro.org>

add info about why we close to more places

Signed-off-by: Andy Green <andy.green@linaro.org>

roubustness handle problems in read loop better

Signed-off-by: Andy Green <andy.green@linaro.org>

server allow NULL protocol map to protocol 0

Signed-off-by: Andy Green <andy.green@linaro.org>

change get_peer_addresses to use context wsi latency

Signed-off-by: Andy Green <andy.green@linaro.org>

instrument latency

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce lws_latency

Signed-off-by: Andy Green <andy.green@linaro.org>

fix docs about protocol version supported

Signed-off-by: Andy Green <andy.green@linaro.org>

test server terminate cleanly on ctrl c

Signed-off-by: Andy Green <andy.green@linaro.org>

evict all broadcast support

Libwebsockets is fundamentally singlethreaded... the existence of the
fork and broadcast support, especially in the sample server is
giving the wrong idea about how to use it.

This replaces broadcast in the sample server with
libwebsocket_callback_on_writable_all_protocol().  The whole idea of
'broadcast' is removed.

All of the broadcast proxy stuff is removed: data must now be sent
from the callback only.  Doing othherwise is not reliable since the
service loop may close the socket and free the wsi at any time,
invalidating a wsi pointer held by another thread (don't do that!)

Likewise the confirm_legit_wsi api added recently does not help the
other thread case, since if the wsi has been freed dereferencing the
wsi to study if it is legit or not will segfault in that case.  So
this is removed too.

The overall effect is to push user code to only operate inside the
protocol callbacks or external poll loops, ie, single thread context.

Signed-off-by: Andy Green <andy.green@linaro.org>

FreeBSD compatibility

Seems we just need to take care about __FreeBSD__ along with
__APPLE__ in a couple of places.

Signed-off-by: Matthieu Riviere <matthieu.riviere@leukensis.org>

trac 6 expose libwebsockets read with note about not normally needed

Comes in handy if the original application poll loop is the boss,
in this case libwebsockets is optional and can't be the boss poll
loop

Requested-by: ajandhyala@wms.com
Signed-off-by: Andy Green <andy.green@linaro.org>

fix ssl bits outside of ifdef coverage

Signed-off-by: Edwin van den Oetelaar <oetelaar.automatisering@gmail.com>

force client ssl bio nonblocking

Signed-off-by: Andy Green <andy.green@linaro.org>

force ssl rw bios nonblocking

Signed-off-by: Andy Green <andy.green@linaro.org>

timeout coverage for ssl accept

Signed-off-by: Andy Green <andy.green@linaro.org>

break up ssl accept action

Signed-off-by: Andy Green <andy.green@linaro.org>

ensure accept is nonblocking

Signed-off-by: Andy Green <andy.green@linaro.org>

autocreate foreign broadcast sockets on broadcast

Also introduce libwebsockets_broadcast_foreign() separate from libwebsockets_broadcast()

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 5 sa_restorer deprecated

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 3 document write and context_user

Signed-off-by: Andy Green <andy.green@linaro.org>

trac 4 correct libebsocket_service_fd

Signed-off-by: Andy Green <andy.green@linaro.org>

update numbers for minimal build footprint

Signed-off-by: Andy Green <andy.green@linaro.org>

more LWS_NO_DAEMONIZE

Signed-off-by: Andy Green <andy.green@linaro.org>

use correct LWS_NO_DAEMONIZE on test server

Signed-off-by: Andy Green <andy.green@linaro.org>

bind gcc debug generation to_DEBUG

Either generate debug sections in output or optimize aggressively,
controlled by the existing --disable-debug

Signed-off-by: Andy Green <andy.green@linaro.org>

unionize mutually exclusive wsi members

Large chunks of struct libwebsocket members actually have a mutually
exclusive lifecycle, eg, once the http headers are finished they sit
there unused until the instance is destroyed.

This makes a big improvement in memory efficiency by making four
categories of member: always needed, needed for header processing,
needed for http processing, and needed for ws processing.  The last
three are mutually exclusive and bound into a union inside the wsi.

Care needs taking now at "union transitions", although we zeroed down
the struct at init, the other union siblings have been writing the
same memory by the time later member siblings start to use it.  So
it must be cleared down appropriately when we cross from one
mutually-exclusive use to another.

Signed-off-by: Andy Green <andy.green@linaro.org>

key_b64 doesnt need to be in wsi

It's only used in some client code and never seen again

Signed-off-by: Andy Green <andy.green@linaro.org>

avoid PATH_MAX in bss in daemonize

PATH_MAX is typically 4KB, let's malloc space for the
actual path instead and just have the pointer in bss

Signed-off-by: Andy Green <andy.green@linaro.org>

remove all support for pre v13 protocols

Since v13 was defined as the released ietf version the older versions
are deprecated.  This patch strips out everything to do with the older
versions and gets rid of the option to send stuff unmasked.

The in-tree md5 implementation is then also deleted as nothing needs
it any more, 1280 loc are shed in all

Signed-off-by: Andy Green <andy.green@linaro.org>

disable private broadcast sockets if enable no fork config option

The whole thing about count_protocols + 1 broadcast sockets and
associated dummy wsis is a workaround for getting a broadcast from
a different process context, if we are running with --enable-no-fork
then we don't need any of it in.

Signed-off-by: Andy Green <andy.green@linaro.org>

align test server extpoll with library dynamic approach

Signed-off-by: Edwin van den Oetelaar <oetelaar.automatisering@gmail.com>

document memory efficiency

This puts some numbers of library size with the various --without
and --disable options and about dynamic memory allocation
performance

Signed-off-by: Andy Green <andy.green@linaro.org>

log major dynamic allocation info

Signed-off-by: Andy Green <andy.green@linaro.org>

zlib not needed if no extensions

Signed-off-by: Andy Green <andy.green@linaro.org>

introduce without extensions

The new --without-extensions config flag completely removes all code
and data related to extensions from the build throughout the library
when given.

Signed-off-by: Andy Green <andy.green@linaro.org>

refactor README

Signed-off-by: Andy Green <andy.green@linaro.org>

syslog requires format string

Signed-off-by: Edwin van den Oetelaar <oetelaar.automatisering@gmail.com>

revert zlib update 1.2.7

Signed-off-by: Andy Green <andy.green@linaro.org>

make use of lock file

Signed-off-by: Andy Green <andy.green@linaro.org>

windows compatibility changes for private libwebsockets

Signed-off-by: FNA <aqiruse@gmail.com>

test server add daemonization flag

Signed-off-by: Andy Green <andy.green@linaro.org>

test server use syslog logging

Signed-off-by: Andy Green <andy.green@linaro.org>

allow_use_of_lwsl_logging in user code

Signed-off-by: Andy Green <andy.green@linaro.org>

helper api:  log through syslog

Signed-off-by: Andy Green <andy.green@linaro.org>

logging select some lwsl_info usage to be lwsl_notice

Signed-off-by: Andy Green <andy.green@linaro.org>

add lwsl_notice

Signed-off-by: Andy Green <andy.green@linaro.org>

expose log level in emit

Signed-off-by: Andy Green <andy.green@linaro.org>

change bitfield setting to avoid gcc warnings

Signed-off-by: Andy Green <andy.green@linaro.org>

improve frame_is_binary setting

Gregory Junker <ggjunker@gmail.com> noticed the binary flag is not
getting set right, or at all on client side.  This should improve
matters.

Signed-off-by: Andy Green <andy.green@linaro.org>

add lws_confirm_legit_wsi

Signed-off-by: Andy Green <andy.green@linaro.org>

refactor and introduce without server configure option

Move server-only stuff into their own files and make building
that depend on not having --without-server on the configure

Make fragments in other places conditional as well

Remove client-related members from struct libwebscket when
building LWS_NO_CLIENT

Apps:

normal: build test server, client, fraggle, ping
--without-client: build test server
--without-server: build test client, ping

Signed-off-by: Andy Green <andy.green@linaro.org>

introdice tracking if frame is binary

Signed-off-by: Andy Green <andy.green@linaro.org>

different compiler warning fixes

Solve some unchecked return codes in the new daemonization file

AG adapted a bit

Signed-off-by: Edwin van den Oetelaar <oetelaar.automatisering@gmail.com>
Signed-off-by: Andy Green <andy.green@linaro.org>

add lexical parser for headers

Profiling what happens during the ab test, one of the hotspots
was strcasecmp in a loop looking for header name matches each time.

This patch introduces a lexical parser that creates a state machine
in 276 bytes that encodes all the known header names.  The fsm is
walked bytewise as chaacters come in... most states do not need any
recursion to match or fail.

The state machine output is cut-and-pasted into parsers.c as an
unsigned char array.

The fsm generator is a bit rough and ready, included in the tree but
not built since normal mortals won't need to touch it.

Signed-off-by: Andy Green <andy.green@linaro.org>

deprecate x google mux

Unfortunately this code is beginning to rot due to lack of demand to
provide it and it being disabled by default.

If demand appears we can revert this and resume work on it, otherwise
let's bite the bullet for the moment.

Signed-off-by: Andy Green <andy.green@linaro.org>

solve flowcontrol problems

Problems with rx flow control implementation were the underlying cause
of the connection stalling issue that was covered up with the udelay()
patch that was removed recently.

This get rx flow control working properly and corrects problems with
fifo management in the test server mirror protocol code too.

The rxfow control api has been changed to just set a flag, so it's very cheap
to call from user code.  After the callbacks that might use the rxflow control
api the flag is checked and any pending actions done.

rx flow control now stops any rx packet coming immediately, with compessed
connections "just what was left in the pipe" might be hundreds of KBytes.  To
implement that the current packet being decoded is copied into a malloc'd buffer
by the rx processing code now.

When rxflow is allows to come again, the buffer is drained and freed before any
new packet content is accepted.

Signed-off-by: Andy Green <andy.green@linaro.org>

check errors on shutdown close

Also make sure CLOSE doesn't go through extension munging

Reduce wait for close ack to 1s

Signed-off-by: Andy Green <andy.green@linaro.org>

replace hashtable polltable management

This rips out the connection hashtable implementation along with
MAX_CLIENTS and replaces it with a dynamically allocated fds array
and lookup table along the same lines as the new extpoll implementation
from Edwin van den Oetelaar.

It detects the max number of file descriptors possible at context init
time and allocates accordingly; this can be externally controlled by
ulimit and the server run as a specific user to facilitate targeting
specific ulimit rules at it.

Many operations that translated between socket descriptors and struct
websocket or pollfd objects have had iteration removed by this patch
and under load will be a lot faster.

Signed-off-by: Andy Green <andy.green@linaro.org>

use simple lookup table for extpoll

Hash stuff is overkill since Edwin found a max connection limit of 30000 on his
box anyway.  Just use a simple preallocated lookup table and fds array.

AG Modified for style and removed debugging bits

Signed-off-by: Edwin van der Oetelaar <oetelaar.automatisering@gmail.com>
Signed-off-by: Andy Green <andy.green@linaro.org>

include daemonization file whoops

Signed-off-by: Andy Green <andy.green@linaro.org>

portability dont assume size of tv.t_usec

Signed-off-by: Andy Green <andy.green@linaro.org>

add disable debug to README configuration options list

Signed-off-by: Andy Green <andy.green@linaro.org>

including assert h needed on osx

Signed-off-by: Peter Young <young40@qq.com>

just use limits.h directly

Signed-off-by: Peter Young <young40@qq.com>