multithreaded service
[platform/upstream/libwebsockets.git] / changelog
1 Changelog
2 ---------
3
4 Extension Changes
5 -----------------
6
7 1) There is now a "permessage-deflate" / RFC7692 implementation.  It's very
8 similar to "deflate-frame" we have offered for a long while; deflate-frame is
9 now provided as an alias of permessage-deflate.
10
11 The main differences are that the new permessage-deflate implementation:
12
13  - properly performs streaming respecting input and output buffer limits.  The
14    old deflate-frame implementation could only work on complete deflate input
15    and produce complete inflate output for each frame.  The new implementation
16    only mallocs buffers at initialization.
17
18  - goes around the event loop after each input package is processed allowing
19    interleaved output processing.  The RX flow control api can be used to
20    force compressed input processing to match the rate of compressed output
21    processing (test--echo shows an example of how to do this).
22
23  - when being "deflate-frame" for compatibility he uses the same default zlib
24    settings as the old "deflate-frame", but instead of exponentially increasing
25    malloc allocations until the whole output will fit, he observes the default
26    input and output chunking buffer sizes of "permessage-deflate", that's
27    1024 in and 1024 out at a time.
28
29 2) deflate-stream has been disabled for many versions (for over a year) and is
30 now removed.  Browsers are now standardizing on "permessage-deflate" / RFC7692
31
32 3) struct lws_extension is simplified, and lws extensions now have a public
33 api (their callback) for use in user code to compose extensions and options
34 the user code wants.  lws_get_internal_exts() is deprecated but kept around
35 as a NOP.  The changes allow one extension implementation to go by different
36 names and allows the user client code to control option offers per-ext.
37
38 The test client and server are updated to use the new way.  If you use
39 the old way it should still work, but extensions will be disabled until you
40 update your code.
41
42 Extensions are now responsible for allocating and per-instance private struct
43 at instance construction time and freeing it when the instance is destroyed.
44 Not needing to know the size means the extension's struct can be opaque
45 to user code.
46
47
48 User api additions
49 ------------------
50
51 1) The info struct gained two new members
52
53  - max_http_header_data: 0 for default (1024) or set the maximum amount of known
54     http header payload that lws can deal with.  Payload in unknown http
55     headers is dropped silently.  If for some reason you need to send huge
56     cookies or other HTTP-level headers, you can now increase this at context-
57     creation time.
58
59  - max_http_header_pool: 0 for default (16) or set the maximum amount of http
60      headers that can be tracked by lws in this context.  For the server, if
61      the header pool is completely in use then accepts on the listen socket
62      are disabled until one becomes free.  For the client, if you simultaneously
63      have pending connects for more than this number of client connections,
64      additional connects will fail until some of the pending connections timeout
65      or complete.
66
67 HTTP header processing in lws only exists until just after the first main
68 callback after the HTTP handshake... for ws connections that is ESTABLISHED and
69 for HTTP connections the HTTP callback.
70
71 So these settings are not related to the maximum number of simultaneous
72 connections, but the number of HTTP handshakes that may be expected or ongoing,
73 or have just completed, at one time.  The reason it's useful is it changes the
74 memory allocation for header processing to be one-time at context creation
75 instead of every time there is a new connection, and gives you control over
76 the peak allocation.
77
78 Setting max_http_header_pool to 1 is fine it will just queue incoming
79 connections before the accept as necessary, you can still have as many
80 simultaneous post-header connections as you like.  Since the http header
81 processing is completed and the allocation released after ESTABLISHED or the
82 HTTP callback, even with a pool of 1 many connections can be handled rapidly.
83
84 2) There is a new callback that allows the user code to get acccess to the
85 optional close code + aux data that may have been sent by the peer.
86
87 LWS_CALLBACK_WS_PEER_INITIATED_CLOSE:
88              The peer has sent an unsolicited Close WS packet.  @in and
89              @len are the optional close code (first 2 bytes, network
90              order) and the optional additional information which is not
91              defined in the standard, and may be a string or non-human-
92              readble data.
93              If you return 0 lws will echo the close and then close the
94              connection.  If you return nonzero lws will just close the
95              connection.
96
97 As usual not handling it does the right thing, if you're not interested in it
98 just ignore it.
99
100 The test server has "open and close" testing buttons at the bottom, if you
101 open and close that connection, on close it will send a close code 3000 decimal
102 and the string "Bye!" as the aux data.
103
104 The test server dumb-increment callback handles this callback reason and prints
105
106 lwsts[15714]: LWS_CALLBACK_WS_PEER_INITIATED_CLOSE: len 6
107 lwsts[15714]:  0: 0x0B
108 lwsts[15714]:  1: 0xB8
109 lwsts[15714]:  2: 0x42
110 lwsts[15714]:  3: 0x79
111 lwsts[15714]:  4: 0x65
112 lwsts[15714]:  5: 0x21
113
114 3) There is a new API to allow the user code to control the content of the
115 close frame sent when about to return nonzero from the user callback to
116 indicate the connection should close.
117
118 /**
119  * lws_close_reason - Set reason and aux data to send with Close packet
120  *              If you are going to return nonzero from the callback
121  *              requesting the connection to close, you can optionally
122  *              call this to set the reason the peer will be told if
123  *              possible.
124  *
125  * @wsi:        The websocket connection to set the close reason on
126  * @status:     A valid close status from websocket standard
127  * @buf:        NULL or buffer containing up to 124 bytes of auxiliary data
128  * @len:        Length of data in @buf to send
129  */
130 LWS_VISIBLE LWS_EXTERN void
131 lws_close_reason(struct lws *wsi, enum lws_close_status status,
132                  unsigned char *buf, size_t len);
133
134 An extra button is added to the "open and close" test server page that requests
135 that the test server close the connection from his end.
136
137 The test server code will do so by
138
139                         lws_close_reason(wsi, LWS_CLOSE_STATUS_GOINGAWAY,
140                                          (unsigned char *)"seeya", 5);
141                         return -1;
142
143 The browser shows the close code and reason he received
144
145 websocket connection CLOSED, code: 1001, reason: seeya
146
147 4) There's a new context creation time option flag
148
149 LWS_SERVER_OPTION_VALIDATE_UTF8
150
151 if you set it in info->options, then TEXT and CLOSE frames will get checked to
152 confirm that they contain valid UTF-8.  If they don't, the connection will get
153 closed by lws.
154
155 5) ECDH Certs are now supported.  Enable the CMake option
156
157 cmake .. -DLWS_SSL_SERVER_WITH_ECDH_CERT=1 
158
159 **and** the info->options flag
160
161 LWS_SERVER_OPTION_SSL_ECD
162
163 to build in support and select it at runtime.
164
165 6) There's a new api lws_parse_uri() that simplies chopping up
166 https://xxx:yyy/zzz uris into parts nicely.  The test client now uses this
167 to allow proper uris as well as the old address style.
168
169 7) SMP support is integrated into LWS without any internal threading.  It's
170 very simple to use, libwebsockets-test-server-pthread shows how to do it,
171 use -j <n> argument there to control the number of service threads up to 32.
172
173 Two new members are added to the info struct
174
175         unsigned int count_threads;
176         unsigned int fd_limit_per_thread;
177         
178 leave them at the default 0 to get the normal singlethreaded service loop.
179
180 Set count_threads to n to tell lws you will have n simultaneous service threads
181 operating on the context.
182
183 There is still a single listen socket on one port, no matter how many
184 service threads.
185
186 When a connection is made, it is accepted by the service thread with the least
187 connections active to perform load balancing.
188
189 The user code is responsible for spawning n threads running the service loop
190 associated to a specific tsi (Thread Service Index, 0 .. n - 1).  See
191 the libwebsockets-test-server-pthread for how to do.
192
193 If you leave fd_limit_per_thread at 0, then the process limit of fds is shared
194 between the service threads; if you process was allowed 1024 fds overall then
195 each thread is limited to 1024 / n.
196
197 You can set fd_limit_per_thread to a nonzero number to control this manually, eg
198 the overall supported fd limit is less than the process allowance.
199
200 You can control the context basic data allocation for multithreading from Cmake
201 using -DLWS_MAX_SMP=, if not given it's set to 32.  The serv_buf allocation
202 for the threads (currently 4096) is made at runtime only for active threads.
203
204 Because lws will limit the requested number of actual threads supported
205 according to LWS_MAX_SMP, there is an api lws_get_count_threads(context) to
206 discover how many threads were actually allowed when the context was created.
207
208 It's required to implement locking in the user code in the same way that
209 libwebsockets-test-server-pthread does it, for the FD locking callbacks.
210
211 There is no knowledge or dependency in lws itself about pthreads.  How the
212 locking is implemented is entirely up to the user code.
213
214
215 User api changes
216 ----------------
217
218 1) LWS_SEND_BUFFER_POST_PADDING is now 0 and deprecated.  You can remove it; if
219 you still use it, obviously it does nothing.  Old binary code with nonzero
220 LWS_SEND_BUFFER_POST_PADDING is perfectly compatible, the old code just
221 allocated a buffer bigger than the library is going to use.
222
223 The example apps no longer use LWS_SEND_BUFFER_POST_PADDING.
224
225 The only path who made use of it was sending with LWS_WRITE_CLOSE --->
226
227 2) Because of lws_close_reason() formalizing handling close frames,
228 LWS_WRITE_CLOSE is removed from libwebsockets.h.  It was only of use to send
229 close frames...close frame content should be managed using lws_close_reason()
230 now.
231
232 3) We check for invalid CLOSE codes and complain about protocol violation in
233 our close code.  But it changes little since we were in the middle of closing
234 anyway.
235
236 4) zero-length RX frames and zero length TX frames are now allowed.
237
238 5) Pings and close used to be limited to 124 bytes, the correct limit is 125
239 so that is now also allowed.
240
241 6) LWS_PRE is provided as a synonym for LWS_SEND_BUFFER_POST_PADDING, either is
242 valid to use now.
243
244 7) There's generic support for RFC7462 style extension options built into the
245 library now.  As a consequence, a field "options" is added to lws_extension.
246 It can be NULL if there are no options on the extension.  Extension internal
247 info is part of the public abi because extensions may be implemented outside
248 the library.
249
250
251 v1.6.0-chrome48-firefox42
252 =======================
253
254 Major API improvements
255 ----------------------
256
257 v1.6.0 has many cleanups and improvements in the API.  Although at first it
258 looks pretty drastic, user code will only need four actions to update it.
259
260  - Do the three search/replaces in your user code, /libwebsocket_/lws_/,
261    /libwebsockets_/lws_/, and /struct\ libwebsocket/struct\ lws/
262
263  - Remove the context parameter from your user callbacks
264
265  - Remove context as the first parameter from the "Eleven APIS" listed in the
266    User Api Changes section
267
268  - Add lws_get_context(wsi) as the first parameter on the "Three APIS" listed
269    in the User Api Changes section, and anywhere else you still need context
270
271 That's it... generally only a handful of the 14 affected APIs are actually in
272 use in your user code and you can find them quickest by compiling and visiting
273 the errors each in turn.  And the end results are much cleaner, more
274 predictable and maintainable.
275
276
277 User api additions
278 ------------------
279
280 1) lws now exposes his internal platform file abstraction in a way that can be
281 both used by user code to make it platform-agnostic, and be overridden or
282 subclassed by user code.  This allows things like handling the URI "directory
283 space" as a virtual filesystem that may or may not be backed by a regular
284 filesystem.  One example use is serving files from inside large compressed
285 archive storage without having to unpack anything except the file being
286 requested.
287
288 The test server shows how to use it, basically the platform-specific part of
289 lws prepares a file operations structure that lives in the lws context.
290
291 Helpers are provided to also leverage these platform-independent file handling
292 apis
293
294 static inline lws_filefd_type
295 lws_plat_file_open(struct lws *wsi, const char *filename,
296                    unsigned long *filelen, int flags)
297 static inline int
298 lws_plat_file_close(struct lws *wsi, lws_filefd_type fd)
299
300 static inline unsigned long
301 lws_plat_file_seek_cur(struct lws *wsi, lws_filefd_type fd, long offset)
302
303 static inline int
304 lws_plat_file_read(struct lws *wsi, lws_filefd_type fd, unsigned long *amount,
305                    unsigned char *buf, unsigned long len)
306
307 static inline int
308 lws_plat_file_write(struct lws *wsi, lws_filefd_type fd, unsigned long *amount,
309                     unsigned char *buf, unsigned long len)
310                     
311 The user code can also override or subclass the file operations, to either
312 wrap or replace them.  An example is shown in test server.
313
314 A wsi can be associated with the file activity, allowing per-connection
315 authentication and state to be used when interpreting the file request.
316
317 2) A new API void * lws_wsi_user(struct lws *wsi) lets you get the pointer to
318 the user data associated with the wsi, just from the wsi.
319
320 3) URI argument handling.  Libwebsockets parses and protects URI arguments
321 like test.html?arg1=1&arg2=2, it decodes %xx uriencoding format and reduces
322 path attacks like ../.../../etc/passwd so they cannot go behind the web
323 server's /.  There is a list of confirmed attacks we're proof against in
324 ./test-server/attack.sh.
325
326 There is a new API lws_hdr_copy_fragment that should be used now to access
327 the URI arguments (it returns the fragments length)
328
329                while (lws_hdr_copy_fragment(wsi, buf, sizeof(buf),
330                                             WSI_TOKEN_HTTP_URI_ARGS, n) > 0) {
331                        lwsl_info("URI Arg %d: %s\n", ++n, buf);
332                }
333
334 For the example above, calling with n=0 will return "arg1=1" and n=1 "arg2=2".
335 All legal uriencodings will have been reduced in those strings.
336
337 lws_hdr_copy_fragment() returns the length of the x=y fragment, so it's also
338 possible to deal with arguments containing %00.  If you don't care about that,
339 the returned string has '\0' appended to simplify processing.
340
341
342 User api changes
343 ----------------
344
345 1) Three APIS
346
347  - lws_callback_on_writable_all_protocol(const struct lws_protocols *protocol)
348  - lws_callback_all_protocol(const struct lws_protocols *protocol)
349  - lws_rx_flow_allow_all_protocol(lws_rx_flow_allow_all_protocol)
350
351 Now take an additional pointer to the lws_context in their first argument.
352
353 The reason for this change is struct lws_protocols has been changed to remove
354 members that lws used for private storage: so the protocols struct in now
355 truly const and may be reused serially or simultaneously by different contexts.
356
357 2) Eleven APIs
358
359 LWS_VISIBLE LWS_EXTERN int
360 lws_add_http_header_by_name(struct lws_context *context,
361                 struct lws *wsi,
362                 const unsigned char *name,
363                 const unsigned char *value,
364                 int length,
365                 unsigned char **p,
366                 unsigned char *end);
367 LWS_VISIBLE LWS_EXTERN int
368 lws_finalize_http_header(struct lws_context *context,
369              struct lws *wsi,
370              unsigned char **p,
371              unsigned char *end);
372 LWS_VISIBLE LWS_EXTERN int
373 lws_add_http_header_by_token(struct lws_context *context,
374                  struct lws *wsi,
375                  enum lws_token_indexes token,
376                  const unsigned char *value,
377                  int length,
378                  unsigned char **p,
379                  unsigned char *end);
380 LWS_VISIBLE LWS_EXTERN int
381 lws_add_http_header_content_length(struct lws_context *context,
382                    struct lws *wsi,
383                    unsigned long content_length,
384                    unsigned char **p,
385                    unsigned char *end);
386 LWS_VISIBLE LWS_EXTERN int
387 lws_add_http_header_status(struct lws_context *context, struct lws *wsi,
388                unsigned int code, unsigned char **p,
389                unsigned char *end);
390
391 LWS_VISIBLE LWS_EXTERN int
392 lws_serve_http_file(struct lws_context *context, struct lws *wsi,
393             const char *file, const char *content_type,
394             const char *other_headers, int other_headers_len);
395 LWS_VISIBLE LWS_EXTERN int
396 lws_serve_http_file_fragment(struct lws_context *context, struct lws *wsi);
397
398 LWS_VISIBLE LWS_EXTERN int
399 lws_return_http_status(struct lws_context *context, struct lws *wsi,
400                unsigned int code, const char *html_body);
401
402 LWS_VISIBLE LWS_EXTERN int
403 lws_callback_on_writable(const struct lws_context *context, struct lws *wsi);
404
405 LWS_VISIBLE LWS_EXTERN void
406 lws_get_peer_addresses(struct lws_context *context, struct lws *wsi,
407                lws_sockfd_type fd, char *name, int name_len,
408                char *rip, int rip_len);
409
410 LWS_VISIBLE LWS_EXTERN int
411 lws_read(struct lws_context *context, struct lws *wsi,
412      unsigned char *buf, size_t len); 
413
414 no longer require their initial struct lws_context * parameter.
415
416 3) Several older apis start with libwebsocket_ or libwebsockets_ while newer ones
417 all begin lws_.  These apis have been changed to all begin with lws_.
418
419 To convert, search-replace
420
421  - libwebsockets_/lws_
422  - libwebsocket_/lws_
423  - struct\ libwebsocket/struct\ lws
424  
425 4) context parameter removed from user callback.
426
427 Since almost all apis no longer need the context as a parameter, it's no longer
428 provided at the user callback directly.
429
430 However if you need it, for ALL callbacks wsi is valid and has a valid context
431 pointer you can recover using lws_get_context(wsi).
432
433
434 v1.5-chrome47-firefox41
435 =======================
436
437 User api changes
438 ----------------
439
440 LWS_CALLBACK_CLIENT_CONNECTION_ERROR may provide an error string if in is
441 non-NULL.  If so, the string has length len.
442
443 LWS_SERVER_OPTION_PEER_CERT_NOT_REQUIRED is available to relax the requirement
444 for peer certs if you are using the option to require client certs.
445
446 LWS_WITHOUT_BUILTIN_SHA1 cmake option forces lws to use SHA1() defined
447 externally, eg, byOpenSSL, and disables build of libwebsockets_SHA1()
448
449
450 v1.4-chrome43-firefox36
451 =======================
452
453 User api additions
454 ------------------
455
456 There's a new member in the info struct used to control context creation,
457 ssl_private_key_password, which allows passing into lws the passphrase on
458 an SSL cetificate
459
460 There's a new member in struct protocols, id, which is ignored by lws but can
461 be used by the user code to mark the selected protocol by user-defined version
462 or capabliity flag information, for the case multiple versions of a protocol are
463 supported.
464
465 int lws_is_ssl(wsi) added to allow user code to know if the connection was made
466 over ssl or not.  If LWS_SERVER_OPTION_ALLOW_NON_SSL_ON_SSL_PORT is used, both
467 ssl and non-ssl connections are possible and may need to be treated differently
468 in the user code.
469
470 int lws_partial_buffered(wsi) added... should be checked after any
471 libwebsocket_write that will be followed by another libwebsocket_write inside
472 the same writeable callback.  If set, you can't do any more writes until the
473 writeable callback is called again.  If you only do one write per writeable callback,
474 you can ignore this.
475
476 HTTP2-related: HTTP2 changes how headers are handled, lws now has new version-
477 agnositic header creation APIs.  These do the right thing depending on each
478 connection's HTTP version without the user code having to know or care, except
479 to make sure to use the new APIs for headers (test-server is updated to use
480 them already, so look there for examples)
481
482 The APIs "render" the headers into a user-provided buffer and bump *p as it
483 is used.  If *p reaches end, then the APIs return nonzero for error.
484
485 LWS_VISIBLE LWS_EXTERN int
486 lws_add_http_header_status(struct libwebsocket_context *context,
487                             struct libwebsocket *wsi,
488                             unsigned int code,
489                             unsigned char **p,
490                             unsigned char *end);
491
492 Start a response header reporting status like 200, 500, etc
493
494 LWS_VISIBLE LWS_EXTERN int
495 lws_add_http_header_by_name(struct libwebsocket_context *context,
496                             struct libwebsocket *wsi,
497                             const unsigned char *name,
498                             const unsigned char *value,
499                             int length,
500                             unsigned char **p,
501                             unsigned char *end);
502
503 Add a header like name: value in HTTP1.x
504
505 LWS_VISIBLE LWS_EXTERN int 
506 lws_finalize_http_header(struct libwebsocket_context *context,
507                             struct libwebsocket *wsi,
508                             unsigned char **p,
509                             unsigned char *end);
510
511 Finish off the headers, like add the extra \r\n in HTTP1.x
512
513 LWS_VISIBLE LWS_EXTERN int
514 lws_add_http_header_by_token(struct libwebsocket_context *context,
515                             struct libwebsocket *wsi,
516                             enum lws_token_indexes token,
517                             const unsigned char *value,
518                             int length,
519                             unsigned char **p,
520                             unsigned char *end);
521
522 Add a header by using a lws token as the name part.  In HTTP2, this can be
523 compressed to one or two bytes.
524
525
526 User api removal
527 ----------------
528
529 protocols struct member no_buffer_all_partial_tx is removed.  Under some
530 conditions like rewriting extension such as compression in use, the built-in
531 partial send buffering is the only way to deal with the problem, so turning
532 it off is deprecated.
533
534
535 User api changes
536 ----------------
537
538 HTTP2-related: API libwebsockets_serve_http_file() takes an extra parameter at
539 the end now
540
541 int other_headers_len)
542
543 If you are providing other headers, they must be generated using the new
544 HTTP-version-agnostic APIs, and you must provide the length of them using this
545 additional parameter.
546
547 struct lws_context_creation_info now has an additional member
548 SSL_CTX *provided_client_ssl_ctx you may set to an externally-initialized
549 SSL_CTX managed outside lws.  Defaulting to zero keeps the existing behaviour of
550 lws managing the context, if you memset the struct to 0 or have as a filescope
551 initialized struct in bss, no need to change anything.
552
553
554 v1.3-chrome37-firefox30
555 =======================
556
557  .gitignore                                               |    1 -
558  CMakeLists.txt                                           |  447 +++--
559  README.build                                             |   35 +-
560  README.coding                                            |   14 +
561  changelog                                                |   66 +
562  cmake/LibwebsocketsConfig.cmake.in                       |   17 +
563  cmake/LibwebsocketsConfigVersion.cmake.in                |   11 +
564  config.h.cmake                                           |   18 +
565  cross-ming.cmake                                         |   31 +
566  cross-openwrt-makefile                                   |   91 +
567  lib/client-handshake.c                                   |  205 ++-
568  lib/client-parser.c                                      |   58 +-
569  lib/client.c                                             |  158 +-
570  lib/context.c                                            |  341 ++++
571  lib/extension-deflate-frame.c                            |    2 +-
572  lib/extension.c                                          |  178 ++
573  lib/handshake.c                                          |  287 +---
574  lib/lextable.h                                           |  338 ++++
575  lib/libev.c                                              |  175 ++
576  lib/libwebsockets.c                                      | 2089 +++--------------------
577  lib/libwebsockets.h                                      |  253 ++-
578  lib/lws-plat-unix.c                                      |  404 +++++
579  lib/lws-plat-win.c                                       |  358 ++++
580  lib/minilex.c                                            |  530 +++---
581  lib/output.c                                             |  445 ++---
582  lib/parsers.c                                            |  682 ++++----
583  lib/pollfd.c                                             |  239 +++
584  lib/private-libwebsockets.h                              |  501 +++++-
585  lib/server-handshake.c                                   |  274 +--
586  lib/server.c                                             |  858 ++++++++--
587  lib/service.c                                            |  517 ++++++
588  lib/sha-1.c                                              |   38 +-
589  lib/ssl-http2.c                                          |   78 +
590  lib/ssl.c                                                |  571 +++++++
591  test-server/attack.sh                                    |  101 +-
592  test-server/test-client.c                                |    9 +-
593  test-server/test-echo.c                                  |   17 +-
594  test-server/test-fraggle.c                               |    7 -
595  test-server/test-ping.c                                  |   12 +-
596  test-server/test-server.c                                |  330 ++--
597  test-server/test.html                                    |    4 +-
598  win32port/client/client.vcxproj                          |  259 ---
599  win32port/client/client.vcxproj.filters                  |   39 -
600  .../libwebsocketswin32.vcxproj.filters                   |   93 -
601  win32port/server/server.vcxproj                          |  276 ---
602  win32port/server/server.vcxproj.filters                  |   51 -
603  win32port/win32helpers/gettimeofday.h                    |   59 +-
604  win32port/win32helpers/netdb.h                           |    1 -
605  win32port/win32helpers/strings.h                         |    0
606  win32port/win32helpers/sys/time.h                        |    1 -
607  win32port/win32helpers/unistd.h                          |    0
608  win32port/win32helpers/websock-w32.c                     |  104 --
609  win32port/win32helpers/websock-w32.h                     |   62 -
610  win32port/win32port.sln                                  |  100 --
611  win32port/zlib/gzio.c                                    |    3 +-
612  55 files changed, 6779 insertions(+), 5059 deletions(-)
613
614
615 User api additions
616 ------------------
617
618 POST method is supported
619
620 The protocol 0 / HTTP callback can now get two new kinds of callback,
621 LWS_CALLBACK_HTTP_BODY (in and len are a chunk of the body of the HTTP request)
622 and LWS_CALLBACK_HTTP_BODY_COMPLETION (the expected amount of body has arrived
623 and been passed to the user code already).  These callbacks are used with the
624 post method (see the test server for details).
625
626 The period between the HTTP header completion and the completion of the body
627 processing is protected by a 5s timeout.
628
629 The chunks are stored in a malloc'd buffer of size protocols[0].rx_buffer_size.
630
631
632 New server option you can enable from user code
633 LWS_SERVER_OPTION_ALLOW_NON_SSL_ON_SSL_PORT allows non-SSL connections to
634 also be accepted on an SSL listening port.  It's disabled unless you enable
635 it explicitly.
636
637
638 Two new callbacks are added in protocols[0] that are optional for allowing
639 limited thread access to libwebsockets, LWS_CALLBACK_LOCK_POLL and
640 LWS_CALLBACK_UNLOCK_POLL.
641
642 If you use them, they protect internal and external poll list changes, but if
643 you want to use external thread access to libwebsocket_callback_on_writable()
644 you have to implement your locking here even if you don't use external
645 poll support.
646
647 If you will use another thread for this, take a lot of care about managing
648 your list of live wsi by doing it from ESTABLISHED and CLOSED callbacks
649 (with your own locking).
650
651 If you configure cmake with -DLWS_WITH_LIBEV=1 then the code allowing the libev
652 eventloop instead of the default poll() one will also be compiled in.  But to
653 use it, you must also set the LWS_SERVER_OPTION_LIBEV flag on the context
654 creation info struct options member.
655
656 IPV6 is supported and enabled by default except for Windows, you can disable
657 the support at build-time by giving -DLWS_IPV6=, and disable use of it even if
658 compiled in by making sure the flag LWS_SERVER_OPTION_DISABLE_IPV6 is set on
659 the context creation info struct options member.
660
661 You can give LWS_SERVER_OPTION_DISABLE_OS_CA_CERTS option flag to
662 guarantee the OS CAs will not be used, even if that support was selected at
663 build-time.
664
665 Optional "token limits" may be enforced by setting the member "token_limits"
666 in struct lws_context_creation_info to point to a struct lws_token_limits.
667 NULL means no token limits used for compatibility.
668
669
670 User api changes
671 ----------------
672
673 Extra optional argument to libwebsockets_serve_http_file() allows injecion
674 of HTTP headers into the canned response.  Eg, cookies may be added like
675 that without getting involved in having to send the header by hand.
676
677 A new info member http_proxy_address may be used at context creation time to
678 set the http proxy.  If non-NULL, it overrides http_proxy environment var.
679
680 Cmake supports LWS_SSL_CLIENT_USE_OS_CA_CERTS defaulting to on, which gets
681 the client to use the OS CA Roots.  If you're worried somebody with the
682 ability to forge for force creation of a client cert from the root CA in
683 your OS, you should disable this since your selfsigned $0 cert is a lot safer
684 then...
685
686
687 v1.23-chrome32-firefox24
688 ========================
689
690  Android.mk                            |   29 +
691  CMakeLists.txt                        |  573 ++++++++----
692  COPYING                               |  503 -----------
693  INSTALL                               |  365 --------
694  Makefile.am                           |   13 -
695  README.build                          |  371 ++------
696  README.coding                         |   63 ++
697  autogen.sh                            | 1578 ---------------------------------
698  changelog                             |   69 ++
699  cmake/FindGit.cmake                   |  163 ++++
700  cmake/FindOpenSSLbins.cmake           |   15 +-
701  cmake/UseRPMTools.cmake               |  176 ++++
702  config.h.cmake                        |   25 +-
703  configure.ac                          |  226 -----
704  cross-arm-linux-gnueabihf.cmake       |   28 +
705  lib/Makefile.am                       |   89 --
706  lib/base64-decode.c                   |   98 +-
707  lib/client-handshake.c                |  123 ++-
708  lib/client-parser.c                   |   19 +-
709  lib/client.c                          |  145 ++-
710  lib/daemonize.c                       |    4 +-
711  lib/extension.c                       |    2 +-
712  lib/getifaddrs.h                      |    4 +-
713  lib/handshake.c                       |   76 +-
714  lib/libwebsockets.c                   |  491 ++++++----
715  lib/libwebsockets.h                   |  164 ++--
716  lib/output.c                          |  214 ++++-
717  lib/parsers.c                         |  102 +--
718  lib/private-libwebsockets.h           |   66 +-
719  lib/server-handshake.c                |    5 +-
720  lib/server.c                          |   29 +-
721  lib/sha-1.c                           |    2 +-
722  libwebsockets-api-doc.html            |  249 +++---
723  libwebsockets.pc.in                   |   11 -
724  libwebsockets.spec                    |   14 +-
725  m4/ignore-me                          |    2 -
726  scripts/FindLibWebSockets.cmake       |   33 +
727  scripts/kernel-doc                    |    1 +
728  test-server/Makefile.am               |  131 ---
729  test-server/leaf.jpg                  |  Bin 0 -> 2477518 bytes
730  test-server/test-client.c             |   78 +-
731  test-server/test-echo.c               |   33 +-
732  test-server/test-fraggle.c            |   26 +-
733  test-server/test-ping.c               |   15 +-
734  test-server/test-server.c             |  197 +++-
735  test-server/test.html                 |    5 +-
736  win32port/win32helpers/gettimeofday.c |   74 +-
737  win32port/win32helpers/websock-w32.h  |    6 +-
738  48 files changed, 2493 insertions(+), 4212 deletions(-)
739
740
741 User api additions
742 ------------------
743
744  - You can now call libwebsocket_callback_on_writable() on http connectons,
745         and get a LWS_CALLBACK_HTTP_WRITEABLE callback, the same way you can
746         regulate writes with a websocket protocol connection.
747
748  - A new member in the context creation parameter struct "ssl_cipher_list" is
749         added, replacing CIPHERS_LIST_STRING.  NULL means use the ssl library
750         default list of ciphers.
751
752  - Not really an api addition, but libwebsocket_service_fd() will now zero
753         the revents field of the pollfd it was called with if it handled the
754         descriptor.  So you can tell if it is a non-lws fd by checking revents
755         after the service call... if it's still nonzero, the descriptor
756         belongs to you and you need to take care of it.
757
758  - libwebsocket_rx_flow_allow_all_protocol(protocol) will unthrottle all
759         connections with the established protocol.  It's designed to be
760         called from user server code when it sees it can accept more input
761         and may have throttled connections using the server rx flow apis
762         while it was unable to accept any other input  The user server code
763         then does not have to try to track while connections it choked, this
764         will free up all of them in one call.
765
766  - there's a new, optional callback LWS_CALLBACK_CLOSED_HTTP which gets
767         called when an HTTP protocol socket closes
768
769  - for LWS_CALLBACK_FILTER_PROTOCOL_CONNECTION callback, the user_space alloc
770         has already been done before the callback happens.  That means we can
771         use the user parameter to the callback to contain the user pointer, and
772         move the protocol name to the "in" parameter.  The docs for this
773         callback are also updated to reflect how to check headers in there.
774
775  - libwebsocket_client_connect() is now properly nonblocking and async.  See
776         README.coding and test-client.c for information on the callbacks you
777         can rely on controlling the async connection period with.
778
779  - if your OS does not support the http_proxy environment variable convention
780         (eg, reportedly OSX), you can use a new api libwebsocket_set_proxy()
781         to set the proxy details in between context creation and the connection
782         action.  For OSes that support http_proxy, that's used automatically.
783
784 User api changes
785 ----------------
786
787  - the external poll callbacks now get the socket descriptor coming from the
788         "in" parameter.  The user parameter provides the user_space for the
789         wsi as it normally does on the other callbacks.
790         LWS_CALLBACK_FILTER_NETWORK_CONNECTION also has the socket descriptor
791         delivered by @in now instead of @user.
792
793  - libwebsocket_write() now returns -1 for error, or the amount of data
794         actually accepted for send.  Under load, the OS may signal it is
795         ready to send new data on the socket, but have only a restricted
796         amount of memory to buffer the packet compared to usual.
797
798
799 User api removal
800 ----------------
801
802  - libwebsocket_ensure_user_space() is removed from the public api, if you
803         were using it to get user_space, you need to adapt your code to only
804         use user_space inside the user callback.
805
806  - CIPHERS_LIST_STRING is removed
807
808  - autotools build has been removed.  See README.build for info on how to
809         use CMake for your platform
810
811
812 v1.21-chrome26-firefox18
813 ========================
814
815  - Fixes buffer overflow bug in max frame size handling if you used the
816         default protocol buffer size.  If you declared rx_buffer_size in your
817         protocol, which is recommended anyway, your code was unaffected.
818
819 v1.2-chrome26-firefox18
820 =======================
821
822 Diffstat
823 --------
824
825  .gitignore                                                      |  16 +++
826  CMakeLists.txt                                                  | 544 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
827  LICENSE                                                         | 526 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
828  Makefile.am                                                     |   1 +
829  README                                                          |  20 +++
830  README.build                                                    | 258 ++++++++++++++++++++++++++++++++-----
831  README.coding                                                   |  52 ++++++++
832  changelog                                                       | 136 ++++++++++++++++++++
833  cmake/FindOpenSSLbins.cmake                                     |  33 +++++
834  config.h.cmake                                                  | 173 +++++++++++++++++++++++++
835  configure.ac                                                    |  22 +++-
836  lib/Makefile.am                                                 |  20 ++-
837  lib/base64-decode.c                                             |   2 +-
838  lib/client-handshake.c                                          | 190 +++++++++++-----------------
839  lib/client-parser.c                                             |  88 +++++++------
840  lib/client.c                                                    | 384 ++++++++++++++++++++++++++++++-------------------------
841  lib/daemonize.c                                                 |  32 +++--
842  lib/extension-deflate-frame.c                                   |  58 +++++----
843  lib/extension-deflate-stream.c                                  |  19 ++-
844  lib/extension-deflate-stream.h                                  |   4 +-
845  lib/extension.c                                                 |  11 +-
846  lib/getifaddrs.c                                                | 315 +++++++++++++++++++++++-----------------------
847  lib/getifaddrs.h                                                |  30 ++---
848  lib/handshake.c                                                 | 124 +++++++++++-------
849  lib/libwebsockets.c                                             | 736 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++--------------------------------------
850  lib/libwebsockets.h                                             | 237 ++++++++++++++++++++++------------
851  lib/output.c                                                    | 192 +++++++++++-----------------
852  lib/parsers.c                                                   | 966 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++----------------------------------------------------------------
853  lib/private-libwebsockets.h                                     | 225 +++++++++++++++++++++------------
854  lib/server-handshake.c                                          |  82 ++++++------
855  lib/server.c                                                    |  96 +++++++-------
856  libwebsockets-api-doc.html                                      | 189 ++++++++++++++++++----------
857  libwebsockets.spec                                              |  17 +--
858  test-server/attack.sh                                           | 148 ++++++++++++++++++++++
859  test-server/test-client.c                                       | 125 +++++++++---------
860  test-server/test-echo.c                                         |  31 +++--
861  test-server/test-fraggle.c                                      |  32 ++---
862  test-server/test-ping.c                                         |  52 ++++----
863  test-server/test-server.c                                       | 129 ++++++++++++-------
864  win32port/libwebsocketswin32/libwebsocketswin32.vcxproj         | 279 ----------------------------------------
865  win32port/libwebsocketswin32/libwebsocketswin32.vcxproj.filters |  23 +++-
866  41 files changed, 4398 insertions(+), 2219 deletions(-)
867
868
869 User api additions
870 ------------------
871
872  - lws_get_library_version() returns a const char * with a string like
873          "1.1 9e7f737", representing the library version from configure.ac
874          and the git HEAD hash the library was built from
875
876  - TCP Keepalive can now optionally be applied to all lws sockets, on Linux
877         also with controllable timeout, number of probes and probe interval.
878         (On BSD type OS, you can only use system default settings for the
879         timing and retries, although enabling it is supported by setting
880         ka_time to nonzero, the exact value has no meaning.)
881         This enables detection of idle connections which are logically okay,
882         but are in fact dead, due to network connectivity issues at the server,
883         client, or any intermediary.  By default it's not enabled, but you
884         can enable it by setting a non-zero timeout (in seconds) at the new
885         ka_time member at context creation time.
886
887  - Two new optional user callbacks added, LWS_CALLBACK_PROTOCOL_DESTROY which
888         is called one-time per protocol as the context is being destroyed, and
889         LWS_CALLBACK_PROTOCOL_INIT which is called when the context is created
890         and the protocols are added, again it's a one-time affair.
891         This lets you manage per-protocol allocations properly including
892         cleaning up after yourself when the server goes down.
893
894 User api changes
895 ----------------
896
897  - libwebsocket_create_context() has changed from taking a ton of parameters
898         to just taking a pointer to a struct containing the parameters.  The
899         struct lws_context_creation_info is in libwebsockets.h, the members
900         are in the same order as when they were parameters to the call
901         previously.  The test apps are all updated accordingly so you can
902         see example code there.
903
904  - Header tokens are now deleted after the websocket connection is
905         established.  Not just the header data is saved, but the pointer and
906         length array is also removed from (union) scope saving several hundred
907         bytes per connection once it is established
908
909  - struct libwebsocket_protocols has a new member rx_buffer_size, this
910         controls rx buffer size per connection of that protocol now.  Sources
911         for apps built against older versions of the library won't declare
912         this in their protocols, defaulting it to 0.  Zero buffer is legal,
913         it causes a default buffer to be allocated (currently 4096)
914
915         If you want to receive only atomic frames in your user callback, you
916         should set this to greater than your largest frame size.  If a frame
917         comes that exceeds that, no error occurs but the callback happens as
918         soon as the buffer limit is reached, and again if it is reached again
919         or the frame completes.  You can detect that has happened by seeing
920         there is still frame content pending using
921         libwebsockets_remaining_packet_payload()
922
923         By correctly setting this, you can save a lot of memory when your
924         protocol has small frames (see the test server and client sources).
925
926  - LWS_MAX_HEADER_LEN now defaults to 1024 and is the total amount of known
927         header payload lws can cope with, that includes the GET URL, origin
928         etc.  Headers not understood by lws are ignored and their payload
929         not included in this.
930
931
932 User api removals
933 -----------------
934
935  - The configuration-time option MAX_USER_RX_BUFFER has been replaced by a
936         buffer size chosen per-protocol.  For compatibility, there's a default
937         of 4096 rx buffer, but user code should set the appropriate size for
938         the protocol frames.
939
940  - LWS_INITIAL_HDR_ALLOC and LWS_ADDITIONAL_HDR_ALLOC are no longer needed
941         and have been removed.  There's a new header management scheme that
942         handles them in a much more compact way.
943
944  - libwebsockets_hangup_on_client() is removed.  If you want to close the
945         connection you must do so from the user callback and by returning
946         -1 from there.
947
948  - libwebsocket_close_and_free_session() is now private to the library code
949         only and not exposed for user code.  If you want to close the
950         connection, you must do so from the user callback by returning -1
951         from there.
952
953
954 New features
955 ------------
956
957  - Cmake project file added, aimed initially at Windows support: this replaces
958         the visual studio project files that were in the tree until now.
959
960  - CyaSSL now supported in place of OpenSSL (--use-cyassl on configure)
961
962  - PATH_MAX or MAX_PATH no longer needed
963
964  - cutomizable frame rx buffer size by protocol
965
966  - optional TCP keepalive so dead peers can be detected, can be enabled at
967         context-creation time
968
969  - valgrind-clean: no SSL or CyaSSL: completely clean.  With OpenSSL, 88 bytes
970         lost at OpenSSL library init and symptomless reports of uninitialized
971         memory usage... seems to be a known and ignored problem at OpenSSL
972
973  - By default debug is enabled and the library is built for -O0 -g to faclitate
974         that.  Use --disable-debug configure option to build instead with -O4
975         and no -g (debug info), obviously providing best performance and
976         reduced binary size.
977
978  - 1.0 introduced some code to try to not deflate small frames, however this
979         seems to break when confronted with a mixture of frames above and
980         below the threshold, so it's removed.  Veto the compression extension
981         in your user callback if you will typically have very small frames.
982
983  - There are many memory usage improvements, both a reduction in malloc/
984         realloc and architectural changes.  A websocket connection now
985         consumes only 296 bytes with SSL or 272 bytes without on x86_64,
986         during header processing an additional 1262 bytes is allocated in a
987         single malloc, but is freed when the websocket connection starts.
988         The RX frame buffer defined by the protocol in user
989         code is also allocated per connection, this represents the largest
990         frame you can receive atomically in that protocol.
991
992  - On ARM9 build, just http+ws server no extensions or ssl, <12Kbytes .text
993         and 112 bytes per connection (+1328 only during header processing)
994
995
996 v1.1-chrome26-firefox18
997 =======================
998
999 Diffstat
1000 --------
1001
1002  Makefile.am                            |    4 +
1003  README-test-server                     |  291 ---
1004  README.build                           |  239 ++
1005  README.coding                          |  138 ++
1006  README.rst                             |   72 -
1007  README.test-apps                       |  272 +++
1008  configure.ac                           |  116 +-
1009  lib/Makefile.am                        |   55 +-
1010  lib/base64-decode.c                    |    5 +-
1011  lib/client-handshake.c                 |  121 +-
1012  lib/client-parser.c                    |  394 ++++
1013  lib/client.c                           |  807 +++++++
1014  lib/daemonize.c                        |  212 ++
1015  lib/extension-deflate-frame.c          |  132 +-
1016  lib/extension-deflate-stream.c         |   12 +-
1017  lib/extension-x-google-mux.c           | 1223 ----------
1018  lib/extension-x-google-mux.h           |   96 -
1019  lib/extension.c                        |    8 -
1020  lib/getifaddrs.c                       |  271 +++
1021  lib/getifaddrs.h                       |   76 +
1022  lib/handshake.c                        |  582 +----
1023  lib/libwebsockets.c                    | 2493 ++++++---------------
1024  lib/libwebsockets.h                    |  115 +-
1025  lib/md5.c                              |  217 --
1026  lib/minilex.c                          |  440 ++++
1027  lib/output.c                           |  628 ++++++
1028  lib/parsers.c                          | 2016 +++++------------
1029  lib/private-libwebsockets.h            |  284 +--
1030  lib/server-handshake.c                 |  275 +++
1031  lib/server.c                           |  377 ++++
1032  libwebsockets-api-doc.html             |  300 +--
1033  m4/ignore-me                           |    2 +
1034  test-server/Makefile.am                |  111 +-
1035  test-server/libwebsockets.org-logo.png |  Bin 0 -> 7029 bytes
1036  test-server/test-client.c              |   45 +-
1037  test-server/test-echo.c                |  330 +++
1038  test-server/test-fraggle.c             |   20 +-
1039  test-server/test-ping.c                |   22 +-
1040  test-server/test-server-extpoll.c      |  554 -----
1041  test-server/test-server.c              |  349 ++-
1042  test-server/test.html                  |    3 +-
1043  win32port/zlib/ZLib.vcxproj            |  749 ++++---
1044  win32port/zlib/ZLib.vcxproj.filters    |  188 +-
1045  win32port/zlib/adler32.c               |  348 ++-
1046  win32port/zlib/compress.c              |  160 +-
1047  win32port/zlib/crc32.c                 |  867 ++++----
1048  win32port/zlib/crc32.h                 |  882 ++++----
1049  win32port/zlib/deflate.c               | 3799 +++++++++++++++-----------------
1050  win32port/zlib/deflate.h               |  688 +++---
1051  win32port/zlib/gzclose.c               |   50 +-
1052  win32port/zlib/gzguts.h                |  325 ++-
1053  win32port/zlib/gzlib.c                 | 1157 +++++-----
1054  win32port/zlib/gzread.c                | 1242 ++++++-----
1055  win32port/zlib/gzwrite.c               | 1096 +++++----
1056  win32port/zlib/infback.c               | 1272 ++++++-----
1057  win32port/zlib/inffast.c               |  680 +++---
1058  win32port/zlib/inffast.h               |   22 +-
1059  win32port/zlib/inffixed.h              |  188 +-
1060  win32port/zlib/inflate.c               | 2976 +++++++++++++------------
1061  win32port/zlib/inflate.h               |  244 +-
1062  win32port/zlib/inftrees.c              |  636 +++---
1063  win32port/zlib/inftrees.h              |  124 +-
1064  win32port/zlib/trees.c                 | 2468 +++++++++++----------
1065  win32port/zlib/trees.h                 |  256 +--
1066  win32port/zlib/uncompr.c               |  118 +-
1067  win32port/zlib/zconf.h                 |  934 ++++----
1068  win32port/zlib/zlib.h                  | 3357 ++++++++++++++--------------
1069  win32port/zlib/zutil.c                 |  642 +++---
1070  win32port/zlib/zutil.h                 |  526 ++---
1071  69 files changed, 19556 insertions(+), 20145 deletions(-)
1072
1073 user api changes
1074 ----------------
1075
1076  - libwebsockets_serve_http_file() now takes a context as first argument
1077
1078  - libwebsockets_get_peer_addresses() now takes a context and wsi as first
1079         two arguments
1080
1081
1082 user api additions
1083 ------------------
1084
1085  - lwsl_...() logging apis, default to stderr but retargetable by user code;
1086         may be used also by user code
1087
1088  - lws_set_log_level() set which logging apis are able to emit (defaults to
1089         notice, warn, err severities), optionally set the emit callback
1090
1091  - lwsl_emit_syslog() helper callback emits to syslog
1092
1093  - lws_daemonize() helper code that forks the app into a headless daemon
1094         properly, maintains a lock file with pid in suitable for sysvinit etc to
1095         control lifecycle
1096
1097  - LWS_CALLBACK_HTTP_FILE_COMPLETION callback added since http file
1098         transfer is now asynchronous (see test server code)
1099
1100  - lws_frame_is_binary() from a wsi pointer, let you know if the received
1101         data was sent in BINARY mode
1102
1103
1104 user api removals
1105 -----------------
1106
1107  - libwebsockets_fork_service_loop() - no longer supported (had intractable problems)
1108         arrange your code to act from the user callback instead from same
1109         process context as the service loop
1110
1111  - libwebsockets_broadcast() - use libwebsocket_callback_on_writable[_all_protocol]()
1112         instead from same process context as the service loop.  See the test apps
1113         for examples.
1114
1115  - x-google-mux() removed until someone wants it
1116
1117  - pre -v13 (ancient) protocol support removed
1118
1119
1120 New features
1121 ------------
1122
1123  - echo test server and client compatible with echo.websocket.org added
1124
1125  - many new configure options (see README.build) to reduce footprint of the
1126         library to what you actually need, eg, --without-client and
1127         --without-server
1128
1129  - http + websocket server can build to as little as 12K .text for ARM
1130
1131  - no more MAX_CLIENTS limitation; adapts to support the max number of fds
1132         allowed to the process by ulimit, defaults to 1024 on Fedora and
1133         Ubuntu.  Use ulimit to control this without needing to configure
1134         the library.  Code here is smaller and faster.
1135
1136  - adaptive ratio of listen socket to connection socket service allows
1137         good behaviour under Apache ab test load.  Tested with thousands
1138         of simultaneous connections
1139
1140  - reduction in per-connection memory footprint by moving to a union to hold
1141         mutually-exclusive state for the connection
1142
1143  - robustness: Out of Memory taken care of for all allocation code now
1144
1145  - internal getifaddrs option if your toolchain lacks it (some uclibc)
1146
1147  - configurable memory limit for deflate operations
1148
1149  - improvements in SSL code nonblocking operation, possible hang solved,
1150         some SSL operations broken down into pollable states so there is
1151         no library blocking, timeout coverage for SSL_connect
1152
1153  - extpoll test server merged into single test server source
1154
1155  - robustness: library should deal with all recoverable socket conditions
1156
1157  - rx flowcontrol for backpressure notification fixed and implmeneted
1158         correctly in the test server
1159
1160  - optimal lexical parser added for header processing; all headers in a
1161         single 276-byte state table
1162
1163  - latency tracking api added (configure --with-latency)
1164
1165  - Improved in-tree documentation, REAME.build, README.coding,
1166         README.test-apps, changelog
1167
1168  - Many small fixes
1169
1170
1171 v1.0-chrome25-firefox17 (6cd1ea9b005933f)