changelog

   1 Changelog
   2 ---------
   3
   4 Extension Changes
   5 -----------------
   6
   7 1) There is now a "permessage-deflate" / RFC7692 implementation.  It's very
   8 similar to "deflate-frame" we have offered for a long while; deflate-frame is
   9 now provided as an alias of permessage-deflate.
  10
  11 The main differences are that the new permessage-deflate implementation:
  12
  13  - properly performs streaming respecting input and output buffer limits.  The
  14    old deflate-frame implementation could only work on complete deflate input
  15    and produce complete inflate output for each frame.  The new implementation
  16    only mallocs buffers at initialization.
  17
  18  - goes around the event loop after each input package is processed allowing
  19    interleaved output processing.  The RX flow control api can be used to
  20    force compressed input processing to match the rate of compressed output
  21    processing (test--echo shows an example of how to do this).
  22
  23  - when being "deflate-frame" for compatibility he uses the same default zlib
  24    settings as the old "deflate-frame", but instead of exponentially increasing
  25    malloc allocations until the whole output will fit, he observes the default
  26    input and output chunking buffer sizes of "permessage-deflate", that's
  27    1024 in and 1024 out at a time.
  28
  29 2) deflate-stream has been disabled for many versions (for over a year) and is
  30 now removed.  Browsers are now standardizing on "permessage-deflate" / RFC7692
  31
  32 3) struct lws_extension is simplified, and lws extensions now have a public
  33 api (their callback) for use in user code to compose extensions and options
  34 the user code wants.  lws_get_internal_exts() is deprecated but kept around
  35 as a NOP.  The changes allow one extension implementation to go by different
  36 names and allows the user client code to control option offers per-ext.
  37
  38 The test client and server are updated to use the new way.  If you use
  39 the old way it should still work, but extensions will be disabled until you
  40 update your code.
  41
  42 Extensions are now responsible for allocating and per-instance private struct
  43 at instance construction time and freeing it when the instance is destroyed.
  44 Not needing to know the size means the extension's struct can be opaque
  45 to user code.
  46
  47
  48 User api additions
  49 ------------------
  50
  51 1) The info struct gained two new members
  52
  53  - max_http_header_data: 0 for default (1024) or set the maximum amount of known
  54     http header payload that lws can deal with.  Payload in unknown http
  55     headers is dropped silently.  If for some reason you need to send huge
  56     cookies or other HTTP-level headers, you can now increase this at context-
  57     creation time.
  58
  59  - max_http_header_pool: 0 for default (16) or set the maximum amount of http
  60      headers that can be tracked by lws in this context.  For the server, if
  61      the header pool is completely in use then accepts on the listen socket
  62      are disabled until one becomes free.  For the client, if you simultaneously
  63      have pending connects for more than this number of client connections,
  64      additional connects will fail until some of the pending connections timeout
  65      or complete.
  66
  67 HTTP header processing in lws only exists until just after the first main
  68 callback after the HTTP handshake... for ws connections that is ESTABLISHED and
  69 for HTTP connections the HTTP callback.
  70
  71 So these settings are not related to the maximum number of simultaneous
  72 connections, but the number of HTTP handshakes that may be expected or ongoing,
  73 or have just completed, at one time.  The reason it's useful is it changes the
  74 memory allocation for header processing to be one-time at context creation
  75 instead of every time there is a new connection, and gives you control over
  76 the peak allocation.
  77
  78 Setting max_http_header_pool to 1 is fine it will just queue incoming
  79 connections before the accept as necessary, you can still have as many
  80 simultaneous post-header connections as you like.  Since the http header
  81 processing is completed and the allocation released after ESTABLISHED or the
  82 HTTP callback, even with a pool of 1 many connections can be handled rapidly.
  83
  84 2) There is a new callback that allows the user code to get acccess to the
  85 optional close code + aux data that may have been sent by the peer.
  86
  87 LWS_CALLBACK_WS_PEER_INITIATED_CLOSE:
  88              The peer has sent an unsolicited Close WS packet.  @in and
  89              @len are the optional close code (first 2 bytes, network
  90              order) and the optional additional information which is not
  91              defined in the standard, and may be a string or non-human-
  92              readble data.
  93              If you return 0 lws will echo the close and then close the
  94              connection.  If you return nonzero lws will just close the
  95              connection.
  96
  97 As usual not handling it does the right thing, if you're not interested in it
  98 just ignore it.
  99
 100 The test server has "open and close" testing buttons at the bottom, if you
 101 open and close that connection, on close it will send a close code 3000 decimal
 102 and the string "Bye!" as the aux data.
 103
 104 The test server dumb-increment callback handles this callback reason and prints
 105
 106 lwsts[15714]: LWS_CALLBACK_WS_PEER_INITIATED_CLOSE: len 6
 107 lwsts[15714]:  0: 0x0B
 108 lwsts[15714]:  1: 0xB8
 109 lwsts[15714]:  2: 0x42
 110 lwsts[15714]:  3: 0x79
 111 lwsts[15714]:  4: 0x65
 112 lwsts[15714]:  5: 0x21
 113
 114 3) There is a new API to allow the user code to control the content of the
 115 close frame sent when about to return nonzero from the user callback to
 116 indicate the connection should close.
 117
 118 /**
 119  * lws_close_reason - Set reason and aux data to send with Close packet
 120  *              If you are going to return nonzero from the callback
 121  *              requesting the connection to close, you can optionally
 122  *              call this to set the reason the peer will be told if
 123  *              possible.
 124  *
 125  * @wsi:        The websocket connection to set the close reason on
 126  * @status:     A valid close status from websocket standard
 127  * @buf:        NULL or buffer containing up to 124 bytes of auxiliary data
 128  * @len:        Length of data in @buf to send
 129  */
 130 LWS_VISIBLE LWS_EXTERN void
 131 lws_close_reason(struct lws *wsi, enum lws_close_status status,
 132                  unsigned char *buf, size_t len);
 133
 134 An extra button is added to the "open and close" test server page that requests
 135 that the test server close the connection from his end.
 136
 137 The test server code will do so by
 138
 139                         lws_close_reason(wsi, LWS_CLOSE_STATUS_GOINGAWAY,
 140                                          (unsigned char *)"seeya", 5);
 141                         return -1;
 142
 143 The browser shows the close code and reason he received
 144
 145 websocket connection CLOSED, code: 1001, reason: seeya
 146
 147 3) There's a new context creation time option flag
 148
 149 LWS_SERVER_OPTION_VALIDATE_UTF8
 150
 151 if you set it in info->options, then TEXT and CLOSE frames will get checked to
 152 confirm that they contain valid UTF-8.  If they don't, the connection will get
 153 closed by lws.
 154
 155
 156 User api changes
 157 ----------------
 158
 159 1) LWS_SEND_BUFFER_POST_PADDING is now 0 and deprecated.  You can remove it; if
 160 you still use it, obviously it does nothing.  Old binary code with nonzero
 161 LWS_SEND_BUFFER_POST_PADDING is perfectly compatible, the old code just
 162 allocated a buffer bigger than the library is going to use.
 163
 164 The example apps no longer use LWS_SEND_BUFFER_POST_PADDING.
 165
 166 The only path who made use of it was sending with LWS_WRITE_CLOSE --->
 167
 168 2) Because of lws_close_reason() formalizing handling close frames,
 169 LWS_WRITE_CLOSE is removed from libwebsockets.h.  It was only of use to send
 170 close frames...close frame content should be managed using lws_close_reason()
 171 now.
 172
 173 3) We check for invalid CLOSE codes and complain about protocol violation in
 174 our close code.  But it changes little since we were in the middle of closing
 175 anyway.
 176
 177 4) zero-length RX frames and zero length TX frames are now allowed.
 178
 179 5) Pings and close used to be limited to 124 bytes, the correct limit is 125
 180 so that is now also allowed.
 181
 182 6) LWS_PRE is provided as a synonym for LWS_SEND_BUFFER_POST_PADDING, either is
 183 valid to use now.
 184
 185 7) There's generic support for RFC7462 style extension options built into the
 186 library now.  As a consequence, a field "options" is added to lws_extension.
 187 It can be NULL if there are no options on the extension.  Extension internal
 188 info is part of the public abi because extensions may be implemented outside
 189 the library.
 190
 191
 192 v1.6.0-chrome48-firefox42
 193 =======================
 194
 195 Major API improvements
 196 ----------------------
 197
 198 v1.6.0 has many cleanups and improvements in the API.  Although at first it
 199 looks pretty drastic, user code will only need four actions to update it.
 200
 201  - Do the three search/replaces in your user code, /libwebsocket_/lws_/,
 202    /libwebsockets_/lws_/, and /struct\ libwebsocket/struct\ lws/
 203
 204  - Remove the context parameter from your user callbacks
 205
 206  - Remove context as the first parameter from the "Eleven APIS" listed in the
 207    User Api Changes section
 208
 209  - Add lws_get_context(wsi) as the first parameter on the "Three APIS" listed
 210    in the User Api Changes section, and anywhere else you still need context
 211
 212 That's it... generally only a handful of the 14 affected APIs are actually in
 213 use in your user code and you can find them quickest by compiling and visiting
 214 the errors each in turn.  And the end results are much cleaner, more
 215 predictable and maintainable.
 216
 217
 218 User api additions
 219 ------------------
 220
 221 1) lws now exposes his internal platform file abstraction in a way that can be
 222 both used by user code to make it platform-agnostic, and be overridden or
 223 subclassed by user code.  This allows things like handling the URI "directory
 224 space" as a virtual filesystem that may or may not be backed by a regular
 225 filesystem.  One example use is serving files from inside large compressed
 226 archive storage without having to unpack anything except the file being
 227 requested.
 228
 229 The test server shows how to use it, basically the platform-specific part of
 230 lws prepares a file operations structure that lives in the lws context.
 231
 232 Helpers are provided to also leverage these platform-independent file handling
 233 apis
 234
 235 static inline lws_filefd_type
 236 lws_plat_file_open(struct lws *wsi, const char *filename,
 237                    unsigned long *filelen, int flags)
 238 static inline int
 239 lws_plat_file_close(struct lws *wsi, lws_filefd_type fd)
 240
 241 static inline unsigned long
 242 lws_plat_file_seek_cur(struct lws *wsi, lws_filefd_type fd, long offset)
 243
 244 static inline int
 245 lws_plat_file_read(struct lws *wsi, lws_filefd_type fd, unsigned long *amount,
 246                    unsigned char *buf, unsigned long len)
 247
 248 static inline int
 249 lws_plat_file_write(struct lws *wsi, lws_filefd_type fd, unsigned long *amount,
 250                     unsigned char *buf, unsigned long len)
 251
 252 The user code can also override or subclass the file operations, to either
 253 wrap or replace them.  An example is shown in test server.
 254
 255 A wsi can be associated with the file activity, allowing per-connection
 256 authentication and state to be used when interpreting the file request.
 257
 258 2) A new API void * lws_wsi_user(struct lws *wsi) lets you get the pointer to
 259 the user data associated with the wsi, just from the wsi.
 260
 261 3) URI argument handling.  Libwebsockets parses and protects URI arguments
 262 like test.html?arg1=1&arg2=2, it decodes %xx uriencoding format and reduces
 263 path attacks like ../.../../etc/passwd so they cannot go behind the web
 264 server's /.  There is a list of confirmed attacks we're proof against in
 265 ./test-server/attack.sh.
 266
 267 There is a new API lws_hdr_copy_fragment that should be used now to access
 268 the URI arguments (it returns the fragments length)
 269
 270                while (lws_hdr_copy_fragment(wsi, buf, sizeof(buf),
 271                                             WSI_TOKEN_HTTP_URI_ARGS, n) > 0) {
 272                        lwsl_info("URI Arg %d: %s\n", ++n, buf);
 273                }
 274
 275 For the example above, calling with n=0 will return "arg1=1" and n=1 "arg2=2".
 276 All legal uriencodings will have been reduced in those strings.
 277
 278 lws_hdr_copy_fragment() returns the length of the x=y fragment, so it's also
 279 possible to deal with arguments containing %00.  If you don't care about that,
 280 the returned string has '\0' appended to simplify processing.
 281
 282
 283 User api changes
 284 ----------------
 285
 286 1) Three APIS
 287
 288  - lws_callback_on_writable_all_protocol(const struct lws_protocols *protocol)
 289  - lws_callback_all_protocol(const struct lws_protocols *protocol)
 290  - lws_rx_flow_allow_all_protocol(lws_rx_flow_allow_all_protocol)
 291
 292 Now take an additional pointer to the lws_context in their first argument.
 293
 294 The reason for this change is struct lws_protocols has been changed to remove
 295 members that lws used for private storage: so the protocols struct in now
 296 truly const and may be reused serially or simultaneously by different contexts.
 297
 298 2) Eleven APIs
 299
 300 LWS_VISIBLE LWS_EXTERN int
 301 lws_add_http_header_by_name(struct lws_context *context,
 302                 struct lws *wsi,
 303                 const unsigned char *name,
 304                 const unsigned char *value,
 305                 int length,
 306                 unsigned char **p,
 307                 unsigned char *end);
 308 LWS_VISIBLE LWS_EXTERN int
 309 lws_finalize_http_header(struct lws_context *context,
 310              struct lws *wsi,
 311              unsigned char **p,
 312              unsigned char *end);
 313 LWS_VISIBLE LWS_EXTERN int
 314 lws_add_http_header_by_token(struct lws_context *context,
 315                  struct lws *wsi,
 316                  enum lws_token_indexes token,
 317                  const unsigned char *value,
 318                  int length,
 319                  unsigned char **p,
 320                  unsigned char *end);
 321 LWS_VISIBLE LWS_EXTERN int
 322 lws_add_http_header_content_length(struct lws_context *context,
 323                    struct lws *wsi,
 324                    unsigned long content_length,
 325                    unsigned char **p,
 326                    unsigned char *end);
 327 LWS_VISIBLE LWS_EXTERN int
 328 lws_add_http_header_status(struct lws_context *context, struct lws *wsi,
 329                unsigned int code, unsigned char **p,
 330                unsigned char *end);
 331
 332 LWS_VISIBLE LWS_EXTERN int
 333 lws_serve_http_file(struct lws_context *context, struct lws *wsi,
 334             const char *file, const char *content_type,
 335             const char *other_headers, int other_headers_len);
 336 LWS_VISIBLE LWS_EXTERN int
 337 lws_serve_http_file_fragment(struct lws_context *context, struct lws *wsi);
 338
 339 LWS_VISIBLE LWS_EXTERN int
 340 lws_return_http_status(struct lws_context *context, struct lws *wsi,
 341                unsigned int code, const char *html_body);
 342
 343 LWS_VISIBLE LWS_EXTERN int
 344 lws_callback_on_writable(const struct lws_context *context, struct lws *wsi);
 345
 346 LWS_VISIBLE LWS_EXTERN void
 347 lws_get_peer_addresses(struct lws_context *context, struct lws *wsi,
 348                lws_sockfd_type fd, char *name, int name_len,
 349                char *rip, int rip_len);
 350
 351 LWS_VISIBLE LWS_EXTERN int
 352 lws_read(struct lws_context *context, struct lws *wsi,
 353      unsigned char *buf, size_t len);
 354
 355 no longer require their initial struct lws_context * parameter.
 356
 357 3) Several older apis start with libwebsocket_ or libwebsockets_ while newer ones
 358 all begin lws_.  These apis have been changed to all begin with lws_.
 359
 360 To convert, search-replace
 361
 362  - libwebsockets_/lws_
 363  - libwebsocket_/lws_
 364  - struct\ libwebsocket/struct\ lws
 365
 366 4) context parameter removed from user callback.
 367
 368 Since almost all apis no longer need the context as a parameter, it's no longer
 369 provided at the user callback directly.
 370
 371 However if you need it, for ALL callbacks wsi is valid and has a valid context
 372 pointer you can recover using lws_get_context(wsi).
 373
 374
 375 v1.5-chrome47-firefox41
 376 =======================
 377
 378 User api changes
 379 ----------------
 380
 381 LWS_CALLBACK_CLIENT_CONNECTION_ERROR may provide an error string if in is
 382 non-NULL.  If so, the string has length len.
 383
 384 LWS_SERVER_OPTION_PEER_CERT_NOT_REQUIRED is available to relax the requirement
 385 for peer certs if you are using the option to require client certs.
 386
 387 LWS_WITHOUT_BUILTIN_SHA1 cmake option forces lws to use SHA1() defined
 388 externally, eg, byOpenSSL, and disables build of libwebsockets_SHA1()
 389
 390
 391 v1.4-chrome43-firefox36
 392 =======================
 393
 394 User api additions
 395 ------------------
 396
 397 There's a new member in the info struct used to control context creation,
 398 ssl_private_key_password, which allows passing into lws the passphrase on
 399 an SSL cetificate
 400
 401 There's a new member in struct protocols, id, which is ignored by lws but can
 402 be used by the user code to mark the selected protocol by user-defined version
 403 or capabliity flag information, for the case multiple versions of a protocol are
 404 supported.
 405
 406 int lws_is_ssl(wsi) added to allow user code to know if the connection was made
 407 over ssl or not.  If LWS_SERVER_OPTION_ALLOW_NON_SSL_ON_SSL_PORT is used, both
 408 ssl and non-ssl connections are possible and may need to be treated differently
 409 in the user code.
 410
 411 int lws_partial_buffered(wsi) added... should be checked after any
 412 libwebsocket_write that will be followed by another libwebsocket_write inside
 413 the same writeable callback.  If set, you can't do any more writes until the
 414 writeable callback is called again.  If you only do one write per writeable callback,
 415 you can ignore this.
 416
 417 HTTP2-related: HTTP2 changes how headers are handled, lws now has new version-
 418 agnositic header creation APIs.  These do the right thing depending on each
 419 connection's HTTP version without the user code having to know or care, except
 420 to make sure to use the new APIs for headers (test-server is updated to use
 421 them already, so look there for examples)
 422
 423 The APIs "render" the headers into a user-provided buffer and bump *p as it
 424 is used.  If *p reaches end, then the APIs return nonzero for error.
 425
 426 LWS_VISIBLE LWS_EXTERN int
 427 lws_add_http_header_status(struct libwebsocket_context *context,
 428                             struct libwebsocket *wsi,
 429                             unsigned int code,
 430                             unsigned char **p,
 431                             unsigned char *end);
 432
 433 Start a response header reporting status like 200, 500, etc
 434
 435 LWS_VISIBLE LWS_EXTERN int
 436 lws_add_http_header_by_name(struct libwebsocket_context *context,
 437                             struct libwebsocket *wsi,
 438                             const unsigned char *name,
 439                             const unsigned char *value,
 440                             int length,
 441                             unsigned char **p,
 442                             unsigned char *end);
 443
 444 Add a header like name: value in HTTP1.x
 445
 446 LWS_VISIBLE LWS_EXTERN int
 447 lws_finalize_http_header(struct libwebsocket_context *context,
 448                             struct libwebsocket *wsi,
 449                             unsigned char **p,
 450                             unsigned char *end);
 451
 452 Finish off the headers, like add the extra \r\n in HTTP1.x
 453
 454 LWS_VISIBLE LWS_EXTERN int
 455 lws_add_http_header_by_token(struct libwebsocket_context *context,
 456                             struct libwebsocket *wsi,
 457                             enum lws_token_indexes token,
 458                             const unsigned char *value,
 459                             int length,
 460                             unsigned char **p,
 461                             unsigned char *end);
 462
 463 Add a header by using a lws token as the name part.  In HTTP2, this can be
 464 compressed to one or two bytes.
 465
 466
 467 User api removal
 468 ----------------
 469
 470 protocols struct member no_buffer_all_partial_tx is removed.  Under some
 471 conditions like rewriting extension such as compression in use, the built-in
 472 partial send buffering is the only way to deal with the problem, so turning
 473 it off is deprecated.
 474
 475
 476 User api changes
 477 ----------------
 478
 479 HTTP2-related: API libwebsockets_serve_http_file() takes an extra parameter at
 480 the end now
 481
 482 int other_headers_len)
 483
 484 If you are providing other headers, they must be generated using the new
 485 HTTP-version-agnostic APIs, and you must provide the length of them using this
 486 additional parameter.
 487
 488 struct lws_context_creation_info now has an additional member
 489 SSL_CTX *provided_client_ssl_ctx you may set to an externally-initialized
 490 SSL_CTX managed outside lws.  Defaulting to zero keeps the existing behaviour of
 491 lws managing the context, if you memset the struct to 0 or have as a filescope
 492 initialized struct in bss, no need to change anything.
 493
 494
 495 v1.3-chrome37-firefox30
 496 =======================
 497
 498  .gitignore                                               |    1 -
 499  CMakeLists.txt                                           |  447 +++--
 500  README.build                                             |   35 +-
 501  README.coding                                            |   14 +
 502  changelog                                                |   66 +
 503  cmake/LibwebsocketsConfig.cmake.in                       |   17 +
 504  cmake/LibwebsocketsConfigVersion.cmake.in                |   11 +
 505  config.h.cmake                                           |   18 +
 506  cross-ming.cmake                                         |   31 +
 507  cross-openwrt-makefile                                   |   91 +
 508  lib/client-handshake.c                                   |  205 ++-
 509  lib/client-parser.c                                      |   58 +-
 510  lib/client.c                                             |  158 +-
 511  lib/context.c                                            |  341 ++++
 512  lib/extension-deflate-frame.c                            |    2 +-
 513  lib/extension.c                                          |  178 ++
 514  lib/handshake.c                                          |  287 +---
 515  lib/lextable.h                                           |  338 ++++
 516  lib/libev.c                                              |  175 ++
 517  lib/libwebsockets.c                                      | 2089 +++--------------------
 518  lib/libwebsockets.h                                      |  253 ++-
 519  lib/lws-plat-unix.c                                      |  404 +++++
 520  lib/lws-plat-win.c                                       |  358 ++++
 521  lib/minilex.c                                            |  530 +++---
 522  lib/output.c                                             |  445 ++---
 523  lib/parsers.c                                            |  682 ++++----
 524  lib/pollfd.c                                             |  239 +++
 525  lib/private-libwebsockets.h                              |  501 +++++-
 526  lib/server-handshake.c                                   |  274 +--
 527  lib/server.c                                             |  858 ++++++++--
 528  lib/service.c                                            |  517 ++++++
 529  lib/sha-1.c                                              |   38 +-
 530  lib/ssl-http2.c                                          |   78 +
 531  lib/ssl.c                                                |  571 +++++++
 532  test-server/attack.sh                                    |  101 +-
 533  test-server/test-client.c                                |    9 +-
 534  test-server/test-echo.c                                  |   17 +-
 535  test-server/test-fraggle.c                               |    7 -
 536  test-server/test-ping.c                                  |   12 +-
 537  test-server/test-server.c                                |  330 ++--
 538  test-server/test.html                                    |    4 +-
 539  win32port/client/client.vcxproj                          |  259 ---
 540  win32port/client/client.vcxproj.filters                  |   39 -
 541  .../libwebsocketswin32.vcxproj.filters                   |   93 -
 542  win32port/server/server.vcxproj                          |  276 ---
 543  win32port/server/server.vcxproj.filters                  |   51 -
 544  win32port/win32helpers/gettimeofday.h                    |   59 +-
 545  win32port/win32helpers/netdb.h                           |    1 -
 546  win32port/win32helpers/strings.h                         |    0
 547  win32port/win32helpers/sys/time.h                        |    1 -
 548  win32port/win32helpers/unistd.h                          |    0
 549  win32port/win32helpers/websock-w32.c                     |  104 --
 550  win32port/win32helpers/websock-w32.h                     |   62 -
 551  win32port/win32port.sln                                  |  100 --
 552  win32port/zlib/gzio.c                                    |    3 +-
 553  55 files changed, 6779 insertions(+), 5059 deletions(-)
 554
 555
 556 User api additions
 557 ------------------
 558
 559 POST method is supported
 560
 561 The protocol 0 / HTTP callback can now get two new kinds of callback,
 562 LWS_CALLBACK_HTTP_BODY (in and len are a chunk of the body of the HTTP request)
 563 and LWS_CALLBACK_HTTP_BODY_COMPLETION (the expected amount of body has arrived
 564 and been passed to the user code already).  These callbacks are used with the
 565 post method (see the test server for details).
 566
 567 The period between the HTTP header completion and the completion of the body
 568 processing is protected by a 5s timeout.
 569
 570 The chunks are stored in a malloc'd buffer of size protocols[0].rx_buffer_size.
 571
 572
 573 New server option you can enable from user code
 574 LWS_SERVER_OPTION_ALLOW_NON_SSL_ON_SSL_PORT allows non-SSL connections to
 575 also be accepted on an SSL listening port.  It's disabled unless you enable
 576 it explicitly.
 577
 578
 579 Two new callbacks are added in protocols[0] that are optional for allowing
 580 limited thread access to libwebsockets, LWS_CALLBACK_LOCK_POLL and
 581 LWS_CALLBACK_UNLOCK_POLL.
 582
 583 If you use them, they protect internal and external poll list changes, but if
 584 you want to use external thread access to libwebsocket_callback_on_writable()
 585 you have to implement your locking here even if you don't use external
 586 poll support.
 587
 588 If you will use another thread for this, take a lot of care about managing
 589 your list of live wsi by doing it from ESTABLISHED and CLOSED callbacks
 590 (with your own locking).
 591
 592 If you configure cmake with -DLWS_WITH_LIBEV=1 then the code allowing the libev
 593 eventloop instead of the default poll() one will also be compiled in.  But to
 594 use it, you must also set the LWS_SERVER_OPTION_LIBEV flag on the context
 595 creation info struct options member.
 596
 597 IPV6 is supported and enabled by default except for Windows, you can disable
 598 the support at build-time by giving -DLWS_IPV6=, and disable use of it even if
 599 compiled in by making sure the flag LWS_SERVER_OPTION_DISABLE_IPV6 is set on
 600 the context creation info struct options member.
 601
 602 You can give LWS_SERVER_OPTION_DISABLE_OS_CA_CERTS option flag to
 603 guarantee the OS CAs will not be used, even if that support was selected at
 604 build-time.
 605
 606 Optional "token limits" may be enforced by setting the member "token_limits"
 607 in struct lws_context_creation_info to point to a struct lws_token_limits.
 608 NULL means no token limits used for compatibility.
 609
 610
 611 User api changes
 612 ----------------
 613
 614 Extra optional argument to libwebsockets_serve_http_file() allows injecion
 615 of HTTP headers into the canned response.  Eg, cookies may be added like
 616 that without getting involved in having to send the header by hand.
 617
 618 A new info member http_proxy_address may be used at context creation time to
 619 set the http proxy.  If non-NULL, it overrides http_proxy environment var.
 620
 621 Cmake supports LWS_SSL_CLIENT_USE_OS_CA_CERTS defaulting to on, which gets
 622 the client to use the OS CA Roots.  If you're worried somebody with the
 623 ability to forge for force creation of a client cert from the root CA in
 624 your OS, you should disable this since your selfsigned $0 cert is a lot safer
 625 then...
 626
 627
 628 v1.23-chrome32-firefox24
 629 ========================
 630
 631  Android.mk                            |   29 +
 632  CMakeLists.txt                        |  573 ++++++++----
 633  COPYING                               |  503 -----------
 634  INSTALL                               |  365 --------
 635  Makefile.am                           |   13 -
 636  README.build                          |  371 ++------
 637  README.coding                         |   63 ++
 638  autogen.sh                            | 1578 ---------------------------------
 639  changelog                             |   69 ++
 640  cmake/FindGit.cmake                   |  163 ++++
 641  cmake/FindOpenSSLbins.cmake           |   15 +-
 642  cmake/UseRPMTools.cmake               |  176 ++++
 643  config.h.cmake                        |   25 +-
 644  configure.ac                          |  226 -----
 645  cross-arm-linux-gnueabihf.cmake       |   28 +
 646  lib/Makefile.am                       |   89 --
 647  lib/base64-decode.c                   |   98 +-
 648  lib/client-handshake.c                |  123 ++-
 649  lib/client-parser.c                   |   19 +-
 650  lib/client.c                          |  145 ++-
 651  lib/daemonize.c                       |    4 +-
 652  lib/extension.c                       |    2 +-
 653  lib/getifaddrs.h                      |    4 +-
 654  lib/handshake.c                       |   76 +-
 655  lib/libwebsockets.c                   |  491 ++++++----
 656  lib/libwebsockets.h                   |  164 ++--
 657  lib/output.c                          |  214 ++++-
 658  lib/parsers.c                         |  102 +--
 659  lib/private-libwebsockets.h           |   66 +-
 660  lib/server-handshake.c                |    5 +-
 661  lib/server.c                          |   29 +-
 662  lib/sha-1.c                           |    2 +-
 663  libwebsockets-api-doc.html            |  249 +++---
 664  libwebsockets.pc.in                   |   11 -
 665  libwebsockets.spec                    |   14 +-
 666  m4/ignore-me                          |    2 -
 667  scripts/FindLibWebSockets.cmake       |   33 +
 668  scripts/kernel-doc                    |    1 +
 669  test-server/Makefile.am               |  131 ---
 670  test-server/leaf.jpg                  |  Bin 0 -> 2477518 bytes
 671  test-server/test-client.c             |   78 +-
 672  test-server/test-echo.c               |   33 +-
 673  test-server/test-fraggle.c            |   26 +-
 674  test-server/test-ping.c               |   15 +-
 675  test-server/test-server.c             |  197 +++-
 676  test-server/test.html                 |    5 +-
 677  win32port/win32helpers/gettimeofday.c |   74 +-
 678  win32port/win32helpers/websock-w32.h  |    6 +-
 679  48 files changed, 2493 insertions(+), 4212 deletions(-)
 680
 681
 682 User api additions
 683 ------------------
 684
 685  - You can now call libwebsocket_callback_on_writable() on http connectons,
 686         and get a LWS_CALLBACK_HTTP_WRITEABLE callback, the same way you can
 687         regulate writes with a websocket protocol connection.
 688
 689  - A new member in the context creation parameter struct "ssl_cipher_list" is
 690         added, replacing CIPHERS_LIST_STRING.  NULL means use the ssl library
 691         default list of ciphers.
 692
 693  - Not really an api addition, but libwebsocket_service_fd() will now zero
 694         the revents field of the pollfd it was called with if it handled the
 695         descriptor.  So you can tell if it is a non-lws fd by checking revents
 696         after the service call... if it's still nonzero, the descriptor
 697         belongs to you and you need to take care of it.
 698
 699  - libwebsocket_rx_flow_allow_all_protocol(protocol) will unthrottle all
 700         connections with the established protocol.  It's designed to be
 701         called from user server code when it sees it can accept more input
 702         and may have throttled connections using the server rx flow apis
 703         while it was unable to accept any other input  The user server code
 704         then does not have to try to track while connections it choked, this
 705         will free up all of them in one call.
 706
 707  - there's a new, optional callback LWS_CALLBACK_CLOSED_HTTP which gets
 708         called when an HTTP protocol socket closes
 709
 710  - for LWS_CALLBACK_FILTER_PROTOCOL_CONNECTION callback, the user_space alloc
 711         has already been done before the callback happens.  That means we can
 712         use the user parameter to the callback to contain the user pointer, and
 713         move the protocol name to the "in" parameter.  The docs for this
 714         callback are also updated to reflect how to check headers in there.
 715
 716  - libwebsocket_client_connect() is now properly nonblocking and async.  See
 717         README.coding and test-client.c for information on the callbacks you
 718         can rely on controlling the async connection period with.
 719
 720  - if your OS does not support the http_proxy environment variable convention
 721         (eg, reportedly OSX), you can use a new api libwebsocket_set_proxy()
 722         to set the proxy details in between context creation and the connection
 723         action.  For OSes that support http_proxy, that's used automatically.
 724
 725 User api changes
 726 ----------------
 727
 728  - the external poll callbacks now get the socket descriptor coming from the
 729         "in" parameter.  The user parameter provides the user_space for the
 730         wsi as it normally does on the other callbacks.
 731         LWS_CALLBACK_FILTER_NETWORK_CONNECTION also has the socket descriptor
 732         delivered by @in now instead of @user.
 733
 734  - libwebsocket_write() now returns -1 for error, or the amount of data
 735         actually accepted for send.  Under load, the OS may signal it is
 736         ready to send new data on the socket, but have only a restricted
 737         amount of memory to buffer the packet compared to usual.
 738
 739
 740 User api removal
 741 ----------------
 742
 743  - libwebsocket_ensure_user_space() is removed from the public api, if you
 744         were using it to get user_space, you need to adapt your code to only
 745         use user_space inside the user callback.
 746
 747  - CIPHERS_LIST_STRING is removed
 748
 749  - autotools build has been removed.  See README.build for info on how to
 750         use CMake for your platform
 751
 752
 753 v1.21-chrome26-firefox18
 754 ========================
 755
 756  - Fixes buffer overflow bug in max frame size handling if you used the
 757         default protocol buffer size.  If you declared rx_buffer_size in your
 758         protocol, which is recommended anyway, your code was unaffected.
 759
 760 v1.2-chrome26-firefox18
 761 =======================
 762
 763 Diffstat
 764 --------
 765
 766  .gitignore                                                      |  16 +++
 767  CMakeLists.txt                                                  | 544 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
 768  LICENSE                                                         | 526 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++
 769  Makefile.am                                                     |   1 +
 770  README                                                          |  20 +++
 771  README.build                                                    | 258 ++++++++++++++++++++++++++++++++-----
 772  README.coding                                                   |  52 ++++++++
 773  changelog                                                       | 136 ++++++++++++++++++++
 774  cmake/FindOpenSSLbins.cmake                                     |  33 +++++
 775  config.h.cmake                                                  | 173 +++++++++++++++++++++++++
 776  configure.ac                                                    |  22 +++-
 777  lib/Makefile.am                                                 |  20 ++-
 778  lib/base64-decode.c                                             |   2 +-
 779  lib/client-handshake.c                                          | 190 +++++++++++-----------------
 780  lib/client-parser.c                                             |  88 +++++++------
 781  lib/client.c                                                    | 384 ++++++++++++++++++++++++++++++-------------------------
 782  lib/daemonize.c                                                 |  32 +++--
 783  lib/extension-deflate-frame.c                                   |  58 +++++----
 784  lib/extension-deflate-stream.c                                  |  19 ++-
 785  lib/extension-deflate-stream.h                                  |   4 +-
 786  lib/extension.c                                                 |  11 +-
 787  lib/getifaddrs.c                                                | 315 +++++++++++++++++++++++-----------------------
 788  lib/getifaddrs.h                                                |  30 ++---
 789  lib/handshake.c                                                 | 124 +++++++++++-------
 790  lib/libwebsockets.c                                             | 736 ++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++--------------------------------------
 791  lib/libwebsockets.h                                             | 237 ++++++++++++++++++++++------------
 792  lib/output.c                                                    | 192 +++++++++++-----------------
 793  lib/parsers.c                                                   | 966 +++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++----------------------------------------------------------------
 794  lib/private-libwebsockets.h                                     | 225 +++++++++++++++++++++------------
 795  lib/server-handshake.c                                          |  82 ++++++------
 796  lib/server.c                                                    |  96 +++++++-------
 797  libwebsockets-api-doc.html                                      | 189 ++++++++++++++++++----------
 798  libwebsockets.spec                                              |  17 +--
 799  test-server/attack.sh                                           | 148 ++++++++++++++++++++++
 800  test-server/test-client.c                                       | 125 +++++++++---------
 801  test-server/test-echo.c                                         |  31 +++--
 802  test-server/test-fraggle.c                                      |  32 ++---
 803  test-server/test-ping.c                                         |  52 ++++----
 804  test-server/test-server.c                                       | 129 ++++++++++++-------
 805  win32port/libwebsocketswin32/libwebsocketswin32.vcxproj         | 279 ----------------------------------------
 806  win32port/libwebsocketswin32/libwebsocketswin32.vcxproj.filters |  23 +++-
 807  41 files changed, 4398 insertions(+), 2219 deletions(-)
 808
 809
 810 User api additions
 811 ------------------
 812
 813  - lws_get_library_version() returns a const char * with a string like
 814          "1.1 9e7f737", representing the library version from configure.ac
 815          and the git HEAD hash the library was built from
 816
 817  - TCP Keepalive can now optionally be applied to all lws sockets, on Linux
 818         also with controllable timeout, number of probes and probe interval.
 819         (On BSD type OS, you can only use system default settings for the
 820         timing and retries, although enabling it is supported by setting
 821         ka_time to nonzero, the exact value has no meaning.)
 822         This enables detection of idle connections which are logically okay,
 823         but are in fact dead, due to network connectivity issues at the server,
 824         client, or any intermediary.  By default it's not enabled, but you
 825         can enable it by setting a non-zero timeout (in seconds) at the new
 826         ka_time member at context creation time.
 827
 828  - Two new optional user callbacks added, LWS_CALLBACK_PROTOCOL_DESTROY which
 829         is called one-time per protocol as the context is being destroyed, and
 830         LWS_CALLBACK_PROTOCOL_INIT which is called when the context is created
 831         and the protocols are added, again it's a one-time affair.
 832         This lets you manage per-protocol allocations properly including
 833         cleaning up after yourself when the server goes down.
 834
 835 User api changes
 836 ----------------
 837
 838  - libwebsocket_create_context() has changed from taking a ton of parameters
 839         to just taking a pointer to a struct containing the parameters.  The
 840         struct lws_context_creation_info is in libwebsockets.h, the members
 841         are in the same order as when they were parameters to the call
 842         previously.  The test apps are all updated accordingly so you can
 843         see example code there.
 844
 845  - Header tokens are now deleted after the websocket connection is
 846         established.  Not just the header data is saved, but the pointer and
 847         length array is also removed from (union) scope saving several hundred
 848         bytes per connection once it is established
 849
 850  - struct libwebsocket_protocols has a new member rx_buffer_size, this
 851         controls rx buffer size per connection of that protocol now.  Sources
 852         for apps built against older versions of the library won't declare
 853         this in their protocols, defaulting it to 0.  Zero buffer is legal,
 854         it causes a default buffer to be allocated (currently 4096)
 855
 856         If you want to receive only atomic frames in your user callback, you
 857         should set this to greater than your largest frame size.  If a frame
 858         comes that exceeds that, no error occurs but the callback happens as
 859         soon as the buffer limit is reached, and again if it is reached again
 860         or the frame completes.  You can detect that has happened by seeing
 861         there is still frame content pending using
 862         libwebsockets_remaining_packet_payload()
 863
 864         By correctly setting this, you can save a lot of memory when your
 865         protocol has small frames (see the test server and client sources).
 866
 867  - LWS_MAX_HEADER_LEN now defaults to 1024 and is the total amount of known
 868         header payload lws can cope with, that includes the GET URL, origin
 869         etc.  Headers not understood by lws are ignored and their payload
 870         not included in this.
 871
 872
 873 User api removals
 874 -----------------
 875
 876  - The configuration-time option MAX_USER_RX_BUFFER has been replaced by a
 877         buffer size chosen per-protocol.  For compatibility, there's a default
 878         of 4096 rx buffer, but user code should set the appropriate size for
 879         the protocol frames.
 880
 881  - LWS_INITIAL_HDR_ALLOC and LWS_ADDITIONAL_HDR_ALLOC are no longer needed
 882         and have been removed.  There's a new header management scheme that
 883         handles them in a much more compact way.
 884
 885  - libwebsockets_hangup_on_client() is removed.  If you want to close the
 886         connection you must do so from the user callback and by returning
 887         -1 from there.
 888
 889  - libwebsocket_close_and_free_session() is now private to the library code
 890         only and not exposed for user code.  If you want to close the
 891         connection, you must do so from the user callback by returning -1
 892         from there.
 893
 894
 895 New features
 896 ------------
 897
 898  - Cmake project file added, aimed initially at Windows support: this replaces
 899         the visual studio project files that were in the tree until now.
 900
 901  - CyaSSL now supported in place of OpenSSL (--use-cyassl on configure)
 902
 903  - PATH_MAX or MAX_PATH no longer needed
 904
 905  - cutomizable frame rx buffer size by protocol
 906
 907  - optional TCP keepalive so dead peers can be detected, can be enabled at
 908         context-creation time
 909
 910  - valgrind-clean: no SSL or CyaSSL: completely clean.  With OpenSSL, 88 bytes
 911         lost at OpenSSL library init and symptomless reports of uninitialized
 912         memory usage... seems to be a known and ignored problem at OpenSSL
 913
 914  - By default debug is enabled and the library is built for -O0 -g to faclitate
 915         that.  Use --disable-debug configure option to build instead with -O4
 916         and no -g (debug info), obviously providing best performance and
 917         reduced binary size.
 918
 919  - 1.0 introduced some code to try to not deflate small frames, however this
 920         seems to break when confronted with a mixture of frames above and
 921         below the threshold, so it's removed.  Veto the compression extension
 922         in your user callback if you will typically have very small frames.
 923
 924  - There are many memory usage improvements, both a reduction in malloc/
 925         realloc and architectural changes.  A websocket connection now
 926         consumes only 296 bytes with SSL or 272 bytes without on x86_64,
 927         during header processing an additional 1262 bytes is allocated in a
 928         single malloc, but is freed when the websocket connection starts.
 929         The RX frame buffer defined by the protocol in user
 930         code is also allocated per connection, this represents the largest
 931         frame you can receive atomically in that protocol.
 932
 933  - On ARM9 build, just http+ws server no extensions or ssl, <12Kbytes .text
 934         and 112 bytes per connection (+1328 only during header processing)
 935
 936
 937 v1.1-chrome26-firefox18
 938 =======================
 939
 940 Diffstat
 941 --------
 942
 943  Makefile.am                            |    4 +
 944  README-test-server                     |  291 ---
 945  README.build                           |  239 ++
 946  README.coding                          |  138 ++
 947  README.rst                             |   72 -
 948  README.test-apps                       |  272 +++
 949  configure.ac                           |  116 +-
 950  lib/Makefile.am                        |   55 +-
 951  lib/base64-decode.c                    |    5 +-
 952  lib/client-handshake.c                 |  121 +-
 953  lib/client-parser.c                    |  394 ++++
 954  lib/client.c                           |  807 +++++++
 955  lib/daemonize.c                        |  212 ++
 956  lib/extension-deflate-frame.c          |  132 +-
 957  lib/extension-deflate-stream.c         |   12 +-
 958  lib/extension-x-google-mux.c           | 1223 ----------
 959  lib/extension-x-google-mux.h           |   96 -
 960  lib/extension.c                        |    8 -
 961  lib/getifaddrs.c                       |  271 +++
 962  lib/getifaddrs.h                       |   76 +
 963  lib/handshake.c                        |  582 +----
 964  lib/libwebsockets.c                    | 2493 ++++++---------------
 965  lib/libwebsockets.h                    |  115 +-
 966  lib/md5.c                              |  217 --
 967  lib/minilex.c                          |  440 ++++
 968  lib/output.c                           |  628 ++++++
 969  lib/parsers.c                          | 2016 +++++------------
 970  lib/private-libwebsockets.h            |  284 +--
 971  lib/server-handshake.c                 |  275 +++
 972  lib/server.c                           |  377 ++++
 973  libwebsockets-api-doc.html             |  300 +--
 974  m4/ignore-me                           |    2 +
 975  test-server/Makefile.am                |  111 +-
 976  test-server/libwebsockets.org-logo.png |  Bin 0 -> 7029 bytes
 977  test-server/test-client.c              |   45 +-
 978  test-server/test-echo.c                |  330 +++
 979  test-server/test-fraggle.c             |   20 +-
 980  test-server/test-ping.c                |   22 +-
 981  test-server/test-server-extpoll.c      |  554 -----
 982  test-server/test-server.c              |  349 ++-
 983  test-server/test.html                  |    3 +-
 984  win32port/zlib/ZLib.vcxproj            |  749 ++++---
 985  win32port/zlib/ZLib.vcxproj.filters    |  188 +-
 986  win32port/zlib/adler32.c               |  348 ++-
 987  win32port/zlib/compress.c              |  160 +-
 988  win32port/zlib/crc32.c                 |  867 ++++----
 989  win32port/zlib/crc32.h                 |  882 ++++----
 990  win32port/zlib/deflate.c               | 3799 +++++++++++++++-----------------
 991  win32port/zlib/deflate.h               |  688 +++---
 992  win32port/zlib/gzclose.c               |   50 +-
 993  win32port/zlib/gzguts.h                |  325 ++-
 994  win32port/zlib/gzlib.c                 | 1157 +++++-----
 995  win32port/zlib/gzread.c                | 1242 ++++++-----
 996  win32port/zlib/gzwrite.c               | 1096 +++++----
 997  win32port/zlib/infback.c               | 1272 ++++++-----
 998  win32port/zlib/inffast.c               |  680 +++---
 999  win32port/zlib/inffast.h               |   22 +-
1000  win32port/zlib/inffixed.h              |  188 +-
1001  win32port/zlib/inflate.c               | 2976 +++++++++++++------------
1002  win32port/zlib/inflate.h               |  244 +-
1003  win32port/zlib/inftrees.c              |  636 +++---
1004  win32port/zlib/inftrees.h              |  124 +-
1005  win32port/zlib/trees.c                 | 2468 +++++++++++----------
1006  win32port/zlib/trees.h                 |  256 +--
1007  win32port/zlib/uncompr.c               |  118 +-
1008  win32port/zlib/zconf.h                 |  934 ++++----
1009  win32port/zlib/zlib.h                  | 3357 ++++++++++++++--------------
1010  win32port/zlib/zutil.c                 |  642 +++---
1011  win32port/zlib/zutil.h                 |  526 ++---
1012  69 files changed, 19556 insertions(+), 20145 deletions(-)
1013
1014 user api changes
1015 ----------------
1016
1017  - libwebsockets_serve_http_file() now takes a context as first argument
1018
1019  - libwebsockets_get_peer_addresses() now takes a context and wsi as first
1020         two arguments
1021
1022
1023 user api additions
1024 ------------------
1025
1026  - lwsl_...() logging apis, default to stderr but retargetable by user code;
1027         may be used also by user code
1028
1029  - lws_set_log_level() set which logging apis are able to emit (defaults to
1030         notice, warn, err severities), optionally set the emit callback
1031
1032  - lwsl_emit_syslog() helper callback emits to syslog
1033
1034  - lws_daemonize() helper code that forks the app into a headless daemon
1035         properly, maintains a lock file with pid in suitable for sysvinit etc to
1036         control lifecycle
1037
1038  - LWS_CALLBACK_HTTP_FILE_COMPLETION callback added since http file
1039         transfer is now asynchronous (see test server code)
1040
1041  - lws_frame_is_binary() from a wsi pointer, let you know if the received
1042         data was sent in BINARY mode
1043
1044
1045 user api removals
1046 -----------------
1047
1048  - libwebsockets_fork_service_loop() - no longer supported (had intractable problems)
1049         arrange your code to act from the user callback instead from same
1050         process context as the service loop
1051
1052  - libwebsockets_broadcast() - use libwebsocket_callback_on_writable[_all_protocol]()
1053         instead from same process context as the service loop.  See the test apps
1054         for examples.
1055
1056  - x-google-mux() removed until someone wants it
1057
1058  - pre -v13 (ancient) protocol support removed
1059
1060
1061 New features
1062 ------------
1063
1064  - echo test server and client compatible with echo.websocket.org added
1065
1066  - many new configure options (see README.build) to reduce footprint of the
1067         library to what you actually need, eg, --without-client and
1068         --without-server
1069
1070  - http + websocket server can build to as little as 12K .text for ARM
1071
1072  - no more MAX_CLIENTS limitation; adapts to support the max number of fds
1073         allowed to the process by ulimit, defaults to 1024 on Fedora and
1074         Ubuntu.  Use ulimit to control this without needing to configure
1075         the library.  Code here is smaller and faster.
1076
1077  - adaptive ratio of listen socket to connection socket service allows
1078         good behaviour under Apache ab test load.  Tested with thousands
1079         of simultaneous connections
1080
1081  - reduction in per-connection memory footprint by moving to a union to hold
1082         mutually-exclusive state for the connection
1083
1084  - robustness: Out of Memory taken care of for all allocation code now
1085
1086  - internal getifaddrs option if your toolchain lacks it (some uclibc)
1087
1088  - configurable memory limit for deflate operations
1089
1090  - improvements in SSL code nonblocking operation, possible hang solved,
1091         some SSL operations broken down into pollable states so there is
1092         no library blocking, timeout coverage for SSL_connect
1093
1094  - extpoll test server merged into single test server source
1095
1096  - robustness: library should deal with all recoverable socket conditions
1097
1098  - rx flowcontrol for backpressure notification fixed and implmeneted
1099         correctly in the test server
1100
1101  - optimal lexical parser added for header processing; all headers in a
1102         single 276-byte state table
1103
1104  - latency tracking api added (configure --with-latency)
1105
1106  - Improved in-tree documentation, REAME.build, README.coding,
1107         README.test-apps, changelog
1108
1109  - Many small fixes
1110
1111
1112 v1.0-chrome25-firefox17 (6cd1ea9b005933f)