http2: store response header in temporary buffer

HTTP2: add layer between existing http and socket(TLS) layer

This patch chooses different approach to integrate HTTP2 into HTTP curl
stack. The idea is that we insert HTTP2 layer between HTTP code and
socket(TLS) layer. When HTTP2 is initialized (either in NPN or Upgrade),
we replace the Curl_recv/Curl_send callbacks with HTTP2's, but keep the
original callbacks in http_conn struct. When sending serialized data by
nghttp2, we use original Curl_send callback. Likewise, when reading data
from network, we use original Curl_recv callback. In this way we can
treat both TLS and non-TLS connections.

With this patch, one can transfer contents from https://twitter.com and
from nghttp2 test server in plain HTTP as well.

The code still has rough edges. The notable one is I could not figure
out how to call nghttp2_session_send() when underlying socket is
writable.

gtls: add ALPN support

Add ALPN support when using GnuTLS >= 3.2.0. This allows
libcurl to negotiate HTTP/2.0 for https connections when
built with GnuTLS.

See:
http://www.gnutls.org/manual/gnutls.html#Application-Layer-Protocol-Negotiation-_0028ALPN_0029
http://tools.ietf.org/html/draft-ietf-tls-applayerprotoneg-04

tool_operate: Moved libcurl information gathering to tool_main

openssl: add ALPN support

Add ALPN support when using OpenSSL. This will offer ALPN and NPN to the
server, who can respond with either one or none of the two. OpenSSL >=
1.0.2 is required, which means as of today obtaining a snapshot from
ftp://ftp.openssl.org/snapshot/.

See:
http://tools.ietf.org/html/draft-ietf-tls-applayerprotoneg-04
https://github.com/openssl/openssl/blob/ba168244a14bbd056e502d7daa04cae4aabe9d0d/ssl/ssl_lib.c#L1787

tool_operate: Moved command line argument parsing into separate function

tool_operate: Simplified parse .curlrc decision logic

tool_operate: Moved main initialisation and cleanup code into tool_main

tool_main: Fixed compilation warning from commit 0104678c79

no previous prototype for function 'memory_tracking_init'

tool_main: Changed stack based config struct to be heap based

tests: Moved some comments so the test data files parse as XML

tool_operate: Moved memory tracking initialisation into tool_main

tests: Fixed test172 cookie expiry

The test contains a cookie jar file where one of the cookies has an
expiry date of 1391252187 -- Sat, 1 Feb 2014 10:56:27 GMT which has
now expired. Updated to Wed, 14 Oct 2037 16:36:33 GMT as per test
179.

Reported-by: Adam Sampson
Bug: http://curl.haxx.se/bug/view.cgi?id=1330

tool_operate: Moved initial config setup into new init_config() function

tool_main: Moved config struct initialisation into a separate function

In preparation for adding URL specific options moved the initialisation
of the Configurable structure into a separate function in tool_cfgable.

test 500: workaround low timer resolution on Windows

Since the timer resolution is lower, there are actually cases that
the compared values are equal. Therefore we check for previous
timestamps being greater than the current one instead.

test suite: stop conversion of valid output to CRLF on Windows

Since the output isn't actually being written in text-mode and it
was rather used as a workaround, disable text-mode for these tests.

HTTP tests: use CRLF as header seperator according to RFC 2616

FTP tests: enable text-mode for more datacheck sections

FTP tests: enable text-mode for data and datacheck sections

runtests.pl: added support for text-mode within datacheck section

ftpserver.pl: directory LISTings use [CR][LF] for ASCII transfer

According to section 2.2 of RFC959 the End-of-Line is defined as:
 The end-of-line sequence defines the separation of printing
 lines.  The sequence is Carriage Return, followed by Line Feed.

Verified by sniffing traffic between a Windows FTP client (FileZilla)
and Unix-hosted FTP server (ProFTPD).

runtests.pl: reverse line-ending conversion on Windows

It makes more sense to convert the expected output to [CR][LF] on
Windows than to force the actual, probably correct, output to [LF].

This way it is actually possible to see if curl outputs the correct
line-ending excepted by a text-aware test case.

winssl: improved default SSL/TLS protocol selection

For some reason Windows 7 SP1 chooses TLS 1.0 instead of TLS 1.2
if it is not explicitly enabled within grbitEnabledProtocols.

More information can be found on MSDN:
http://msdn.microsoft.com/library/windows/desktop/aa379810.aspx

INSTALL: Corrected mentioned version number as release 7.34.1 became 7.35.0

RELEASE-NOTES: Synced with 0f213fdca1

pipeline: Fixed a NULL pointer dereference on OOM

tests: make the authorization retry tests pass the torture tests

ftp: fixed a memory leak on wildcard error path

netrc: Fixed a memory leak in an OOM condition

ntlm: Fixed a memory leak when using NTLM with a proxy server

tests: Missed updating a type-3 message in commit 1c9aaa0bac

http2: fix size check in on_data_chunk_recv

http2: add CRLF when first data arrives

tests: Updated NTLM tests for NTLMv2 type-3 message

http2_recv: Return written length on CURLE_AGAIN

http2: Use nghttp2_session_mem_recv and nghttp2_session_upgrade

http2: call it "HTTP 2" and not 2.0

The minor version will be dropped for HTTP 2 so it will make sense to
avoid using it in option names etc.

http2: basic version of receiving DATA

http2: convert HEADER frames to HTTP1-like headers

... and then go through the "normal" HTTP engine.

http2: fix EWOULDBLOCK in recv_callback()

http2: do the POST Upgrade dance properly

ntlm: Use static client nonce for the test suite

http2.h: provide empty macros for non-http2 builds

http2: switch into http2 mode if NPN indicates

Check the NPN result before preparing an HTTP request and switch into
HTTP/2.0 mode if necessary. This is a work in progress, the actual code
to prepare and send the request using nghttp2 is still missing from
Curl_http2_send_request().

http2: s/Curl_http2_request/Curl_http2_request_upgrade

To better reflect its purpose

http2-openssl: verify that NPN functionality is present

openssl: set up hooks with to perform NPN

NPN is what is available in the wild today to negotiate SPDY or HTTP/2.0
connections. It is expected to be replaced by ALPN in the future. If
HTTP/2.0 is negotiated, this is indicated for the entire connection and
http.c is expected to initialize itself for HTTP/2.0 instead of
HTTP/1.1.

see:
http://technotes.googlecode.com/git/nextprotoneg.html
http://tools.ietf.org/html/draft-ietf-tls-applayerprotoneg-04

http2: added stubs for all nghttp2 callbacks

This makes it easier to trace what's happening.

http2: use FIRSTSOCKET instead of 0 to index the sockets array

http2: receive and log the received header frames

http2_recv: log nghttp2 return codes for debugging purposes

HTTP2: reject nghttp2 versions before 0.3.0

http2: adjusted to newer nghttp2_session_callbacks struct

the number of elements in the 'nghttp2_session_callbacks' structure is
now reduced by 2 in version 0.3.0 (I'm not sure when the change
happened, but checking for ver 0.3.0 work for me).

HTTP2: Wrong NgHTTP2 user-data

Something is wrong in 'userp' for the HTTP2 recv_callback().  The
session is created using bogus user-data; '&conn' and not 'conn'.

I noticed this since the socket-value in Curl_read_plain() was set to a
impossible high value.

NTLM: error: conversion to 'int' from 'long int' may alter its value

Fixed two compiler nits

ntlm: Coding style policing dating back to 2011

ntlm: Use a timestamp of 01/01/1970 for the test suite

ntlm: Updated Curl_ntlm_core_mk_ntlmv2_resp() to use local variables

...until the function is successful when it returns them in the out
parameters.

ntlm: Added cross platform support for writing NTLMv2 timestamp in buffer

Added conversion functions write32_le() and write64_le() to ensure the
NTLMv2 timestamp is always written in little-endian.

ntlm: Added support for NTLMv2

nss: do not use the NSS_ENABLE_ECC define

It is not provided by NSS public headers.

Bug: https://bugzilla.redhat.com/1058776

nss: do not fail if NSS does not implement a cipher

... that the user does not ask for

http2: switch recv/send functions to http2 ones after 101

http2: handle 101 responses and switch to HTTP2

examples: gitignore more binaries

bump: start working on 7.35.1

THANKS: 19 new contributors from the 7.35.0 release notes

RELEASE-NOTES: done for 7.35.0

tests: make a few lib15?? tests pass the OOM torture tests

lib1900: make the test pass the OOM torture tests

oauth2: Fixed a memory leak in an OOM condition

unit1304: make the test pass the OOM torture tests

unit1396: make the test pass the OOM torture tests

hostip: don't remove DNS entries that are in use

hostcache_timestamp_remove() should remove old *unused* entries from the
host cache, but it never checked whether the entry was actually in
use. This complements commit 030a2b8cb.

Bug: http://curl.haxx.se/bug/view.cgi?id=1327

RELEASE-NOTES: changed encoding to UTF-8 like previous releases

TFTP: fix crash on time-out

tftp_done() can get called with its TFTP state pointer still being NULL
on an early time-out, which caused a segfault when dereferenced.

Reported-by: Glenn Sheridan
Bug: http://curl.haxx.se/mail/lib-2014-01/0246.html

RELEASE-NOTES: Synced with 5a47062cada9

getpass: fix password parsing from console

Incorrect password if use backspace while entered the password.

Regression from f7bfdbabf2d5398f4c266eabb0992a04af661f22

The '?:' operator has lower priority than the '-' operator

docs/INSTALL: Updated example minimal binary sizes

testsuite: visualize line-endings in output comparison diffs

sockfilt.c: follow up cleanup commit on 49b63cf3

http-pipe tests: use text as output data mode to support Windows

sockfilt.c: fixed and simplified Windows select function

Since the previous complex select function with initial support for
non-socket file descriptors, did not actually work correctly for
Console handles, this change simplifies the whole procedure by using
an internal waiting thread for the stdin console handle.

The previous implementation made it continuously trigger for the stdin
handle if it was being redirected to a parent process instead of
an actual Console input window.

This approach supports actual Console input handles as well as
anonymous Pipe handles which are used during input redirection.

It depends on the fact that ReadFile supports trying to read zero bytes
which makes it wait for the handle to become ready for reading.

http_pipe.py: replaced epoll with select to support Windows

Removed Unix-specific functionality in order to support Windows:
- select.epoll replaced with select.select
- SocketServer.ForkingMixIn replaced with SocketServer.ForkingMixIn
- socket.MSG_DONTWAIT replaced with socket.setblocking(False)

Even though epoll has a better performance and improved socket handling
than select, this change should not affect the actual test case.

tests: Added missing HTTP proxy keywords

tests: added missing <features> http to a number of tests

tests: Added a keyword for tests depending on internal info logs

runtests: Don't log command every torture iteration in verbose

tests: Added missing http feature to tests 509 & 1513

netrc: Fixed a memory and file descriptor leak on OOM

test1514: Used the macros for host and port number

multi: Fixed a memory leak on OOM condition

curl_easy_setopt.3: remove what auth types that work for CURLOPT_PROXYAUTH

The list was out of date and the paragraph already refers to the
CURLOPT_HTTPAUTH explanation. All the auth bits are explained properly
there.

It also removes the ambiguity for what the "added" phrase refers to.

This change based on pull request #85 on github

URL: https://github.com/bagder/curl/pull/85
Reported-by: gnawhleinad

test1514: Got rid of a non-const initializer C99ism

RELEASE-NOTES: added another missing bug ref

RELEASE-NOTES: added missing bug ref

axtls: fix compiler warning on conversion ssize_t => int

SFTP: stat remote file also when CURLOPT_NOBODY is 1

Make it possible to call
curl_easy_getinfo(curl, CURLINFO_CONTENT_LENGTH_DOWNLOAD, &filesize)
and related functions on remote sftp:// files, without downloading them.

Reported-by: Yingwei Liu
Bug: http://curl.haxx.se/mail/lib-2014-01/0139.html

RELEASE-NOTES: synced with 12ecd56da77