http2: adjust to new nghttp2_pack_settings_payload proto

This function was modified in nghttp2 git commit a1c3f89c72e51

url: handle abortion by read/write callbacks, too

Otherwise, the FTP protocol would unnecessarily hang 60 seconds if
aborted in the CURLOPT_HEADERFUNCTION callback.

Reported by: Tomas Mlcoch
Bug: https://bugzilla.redhat.com/1005686

ldap: fix the build for systems with ldap_url_parse()

Make sure that the custom struct fields are only used by code that
doesn't use a struct defintion from the outside.

Attempts to fix the problem introduced in 3dc6fc42bfc61b

pingpong: Check SSL library buffers for already read data

Otherwise the connection can get stuck during various phases, waiting
for new data on the socket using select() etc., but it will never be
received as the data has already been read into SSL library.

imap: Fixed calculation of transfer when partial FETCH received

The transfer size would be calculated incorrectly if the email contained
within the FETCH response, had been partially received by the pingpong
layer. As such the following, example output, would be seen if the
amount remaining was smaller than the amount received:

* Excess found in a non pipelined read: excess = 1394, size = 262,
  maxdownload = 262, bytecount = 1374
* transfer closed with -1112 bytes remaining to read

Bug: http://curl.haxx.se/mail/lib-2013-08/0170.html
Reported-by: John Dunn

ftpserver.pl: Fixed empty array checks

...from commits 28427b408326a1 and e8313697b6554b.

ftpserver: Reworked AUTH support to allow for specifying the mechanisms

Renamed SUPPORTAUTH to AUTH and added support for specifying a list of
supported SASL mechanisms to return to the client.

Additionally added the directive to the FILEFORMAT document.

ftpserver: Reworked CAPA support to allow for specifying the capabilities

Renamed SUPPORTCAPA to CAPA and added support for specifying a list of
supported capabilities to return to the client.

Additionally added the directive to the FILEFORMAT document.

ftpserver.pl: Corrected POP3 LIST as message numbers should be contiguous

The message numbers given in the LIST response are an index into the
list, which are only valid for the current session, rather than being a
unique message identifier. An index would only be missing from the LIST
response if a DELE command had been issued within the same session and
had not been committed by the end of session QUIT command. Once
committed the POP3 server will regenerate the message numbers in the
next session to be contiguous again. As such our LIST response should
list message numbers contiguously until we support a DELE command in the
same session.

Should a POP3 user require the unique message ID for any or all
messages then they should use the extended UIDL command. This command
will be supported by the test ftpserver in an upcoming commit.

curl_easy_pause: suggest one way to unpause

tests: Updated descriptions to be more meaningful

tests: Added test for POP3 NOOP command

ftpserver.pl: Added support for POP3 NOOP command

ftpserver.pl: Fixed 'Use of uninitialized value $args in string ne'

tests: Added test for POP3 STAT command

ftpserver.pl: Added support for POP STAT command

ftpserver.pl: Moved POP3 QUIT handler into own function

ftpserver.pl: Reordered the POP3 handlers to be alphabetical

In preparation for additional POP3 tests, re-ordered the command
function defintions to be sorted alphabetically.

ftpserver.pl: Corrected misaligned indentation in POP3 handlers

Fixed incorrect indentation used in both the RETR_pop3 and LIST_pop3
functions which was 5 and 9 characters rather than 4 and 8.

tests: Added test for POP3 DELE command

ftpserver.pl: Added support for POP3 DELE command

http2: include curl_memory.h

Detected by test 1132

http: fix build warning under LLVM

When building the code using LLVM Clang without NGHTTP2, I was getting
this warning:
../lib/http.h:155:1: warning: empty struct is a GNU extension [-Wgnu]
Placing a dummy variable into the data structure silenced the warning.

http2: actually init nghttp2 and send HTTP2-Settings properly

README.http2: how to use it best with the multi API?

http2: first embryo toward Upgrade:

http: rename use_http_1_1 to use_http_1_1plus

Since it now actually says if 1.1 or a later version should be used.

configure: improve CURL_CHECK_COMPILER_PROTOTYPE_MISMATCH

The compiler test used a variable before it was assigned when it tried
to see how it acts on a mismatching prototype, which could cause a false
positive.

Pass password to OpenSSL engine by user interface

Recent OpenSSL uses user interface abstraction to negotiate access to
private keys in the cryprographical engines. An OpenSSL application is
expected to implement the user interface. Otherwise a default one
provided by OpenSSL (interactive standard I/O) will be used and the
aplication will have no way how to pass a password to the engine.

Longer-desc: http://curl.haxx.se/mail/lib-2013-08/0265.html

urlglob: improved error messages and column number on bad use

Introduce a convenience macro and keep of the column better so that it
can point out the offending column better.

Updated test 75 accordingly.

urlglob: avoid error code translation

By using the correct values from the start we don't have to translate
them!

urlglob: avoid NULL pointer dereference

Thanks to clang-analyzer

http2: use correct include for snprintf

Using the first little merge of nghttp2 into libcurl, I stumbeled on the
missing 'snprintf' in MSVCRT. Isn't this how we do it for other libcurl
files?  I.e. use 'curl_msnprintf' and not 'snprintf' directly:

--data: mention CRLF treatment when reading from file

LDAP: fix bad free() when URL parsing failed

When an error occurs parsing an LDAP URL, The ludp->lud_attrs[i] entries
could be freed even though they sometimes point to data within an
allocated area.

This change introduces a lud_attrs_dup[] array for the duplicated string
pointers, and it removes the unused lud_exts array.

Bug: http://curl.haxx.se/mail/lib-2013-08/0209.html

darwinssl: add support for PKCS#12 files for client authentication

I also documented the fact that the OpenSSL engine also supports them.

symbols: added HTTP2 symbols and sorted list

CURL_HTTP_VERSION_2_0 and CURL_VERSION_HTTP2 are new

configure: add HTTP2 as a curl-config --feature output

Fixes the test 1014 failure

curl: unbreak --http1.0 again

I broke it in 2eabb7d590

SASL: fix compiler warnings

comparison between signed and unsigned integer expressions

suggest parentheses around '&&' within '||' (twice)

curl: add --http1.1 and --http2.0 options

Curl_setopt: refuse CURL_HTTP_VERSION_2_0 if built without support

http2: add http2.[ch] and add nghttp2 version output

curl -V: output HTTP2 as a feature if present

curl.h: add CURL_VERSION_HTTP2 as a feature

It isn't added as a separate protocol as HTTP2 will be done over HTTP://
URLs that can be upgraded to HTTP2 if the server supports it as well.

imap/smtp: Fixed incorrect SASL mechanism selection with XOAUTH2 servers

XOAUTH2 would be selected in preference to LOGIN and PLAIN if the IMAP
or SMTP server advertised support for it even though a user's password
was supplied but bearer token wasn't.

Modified the selection logic so that XOAUTH2 will only be selected if
the server supports it and A) The curl user/libcurl programmer has
specifically asked for XOAUTH via the ;AUTH=XOAUTH login option or 2)
The bearer token is specified. Obviously if XOAUTH is asked for via
the login option but no token is specified the user will receive a
authentication failure which makes more sense than no known
authentication mechanisms supported!

curl.h: added CURL_HTTP_VERSION_2_0

Initial library considerations documented in lib/README.http2

configure: added --with-nghttp2

acinclude: fix --without-ca-path when cross-compiling

The commit 7b074a460b64811 to CURL_CHECK_CA_BUNDLE in 7.31 (don't check
for paths when cross-compiling) causes --without-ca-path to no longer
works when cross-compiling, since ca and capath only ever get set to
"no" when not cross-compiling, I attach a patch that works for me. Also
in the cross-compilation case, no ca-path seems to be a better default
(IMVHO) than empty ca-path.

Bug: http://curl.haxx.se/bug/view.cgi?id=1273
Patch-by: Stefan Neis

lib1512.c: Fixed compilation warning

An enumerated type is mixed with another type.

...as well as a small coding style error.

Killed warning 'res' might be used uninitialized.

url.c: Fixed compilation warning

An enumerated type is mixed with another type

easy.c: Fixed compilation warning

warning: `code' might be used uninitialized in this function

-x: rephrased the --proxy section somewhat

tests: Added test for IMAP CHECK command

ftpserver.pl: Added support for the IMAP CHECK command

Removed reference to krb4.c.

ftpserver.pl: Corrected flawed logic in commit 1ca6ed7b75cad0

imap: Fixed response check for EXPUNGE command

ftpserver.pl: Added argument check to IMAP command handlers

Added BAD argument check to the following IMAP command handlers:

APPEND, STORE, LIST, EXAMINE, STATUS and SEARCH

ftpserver.pl: More whitespace corrections

LIST_imap() had a second level of indentation at 9 characters and not 8.

ftpserver.pl: Small correction tidy up

Corrected some IMAP variable names and whitespace issues.

docs: Added documentation for CURLOPT_BEARER

curl.1: Add usage of '--bearer' option

tests: Added tests for IMAP CREATE, DELETE and RENAME commands

ftpserver: Bareword "to_mailbox" not allowed

Added missing $

ftpserver.pl: Added support for IMAP CREATE, DELETE and RENAME commands

FTP: fix getsock during DO_MORE state

... when doing upload it would return the wrong values at times. This
commit attempts to cleanup the mess.

Bug: http://curl.haxx.se/mail/lib-2013-08/0109.html
Reported-by: Mike Mio

curl_multi_remove_handle: allow multiple removes

When removing an already removed handle, avoid that to ruin the
internals and just return OK instead.

ftpserver.pl: Updated IMAP EXAMINE handler to use dynamic test data

unit1304: include memdebug and free everything correctly

Curl_parsenetrc: document that the arguments must be allocated

easy: rename struct monitor to socketmonitor

'struct monitor', introduced in 6cf8413e, already exists in an IRIX
header file (sys/mon.h) which gets included via various standard headers
by lib/easy.c

cc-1101 cc: ERROR File = ../../curl/lib/easy.c, Line = 458
"monitor" has already been declared in the current scope.

Reported-by: Tor Arntsen

ftpserver.pl: Added SELECT check to IMAP FETCH and STORE handlers

ftpserver.pl: Corrected accidental move of logmsg() call

Corrected the call to logmsg() in the IMAP SEARCH handler from commit
4ae7b7ea691497 as it should have been outputting the what argument and
not the test number.

ftpserver: add missing '}' from 4ae7b7ea69149

ftpserver.pl: Added SELECT check to IMAP SEARCH command

ftpserver.pl: Fixed IMAP SEARCH command

bump: next release is 7.33.0 due to added features

symbols-in-versions: add CURLOPT_XOAUTH2_BEARER

tests: Added test for IMAP SEARCH command

valgrind.supp: fix for regular curl_easy_perform too

When we introduced curl_easy_perform_ev, this got a slightly modified
call trace. Without this, test 165 causes a false positive valgrind
error.

valgrind.supp: add the event-based call stack-trace too

Without this, test 165 triggers a valgrind error when ran with
curl_easy_perform_ev

multi_socket: improved 100-continue timeout handling

When waiting for a 100-continue response from the server, the
Curl_readwrite() will refuse to run if called until the timeout has been
reached.

We timeout code in multi_socket() allows code to run slightly before the
actual timeout time, so for test 154 it could lead to the function being
executed but refused in Curl_readwrite() and then the application would
just sit idling forever.

This was detected with runtests.pl -e on test 154.

ftpserver.pl: Added support for IMAP SEARCH command

tool_operate.c: Fixed compilation warning

warning: implicit declaration of function 'checkpasswd'

curl: Moved check for password out of get parameter loop

Moved the calls to checkpasswd() out of the getparameter() function
which allows for any related arguments to be specified on the command
line before or after --user (and --proxy-user).

For example: --bearer doesn't need to be specified before --user to
prevent curl from asking for an unnecessary password as is the case
with commit e7dcc454c67a2f.

RELEASE-NOTES: synced with acf59be7f09a7

curl: added --bearer option to help

Added the --bearer option to the help output

curl: added basic SASL XOAUTH2 support

Added the ability to specify an XOAUTH2 bearer token [RFC6750] via the
--bearer option.

Example usage:
  curl --url "imaps://imap.gmail.com:993/INBOX/;UID=1" --ssl-reqd
  --bearer ya29.AHES6Z...OMfsHYI --user username@example.com

tool_urlglob.c: Fixed compiler warnings

warning: 'variable' may be used uninitialized in this function

security.h: rename to curl_sec.h to avoid name collision

I brought back security.h in commit bb5529331334e. As we actually
already found out back in 2005 in commit 62970da675249, the file name
security.h causes problems so I renamed it curl_sec.h instead.

runtests.pl: allow -vc point to a separate curl binary to verify with

The specified curl binary will then be used to verify the running
server(s) instead of the development version. This is very useful in
some cases when the development version fails to verify correctly as
then the test case may not run at all.

The actual test will still be run with the "normal" curl executable
(unless the test case specifies something differently).

smtp: added basic SASL XOAUTH2 support

Added the ability to use an XOAUTH2 bearer token [RFC6750] with SMTP for
authentication using RFC6749 "OAuth 2.0 Authorization Framework".

The bearer token is expected to be valid for the user specified in
conn->user. If CURLOPT_XOAUTH2_BEARER is defined and the connection has
an advertised auth mechanism of "XOAUTH2", the user and access token are
formatted as a base64 encoded string and sent to the server as
"AUTH XOAUTH2 <bearer token>".

imap: added basic SASL XOAUTH2 support

Added the ability to use an XOAUTH2 bearer token [RFC6750] with IMAP for
authentication using RFC6749 "OAuth 2.0 Authorization Framework".

The bearer token is expected to be valid for the user specified in
conn->user. If CURLOPT_XOAUTH2_BEARER is defined and the connection has
an advertised auth mechanism of "XOAUTH2", the user and access token are
formatted as a base64 encoded string and sent to the server as
"A001 AUTHENTICATE XOAUTH2 <bearer token>".

security.h: Fixed compilation warning

ISO C forbids forward references to 'enum' types

KNOWN_BUGS: refer to bug numbers with the existing number series

The old numbers would still redirect but who knows for how long...

options: added basic SASL XOAUTH2 support

Added the ability to specify an XOAUTH2 bearer token [RFC6750] via the
option CURLOPT_XOAUTH2_BEARER for authentication using RFC6749 "OAuth
2.0 Authorization Framework".

sasl: added basic SASL XOAUTH2 support

Added the ability to generated a base64 encoded XOAUTH2 token
containing: "user=<username>^Aauth=Bearer <bearer token>^A^A"
as per RFC6749 "OAuth 2.0 Authorization Framework".

FTP: remove krb4 support

We've announced this pending removal for a long time and we've
repeatedly asked if anyone would care or if anyone objects. Nobody has
objected. It has probably not even been working for a good while since
nobody has tested/used this code recently.

The stuff in krb4.h that was generic enough to be used by other sources
is now present in security.h