email: Renamed *_perform_authenticate() functions

In preparation for the upcoming SASL downgrade feature renamed the
imap__perform_authenticate(), pop3__perform_authenticate() and
smtp__perform_authenticate() functions.

bump: start working on the next release

RELEASE-NOTES: synced with c0ef05e67

... for the pending 7.34.0 release

Upped the contributor count

THANKS: add contributors from 7.34.0 release

24 new great friends

gtls: respect *VERIFYHOST independently of *VERIFYPEER

Security flaw CVE-2013-6422

This is conceptually the same problem and fix that 3c3622b6 brought to the
OpenSSL backend and that resulted in CVE-2013-4545.

This version of the problem was independently introduced to the GnuTLS
backend with commit 59cf93cc, present in the code since the libcurl
7.21.4 release.

Advisory: http://curl.haxx.se/docs/adv_20131217.html
Bug: http://curl.haxx.se/mail/lib-2013-11/0214.html
Reported-by: Marc Deslauriers

curl.1 document -J doesn't %-decode

...also added as KNOWN_BUG #87 with reference to bug #1294

multi: add timer inaccuracy margin to timeout/connecttimeout

Since all systems have inaccuracy in the timeout handling it is
imperative that we add an inaccuracy margin to the general timeout and
connecttimeout handling with the multi interface. This way, when the
timeout fires we should be fairly sure that it has passed the timeout
value and will be suitably detected.

For cases where the timeout fire before the actual timeout, we would
otherwise consume the timeout action and still not run the timeout code
since the condition wasn't met.

Reported-by: He Qin
Bug: http://curl.haxx.se/bug/view.cgi?id=1298

RELEASE-NOTES: synced with dd4d9ea542

curl_easy_setopt: clarify some USERPWD and PROXYUSERPWD details

login options: remove the ;[options] support from CURLOPT_USERPWD

To avoid the regression when users pass in passwords containing semi-
colons, we now drop the ability to set the login options with the same
options. Support for login options in CURLOPT_USERPWD was added in
7.31.0.

Test case 83 was modified to verify that colons and semi-colons can be
used as part of the password when using -u (CURLOPT_USERPWD).

Bug: http://curl.haxx.se/bug/view.cgi?id=1311
Reported-by: Petr Bahula
Assisted-by: Steve Holme
Signed-off-by: Daniel Stenberg <daniel@haxx.se>

imap: Fixed exclude of clear text when using auth=* in commit 75cd7fd66762bb

It is not 100% clear whether * should include clear text LOGIN or not
from RFC-5092, however, including it is then consistent with current
POP3 behaviour where clear text, APOP or SASL may be chosen.

imap: Fixed incorrect fallback to clear text authentication

If a specific SASL authentication mechanism was requested by the user
as part of the login options but wasn't supported by the server then
curl would fallback to clear text, when it shouldn't, rather than
reporting "No known authentication mechanisms supported" as the POP3
and SMTP protocols do.

parsedate: avoid integer overflow

In C, signed integer overflow is undefined behavior. Thus, the compiler
is allowed to assume that it will not occur. In the check for an
overflow, the developer assumes that the signed integer of type time_t
will wrap around if it overflows. However, this behavior is undefined in
the C standard. Thus, when the compiler sees this, it simplifies t +
delta < t to delta < 0. Since delta > 0 and delta < 0 can't both be
true, the entire if statement is optimized out under certain
optimization levels. Thus, the parsedate function would return
PARSEDATE_OK with an undefined value in the time, instead of return -1 =
PARSEDATE_FAIL.

parseconfig: warn if unquoted white spaces are detected

Commit 0db811b6 made some existing config files pass on unexpected
values to libcurl that made it somewhat hard to track down what was
really going on.

This code detects unquoted white spaces in the parameter when parsing a
config file as that would be one symptom and it is generally a bad
syntax anyway.

RELEASE-NOTES: recount contributors and libcurl options

RELEASE-NOTES: synced with c4f46e97ca6c

TFTP: let tftp_multi_statemach()'s return codes through

It would otherwise always clobber the return code with new function
calls and it couldn't return timeout etc.

Bug: http://curl.haxx.se/bug/view.cgi?id=1310

darwinssl: Fix #if 10.6.0 for SecKeychainSearch

The comment here says that SecKeychainSearch causes a deprecation
warning when used with a minimum Mac OS X SDK version of 10.7.0, which
is correct.  However, the #if guard did not match.  It was intended to
only use the code if 10.6.0 support was enabled, but it had 10.7.0
instead.  This caused a warning if the minimum was exactly 10.7.0.

curl.h: <sys/select.h> for OpenBSD

curl.h should also include <sys/select.h> on OpenBSD to reliably
pull in select().  Typically, including <sys/time.h> will be enough,
but not if strict standards-compliance is requested (e.g. by defining
_XOPEN_SOURCE).

digest: fix CURLAUTH_DIGEST_IE

The URI that is passed in as part of the Authorization: header needs to
be cut off at '?' if CURLAUTH_DIGEST_IE is set. Previously the code only
did when calculating the MD5sum.

Bug: http://curl.haxx.se/bug/view.cgi?id=1308
Patched-by: Sergey Tatarincev

Curl_is_connected: use proxy name in error message when proxy is used

(bug introduced in 255826c4, never present in a release)

Reported-by: Dima Tisnek
Bug: http://curl.haxx.se/mail/lib-2013-12/0006.html

imap/pop3: Post graceful cancellation consistency changes

pop3: Fix POP3_TYPE_ANY signed compilation warning

POP3_TYPE_ANY, or ~0, is written to pop3c->preftype in lib/pop3c.c, an
unsigned int variable.  The result of ~0 is -1, which caused a warning
due to writing a negative number to an unsigned variable.  To fix this,
make the expression ~0U so that its value is considered the unsigned
number UINT_MAX which is what SASL_AUTH_ANY does in curl_sasl.h.

tool_metalink: do not use HAVE_NSS_INITCONTEXT

... no longer provided by the configure script

nss: make sure that 'sslver' is always initialized

nss: unconditionally require NSS_InitContext()

... since we depend on NSS 3.14+ because of SSL_VersionRangeSet() anyway

nss: allow to use TLS > 1.0 if built against recent NSS

Bug: http://curl.haxx.se/mail/lib-2013-11/0162.html

nss: put SSL version selection into separate fnc

nss: use a better API for controlling SSL version

This change introduces a dependency on NSS 3.14+.

OS400: sync wrappers and RPG binding.

multi.c: Fixed compilation warning

warning: declaration of 'pipe' shadows a global declaration

RELEASE-NOTES: Synced with ad3836448efbb7

base64: Corrected typo from commit f3ee587775c88a

base64: Post extended extended validation tidy up

Reduced the separate processing of the last quantum to be performed in
the main decoding loop and renamed some variables for consistency.

base64: Extended validation to look for invalid characters

Extended the basic validation in commit e17c1b25bc33eb to return a
failure when invalid base64 characters are included.

base64: Post basic validation tidy up

Due to the length checks introduced in commit e17c1b25bc33eb there is no
need to allow for extra space in the output buffer for a non-padded last
quantum.

curl_easy_getinfo: Post CURLINFO_TLS_SESSION tidy up

1) Renamed curl_tlsinfo to curl_tlssessioninfo as discussed on the
mailing list.
2) Renamed curl_ssl_backend to curl_sslbackend so it doesn't follow our
function naming convention.
3) Updated sessioninfo.c example accordingly.

parseconfig: dash options can't specified with colon or equals

Bug: http://curl.haxx.se/bug/view.cgi?id=1297
Reported-by: Michael Osipov

curl.1: -G also takes --data-urlencode data

globbing: curl glob counter mismatch with {} list use

The "fixed string" function wrongly bumped the "urlnum" counter which
made curl output the total number of URLs wrong when using
{one,two,three} lists in globs.

Reported-by: Michael-O
Bug: http://curl.haxx.se/bug/view.cgi?id=1305

sessioninfo.c: Added sample code for CURLINFO_TLS_SESSION

Added a simple example to show how one can use CURLINFO_TLS_SESSION for
obtaining extensive TLS certificate information.

multi.c: Fixed compilation error introduced in commit a900d45489fc14

Systems that define SIGPIPE_VARIABLE as a noop would not compile as
restore_pipe was defined afterwards.

curl_easy_getopt: Handle API violation gracefully

This fixes a NULL dereference in the case where the client asks for
CURLINFO_TLS_SESSION data after the (TLS) session has already been
destroyed (i.e. curl_easy_perform has already completed for this
handle). Instead of crashing, we now return a CURLSSLBACKEND_NONE
error.

KNOWN_BUGS: #86: Disconnect commands may not be sent by IMAP, POP3 and SMTP

curl_multi_cleanup: ignore SIGPIPE

This is an extension to the fix in 7d80ed64e43515. We may
call Curl_disconnect() while cleaning up the multi handle,
which could lead to openssl sending packets, which could get
a SIGPIPE.

Signed-off-by: Jeff King <peff@peff.net>

sigpipe: factor out sigpipe_reset from easy.c

Commit 7d80ed64e43515 introduced some helpers to handle
sigpipe in easy.c. However, that fix was incomplete, and we
need to add more callers in other files. The first step is
making the helpers globally accessible.

Since the functions are small and should generally end up
inlined anyway, we simply define them in the header as
static functions.

Signed-off-by: Jeff King <peff@peff.net>

connect: Try next ip directly after immediate connect fail

This fixes a rare Happy Eyeballs bug where if the first IP family runs
out of addresses before the second-family-timer fires, and the second
IP family's first connect fails immediately, no further IPs of the
second family are attempted.

hostip: don't prune DNS cache entries that are in use

When adding entries to the DNS cache with CURLOPT_RESOLVE, they are
marked 'inuse' forever to prevent them from ever being removed in normal
operations. Still, the code that pruned out-of-date DNS entries didn't
care for the 'inuse' struct field and pruned it anyway!

Reported-by: Romulo A. Ceccon
Bug: http://curl.haxx.se/bug/view.cgi?id=1303

RELEASE-NOTES: Synced with 35e476a3f6cdd5

tests: Re-ordered test arguments to match other IMAP tests

tests: Corrected login "username" authentication responses

tests: Added error code explanation comments

tests: Removed expected QUIT response from graceful cancellation tests

A failure during authentication, which is performed as part of the
CONNECT phrase (for IMAP, POP3 and SMTP) is considered by the multi-
interface as being closed prematurely (aka a dead connection). As such
these protocols cannot issue the relevant QUIT or LOGOUT command.

Temporarily fixed the test cases until we can fix this properly.

tests: Added SMTP graceful authentication cancellation tests

tests: Added POP3 graceful authentication cancellation tests

ftpserver.pl: Reworked fix from commit 7a36b2abc06862

ftpserver.pl: Fixed unknown IMAP command "*"

ftpserver.pl: Fixed servercmd REPLY with * detection

tests: Added IMAP graceful authentication cancellation tests

tests: Moved CR LF in URL tests to their respective protocol groups

smtp: Post SMTP command expansion tidy up

Removed unnecessary SMTP_STOP state changes on failure.

Removed hard return on failure in smtp_state_data_resp().

symbols-in-versions: Added missing CURLSSLBACKEND_* symbols

symbols-in-versions: Fixed missing CURLINFO_TLS_SESSION

curl_easy_getinfo: Added CURLINFO_TLS_SESSION for accessing TLS internals

Added new API for returning a SSL backend type and pointer, in order to
allow access to the TLS internals, that may then be used to obtain X509
certificate information for example.

RELEASE-NOTES: Synced with 8191800a0c8ff7

smtp: Fixed space being sent in non --mail-rcpt based requests

Commands such as NOOP, RSET and HELP would be sent with a space at the
end of the command, for example: "NOOP ".

tests: Added SMTP NOOP and RSET tests

test928: Corrected typo in expected data from commit df58084695ce9b

tests: Added SMTP HELP test

smtp: Changed the default command to HELP when no options are specified

Otherwise a NOOP operation would be performed which a) only returns a
single line response and not a multiline response where -I needs to be
used, and b) provides an inconsistent user experience compared to that
of the POP3 and IMAP protocols.

smtp:Fixed memory leak from commit dac01ff6d788b2

The buffer allocated by smtp_parse_custom_request() was not freed.

connect: Close open but unconnected socket in singleipconnect()

singleipconnect() could return the file descriptor of an open socket
even though the function returned a CURLE_COULDNT_CONNECT error code
from commit ed1662c374361a and 02fbc26d59c591.

This could cause tests 19, 704 and 1233 to fail on FreeBSD, AIX and
Solaris.

tests: Added SMTP EXPN command test

test926: Corrected unknown user reply from commit 0d735c29f92748

The error code should not be sent as data as it isn't passed onto the
client as body data, so cannot be compared in the test suite against
expected data.

tests: Corrected missing data reply sections from 3d50e91aeef8cc

tests: Added SMTP VRFY command tests

ftpserver.pl: Added support for new SMTP commands

smtp: Fixed broken RCPT TO from commit 0ea4a80bb23666

smtp_state_mail_resp: removed unused variable 'smtp'

DOCS: Updated curl_easy_setopt.3 following recent SMTP changes

* Added information about the verify and expand commands to
  CURLOPT_MAIL_RCPT.
* Reworked CURLOPT_CUSTOMREQUEST section, adding information about IMAP
  and SMTP custom commands.

DOCS: Updated manpage following recent SMTP modifications

* Added SMTP section to --request
* Expanded --mail-rcpt to describe the usage when using the verify and
  expand commands.

smtp: Simplified the next RCPT TO logic

lib1507.c: Added missing set of CURLOPT_UPLOAD option

Although this option should have already been set, the SMTP module can
now download information from and send instructional commands to, an
SMTP server, requiring the option to be set in order to perform a mail
transfer.

smtp.c: Fixed trailing whitespace

smtp: Added support for VRFY and EXPN commands

smtp: Added support for NOOP and RSET commands

smtp: Fixed handling of multiline server greeting responses

Incorrectly processed multiline server greeting responses as "wanted"
continue responses in smtp_endofresp(), from commit f16c0de4e9bbe3,
which in turn broke the SMTP server detection in the test suite,
because the EHLO command would not be sent.

smtp.c: Fixed compilation error from commit f16c0de4e9bbe3

warning: unused variable 'smtpc'

smtp: Fixed processing of more than one response when sent in same packet

Added a loop to smtp_statemach_act() in which Curl_pp_readresp() is
called until the cache is drained. Without this multiple responses
received in a single packet could result in a hang or delay.

smtp: Moved EHLO response handling to smtp_state_ehlo_resp()

Similar to the processing of untagged CAPABILITY responses in IMAP moved
the processing of multiline EHLO responses to smtp_state_ehlo_resp() and
introduced an internal response code of one to differentiate a multiline
continuation from the end of command. This also allows for the separate
processing of multiline responses from commands such as VRFY and EXPN.

connect: Forgot to correct line endings before push in commit ed1662c374361a

connect: Return the socket descriptor even on fail

singleipconnect() did not return the open socket descriptor on some
errors, thereby sometimes causing a socket leak. This patch ensures
the socket is always returned.

configure: Fix test with -Werror=implicit-function-declaration

The ipv6 auto-detect test in configure returns a false negative when
CFLAGS contains -Werror=implicit-function-declaration. (I have been
using this flag to detect code issues that would result in SEGVs on
x86_64-cygwin.)

Patch-by: Yaakov Selkowitz
Bug: http://curl.haxx.se/bug/view.cgi?id=1304

test825: Corrected typo from commit b29217d0d682d4

RELEASE-NOTES: Synced with bde901ad89a6f1

test922: Corrected title to match other OAuth 2.0 tests

tests: Added IMAP OAuth 2.0 authentication with initial response test

tests: Added IMAP NTLM authentication with initial response test

tests: Added IMAP login authentication with initial response test

tests: Added IMAP plain authentication with initial response test