Curl_pp_readresp: zero terminate line

The comment in the code mentions the zero terminating after having
copied data, but it mistakingly zero terminated the source data and not
the destination! This caused the test 864 problem discussed on the list:

http://curl.haxx.se/mail/lib-2013-12/0113.html
Signed-off-by: Daniel Stenberg <daniel@haxx.se>

Revert "pop3: Added debug information to assist with test864 failure"

This reverts commit 727d798d680f29c8b3cb7d7f03d6b6a3eb4356da.

pop3: Added debug information to assist with test864 failure

RELEASE-NOTES: Synced with 812c5ace759d04

pop3: Fixed APOP timestamp detection from commit 1cfb436a2f1795

Makefile.inc: use standard source header

Makefile.inc: specify the vtls sources+headers separately

vtls: renamed sslgen.[ch] to vtls.[ch]

openssl: renamed backend files to openssl.[ch]

vtls: moved all TLS/SSL source and header files into subdir

vtls: created subdir, moved sslgen.[ch] there, updated all include lines

pop3: Fixed selection of APOP when server replies with an invalid timestamp

Although highlighted by a bug in commit 1cfb436a2f1795, APOP
authentication could be chosen if the server was to reply with an empty
or missing timestamp in the server greeting and APOP was given in the
capability list by the server.

pop3: Fixed processing of more than one response when sent in same packet

Added a loop to pop3_statemach_act() in which Curl_pp_readresp() is
called until the cache is drained. Without this multiple responses
received in a single packet could result in a hang or delay.

pop3: Moved CAPA response handling to pop3_state_capa_resp()

Similar to the processing of untagged CAPABILITY responses in IMAP and
multi-line EHLO responses in SMTP, moved the processing of multi-line
CAPA responses to pop3_state_capa_resp().

pop3: Moved APOP detection into pop3_state_servergreet_resp()

In an effort to reduce what pop3_endofresp() does and bring the POP3
source back inline with the IMAP and SMTP protocols, moved the APOP
detection into pop3_state_servergreet_resp().

curl_easy_setopt: Fixed OAuth 2.0 Bearer option name

Bug: http://curl.haxx.se/bug/view.cgi?id=1313
Reported-by: Viktor Szakáts

curl.1: remove URL encoding phrase from --data description

... it could be misleading a reader into thinking it _has_ to be encoded.

imap/pop3/smtp: Added support for SASL authentication downgrades

Added support for downgrading the SASL authentication mechanism when the
decoding of CRAM-MD5, DIGEST-MD5 and NTLM messages fails. This enhances
the previously added support for graceful cancellation by allowing the
client to retry a lesser SASL mechanism such as LOGIN or PLAIN, or even
APOP / clear text (in the case of POP3 and IMAP) when supported by the
server.

RELEASE-PROCEDURE: new document

gitignore: ignore .dirstamp files

smtp: fix compiler warning

smtp.c:478:21: error: unused variable 'smtpc' [-Werror=unused-variable]

smtp: Moved the calculation of SASL login details into a separate function

pop3: Moved the calculation of SASL login details into a separate function

imap: Moved the calculation of SASL login details into a separate function

smtp: Moved the sending of the AUTH command into a separate function

pop3: Moved the sending of the AUTH command into a separate function

imap: Moved the sending of the AUTHENICATE command into a separate function

email: Renamed *_perform_authenticate() functions

In preparation for the upcoming SASL downgrade feature renamed the
imap__perform_authenticate(), pop3__perform_authenticate() and
smtp__perform_authenticate() functions.

bump: start working on the next release

RELEASE-NOTES: synced with c0ef05e67

... for the pending 7.34.0 release

Upped the contributor count

THANKS: add contributors from 7.34.0 release

24 new great friends

gtls: respect *VERIFYHOST independently of *VERIFYPEER

Security flaw CVE-2013-6422

This is conceptually the same problem and fix that 3c3622b6 brought to the
OpenSSL backend and that resulted in CVE-2013-4545.

This version of the problem was independently introduced to the GnuTLS
backend with commit 59cf93cc, present in the code since the libcurl
7.21.4 release.

Advisory: http://curl.haxx.se/docs/adv_20131217.html
Bug: http://curl.haxx.se/mail/lib-2013-11/0214.html
Reported-by: Marc Deslauriers

curl.1 document -J doesn't %-decode

...also added as KNOWN_BUG #87 with reference to bug #1294

multi: add timer inaccuracy margin to timeout/connecttimeout

Since all systems have inaccuracy in the timeout handling it is
imperative that we add an inaccuracy margin to the general timeout and
connecttimeout handling with the multi interface. This way, when the
timeout fires we should be fairly sure that it has passed the timeout
value and will be suitably detected.

For cases where the timeout fire before the actual timeout, we would
otherwise consume the timeout action and still not run the timeout code
since the condition wasn't met.

Reported-by: He Qin
Bug: http://curl.haxx.se/bug/view.cgi?id=1298

RELEASE-NOTES: synced with dd4d9ea542

curl_easy_setopt: clarify some USERPWD and PROXYUSERPWD details

login options: remove the ;[options] support from CURLOPT_USERPWD

To avoid the regression when users pass in passwords containing semi-
colons, we now drop the ability to set the login options with the same
options. Support for login options in CURLOPT_USERPWD was added in
7.31.0.

Test case 83 was modified to verify that colons and semi-colons can be
used as part of the password when using -u (CURLOPT_USERPWD).

Bug: http://curl.haxx.se/bug/view.cgi?id=1311
Reported-by: Petr Bahula
Assisted-by: Steve Holme
Signed-off-by: Daniel Stenberg <daniel@haxx.se>

imap: Fixed exclude of clear text when using auth=* in commit 75cd7fd66762bb

It is not 100% clear whether * should include clear text LOGIN or not
from RFC-5092, however, including it is then consistent with current
POP3 behaviour where clear text, APOP or SASL may be chosen.

imap: Fixed incorrect fallback to clear text authentication

If a specific SASL authentication mechanism was requested by the user
as part of the login options but wasn't supported by the server then
curl would fallback to clear text, when it shouldn't, rather than
reporting "No known authentication mechanisms supported" as the POP3
and SMTP protocols do.

parsedate: avoid integer overflow

In C, signed integer overflow is undefined behavior. Thus, the compiler
is allowed to assume that it will not occur. In the check for an
overflow, the developer assumes that the signed integer of type time_t
will wrap around if it overflows. However, this behavior is undefined in
the C standard. Thus, when the compiler sees this, it simplifies t +
delta < t to delta < 0. Since delta > 0 and delta < 0 can't both be
true, the entire if statement is optimized out under certain
optimization levels. Thus, the parsedate function would return
PARSEDATE_OK with an undefined value in the time, instead of return -1 =
PARSEDATE_FAIL.

parseconfig: warn if unquoted white spaces are detected

Commit 0db811b6 made some existing config files pass on unexpected
values to libcurl that made it somewhat hard to track down what was
really going on.

This code detects unquoted white spaces in the parameter when parsing a
config file as that would be one symptom and it is generally a bad
syntax anyway.

RELEASE-NOTES: recount contributors and libcurl options

RELEASE-NOTES: synced with c4f46e97ca6c

TFTP: let tftp_multi_statemach()'s return codes through

It would otherwise always clobber the return code with new function
calls and it couldn't return timeout etc.

Bug: http://curl.haxx.se/bug/view.cgi?id=1310

darwinssl: Fix #if 10.6.0 for SecKeychainSearch

The comment here says that SecKeychainSearch causes a deprecation
warning when used with a minimum Mac OS X SDK version of 10.7.0, which
is correct.  However, the #if guard did not match.  It was intended to
only use the code if 10.6.0 support was enabled, but it had 10.7.0
instead.  This caused a warning if the minimum was exactly 10.7.0.

curl.h: <sys/select.h> for OpenBSD

curl.h should also include <sys/select.h> on OpenBSD to reliably
pull in select().  Typically, including <sys/time.h> will be enough,
but not if strict standards-compliance is requested (e.g. by defining
_XOPEN_SOURCE).

digest: fix CURLAUTH_DIGEST_IE

The URI that is passed in as part of the Authorization: header needs to
be cut off at '?' if CURLAUTH_DIGEST_IE is set. Previously the code only
did when calculating the MD5sum.

Bug: http://curl.haxx.se/bug/view.cgi?id=1308
Patched-by: Sergey Tatarincev

Curl_is_connected: use proxy name in error message when proxy is used

(bug introduced in 255826c4, never present in a release)

Reported-by: Dima Tisnek
Bug: http://curl.haxx.se/mail/lib-2013-12/0006.html

imap/pop3: Post graceful cancellation consistency changes

pop3: Fix POP3_TYPE_ANY signed compilation warning

POP3_TYPE_ANY, or ~0, is written to pop3c->preftype in lib/pop3c.c, an
unsigned int variable.  The result of ~0 is -1, which caused a warning
due to writing a negative number to an unsigned variable.  To fix this,
make the expression ~0U so that its value is considered the unsigned
number UINT_MAX which is what SASL_AUTH_ANY does in curl_sasl.h.

tool_metalink: do not use HAVE_NSS_INITCONTEXT

... no longer provided by the configure script

nss: make sure that 'sslver' is always initialized

nss: unconditionally require NSS_InitContext()

... since we depend on NSS 3.14+ because of SSL_VersionRangeSet() anyway

nss: allow to use TLS > 1.0 if built against recent NSS

Bug: http://curl.haxx.se/mail/lib-2013-11/0162.html

nss: put SSL version selection into separate fnc

nss: use a better API for controlling SSL version

This change introduces a dependency on NSS 3.14+.

OS400: sync wrappers and RPG binding.

multi.c: Fixed compilation warning

warning: declaration of 'pipe' shadows a global declaration

RELEASE-NOTES: Synced with ad3836448efbb7

base64: Corrected typo from commit f3ee587775c88a

base64: Post extended extended validation tidy up

Reduced the separate processing of the last quantum to be performed in
the main decoding loop and renamed some variables for consistency.

base64: Extended validation to look for invalid characters

Extended the basic validation in commit e17c1b25bc33eb to return a
failure when invalid base64 characters are included.

base64: Post basic validation tidy up

Due to the length checks introduced in commit e17c1b25bc33eb there is no
need to allow for extra space in the output buffer for a non-padded last
quantum.

curl_easy_getinfo: Post CURLINFO_TLS_SESSION tidy up

1) Renamed curl_tlsinfo to curl_tlssessioninfo as discussed on the
mailing list.
2) Renamed curl_ssl_backend to curl_sslbackend so it doesn't follow our
function naming convention.
3) Updated sessioninfo.c example accordingly.

parseconfig: dash options can't specified with colon or equals

Bug: http://curl.haxx.se/bug/view.cgi?id=1297
Reported-by: Michael Osipov

curl.1: -G also takes --data-urlencode data

globbing: curl glob counter mismatch with {} list use

The "fixed string" function wrongly bumped the "urlnum" counter which
made curl output the total number of URLs wrong when using
{one,two,three} lists in globs.

Reported-by: Michael-O
Bug: http://curl.haxx.se/bug/view.cgi?id=1305

sessioninfo.c: Added sample code for CURLINFO_TLS_SESSION

Added a simple example to show how one can use CURLINFO_TLS_SESSION for
obtaining extensive TLS certificate information.

multi.c: Fixed compilation error introduced in commit a900d45489fc14

Systems that define SIGPIPE_VARIABLE as a noop would not compile as
restore_pipe was defined afterwards.

curl_easy_getopt: Handle API violation gracefully

This fixes a NULL dereference in the case where the client asks for
CURLINFO_TLS_SESSION data after the (TLS) session has already been
destroyed (i.e. curl_easy_perform has already completed for this
handle). Instead of crashing, we now return a CURLSSLBACKEND_NONE
error.

KNOWN_BUGS: #86: Disconnect commands may not be sent by IMAP, POP3 and SMTP

curl_multi_cleanup: ignore SIGPIPE

This is an extension to the fix in 7d80ed64e43515. We may
call Curl_disconnect() while cleaning up the multi handle,
which could lead to openssl sending packets, which could get
a SIGPIPE.

Signed-off-by: Jeff King <peff@peff.net>

sigpipe: factor out sigpipe_reset from easy.c

Commit 7d80ed64e43515 introduced some helpers to handle
sigpipe in easy.c. However, that fix was incomplete, and we
need to add more callers in other files. The first step is
making the helpers globally accessible.

Since the functions are small and should generally end up
inlined anyway, we simply define them in the header as
static functions.

Signed-off-by: Jeff King <peff@peff.net>

connect: Try next ip directly after immediate connect fail

This fixes a rare Happy Eyeballs bug where if the first IP family runs
out of addresses before the second-family-timer fires, and the second
IP family's first connect fails immediately, no further IPs of the
second family are attempted.

hostip: don't prune DNS cache entries that are in use

When adding entries to the DNS cache with CURLOPT_RESOLVE, they are
marked 'inuse' forever to prevent them from ever being removed in normal
operations. Still, the code that pruned out-of-date DNS entries didn't
care for the 'inuse' struct field and pruned it anyway!

Reported-by: Romulo A. Ceccon
Bug: http://curl.haxx.se/bug/view.cgi?id=1303

RELEASE-NOTES: Synced with 35e476a3f6cdd5

tests: Re-ordered test arguments to match other IMAP tests

tests: Corrected login "username" authentication responses

tests: Added error code explanation comments

tests: Removed expected QUIT response from graceful cancellation tests

A failure during authentication, which is performed as part of the
CONNECT phrase (for IMAP, POP3 and SMTP) is considered by the multi-
interface as being closed prematurely (aka a dead connection). As such
these protocols cannot issue the relevant QUIT or LOGOUT command.

Temporarily fixed the test cases until we can fix this properly.

tests: Added SMTP graceful authentication cancellation tests

tests: Added POP3 graceful authentication cancellation tests

ftpserver.pl: Reworked fix from commit 7a36b2abc06862

ftpserver.pl: Fixed unknown IMAP command "*"

ftpserver.pl: Fixed servercmd REPLY with * detection

tests: Added IMAP graceful authentication cancellation tests

tests: Moved CR LF in URL tests to their respective protocol groups

smtp: Post SMTP command expansion tidy up

Removed unnecessary SMTP_STOP state changes on failure.

Removed hard return on failure in smtp_state_data_resp().

symbols-in-versions: Added missing CURLSSLBACKEND_* symbols

symbols-in-versions: Fixed missing CURLINFO_TLS_SESSION

curl_easy_getinfo: Added CURLINFO_TLS_SESSION for accessing TLS internals

Added new API for returning a SSL backend type and pointer, in order to
allow access to the TLS internals, that may then be used to obtain X509
certificate information for example.

RELEASE-NOTES: Synced with 8191800a0c8ff7

smtp: Fixed space being sent in non --mail-rcpt based requests

Commands such as NOOP, RSET and HELP would be sent with a space at the
end of the command, for example: "NOOP ".

tests: Added SMTP NOOP and RSET tests

test928: Corrected typo in expected data from commit df58084695ce9b

tests: Added SMTP HELP test

smtp: Changed the default command to HELP when no options are specified

Otherwise a NOOP operation would be performed which a) only returns a
single line response and not a multiline response where -I needs to be
used, and b) provides an inconsistent user experience compared to that
of the POP3 and IMAP protocols.

smtp:Fixed memory leak from commit dac01ff6d788b2

The buffer allocated by smtp_parse_custom_request() was not freed.

connect: Close open but unconnected socket in singleipconnect()

singleipconnect() could return the file descriptor of an open socket
even though the function returned a CURLE_COULDNT_CONNECT error code
from commit ed1662c374361a and 02fbc26d59c591.

This could cause tests 19, 704 and 1233 to fail on FreeBSD, AIX and
Solaris.

tests: Added SMTP EXPN command test