tests 1356 to 1363: several -O -J -i -D combinations with FTP protocol

Currently 1356 to 1362 succeed but a write failure is logged in traceNNNN.

Currently 1363 fails, so disabled for now.

tests: Updated pop3 tests for change in auth mechanism detection

pop3: Changed the sasl mechanism detection from auth to capa

Not all SASL enabled POP3 servers support the AUTH command on its own
when trying to detect the supported mechanisms. As such changed the
mechanism detection to use the CAPA command instead.

curl_easy_setopt.3: proto updates + cleanups

- For all *FUNCTION options, they now all show the complete prototype in
  the description. Previously some of them would just refer to a
  typedef'ed function pointer in the curl.h header.

- I made the phrasing of that "Pass a pointer to a function that matches
  the following prototype" the same for all *FUNCTION option descriptions.

- I removed some uses of 'should'. I think I sometimes over-use this
  word as in many places I actually mean MUST or otherwise more specific
  and not-so-optional synonyms.

tests 1348 to 1355: several -O -J -i -D combinations with FTP protocol

Currently 1348 to 1354 succeed but a write failure is logged in traceNNNN.

Currently 1355 fails, so disabled for now.

tests 1346 to 1347: several -O -J -i -D combinations with HTTP protocol

sasl: Small code tidy up

Reworked variable names in Curl_sasl_create_cram_md5_message() to match
those in Curl_sasl_create_digest_md5_message() as they are more
appropriate.

sasl: Moved digest-md5 authentication message creation from smtp.c

Moved the digest-md5 message creation from smtp.c into the sasl module
to allow for use by other modules such as pop3.

sasl: Small code tidy up before moving digest-md5 over

Correction of comments and variable names.

RELEASE-NOTES: Added missing addition of sasl login support

pop3: Added support for sasl cram-md5 authentication

Curl_sasl_create_plain_message: remove TAB

sasl: Small code tidy up

Added some comments and removed an unreferenced variable.

pop3.c: Added conditional compilation for NTLM function calls

Added USE_NTLM condition compilation around the NTLM functions called
from pop3_statemach_act() introduced in commit 69f7156ad96877.

sasl: Moved cram-md5 authentication message creation from smtp.c

Moved the cram-md5 message creation from smtp.c into the sasl module
to allow for use by other modules such as pop3.

pop3: Fixed an issue with changes introduced in commit c267c53017bc

Because pop3_endofresp() is called for each line of data yet is not
passed the line and line length, so we have to use the data pointed to
by pp->linestart_resp which contains the whole packet, the mechanisms
were being detected in one call yet the function would be called for
each line of data.

Using curl with verbose mode enabled would show that one line of data
would be received in response to the AUTH command, before the AUTH
<mechanism> command was sent to the server and then the next few lines
of the original AUTH command would be displayed before the response from
the AUTH <mechanism> command. This would then cause problems when
parsing the CRAM-MD5 challenge data as extra data was contained in the
buffer.

Changed the parsing so that each line is checked for the mechanisms
and the function returns FALSE until the whole of the AUTH response has
been processed.

version: bump to 7.27.0 for next release

Due to new features

RELEASE-NOTES: synced with c4e3578e4bf

Also bumped the contributor number and next release is to become 7.27.0

THANKS: 16 new contributors from the 7.26.0 release

DOCS: Fixed list in Section 18.2 not displaying correctly on web site

DOCS: Corrected missed heading renumbering from commit 530675a1ad7

DOCS: Added IMAP and LDAP sections

Added new sections 11. IMAP and 12. LDAP to document adding SASL based
authentication.

Renumbered current sections 11 to 17 as 13 to 19.

Additionally added 19.10 Add CURLOPT_MAIL_CLIENT option.

sasl.c: Fix to avoid warnings introduced in commit d9ca9e9869e8

Applied a fix to avoid warnings on systems where Curl_ntlm_sspi_cleanup()
is just a nop.

pop3.c:Corrected typo in commit 69ba0da8272d

pop3: Fixed the issue of having to supply the user name for all requests

Previously it wasn't possible to connect to POP3 and not specify the
user name as a CURLE_ACCESS_DENIED error would be returned. This error
occurred because USER would be sent to the server with a blank user name
if no mailbox user was specified as the server would reply with -ERR.

This wasn't a problem prior to the 7.26.0 release but with the
introduction of custom commands the user and/or application developer
might want to issue a CAPA command without having to log in as a
specific mailbox user.

Additionally this fix won't send the newly introduced AUTH command if no
user name is specified.

pop3.c: Small code tidy up

Corrected lines exceeding 78 characters.

Repositioned some comments and added extra clarity.

sasl: Corrected variable names in comments and parameters

pop3: Added support for sasl ntlm authentication

sasl: Small comment style tidy up following ntlm commit

sasl: Moved ntlm authentication message handling from smtp.c

Moved the ntlm message creation and decoding from smtp.c into the sasl
module to allow for use by other modules such as pop3.

pop3: Added support for sasl login authentication

tests 1334 to 1345: several -O -J -i -D combinations with HTTP protocol

tests: support test definitions with up to 5 file checks in <verify> section

This is done introducing tags <file1> to <file4> besides existing <file> one,
as well as corresponding <stripfile1> to <stripfile4> ones, that can be used
in the <verify> section in the same way as the non-numbered ones.

sasl: Moved login authentication message creation from smtp.c

Moved the login message creation from smtp.c into the sasl module
to allow for use by other modules such as pop3.

smtp.c: Reworked message encoding in smtp_state_authpasswd_resp()

Rather than encoding the password message itself the
smtp_state_authpasswd_resp() function now delegates the work to the same
function that smtp_state_authlogin_resp() and smtp_authenticate() use
when constructing the encoded user name.

smtp.c: Re-factored smtp_auth_login_user() for use with passwords

In preparation for moving to the SASL module re-factored the
smtp_auth_login_user() function to smtp_auth_login() so that it can be
used for both user names and passwords as sending both of these under
the login authentication mechanism is the same.

pop3: Added support for sasl plain text authentication

curl_ntlm_msgs.c: Corrected small spelling mistake in comments

sasl: Moved plain text authentication message creation from smtp.c

Moved the plain text message creation from smtp.c into the sasl module
to allow for use by other modules such as pop3.

configure: fix LDAPS disabling related misplaced closing parenthesis

pop3 test server: allow pop3 test server verification to succeed again

Introduce SUPPORTCAPA and SUPPORTAUTH config commands to allow further
pop3 test server expansion for tests that require CAPA or AUTH support,
although this will need some extra work to make it fully functional.

pop3: Introduced the continue response in pop3_endofresp()

pop3: Changed response code from O and E to + and -

The POP3 protocol doesn't really have the concept of error codes and
uses +, +OK and -ERR in response to commands to indicate continue,
success and error.

The AUTH command is one of those commands that requires multiple pieces
of data to be sent to the server where the server will respond with + as
part of the handshaking. This meant changing the values before
continuing with the next stage of adding authentication support.

pop3: Small code tidy up following authentication work so far

Changed the order of the state machine to match the order of actual
events.

Reworked some comments and function parameter positioning that I missed
the other day.

nss: use human-readable error messages provided by NSS

Bug: http://lists.baseurl.org/pipermail/yum-devel/2012-January/009002.html

test1013.pl: filter out Metalink

Since it isn't a feature supported by curl-config we can't compare that
with the --version output

pop3: remove variable-not-used warnings

DOCS: Corrected the "Added in" version number for CURLOPT_MAIL_AUTH

Additionally corrected another RFC link that I missed yesterday.

pop3: Added support for SASL based authentication mechanism detection

Added support for detecting the supported SASL authentication mechanisms
via the AUTH command. There are two ways of detecting them, either by
using the AUTH command, that will return -ERR if not supported or by
using the CAPA command which will return SASL and the list of mechanisms
if supported, not include SASL if SASL authentication is not supported
or -ERR if the CAPA command is not supported. As such it seems simpler
to use the AUTH command and fallback to normal clear text authentication
if the the command is not supported.

Additionally updated the test cases to return -ERR when the AUTH command
is encountered. Additional test cases will be added when support for the
individual authentication mechanisms is added.

pop3: remove trailing whitespace

pop3: Code tidy up before the introduction of authentication code

Moved EOB definition into header file.

Switched the logic around in pop3_endofresp() to allow for the
introduction of auth-mechanism detection.

Repositioned second and third function variables where they will fit
within the 78 character line limit.

Tidied up some comments.

Enabled OpenSSL static linkage.

Enabled OpenSSL static linkage.

Try to detect OpenSSL build type automatically.

metalink: fix build errors when disabled

Reduced #ifdef HAVE_METALINK

Disable hash check if neither OpenSSL nor GNUTLS is installed.

Format GETOUT_METALINK nicely

Minimize usage of structs from libmetalink

Check checksum of downloaded file if checksum is available

Metalink file contains several hash types of checksums, such as
md5, sha-1, sha-256, etc. To deal with these checksums, I created
abstraction layer based on lib/curl_md5.h and
lib/md5.c. Basically, they are almost the same but I changed the
code so that it is not hash type dependent. Currently,
GNUTLS(nettle or gcrypt) and OpenSSL functions are supported.

Checksum checking is done by reopening download file.  If there
is an I/O error, the current implementation just prints error
message and does not try next resource.

In this patch, the supported hash types are: md5, sha-1 and sha-256.

Always create directory hierarchy for Metalink.

Filenames contained in Metalink file can include directory information.
Filenames are unique in Metalink file, taking into account the directory
information. So we need to create the directory hierarchy.

Curl has --create-dirs option, but we create directory hierarchy for
Metalink downloads regardless of the option value.

This patch also put metalink int variable outside of HAVE_LIBMETALINK
guard. This reduces the number of #ifdefs.

Fixed segmentation fault when Metalink has no valid file or no resource.

Support media-type parameter in Content-Type

Print "Metalink" in Features if Metalink support is enabled.

Removed trailing space

Add --metalink to --help

Add Metalink information and --metalink option to man page

Add Metalink information and --metalink option to man page

Adds Metalink information to INSTALL

--metalink option is available regardless of Metalink support.

metalink: parse downloaded Metalink file

Parse downloaded Metalink file and add downloads described there. Fixed
compile error without metalink support.

Fixed HAVE_LIBMETALINK conditional is always true

metalink: minor metalinkfile fix

Don't update config->metalinkfile_last in operate(). Use local variable
to point to the current metalinkfile.

metalink: show help message even if disabled

Print message if --metalink is used while metalink support is not
enabled. Migrated Metalink support in tool_operate.c and removed
operatemetalink().

Applied patches from Daniel

Support Metalink.

This change adds experimental Metalink support to curl.
To enable Metalink support, run configure with --with-libmetalink.
To feed Metalink file to curl, use --metalink option like this:

  $ curl -O --metalink foo.metalink

We use libmetalink to parse Metalink files.

DOCS: Fixed line spacing of authentication examples in CURLOPT_URL

DOCS: Changed domain names in various examples to example.com

Updated various references of real domain names to example.com as per
RFC-2606.

DOCS: Fixed meaning of bit 2 in CURLOPT_POSTREDIR

Setting bit 2 for this value was documented as having a constant value
defined as CURL_REDIR_POST_303 yet referenced a 302 request.

Additionally corrected the meaning of CURL_REDIR_POST_ALL for all three
bits and fixed problems with the bolding of keywords in this section.

DOCS: Standardised how RFCs are referenced.

Standardised how RFCs are referenced so that the website may autolink to
the correct documentation on ietf.org. Additionally removed the one link
to RFC3986 on curl.haxx.se.

Fix libcurl.pc and curl-config generation for static MingW* cross builds

Made -D option work with -O and -J.

To achieve this, first new structure HeaderData is defined to hold
necessary data to perform header-related work.  Then tool_header_cb now
receives HeaderData pointer as userdata.  All header-related work
(currently, dumping header and Content-Disposition inspection) are done
in this callback function.  HeaderData.outs->config is used to determine
whether each work is done.

Unit tests were also updated because after this change, curl code always
sets CURLOPT_HEADERFUNCTION and CURLOPT_HEADERDATA.

Tested with -O -J -D, -O -J -i and -O -J -D -i and all worked fine.

sasl: Re-factored auth-mechanism constants to be more generic

smtp: Moved auth-mechanism constants into a separate header file

Move the SMTP_AUTH constants into a separate header file in
preparation for adding SASL based authentication to POP3 as the two
protocols will need to share them.

nss: avoid using explicit casts of code pointers

DOCS: Added LDAP to the CURLOPT_URL section

TODO: Removed DIGEST-MD5 authentication from SMTP to do list

Removed DIGEST-MD5 from Section 9.1 Other authentication mechanisms as
the feature was added to SMTP in 7.26.0.

Also corrected small spelling mistake.

bump to 7.26.1: start working towards next release

RELEASE-NOTES: synced with ef60fdbd73

Just before 7.26.0 is about to ship

smtp: Fixed an issue with the multi-interface always sending postdata

Due to the result code being reset to CURLE_OK when smtp_dophase_done()
was called, postdata would incorrectly be sent to the server when the
MAIL FROM or RCPT command was rejected.

As such, libcurl would return the wrong result code from performing the
operation and additionally set CURLINFO_RESPONSE_CODE to be that
returned by the postdata command.

Bug: http://curl.haxx.se/mail/lib-2012-05/0108.html
Reported by: Gokhan Sengun

DOCS: Updated version number for features added in the pending release

Fixed compile error with GNUTLS+NETTLE

In nettle/md5.h, md5_init and md5_update are defined as macros to
nettle_md5_init and nettle_md5_update respectively.  This causes
error when using MD5_params.md5_init and md5_update.  This patch
renames these members as md5_init_func and md5_update_func to
avoid name conflict. For completeness, MD5_params.md5_final was
also renamed as md5_final_func.

The changes in curl_ntlm_core.c is conversion error and fixed by
casting to proper type.

TODO-RELEASE: mention the pending biggies for 7.27.0

winbuild: fix IPv6 enabled build

The existing check was wrong so IPv6 support would never be enabled

7.26.0: will be the next release version

RELEASE-NOTES: synced with 8ae1e657e82a

And mention that this will become 7.26.0

Updated dependency libary versions.

curl-config.1: fix curl-config usage in example

The curl-config command must be used twice in the single command line to
work properly in some environments.

Bug: http://curl.haxx.se/bug/view.cgi?id=3528241
Reported by: Julian Taylor

smtp: Fixed non-escaping of dot character at beginning of line

A dot character at the beginning of a line would not be escaped to a
double dot as required by RFC-2821, instead it would be deleted by the
mail server. Please see section 4.5.2 of the RFC for more information.

Note: This fix also simplifies the detection of repeated CRLF.CRLF
combinations, such as CRLF.CRLF.CRLF, a little rather than having to
advance the eob counter to 2.

FAQ: updated 1.10 How many are using curl?

Now linking to http://daniel.haxx.se/blog/2012/05/16/300m-users/