multi_runsingle: CURLOPT_LOW_SPEED_* fix for rate limitation

During the periods of rate limitation, the speedcheck function wasn't
called and thus the values weren't updated accordingly and it would then
easily trigger wrongly once data got transferred again.

Also, the progress callback's return code was not acknowledged in this
state so it could make an "abort" return code to get ignored and not
have the documented effect of aborting an ongoing transfer.

Bug: http://curl.haxx.se/mail/lib-2012-09/0081.html
Reported by: Jie He

tool_metalink.c: Filtered resource URLs by type

In Metalink v3, the type attribute of url element indicates the
type of the resource the URL points to. It can include URL to the
meta data, such as BitTorrent metainfo file.  In Curl, we are not
interested in these meta data URLs. Instead, we are only
interested in the HTTP and FTP URLs. This change filters out
non-HTTP and FTP URLs. If we don't filter out them, it will be
downloaded by curl and hash check will fail if hash is provided
and next URL will be tried. This change will cut this useless
network transfer.

https.c example: remember to call curl_global_init()

... in order not to leak memory on initializing an SSL library.

Reported by: Tomas Mlcoch

FAQ: remove the date from the topmost line

FAQ: 5.16 I want a different time-out!

Curl_reconnect_request: clear pointer on failure

The Curl_reconnect_request() function could end up returning a pointer
to a free()d struct when Curl_done() failed inside. Clearing the pointer
unconditionally after Curl_done() avoids this risk.

Reported by: Ho-chi Chen
Bug: http://curl.haxx.se/mail/lib-2012-09/0188.html

CURLOPT_CONNECTTIMEOUT: works without signals or posix too!

Makefile.vc6: Follow up on 0c8ccf7

Makefile.vc6: Added missing default library advapi32.lib

HTTP_ONLY: disable more protocols

test2006: Updated expected output to include hash name

Output changed in commit a34197ef77cb

cmake: use standard findxxx modules for cmake v2.8+

setup.h: fixed for MS VC10 build

Bug: http://curl.haxx.se/bug/view.cgi?id=3568327

TODO-RELEASE: push new features to 7.29

Leave two bug fixes as possibly fixed for 7.28 but as nobody seems to be
working on them I have little hope...

metalink tests: Updated expected output to include hash name

curl_multi_wait: Add parameter to return number of active sockets

Minor change to recently introduced function.  BC breaking, but since
curl_multi_wait() doesn't exist in any releases that should be fine.

socks.c: Fixed warning: conversion to 'int' from 'long unsigned int'

http_negotiate.c: Fxied warning: unused variable 'rc'

ssh.c: Fixed warning: implicit conversion from enumeration type

socks.c: Check that IPv6 is enabled before using it's features

checksrc: Fixed line length and comment indentation

socks.c: Updated error messages to handle hostname and IPv6

socks.c: Added support for IPv6 connections through SOCKSv5 proxy

parse_proxy: treat "socks://x" as a socks4 proxy

Selected socks proxy in Google's Chrome browser. Resulting in the
following environment variables:

NO_PROXY=localhost,127.0.0.0/8
ALL_PROXY=socks://localhost:1080/
all_proxy=socks://localhost:1080/
no_proxy=localhost,127.0.0.0/8

... and libcurl didn't treat 'socks://' as socks but instead picked HTTP
proxy.

Reported by: Scott Bailey

Bug: http://curl.haxx.se/bug/view.cgi?id=3566860

ssh: do not crash if MD5 fingerprint is not provided by libssh2

The MD5 fingerprint cannot be computed when running in FIPS mode.

ssh: move the fingerprint checking code to a separate fnc

tool_metalink.c: Added name of validation hash to messages

This makes it easier to debug broken hashes or hash functions.

wincrypt: Fixed cross-compilation issues caused by include name

For some reason WinCrypt.h is named wincrypt.h under MinGW.

md5.c: Added support for Microsoft Windows CryptoAPI

Makefile.m32: Updated to build against libmetalink 0.1.2

The include and library path were moved within libmetalink, this
patch adjusts the defaults provided within the curl MinGW makefile.

tool_metalink.c: Added support for Microsoft Windows CryptoAPI

Since Metalink support requires a crypto library for hash functions
and Windows comes with the builtin CryptoAPI, this patch adds that
API as a fallback to the supported crypto libraries.
It is automatically used on Windows if no other library is provided.

libntlmconnect.c: Fixed typo and conversion

libntlmconnect.c: Fixed warning: curl_easy_getinfo expects long pointer

Fixed tests/libtest/libntlmconnect.c:52: warning: call to
'_curl_easy_getinfo_err_long' declared with attribute warning:
curl_easy_getinfo expects a pointer to long for this info

sws.c: Fixed warning: 'err' may be used uninitialized in this function

libntlmconnect.c: Fixed warning: comparison of signed/unsigned integer

Windows does not use -1 to represent invalid sockets and the
SOCKET type is unsigned.

nss.c: Fixed warning: 'err' may be used uninitialized in this function

tool_metalink.c: Fixed error: 'O_BINARY' undeclared

Check for O_BINARY which is not available on every system.

tool_metalink.c: Fixed validation of binary files containing EOF

Since Windows/MinGW threat 0x1A as the EOF character, reading binary
files which contain that byte does not work using text mode.
The read function will only read until the first 0x1A byte. This
means that the hash is not computed from the whole file and the
final validation check using hash comparision fails.

winbuild: Added support for building with SPNEGO enabled

Since Simple and Protected GSSAPI Negotiation Mechanism
is already implemented in curl and supported by the MinGW
builds, this change adds build support to winbuild makefiles.

winbuild: Adjusted order of options to generated config name

Cleaned up order of handled build options by ordering them
nearly alphabetically by using the order of the generated
config name. Preparation for future/more build options.

MANUAL: clarified user+password in HTTP URLs

RELEASE-NOTES: synced with 6c6f1f64c2

6 bug fixes to mention, 5 contributors

TODO-RELEASE: CURLSSH_AUTH_AGENT and curl_multi_wait() are done

-321 - CURLSSH_AUTH_AGENT patch by Armel Asselin

-324 - curl_multi_select() vs curl_multi_fdvec() etc

curl_schannel.c: Reference count the credential/session handle

Reference counting the credential handle should avoid that such a
handle is freed while it is still required for connection shutdown

darwinssl: fixed for older Mac OS X versions

SSL didn't work on older cats if built on a newer cat with weak-linking
turned on to support the older cat

tool_easysrc.c: Test pointers against NULL

While validating a new Clang diagnostic (-Wnon-literal-null-conversion -
yes, the name isn't quite correct in this case, but it suffices) I found
a few violations of it in Curl.

SOCKS: truly disable it if CURL_DISABLE_PROXY is defined

Bug: http://curl.haxx.se/bug/view.cgi?id=3561305

Patch by: Marcel Raad

mk-ca-bundle: detect start of trust section better

Each certificate section of the input certdata.txt file has a trust
section following it with details.

This script failed to detect the start of the trust for at least one
cert[*], which made the script continue pass that section into the next
one where it found an 'untrusted' marker and as a result that certficate
was not included in the output.

[*] = "Hellenic Academic and Research Institutions RootCA 2011"

Bug: http://curl.haxx.se/mail/lib-2012-09/0019.html

gnutls: do not fail on non-fatal handshake errors

Bug: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=685402

FILEFORMAT: the FTP commands work for more protocols

test1411: verify SMTP without SIZE support

SMTP: only send SIZE if supported

SMTP client will send SIZE parameter in MAIL FROM command only if server
supports it. Without this patch server might say "504 Command parameter
not implemented" and reject the message.

Bug: http://curl.haxx.se/bug/view.cgi?id=3564114

ftpserver: respond with a 250 to SMTP EHLO

... and specify that SIZE is supported. 250 is the "correct" response
code according to RFC 2821

RELEASE-NOTES: synced with abb0da919300e

Updated Symbian build files

This is untested, but at least Symbian still has a chance of
still working now.

Updated build docs w.r.t. Android and binary sizes

symbols-in-versions: new CURL_WAIT_* symbols

Unit test for curl_multi_wait()

Manpage for curl_multi_wait().

multi: add curl_multi_wait()

/*
 * Name:     curl_multi_wait()
 *
 * Desc:     Poll on all fds within a CURLM set as well as any
 *           additional fds passed to the function.
 *
 * Returns:  CURLMcode type, general multi error code.
 */
CURL_EXTERN CURLMcode curl_multi_wait(CURLM *multi_handle,
                                      struct curl_waitfd extra_fds[],
                                      unsigned int extra_nfds,
                                      int timeout_ms);

darwinssl: Bugfix for previous commit for older cats

I accidentally broke functionality for versions of OS X prior to Mountain
Lion in the previous commit. This commit fixes the problems.

Use MAX_EASY_HANDLES instead of hardcoding the number of handles twice

test2032: bail out after last transfer

The test would hang and get aborted with a "ABORTING TEST, since it
seems that it would have run forever." until I prevented that from
happening.

I also fixed the data file which got broken CRLF line endings when I
sucked down the path from Joe's repo == my fault.

Removed #37 from KNOWN_BUGS as this fix and test case verifies exactly
this.

NTLM: re-use existing connection better

If we need an NTLM connection and one already exists, always choose that
one.

NTLM: verify multiple connections work

Add test2032 to test that NTLM does not switch connections in the middle
of the handshake

curl.1: list the -w variables sorted alphabetically

libcurl-share.3: remove wrong info of what can be shared

"Currently you can only share DNS and/or COOKIE data" is incorrect since
also SSL sessions can be shared.

Bug: http://curl.haxx.se/bug/view.cgi?id=3562261
Reported by: Joe Mason

examples: use do/while loop for multi examples

It's conceivable that after the first time curl_multi_perform returns,
the outvalue still_running will be 0, but work will have been done. This
is shown by a workload of small, purely file:// based URLs. Ensure that
we always read pending messages off the multi handle by forcing the
while loop to run at least once.

curl.h: fix comment to refer to current names

CURLOPT_USE_SSL should be set to CURLUSESSL_* and nothing else in modern
libcurl versions.

ftpsget: simple example showing a FTPS fetch

sftpget: SFTP is not "SSH FTP"

sftpget: example showing a simple SFTP download

... using SSH-agent

curl_multi_perform.3: extended/clarified

INSTALL.cmake: clarify some flaws/limits in the cmake build

https.c example: spell check used define

Bug: http://curl.haxx.se/bug/view.cgi?id=3559845
Reported by: Olivier Berger

configure: update the copyright years for the output

darwinssl: add TLS 1.1 and 1.2 support, replace deprecated functions

In Mountain Lion, Apple added TLS 1.1 and 1.2, and deprecated a number
of SecureTransport functions, some of which we were using. We now check
to see if the replacement functions are present, and if so, we use them
instead.  The old functions are still present for users of older
cats. Also fixed a build warning that started to appear under Mountain
Lion

curl_easy_setopt: documented CURLSOCKTYPE_ACCEPT for SOCKOPTFUNCTION

ftp: active conn, place calling sockopt callback at the end of function

Commit b91d29a28e170c16d65d956db79f2cd3a82372d2 introduces a bug and breaks Curl_closesocket function. sock_accepted flag for the second socket should be tagged as TRUE before the sockopt callback is called because in case the callback returns an error, Curl_closesocket function is going to call the - fclosesocket - callback for the accept()ed socket

ftp: active conn, allow application to set sockopt after accept() call

For active FTP connections, applications may need setting the sockopt after accept() call returns successful. This fix gives a call to the callback registered with CURL_SOCKOPTFUNCTION option. Also a new sock type - CURLSOCKTYPE_ACCEPT - is added. This type is to be passed to application callbacks with - purpose - parameter. Applications may use this parameter to distinguish between socket types.

configure: remove the --enable/disable-nonblocking options

Removing this option as it currently only functions to lure people into
wrongly using it and falsely believing that libcurl will work fine
without using nonblocking sockets internally - which leads to hard to
track or understand errors.

MANUAL review

curl.1: shorten lines, avoid referring to libcurl instead of curl

curl.1: fix more consistent wording

"If this option is used several times, the last one will be used."
uniformity

ssh: use the libssh2 agent API conditionally

Commit e351972bc89aa4c brought in the ssh agent support but some uses of
the libssh2 agent API was done unconditionally which wasn't good enough
since that API hasn't always been present.

white space fix: shorten long line

... to please checksrc.pl

docs: update the links to cipher-suites supported by NSS

... and make the list of cipher-suites in nss.c readable by humans.

Bug: http://curl.haxx.se/mail/archive-2012-08/0016.html

nss: do not print misleading NSS error codes

RELEASE-NOTES: synced with 0774386b23

5 more bug fixes, one change, 6 contributors

docs: mention CURLSSH_AUTH_AGENT

SSH: added agent based authentication

CURLSSH_AUTH_AGENT is a new auth type for SSH

bump version to 7.28.0

I am about to merge the first patch that adds changes into the pending
release, and thus we bump the minor number.

RELEASE-NOTES: added missing link

curl_version: fixed Value stored to 'len' is never read

Fixed this (harmless) clang-analyzer warning. Also fixed the source
indentation level.

TODO-RELEASE: the (nil) bug is fixed

add_next_timeout: minor restructure of code

By reading the ->head pointer and using that instead of the ->size
number to figure out if there's a list remaining we avoid the (false
positive) clang-analyzer warning that we might dereference of a null
pointer.

verbose messages: fixed output of hostnames in re-used connections

I suspect this is a regression introduced in commit 207cf150, included
since 7.24.0.

Avoid showing '(nil)' as hostname in verbose output by making sure the
hostname fixup function is called early enough to set the pointers that
are used for this. The name data is set again for each request even for
re-used connections to handle multiple hostnames over the same
connection (like with proxy) or that the casing etc of the host name is
changed between requests (which has proven to be important at least once
in the past).

Test1011 was modified to use a redirect with a re-used a connection
since it then showed the bug and now lo longer does. There's currently
no easy way to have the test suite detect 'nil' texts in verbose ouputs
so no tests will detect if this problem gets reintroduced.

Bug: http://curl.haxx.se/mail/lib-2012-07/0111.html
Reported by: Gisle Vanem

metalink: Un-broke the build when building --with-darwinssl

Fix some compiler warnings.

TODO-RELEASE: two bugs fixed

These are now addressed:

323 - patch - select.c / Curl_socket_check() interrupted

325 - Avoid leak of local device string when reusing connection