Curl_pretransfer: clear out unwanted auth methods

As a handle can be re-used after having done HTTP auth in a previous
request, it must make sure to clear out the HTTP types that aren't
wanted in this new request.

test1412: verify Digest with repeated URLs

This test case verifies that bug 3582718 is fixed.

Bug: http://curl.haxx.se/bug/view.cgi?id=3582718
Reported by: Nick Zitzmann (originally)

Revert "Zero out auth structs before transfer"

This reverts commit ce8311c7e49eca93c136b58efa6763853541ec97.

The commit made test 2024 work but caused a regression with repeated
Digest authentication. We need to fix this differently.

CURLOPT_SSL_VERIFYHOST: stop supporting the 1 value

After a research team wrote a document[1] that found several live source
codes out there in the wild that misused the CURLOPT_SSL_VERIFYHOST
option thinking it was a boolean, this change now bans 1 as a value and
will make libcurl return error for it.

1 was never a sensible value to use in production but was introduced
back in the days to help debugging. It was always documented clearly
this way.

1 was never supported by all SSL backends in libcurl, so this cleanup
makes the treatment of it unified.

The report's list of mistakes for this option were all PHP code and
while there's a binding layer between libcurl and PHP, the PHP team has
decided that they have an as thin layer as possible on top of libcurl so
they will not alter or specifically filter a 'TRUE' value for this
particular option. I sympathize with that position.

[1] = http://daniel.haxx.se/blog/2012/10/25/libcurl-claimed-to-be-dangerous/

gnutls: fix compiler warnings

gnutls: print alerts during handshake

gnutls: fix the error_is_fatal logic

RELEASE-NOTES: synced with fa6d78829fd30ad

httpcustomheader.c: free the headers after use

uniformly use AM_CPPFLAGS, avoid deprecated INCLUDES

Since automake 1.12.4, the warnings are issued on running automake:

  warning: 'INCLUDES' is the old name for 'AM_CPPFLAGS' (or '*_CPPFLAGS')

Avoid INCLUDES and roll these flags into AM_CPPFLAGS.

Compile tested on:
  Ubuntu 10.04 (automake 1:1.11.1-1)
  Ubuntu 12.04 (automake 1:1.11.3-1ubuntu2)
  Arch Linux (automake 1.12.4)

libauthretry.c: shorten lines to fit within 80 cols

ftp_readresp: fix build without krb4 support

Oops, my previous commit broke builds with krb support.

test/README: mention the 1500 test number range

FTP: prevent the multi interface from blocking

As pointed out in Bug report #3579064, curl_multi_perform() would
wrongly use a blocking mechanism internally for some commands which
could lead to for example a very long block if the LIST response never
showed.

The solution was to make sure to properly continue to use the multi
interface non-blocking state machine.

The new test 1501 verifies the fix.

Bug: http://curl.haxx.se/bug/view.cgi?id=3579064
Reported by: Guido Berhoerster

winbuild: Use machine type of development environment

This patch restores the original behavior instead of always
falling back to x86 if no MACHINE-type was specified.

winbuild: Additional clean up

Even more winbuild refactoring

Minor winbuild refactoring

Architecture selection for winbuild and minor makefiles refactoring

BUGS: fix the bug tracker URL

The URL we used before is the one that goes directly to 'add' a bug
report, but since you can only do that after first having logged in to
sourceforge, the link often doesn't work for visitors.

Bug: http://curl.haxx.se/bug/view.cgi?id=3582408
Reported by: Oscar Norlander

evhiperfifo: fix the pointer passed to WRITEDATA

Bug: http://curl.haxx.se/bug/view.cgi?id=3582407
Reported by: Oscar Norlander

Fixed MSVC libssh2 static build.

Since libssh2 supports now agent stuff it also depends on user32.lib.
Posted to the list by Jan Ehrhardt.

tlsauthtype: deal with the string case insensitively

When given a string as 'srp' it didn't work, but required 'SRP'.
Starting now, the check disregards casing.

Bug: http://curl.haxx.se/bug/view.cgi?id=3578418
Reported by: Jeff Connelly

asyn-ares: restore working with c-ares < 1.6.1

Back in those days the public ares.h header didn't include the
ares_version.h header so it needs to be included here.

Bug: http://curl.haxx.se/bug/view.cgi?id=3577710

metalink/md5: Use CommonCrypto on Apple operating systems

Previously the Metalink code used Apple's CommonCrypto library only if
curl was built using the --with-darwinssl option. Now we use CommonCrypto
on all Apple operating systems including Tiger or later, or iOS 5 or
later, so you don't need to build --with-darwinssl anymore. Also rolled
out this change to libcurl's md5 code.

href_extractor.c: fix the URL

href_extractor: example code extracting href elements

It does so in a streaming manner using the "Streaming HTML parser".

darwinssl: un-broke iOS build, fix error on server disconnect

The iOS build was broken by a reference to a function that only existed
under OS X; fixed. Also fixed a hard-to-reproduce problem where, if the
server disconnected before libcurl got the chance to hang up first and
SecureTransport was in use, then we'd raise an error instead of failing
gracefully.

gnutls: put reset code into else block

Bug: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=690551

Fix now broken libmetalink-aware OpenSSL build.

Revert c44e674; add OpenSSL includes/defines.

The makefile is designed to build against a libmetalink devel package;
therefore is does not matter what will change inside libmetalink.
Add OpenSSL includes and defines for libmetalink-aware OpenSSL builds.

version-bump: towards 7.28.1!

THANKS: 14 new contributors from 7.28.0

RELEASE-NOTES: synced with 8373ca3641

One bug, one contributor. Getting ready for release.

curl_multi_wait: no wait if no descriptors to wait for

This is a minor change in behavior after having been pointed out by Mark
Tully and discussed on the list. Initially this case would internally
call poll() with no sockets and a timeout which would equal a sleep for
that specified time.

Bug: http://curl.haxx.se/mail/lib-2012-10/0076.html
Reported by: Mark Tully

TODO-RELEASE: cleanup for 7.28.0

one issue is now KNOWN_BUG #79

the other we just skip since nobody is working on it or is planning to
start working on it anytime soon

curl_multi_wait.3: style formatting mistake

ssluse.c: md5.h is required for Curl_ossl_md5sum

curl_multi_wait.3: fix the name of the man page

curl_multi_wait.3: renamed the last argument variable for clarity

curl_schannel.c: Fixed caching more data than required

Do not fill the decrypted data buffer with more data unless
required in order to return the requested amount of data.

curl_schannel: Removed buffer limit and optimized buffer strategy

Since there are servers that seem to return very big encrypted
data packages, we need to be able to handle those without having
an internal size limit. To avoid the buffer growing to fast to
early the initial size was decreased and the minimum free space
in the buffer was decreased as well.

lib/socks.c: Merged two size variables into one

lib/socks.c: Avoid type conversions where possible

Streamlined variable names and types to avoid type conversions that
may result in data being lost on non 32-bit systems.

lib/curl_schannel.c: Hide size_t conversion warning

krb5/curl_rtmp.c: Hide size_t to int type conversion warning

security.c: Aligned internal type to return type

Use ssize_t instead of int to avoid conversion problems on 64-bit
systems. Also added curlx_sztosi where necessary.

lib/curl_schannel: Increased maximum buffer size to factor 128

winbuild/MakefileBuild.vc: Follow up on 0c8ccf7

RELEASE-NOTES: synced with 971f5bcedd418

9 new bug fixes, 5 changes, 6 more contributors

multi_runsingle: CURLOPT_LOW_SPEED_* fix for rate limitation

During the periods of rate limitation, the speedcheck function wasn't
called and thus the values weren't updated accordingly and it would then
easily trigger wrongly once data got transferred again.

Also, the progress callback's return code was not acknowledged in this
state so it could make an "abort" return code to get ignored and not
have the documented effect of aborting an ongoing transfer.

Bug: http://curl.haxx.se/mail/lib-2012-09/0081.html
Reported by: Jie He

tool_metalink.c: Filtered resource URLs by type

In Metalink v3, the type attribute of url element indicates the
type of the resource the URL points to. It can include URL to the
meta data, such as BitTorrent metainfo file.  In Curl, we are not
interested in these meta data URLs. Instead, we are only
interested in the HTTP and FTP URLs. This change filters out
non-HTTP and FTP URLs. If we don't filter out them, it will be
downloaded by curl and hash check will fail if hash is provided
and next URL will be tried. This change will cut this useless
network transfer.

https.c example: remember to call curl_global_init()

... in order not to leak memory on initializing an SSL library.

Reported by: Tomas Mlcoch

FAQ: remove the date from the topmost line

FAQ: 5.16 I want a different time-out!

Curl_reconnect_request: clear pointer on failure

The Curl_reconnect_request() function could end up returning a pointer
to a free()d struct when Curl_done() failed inside. Clearing the pointer
unconditionally after Curl_done() avoids this risk.

Reported by: Ho-chi Chen
Bug: http://curl.haxx.se/mail/lib-2012-09/0188.html

CURLOPT_CONNECTTIMEOUT: works without signals or posix too!

Makefile.vc6: Follow up on 0c8ccf7

Makefile.vc6: Added missing default library advapi32.lib

HTTP_ONLY: disable more protocols

test2006: Updated expected output to include hash name

Output changed in commit a34197ef77cb

cmake: use standard findxxx modules for cmake v2.8+

setup.h: fixed for MS VC10 build

Bug: http://curl.haxx.se/bug/view.cgi?id=3568327

TODO-RELEASE: push new features to 7.29

Leave two bug fixes as possibly fixed for 7.28 but as nobody seems to be
working on them I have little hope...

metalink tests: Updated expected output to include hash name

curl_multi_wait: Add parameter to return number of active sockets

Minor change to recently introduced function.  BC breaking, but since
curl_multi_wait() doesn't exist in any releases that should be fine.

socks.c: Fixed warning: conversion to 'int' from 'long unsigned int'

http_negotiate.c: Fxied warning: unused variable 'rc'

ssh.c: Fixed warning: implicit conversion from enumeration type

socks.c: Check that IPv6 is enabled before using it's features

checksrc: Fixed line length and comment indentation

socks.c: Updated error messages to handle hostname and IPv6

socks.c: Added support for IPv6 connections through SOCKSv5 proxy

parse_proxy: treat "socks://x" as a socks4 proxy

Selected socks proxy in Google's Chrome browser. Resulting in the
following environment variables:

NO_PROXY=localhost,127.0.0.0/8
ALL_PROXY=socks://localhost:1080/
all_proxy=socks://localhost:1080/
no_proxy=localhost,127.0.0.0/8

... and libcurl didn't treat 'socks://' as socks but instead picked HTTP
proxy.

Reported by: Scott Bailey

Bug: http://curl.haxx.se/bug/view.cgi?id=3566860

ssh: do not crash if MD5 fingerprint is not provided by libssh2

The MD5 fingerprint cannot be computed when running in FIPS mode.

ssh: move the fingerprint checking code to a separate fnc

tool_metalink.c: Added name of validation hash to messages

This makes it easier to debug broken hashes or hash functions.

wincrypt: Fixed cross-compilation issues caused by include name

For some reason WinCrypt.h is named wincrypt.h under MinGW.

md5.c: Added support for Microsoft Windows CryptoAPI

Makefile.m32: Updated to build against libmetalink 0.1.2

The include and library path were moved within libmetalink, this
patch adjusts the defaults provided within the curl MinGW makefile.

tool_metalink.c: Added support for Microsoft Windows CryptoAPI

Since Metalink support requires a crypto library for hash functions
and Windows comes with the builtin CryptoAPI, this patch adds that
API as a fallback to the supported crypto libraries.
It is automatically used on Windows if no other library is provided.

libntlmconnect.c: Fixed typo and conversion

libntlmconnect.c: Fixed warning: curl_easy_getinfo expects long pointer

Fixed tests/libtest/libntlmconnect.c:52: warning: call to
'_curl_easy_getinfo_err_long' declared with attribute warning:
curl_easy_getinfo expects a pointer to long for this info

sws.c: Fixed warning: 'err' may be used uninitialized in this function

libntlmconnect.c: Fixed warning: comparison of signed/unsigned integer

Windows does not use -1 to represent invalid sockets and the
SOCKET type is unsigned.

nss.c: Fixed warning: 'err' may be used uninitialized in this function

tool_metalink.c: Fixed error: 'O_BINARY' undeclared

Check for O_BINARY which is not available on every system.

tool_metalink.c: Fixed validation of binary files containing EOF

Since Windows/MinGW threat 0x1A as the EOF character, reading binary
files which contain that byte does not work using text mode.
The read function will only read until the first 0x1A byte. This
means that the hash is not computed from the whole file and the
final validation check using hash comparision fails.

winbuild: Added support for building with SPNEGO enabled

Since Simple and Protected GSSAPI Negotiation Mechanism
is already implemented in curl and supported by the MinGW
builds, this change adds build support to winbuild makefiles.

winbuild: Adjusted order of options to generated config name

Cleaned up order of handled build options by ordering them
nearly alphabetically by using the order of the generated
config name. Preparation for future/more build options.

MANUAL: clarified user+password in HTTP URLs

RELEASE-NOTES: synced with 6c6f1f64c2

6 bug fixes to mention, 5 contributors

TODO-RELEASE: CURLSSH_AUTH_AGENT and curl_multi_wait() are done

-321 - CURLSSH_AUTH_AGENT patch by Armel Asselin

-324 - curl_multi_select() vs curl_multi_fdvec() etc

curl_schannel.c: Reference count the credential/session handle

Reference counting the credential handle should avoid that such a
handle is freed while it is still required for connection shutdown

darwinssl: fixed for older Mac OS X versions

SSL didn't work on older cats if built on a newer cat with weak-linking
turned on to support the older cat

tool_easysrc.c: Test pointers against NULL

While validating a new Clang diagnostic (-Wnon-literal-null-conversion -
yes, the name isn't quite correct in this case, but it suffices) I found
a few violations of it in Curl.

SOCKS: truly disable it if CURL_DISABLE_PROXY is defined

Bug: http://curl.haxx.se/bug/view.cgi?id=3561305

Patch by: Marcel Raad

mk-ca-bundle: detect start of trust section better

Each certificate section of the input certdata.txt file has a trust
section following it with details.

This script failed to detect the start of the trust for at least one
cert[*], which made the script continue pass that section into the next
one where it found an 'untrusted' marker and as a result that certficate
was not included in the output.

[*] = "Hellenic Academic and Research Institutions RootCA 2011"

Bug: http://curl.haxx.se/mail/lib-2012-09/0019.html

gnutls: do not fail on non-fatal handshake errors

Bug: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=685402

FILEFORMAT: the FTP commands work for more protocols