Test 92 and 194: normalize spaces in the Server headers

It makes no difference from curl's point of view but
makes it more convenient to use the tests with a
lws-normalizing proxy between curl and the test server.

Add a HOSTIP precheck for tests 31 and 1105

They currently only work for 127.0.0.1 which
is hardcoded and can't be easily changed.

Let test 8 work as long as %HOSTIP ends with ".0.0.1"

.. and add a precheck to skip the test otherwise.

Add --resolve to the keywords and name of test 1318

This makes it easier to skip it automatically when
the test suite is used with external proxies.

Add FTP keywords for a couple of currently keyword-less FTP tests

Add keywords for a couple of currently keyword-less HTTP tests

Use carriage returns in all headers in test 31

Trailing spaces were left unmodifed, assuming they were intentional.

Do not mix CRLF and LF header endings in a couple of HTTP tests

Consistently use CRLF instead. The mixed endings weren't
documented so I assume they were unintentional.

This change doesn't matter for curl itself but makes using
the tests with a proxy between curl and the test server
more convenient.

Tests that consistently use no carriage returns were
left unmodified as one can easily work around this.

fixed memory leak: CURLOPT_RESOLVE with multi interface

DNS cache entries populated with CURLOPT_RESOLVE were not properly freed
again when done using the multi interface.

Test case 1502 added to verify.

Bug: http://curl.haxx.se/bug/view.cgi?id=3575448
Reported by: Alex Gruz

RELEASE-NOTES: synced with ee588fe08807778

4 more bug fixes and 4 more contributors

mem-include-scan: verify memory #includes

If we use memory functions (malloc, free, strdup etc) in C sources in
libcurl and we fail to include curl_memory.h or memdebug.h we either
fail to properly support user-provided memory callbacks or the memory
leak system of the test suite fails.

After Ajit's report of a failure in the first category in http_proxy.c,
I spotted a few in the second category as well. These problems are now
tested for by test 1132 which runs a perl program that scans for and
attempts to check that we use the correct include files if a memory
related function is used in the source code.

Reported by: Ajit Dhumale
Bug: http://curl.haxx.se/mail/lib-2012-11/0125.html

tftp_rx: code style cleanup

Fixed checksrc warnings

Fix the libauthretry changes from 7c0cbcf2f61

They broke the NTLM tests from 2023 to 2031.

tftp_rx: handle resends

Re-send ACK for block X in case we receive block X data again while
waiting for block X+1.

Based on an earlier patch by Marcin Adamski.

autoconf: don't force-disable compiler debug option

When nothing is told to configure, we should not enforce switching off
debug options with -g0 (or similar). We instead don't use -g at all in
that situaion and therefore allow the user's CFLAGS settings possibly
dictate what to do.

winbuild: Fix PDB file output

And fix some newlines to be proper CRLF

Bug: http://curl.haxx.se/bug/view.cgi?id=3586741

RELEASE-NOTES: synced with fa1ae0abcde

OpenSSL: Disable SSL/TLS compression

It either causes increased memory usage or exposes users
to the "CRIME attack" (CVE-2012-4929)

FILE: Make upload-writes unbuffered by not using FILE streams

tool_metalink: fix error detection of hash alg initialization

The {MD5,SHA1,SHA256}_Init functions from OpenSSL are called directly
without any wrappers and they return 1 for success, 0 otherwise.  Hence,
we have to use the same approach in all the wrapper functions that are
used for the other crypto libraries.

This commit fixes a regression introduced in commit dca8ae5f.

RELEASE-NOTES: synced with 7c0cbcf2f617b

fixed Visual Studio 2010 compilation

ftp: EPSV-disable fix over SOCKS

Bug: http://curl.haxx.se/bug/view.cgi?id=3586338

Merge branch 'master' of github.com:bagder/curl

OS400: upgrade wrappers for the 7.28.1 release.

runtests: limit execessive logging/output

Digst: Add microseconds into nounce calculation

When using only 1 second precision, curl doesn't create new cnonce
values quickly enough for all uses.

For example, issuing the following command multiple times to a recent
Tomcat causes authentication failures:

curl --digest -utest:test http://tomcat.test.com:8080/manager/list

This is because curl uses the same cnonce for several seconds, but
doesn't increment the nonce counter.  Tomcat correctly interprets
this as a replay attack and rejects the request.

When microsecond-precision is available, this commit causes curl to
change cnonce values much more frequently.

With microsecond resolution, increasing the nounce length used in the
headers to 32 was made to further reduce the risk of duplication.

SCP/SFTP: improve error code used for send failures

Instead of relying on the generic CURLE error for SCP or SFTP send
failures, try passing back a more suitable error if possible.

Curl_write: remove unneeded typecast

tool_metalink: allow to use hash algorithms provided by NSS

Fixes bug #3578163:
http://sourceforge.net/tracker/?func=detail&atid=100976&aid=3578163&group_id=976

tool_metalink: allow to handle failure of hash alg initialization

tool_metalink: introduce metalink_cleanup() in the internal API

... to release resources allocated at global scope

hostcheck: only build for the actual users

and make local function static

SSL: Several SSL-backend related fixes

axTLS:

This will make the axTLS backend perform the RFC2818 checks, honoring
the VERIFYHOST setting similar to the OpenSSL backend.

Generic for OpenSSL and axTLS:

Move the hostcheck and cert_hostcheck functions from the lib/ssluse.c
files to make them genericly available for both the OpenSSL, axTLS and
other SSL backends. They are now in the new lib/hostcheck.c file.

CyaSSL:

CyaSSL now also has the RFC2818 checks enabled by default. There is a
limitation that the verifyhost can not be enabled exclusively on the
Subject CN field comparison. This SSL backend will thus behave like the
NSS and the GnuTLS (meaning: RFC2818 ok, or bust). In other words:
setting verifyhost to 0 or 1 will disable the Subject Alt Names checks
too.

Schannel:

Updated the schannel information messages: Split the IP address usage
message from the verifyhost setting and changed the message about
disabling SNI (Server Name Indication, used in HTTP virtual hosting)
into a message stating that the Subject Alternative Names checks are
being disabled when verifyhost is set to 0 or 1. As a side effect of
switching off the RFC2818 related servername checks with
SCH_CRED_NO_SERVERNAME_CHECK
(http://msdn.microsoft.com/en-us/library/aa923430.aspx) the SNI feature
is being disabled. This effect is not documented in MSDN, but Wireshark
output clearly shows the effect (details on the libcurl maillist).

PolarSSL:

Fix the prototype change in PolarSSL of ssl_set_session() and the move
of the peer_cert from the ssl_context to the ssl_session. Found this
change in the PolarSSL SVN between r1316 and r1317 where the
POLARSSL_VERSION_NUMBER was at 0x01010100. But to accommodate the Ubuntu
PolarSSL version 1.1.4 the check is to discriminate between lower then
PolarSSL version 1.2.0 and 1.2.0 and higher. Note: The PolarSSL SVN
trunk jumped from version 1.1.1 to 1.2.0.

Generic:

All the SSL backends are fixed and checked to work with the
ssl.verifyhost as a boolean, which is an internal API change.

libcurl: VERSIONINFO update

Since we added the curl_multi_wait function, the VERSIONINFO needed
updating.

Reported by: Patrick Monnerat

Added .def file to output.

Requested by Johnny Luong on the libcurl list.

Added deps for static metalink-aware MinGW builds.

Fix compilation of lib1501

Curl_readwrite: remove debug output

The text "additional stuff not fine" text was added for debug purposes a
while ago, but it isn't really helping anyone and for some reason some
Linux distributions provide their libcurls built with debug info still
present and thus (far too many) users get to read this info.

RELEASE-NOTES: synced with 487538e87a3d5e

6 new bugfixes and 3 more contributors...

http_perhapsrewind: consider NTLM over proxy too

The logic previously checked for a started NTLM negotiation only for
host and not also with proxy, leading to problems doing POSTs over a
proxy NTLM that are larger than 2000 bytes. Now it includes proxy in the
check.

Bug: http://curl.haxx.se/bug/view.cgi?id=3582321
Reported by: John Suprock

Curl_connecthost: friendlier "couldn't connect" message

test1413: verify redirects to URLs with fragments

The bug report claimed it didn't work. This problem was probably fixed
in 473003fbdf.

Bug: http://curl.haxx.se/bug/view.cgi?id=3581898

URL parser: cut off '#' fragments from URLs (better)

The existing logic only cut off the fragment from the separate 'path'
buffer which is used when sending HTTP to hosts. The buffer that held
the full URL used for proxies were not dealt with. It is now.

Test case 5 was updated to use a fragment on a URL over a proxy.

Bug: http://curl.haxx.se/bug/view.cgi?id=3579813

OpenSSL/servercert: use correct buffer size, not size of pointer

Bug: http://curl.haxx.se/bug/view.cgi?id=3579286

curl: set CURLOPT_SSL_VERIFYHOST to 0 to disable

test 2027/2030: take duplicate Digest requests into account

With the reversion of ce8311c7e49eca and the new clear logic, this flaw
is present and we allow it.

Curl_pretransfer: clear out unwanted auth methods

As a handle can be re-used after having done HTTP auth in a previous
request, it must make sure to clear out the HTTP types that aren't
wanted in this new request.

test1412: verify Digest with repeated URLs

This test case verifies that bug 3582718 is fixed.

Bug: http://curl.haxx.se/bug/view.cgi?id=3582718
Reported by: Nick Zitzmann (originally)

Revert "Zero out auth structs before transfer"

This reverts commit ce8311c7e49eca93c136b58efa6763853541ec97.

The commit made test 2024 work but caused a regression with repeated
Digest authentication. We need to fix this differently.

CURLOPT_SSL_VERIFYHOST: stop supporting the 1 value

After a research team wrote a document[1] that found several live source
codes out there in the wild that misused the CURLOPT_SSL_VERIFYHOST
option thinking it was a boolean, this change now bans 1 as a value and
will make libcurl return error for it.

1 was never a sensible value to use in production but was introduced
back in the days to help debugging. It was always documented clearly
this way.

1 was never supported by all SSL backends in libcurl, so this cleanup
makes the treatment of it unified.

The report's list of mistakes for this option were all PHP code and
while there's a binding layer between libcurl and PHP, the PHP team has
decided that they have an as thin layer as possible on top of libcurl so
they will not alter or specifically filter a 'TRUE' value for this
particular option. I sympathize with that position.

[1] = http://daniel.haxx.se/blog/2012/10/25/libcurl-claimed-to-be-dangerous/

gnutls: fix compiler warnings

gnutls: print alerts during handshake

gnutls: fix the error_is_fatal logic

RELEASE-NOTES: synced with fa6d78829fd30ad

httpcustomheader.c: free the headers after use

uniformly use AM_CPPFLAGS, avoid deprecated INCLUDES

Since automake 1.12.4, the warnings are issued on running automake:

  warning: 'INCLUDES' is the old name for 'AM_CPPFLAGS' (or '*_CPPFLAGS')

Avoid INCLUDES and roll these flags into AM_CPPFLAGS.

Compile tested on:
  Ubuntu 10.04 (automake 1:1.11.1-1)
  Ubuntu 12.04 (automake 1:1.11.3-1ubuntu2)
  Arch Linux (automake 1.12.4)

libauthretry.c: shorten lines to fit within 80 cols

ftp_readresp: fix build without krb4 support

Oops, my previous commit broke builds with krb support.

test/README: mention the 1500 test number range

FTP: prevent the multi interface from blocking

As pointed out in Bug report #3579064, curl_multi_perform() would
wrongly use a blocking mechanism internally for some commands which
could lead to for example a very long block if the LIST response never
showed.

The solution was to make sure to properly continue to use the multi
interface non-blocking state machine.

The new test 1501 verifies the fix.

Bug: http://curl.haxx.se/bug/view.cgi?id=3579064
Reported by: Guido Berhoerster

winbuild: Use machine type of development environment

This patch restores the original behavior instead of always
falling back to x86 if no MACHINE-type was specified.

winbuild: Additional clean up

Even more winbuild refactoring

Minor winbuild refactoring

Architecture selection for winbuild and minor makefiles refactoring

BUGS: fix the bug tracker URL

The URL we used before is the one that goes directly to 'add' a bug
report, but since you can only do that after first having logged in to
sourceforge, the link often doesn't work for visitors.

Bug: http://curl.haxx.se/bug/view.cgi?id=3582408
Reported by: Oscar Norlander

evhiperfifo: fix the pointer passed to WRITEDATA

Bug: http://curl.haxx.se/bug/view.cgi?id=3582407
Reported by: Oscar Norlander

Fixed MSVC libssh2 static build.

Since libssh2 supports now agent stuff it also depends on user32.lib.
Posted to the list by Jan Ehrhardt.

tlsauthtype: deal with the string case insensitively

When given a string as 'srp' it didn't work, but required 'SRP'.
Starting now, the check disregards casing.

Bug: http://curl.haxx.se/bug/view.cgi?id=3578418
Reported by: Jeff Connelly

asyn-ares: restore working with c-ares < 1.6.1

Back in those days the public ares.h header didn't include the
ares_version.h header so it needs to be included here.

Bug: http://curl.haxx.se/bug/view.cgi?id=3577710

metalink/md5: Use CommonCrypto on Apple operating systems

Previously the Metalink code used Apple's CommonCrypto library only if
curl was built using the --with-darwinssl option. Now we use CommonCrypto
on all Apple operating systems including Tiger or later, or iOS 5 or
later, so you don't need to build --with-darwinssl anymore. Also rolled
out this change to libcurl's md5 code.

href_extractor.c: fix the URL

href_extractor: example code extracting href elements

It does so in a streaming manner using the "Streaming HTML parser".

darwinssl: un-broke iOS build, fix error on server disconnect

The iOS build was broken by a reference to a function that only existed
under OS X; fixed. Also fixed a hard-to-reproduce problem where, if the
server disconnected before libcurl got the chance to hang up first and
SecureTransport was in use, then we'd raise an error instead of failing
gracefully.

gnutls: put reset code into else block

Bug: http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=690551

Fix now broken libmetalink-aware OpenSSL build.

Revert c44e674; add OpenSSL includes/defines.

The makefile is designed to build against a libmetalink devel package;
therefore is does not matter what will change inside libmetalink.
Add OpenSSL includes and defines for libmetalink-aware OpenSSL builds.

version-bump: towards 7.28.1!

THANKS: 14 new contributors from 7.28.0

RELEASE-NOTES: synced with 8373ca3641

One bug, one contributor. Getting ready for release.

curl_multi_wait: no wait if no descriptors to wait for

This is a minor change in behavior after having been pointed out by Mark
Tully and discussed on the list. Initially this case would internally
call poll() with no sockets and a timeout which would equal a sleep for
that specified time.

Bug: http://curl.haxx.se/mail/lib-2012-10/0076.html
Reported by: Mark Tully

TODO-RELEASE: cleanup for 7.28.0

one issue is now KNOWN_BUG #79

the other we just skip since nobody is working on it or is planning to
start working on it anytime soon

curl_multi_wait.3: style formatting mistake

ssluse.c: md5.h is required for Curl_ossl_md5sum

curl_multi_wait.3: fix the name of the man page

curl_multi_wait.3: renamed the last argument variable for clarity

curl_schannel.c: Fixed caching more data than required

Do not fill the decrypted data buffer with more data unless
required in order to return the requested amount of data.

curl_schannel: Removed buffer limit and optimized buffer strategy

Since there are servers that seem to return very big encrypted
data packages, we need to be able to handle those without having
an internal size limit. To avoid the buffer growing to fast to
early the initial size was decreased and the minimum free space
in the buffer was decreased as well.

lib/socks.c: Merged two size variables into one

lib/socks.c: Avoid type conversions where possible

Streamlined variable names and types to avoid type conversions that
may result in data being lost on non 32-bit systems.

lib/curl_schannel.c: Hide size_t conversion warning

krb5/curl_rtmp.c: Hide size_t to int type conversion warning

security.c: Aligned internal type to return type

Use ssize_t instead of int to avoid conversion problems on 64-bit
systems. Also added curlx_sztosi where necessary.

lib/curl_schannel: Increased maximum buffer size to factor 128

winbuild/MakefileBuild.vc: Follow up on 0c8ccf7

RELEASE-NOTES: synced with 971f5bcedd418

9 new bug fixes, 5 changes, 6 more contributors

multi_runsingle: CURLOPT_LOW_SPEED_* fix for rate limitation

During the periods of rate limitation, the speedcheck function wasn't
called and thus the values weren't updated accordingly and it would then
easily trigger wrongly once data got transferred again.

Also, the progress callback's return code was not acknowledged in this
state so it could make an "abort" return code to get ignored and not
have the documented effect of aborting an ongoing transfer.

Bug: http://curl.haxx.se/mail/lib-2012-09/0081.html
Reported by: Jie He

tool_metalink.c: Filtered resource URLs by type

In Metalink v3, the type attribute of url element indicates the
type of the resource the URL points to. It can include URL to the
meta data, such as BitTorrent metainfo file.  In Curl, we are not
interested in these meta data URLs. Instead, we are only
interested in the HTTP and FTP URLs. This change filters out
non-HTTP and FTP URLs. If we don't filter out them, it will be
downloaded by curl and hash check will fail if hash is provided
and next URL will be tried. This change will cut this useless
network transfer.

https.c example: remember to call curl_global_init()

... in order not to leak memory on initializing an SSL library.

Reported by: Tomas Mlcoch