FAQ: updated 1.10 How many are using curl?

Now linking to http://daniel.haxx.se/blog/2012/05/16/300m-users/

disable-versioned-symbols: removed superfluous 'fi'

The commit e315927a1a left this in

MakefileBuild.vc: use the correct IDN variable

The variable that control IDN enablement is called USE_IDN within these
Makefiles

autoconf: improve handling of versioned symbols

It checks whether versioned symbols should be enabled before checking
whether it is possible (i.e. the linker supports --version-script) or
not. This avoids a useless warning when building cURL on a platform that
does not use GNU ld.

Moreover, it fixes broken indentation of this chunk of code.

curl.1: clarify -x usage

1 - fix the syntax in the .IP line

2 - Provided user names and passwords are URL decoded by libcurl

Bug: http://curl.haxx.se/bug/view.cgi?id=3525935

NTLM: is supported in GnuTLS builds too

... since commit 9a4c887c4a7 introduced in libcurl 7.19.4

TODO: happy eyeballs is now RFC6555

my_useragent: shorten user-agent

The built-in user-agent will now only say curl/[version] and nothing
else in an attempt to decrease overhead in HTTP requests.

CURLOPT_HEADERFUNCTION: works for non-HTTP protocols too

Add note about default timeout in CURLOPT_TIMEOUT

MD5: OOM fix

check whether md5 initialization succeeded before updating digest of
buffers onto it

REALEASE-NOTES: synced with 64f48e884e3c1

add newly created manual page

add a manual page for mk-ca-bundle

Updated dependency lib versions.

URL parse: reject numerical IPv6 addresses outside brackets

Roman Mamedov spotted (in
http://bugs.debian.org/cgi-bin/bugreport.cgi?bug=670126) that curl would
not complain when given a URL with an IPv6 numerical address without
brackets. It would simply cut off the last ":[hex]" part and thus not
work correctly.

That's a URL using an illegal syntax and now libcurl will instead return
a clear error code and error message detailing the error.

The above mentioned bug report claims this to be a regression but
libcurl does not guarantee functionality when given URLs that aren't
following the URL spec (RFC3986 mostly). I consider the fact that it
used to handle this differently a mere coincidence.

Curl_MD5_init: fix OOM memory leak

Bug: http://curl.haxx.se/mail/lib-2012-04/0246.html
Reported by: Michael Mueller

OpenSSL cert: provide more details when cert check fails

curl needs to be more chatty regarding certificate verification failure
during SSL handshake

Revert "sspi: Added version information"

This reverts commit 2976de480808119dae08fc6f52c8d75ba1aedb1a.

Revert "sspi - Small code tidy up"

This reverts commit 46cd5f1daddad3b3e542e6d93eee52e8bb9a8687.

Revert "Fixed 'extra tokens at end of #endif directive'."

This reverts commit 77172a242fc0c820f97eae39d0e3e0f265222fe6.

Revert "Fixed 'Trailing whitespace' found by checksrc."

This reverts commit 683bfa60ad0b52505947e59b03515e5f44378523.

Revert "sspi: Code tidy up to remove unused variable."

This reverts commit 412510f97407d617426d93b80e6b6bf0a8ff11ac.

Revert "Add -lversion if build with SSPI."

This reverts commit 9ec0b7e0c44d29eca6f45916fe5af3501168fe85.

Add -lversion if build with SSPI.

sspi: Code tidy up to remove unused variable.

Fixed 'Trailing whitespace' found by checksrc.

Fixed 'extra tokens at end of #endif directive'.

sspi - Small code tidy up

sspi: Added version information

Added version information for Windows SSPI to curl's main version
string and removed SSPI from the features string.

HTTP: empty chunked POST ended up in two zero size chunks

When doing a chunked-encoded POST with -d (CURLOPT_POSTFIELDS) and the
size of the POST was zero length, it made libcurl first send a zero
chunk and then the terminating one. This could confuse a receiver and it
should rather just send the terminating chunk as it does with this fix.

Test case 1333 is added to verify.

Bug: http://curl.haxx.se/mail/archive-2012-04/0060.html
Reported by: Arnaud Compan

Updated dependency lib versions.

singleipconnect: return OK even when Curl_socket() fails

Commit 9109cdec11ee5a brought this regression (shipped since 7.24.0).

The singleipconnect() function must not return an error if Curl_socket()
returns an error. It should then simply return OK and pass a SOCKET_BAD
back simply because that is how the user of this function expects it to
work and something else is not fine.

Reported by: Blaise Potard
Bug: http://curl.haxx.se/bug/view.cgi?id=3516508

Take in account that CURLAUTH_* bitmasks are now 'unsigned long' - follow-up

MIPSPro compiler detected curl_easy_getinfo() related missing adjustments.
SunPro compiler detected curl tool --libcurl option related missing adjustments.

url.c: CURLOPT_HTTPAUTH and CURLOPT_PROXYAUTH fixes

Fail with CURLE_NOT_BUILT_IN when none of requested auth methods is supported.

Reject CURLAUTH_ONLY bit when given alone or with CURLAUTH_NONE.

Take in account that CURLAUTH_* bitmasks are now 'unsigned long'

Data type of internal vars holding CURLAUTH_* bitmasks changed from 'long' to
'unsigned long' for proper handling and operating.

curl.h: CURLAUTH_* bitmasks adjusted to become 'unsigned long' typed

Info: http://curl.haxx.se/mail/lib-2012-04/0170.html

Some explicit conversion to 'long' of curl_easy_setopt() third argument

Explicit conversion to 'long' of curl_easy_setopt() third argument for options
CURLOPT_HTTPAUTH and CURLOPT_PROXYAUTH given that this is how its bitmasks are
docummented to be used.

build adjustments: commit 9e24b9c7 follow-up

-# progress meter: avoid superfluous updates and duplicate lines

By comparing if a different "progress point" is reached or not since the
previous update, the progress function callback for this now avoids many
superfluous screen updates. This has the nice side-effect that it fixes
a problem that causes a second progress meter line.

The second line output happened because when we use the -# progress
meter, we force a newline output after the transfer in the main loop in
curl, but when libcurl calls the progress callback from
curl_easy_cleanup() it would then output the progress display
again. Possibly the naive newline output is wrong but this optimization
was suitable anyway...

Reported by: Daniel Theron
Bug: http://curl.haxx.se/bug/view.cgi?id=3517418

nss.c: fix compiler warning

curl-compilers.m4: -Wno-pedantic-ms-format for Windows gcc 4.5 builds

When building a Windows target with gcc 4.5 or newer and strict compiler
warnings enabled use -Wno-pedantic-ms-format in addition to other flags.

tests/valgrind.pm: suppress memleaks of NSS_InitContext()

Bug: https://bugzilla.mozilla.org/show_bug.cgi?id=745224

setup_once.h: tighten requirements for stdbool.h header inclusion

Include stdbool.h only when it is available and configure is capable of
detecting a proper 'bool' data type when the header is included.

Compilation fix for old or unpatched versions of XL C compiler.

Report: http://curl.haxx.se/mail/archive-2012-04/0022.html

headers: require GCC 2.7 or newer in order to allow attribute GCC'isms usage

Usage in other code paths already protected and requiring even newer versions.

headers: surround GCC attribute names with double underscores

This protects from attribute names being defined by third party's code.

Improvement: http://curl.haxx.se/mail/lib-2012-04/0127.html

Updated copyright year.

testcurl.pl: build example programs for Android cross-compiles

nss.c: fix compiler warning

examples: fix compiler warnings

nss: provide human-readable names for NSS errors

nss: use NSS_InitContext() to initialize NSS if available

NSS_InitContext() was introduced in NSS 3.12.5 and helps to prevent
collisions on NSS initialization/shutdown with other libraries.

Bug: https://bugzilla.redhat.com/738456

nss: unconditionally require PK11_CreateGenericObject()

This bumps the minimal supported version of NSS to 3.12.x.

Set batch mode to 755 to make Cygwin git pulls work.

Added section for Android configure cross-compile.

Added NetWare export.

testcurl.pl: build example programs for MinGW cross-compiles

tool_operate.c: fix compiler warning

url.c: fix compiler warning

Updated dependency lib versions (2nd try).

Updated dependency lib versions.

tool_formparse.c: rename a couple of vars to avoid declaration shadowing

OS400/initscript.sh: fix db2_name() module name generation

Allow repeatable file name length reduction on file names with underscore or
dash characters. This is done in order to better support libcurl's existing
source file names and allow OS/400 package to build out of the box again.

testcurl.pl: log more environment vars that modify configure and build behavior

configure: NATIVE_WINDOWS no longer defined in config files

build adjustments: CURL_HIDDEN_SYMBOLS no longer defined in config files

configure script now provides conditional definitions for Makefile.am
that result in CURL_HIDDEN_SYMBOLS being defined by resulting makefiles
when appropriate.

Additionally, configure script option for symbol hiding control is now
named --enable-symbol-hiding --disable-symbol-hiding. While still valid,
old option name --enable-hidden-symbols --disable-hidden-symbols will
be deprecated in some future release.

build adjustments: functionally revert commits 4d3fb91f and bbfe1182

Undefining CURL_HIDDEN_SYMBOLS in source files isn't the proper fix.

test servers: build adjustment

Undefine CURL_HIDDEN_SYMBOLS libcurl private preprocessor macro that might
leak from lib/setup.h into source files where this should not be defined.

libtests: build adjustment

Undefine CURL_HIDDEN_SYMBOLS libcurl private preprocessor macro that might
leak from lib/setup.h into source files where this should not be defined.

curl tool: make setup.h first header included in tool_setup.h again

curl tool: use configuration files from lib directory - follow-up II

lib/config-win32.h no longer copied to src/config-win32.h

configure: Windows cross-compilation fixes

BUILDING_LIBCURL and CURL_STATICLIB are no longer defined in curl_config.h,
configure will generate appropriate conditionals so that mentioned symbols
get defined and used in Makefiles at compilation time

curl tool: make curl.h first header included in tool_setup.h

curl tool: use configuration files from lib directory - follow-up I

amigaos.[ch] now integrates nicely with any libcurl build

curl tool: use configuration files from lib directory

Configuration files such as curl_config.h and all config-*.h no longer exist
nor are generated/copied into 'src' directory, now these only exist in 'lib'
directory from where curl tool sources uses them.

Additionally old src/setup.h has been refactored into src/tool_setup.h which
now pulls lib/setup.h

The possibility of a makefile needing an include path adjustment exists.

PolarSSL: correct return code for CRL matches

When a server certificate matches one in the given CRL file, the code
now returns CURLE_SSL_CACERT as test case 313 expects and verifies.

PolarSSL: include version number in version string

Previously it would say PolarSSL only, now it says PolarSSL/1.1.0 in the
same style other libs and components do.

test: added test 1332 that tests --post303

curl: add --post303 to set the CURL_REDIR_POST_303 option

CURLOPT_POSTREDIR: also allow 303 to do POST on the redirected URL

As it turns out, some people do want that after all.

test1331: cookies on a 407 response

Verify that cookies are sent back even after a 407 response has been
received

PolarSSL: add support for asynchronous connect

Revert "access the CA source file using HTTPS"

This reverts commit f7e2ab6.

This change caused fetching of the certificates to become unreliable.

Bug: http://curl.haxx.se/mail/lib-2012-03/0238.html
Reported by: Tim Heckman

IPv6 cookie domain: get rid of the first bracket before the second.

Commit 97b66ebe was copying a smaller buffer, thus duplicating the last
character.

MAIL-ETIQUETTE: Added "How to unsubscribe"

... as it seems to hard for some people

ftp.c: ftplistparser related OOM handling fix

smtp.c: fix compiler warnings

lib599.c: fix compiler warning

runtests: yassl and polarssl are not openssl

Don't set the "has_openssl" variable if yassl or polarssl is found as
they will simply not work as 100% drop-in replacements for some of the
stuff the "OpenSSL" feature is used for.

I spotted this problem when doing test runs with PolarSSL builds.

connect.c: return changed to CURLE_COULDNT_CONNECT when opensocket fails

Curl_socket returns CURLE_COULDNT_CONNECT when the opensocket callback
returns CURL_SOCKET_BAD. Previous return value CURLE_FAILED_INIT
conveys incorrect information to the user.

pop3: Reworked the command sending and handling

Reworked the command sending from two specific LIST and RETR command
functions into a single command based function as well as the two
associated response handlers into a generic command handler.

curl tool: add filename_effective token for --write-out

By modifying the parameter list for ourWriteOut() and passing the
OutStruct that collects data in tool_operate, we get access to the
remote name that we're writing to. Shell scripters should find this
useful when used in conjuntion with the --remote-header-name option.

smtp.c: Code policing and tidy up

SSH: public key can now be an empty string

If an empty string is passed to CURLOPT_SSH_PUBLIC_KEYFILE, libcurl will
pass no public key to libssh2 which then tries to compute it from the
private key. This is known to work when libssh2 1.4.0+ is linked against
OpenSSL.

OpenSSL: Made cert hostname check conform to RFC 6125

This change replaces RFC 2818 based hostname check in OpenSSL build with
RFC 6125 [1] based one.

The hostname check in RFC 2818 is ambiguous and each project implements
it in the their own way and they are slightly different. I check curl,
gnutls, Firefox and Chrome and they are all different.

I don't think there is a bug in current implementation of hostname
check. But it is not as strict as the modern browsers do. Currently,
curl allows multiple wildcard character '*' and it matches '.'. (as
described in the comment in ssluse.c).

Firefox implementation is also based on RFC 2818 but it only allows at
most one wildcard character and it must be in the left-most label in the
pattern and the wildcard must not be followed by any character in the
label.[2] Chromium implementation is based on RFC 6125 as my patch does.
Firefox and Chromium both require wildcard in the left-most label in the
presented identifier.

This patch is more strict than the current implementation, so there may
be some cases where old curl works but new one does not. But at the same
time I think it is good practice to follow the modern browsers do and
follow the newer RFC.

[1] http://tools.ietf.org/html/rfc6125#section-6.4.3
[2] https://bugzilla.mozilla.org/show_bug.cgi?id=159483

HTTP: reset expected DL/UL sizes on redirects

With FOLLOWLOCATION enabled. When a 3xx page is downloaded and the
download size was known (like with a Content-Length header), but the
subsequent URL (transfered after the 3xx page) was chunked encoded, then
the previous "known download size" would linger and cause the progress
meter to get incorrect information, ie the former value would remain
being sent in. This could easily result in downloads that were WAY
larger than "expected" and would cause >100% outputs with the curl
command line tool.

Test case 599 was created and it was used to repeat the bug and then
verify the fix.

Bug: http://curl.haxx.se/bug/view.cgi?id=3510057
Reported by: Michael Wallner

smtp: Add support for DIGEST-MD5 authentication

smtp: Cody tidy up of md5 digest length

Replaced the hard coded md5 digest length (16) with a preprocessor
constant

md5: Add support for calculating the md5 sum of buffers incrementally

It is now possible to calculate the md5 sum as the stream of buffers
becomes known where as previously it was only possible to calculate the
md5 sum of a pre-prepared buffer.

Revert "mk-ca-bundle.pl: use LWP::UserAgent for https"

This reverts commit 9f0e1689f169b83b8fbdae23e0024cc57dcbc770.

It turned out that "improvement" instead made the fetching of the
certificates unreliable

Bug: http://curl.haxx.se/mail/lib-2012-03/0238.html
Reported by: Tim Heckman