multi: support timeouts

Curl_expire() is now expanded to hold a list of timeouts for each easy
handle. Only the closest in time will be the one used as the primary
timeout for the handle and will be used for the splay tree (which sorts
and lists all handles within the multi handle).

When the main timeout has triggered/expired, the next timeout in time
that is kept in the list will be moved to the main timeout position and
used as the key to splay with. This way, all timeouts that are set with
Curl_expire() internally will end up as a proper timeout. Previously any
Curl_expire() that set a _later_ timeout than what was already set was
just silently ignored and thus missed.

Setting Curl_expire() with timeout 0 (zero) will cancel all previously
added timeouts.

Corrects known bug #62.

Curl_llist_insert_next: allow insertion first in the list

When we specify the "insert after" entry as NULL, this function now
inserts the new entry first in the list.

multi: make curl_multi_info_read perform O(1)

Instead of looping over all attached easy handles, this now keeps a list
of messages in the multi handle. It allows curl_multi_info_read() to
perform O(1) no matter how many easy handles that are handled. This is
of importance since this function may be polled very frequently by apps
using the multi interface.

curl -T: ignore file size of special files

original bug report at https://bugzilla.redhat.com/622520

Reset environment variables before starting servers

Otherwise, variables from tests could affect the servers
themselves.

typecheck-gcc: work around gcc upstream bug #32061

original bug report at https://bugzilla.redhat.com/617757

release cycle loop: start over toward 7.21.2

RELEASE-NOTES: mention the runtests fix as well

runtests: clear old setenv remainders before test

Due to the layout of the singletest function there are situations where
it returns before it clears the environment variables that were
especially set for the single specific test case. That could lead to
subsequent tests getting executed with environment variables sticking
around from a previous test which could lead to badness.

This change makes sure to clear all custom variables that may be laying
around from a previous round, before running a test case.

Reported by: Kamil Dudka
Bug: http://curl.haxx.se/mail/lib-2010-08/0141.html

Added OpenSSL builds to Watcom makefiles.

configure: werror related adjustments

FAQ: s/libcurl.so.3/libcurl.so.X

KNOWN_BUG #59 is fixed. Clarify support of IPv6 zone IDs.

Fixed typo in Android configure command

HISTORY: added stuff from recent years

warning: silence the compiler

warning: conversion to 'long int' from 'time_t' may alter its value

... on win64 when time_t is 64bit and long is 32bit.

RELEASE-NOTES: synced, 3 additional bugfixes

multi_socket_action: clarify how to kickstart it

The callbacks are called when curl_multi_socket_action() is called, not
when handles are added. This is now mentioned in the "TYPICAL USAGE"
section.

callbacks: acknowledge progress callback error returns

When the progress callback is called during the TCP connection, an error
return would accidentally not abort the operation as intended but would
instead be counted as a failure to connect to that particular IP and
libcurl would just continue to try the next. I made singleipconnect()
and trynextip() return CURLcode properly.

Added bonus: it corrected the error code for bad --interface usages,
like tested in test 1084 and test 1085.

Reported by: Adam Light
Bug: http://curl.haxx.se/mail/lib-2010-08/0105.html

More Watcom makefile fixes ...

Final fix (hopefully!) for dll wlink loader;
prefer faster internal rm if available.

Fixed my wrong edit.

More Watcom makefile fixes.

Added the -br switch to dynamic builds which fixes the issue I saw
with curl's --version output. Added debug info and symfile for debug
builds to linker opts. Added DLL loader for wlink back, but this time
dependend on wlink version.
Patch posted to the list by malak.jiri AT gmail.com.

Changed test for -u switch in order to enable other wmake switches.

The var %MAKEFLAGS is only set in 3 cases: if set as environment
var or as macro definition from commandline, and either with the
-u or -ms switch. Since all these cases are unlikely for the average
user it should be safe to only test if %MAKEFLAGS is defined; this
has the benefit that now all other switches can be used again in
addition to the -u which was formerly not possible.

llist: hide Curl_llist_init

Curl_llist_init is never used outside of llist.c and thus it should be
static. I also removed the protos for Curl_llist_insert_prev and
Curl_llist_remove_next which are functions we removed from llist.c ages
ago.

Added msys Perl since git for Win32 comes with own Perl which identifies as msys.

Updated lib dependency versions.

Make testcurl.pl Watcom-aware.

parse_remote_port: fix ;type= URL suffix over HTTP proxy

Test 563 is enabled now and verifies that the combo FTP type=A URL,
CURLOPT_PORT set and proxy work fine. As a bonus I managed to remove the
somewhat odd FTP check in parse_remote_port() and instead converted it
to a better and more generic 'slash_removed' struct field. Checking the
->protocol field isn't right since when an FTP:// URL is sent over a
HTTP proxy, the protocol is HTTP but the URL was handled by the FTP code
and thus slash_removed is set TRUE for this case.

indent: white space fixes only

build: fix previous push

build: don't build libhostname unless shared libcurl is built

build: libhostname and chkhostname linkage adjustments followup

typo: remove duplicate semicolon

multi: avoid a malloc() when a transfer is complete

The struct used for storing the message for a completed transfer is now
no longer allocated separatly but is kept within the main struct kept
for each easy handle so that we avoid one malloc (and the subsequent
free).

build: libhostname linkage adjustments followup

Fix to overwrite libcurl name.

build: chkhostname build adjustments followup

build: allow NTLM tests to run on more build configurations

curl_easy_setopt.3: rename stream to userdata

In some places where the name 'stream' has been used for naming a
function argument that is in fact settable with a setopt() option we now
call that argument 'userdata' to make it more obvious that it is in fact
possible to set by the application.

Suggested by: Jeff Pohlmeyer

Block created curlbuild.h for NetWare to avoid usage from other platforms.

RELEASE-NOTES: synced with recent changes

build: ensure that libhostname doesn't get installed

multi_socket: set timeout for 100-continue

When libcurl internally decided to wait for a 100-continue header, there
was no call to the timeout function so there was no timeout callback
called when the multi_socket API was used and thus applications became
either completely wrong or at least ineffecient depending on how they
handled the situation. We now set a timeout to get triggered.

Reported by: Ben Darnell
Bug: http://curl.haxx.se/bug/view.cgi?id=3039744

Some more Watcom makefile massage ...

For now removed the .autodepend directive until I've figured out
which of my changes broke it again.

build: fix libssh2_scp_send64() availability

build: remove unneeded cast to (void *)

build: remove unused file

SCP: send large files properly with new enough libssh2

libssh2 1.2.6 and later handle >32bit file sizes properly even on 32bit
architectures and we make sure to use that ability.

Reported by: Mikael Johansson
Bug: http://curl.haxx.se/mail/lib-2010-08/0052.html

build: add missing new files to non-configure target build files

md4: replace bcopy usage with memcpy

RELEASE-NOTES: synced with recent changes

TODO-RELEASE: clear, file not really used ATM

typecheck-gcc: add checks for recently added options

I added all OBJECTPOINT curl_easy_setopt() options from 178 to 202. Left
to add: the five FUNCTIONPOINT (callbacks) options added since:

SSH_KEYFUNCTION
INTERLEAVEFUNCTION
CHUNK_BGN_FUNCTION
CHUNK_END_FUNCTION
FNMATCH_FUNCTION

.gitignore: ignore all built examples

example: fix code to build warning-free

Curl_connected_proxy: skip the bits.tcpconnect check

Simply because the TCP might be connected already we cannot skip the
proxy connect procedure. We need to be careful to not overload more
meaning to the bits.tcpconnect field like this.

With this fix, SOCKS proxies work again when the multi interface is
used. I believe this regression was added with commit 4b351d018e,
released as 7.20.1.

Left todo: add a test case that verifies this functionality that
prevents us from breaking it again in the future!

Reported by: Robin Cornelius
Bug: http://curl.haxx.se/bug/view.cgi?id=3033966

sethostname: provide local prototype for gethostname

This is only to avoid warnings on some systems.

build: add typecast to avoid warning

There is an implicit conversion from "unsigned long" to "long";
rounding, sign extension, or loss of accuracy may result.

Rename CURL_SOURCES macro; revert previous rename of curl_SOURCES macro.

Removed ugly dependency lists since wmake knows the .autodepend directive.

Use suffix search path for sources in lib folder.

Changed src/Makefile.Watcom to use CURL_SOURCES from src/Makefile.inc.

Renamed curl_SOURCES to CURL_ALLFILES to overcome wmake's case-insensitivity.

Removed wlink from DLL loader list because it doesnt work with Watcom < 1.8.

Moved the LDAP API defines from Makefile.Watcom to config-win32.h.

These defines are only needed for older Watcom versions (< 1280).

retry: consider retrying even if -f is used

The --retry logic does retry HTTP when some specific response codes are
returned, but because the -f option sets the CURLOPT_FAILONERROR to
libcurl, the return codes are different for such situations and then the
curl tool failed to consider it for retrying.

Reported by: Mike Power
Bug: http://curl.haxx.se/bug/view.cgi?id=3037362

multi: fix FTPS connecting the data connection with OpenSSL

Commit 496002ea1cd76af7f (released in 7.20.1) broke FTPS when using the
multi interface and OpenSSL was used. The condition for the non-blocking
connect was incorrect.

Reported by: Georg Lippitsch
Bug: http://curl.haxx.se/mail/lib-2010-07/0270.html

Fixed curlbuild.h rule.

Added rule to create curlbuild.h if not present (for builds from git).

Added dependend libs for curl static linking.

Fixed curl.exe static linking.

warning: silence a win64 compiler warning

conversion from 'size_t' to 'curl_socklen_t', possible loss of data

Reported by: Adam Light

KNOWN_BUG: The SOCKET type in Win64 is 64 bits

The SOCKET type in Win64 is 64 bits large (and thus so is curl_socket_t
on that platform), and long is only 32 bits. It makes it impossible for
curl_easy_getinfo() to return a socket properly with the
CURLINFO_LASTSOCKET option as for all other operating systems.

smtp_connect: always provide host name buffer

Previously the host name buffer was only used if gethostname() exists,
but since we converted that into a curl private function that function
always exists and will be used so the buffer needs to exist for all
cases/systems.

sethostname: avoid including unistd.h to duck for warnings

sethostname: ISO C does not allow extra `;' outside of a function

NTLM tests: boost coverage by forcing the hostname

A shared library tests/libtest/.libs/lihostname.so is preloaded in NTLM
test-cases to override the system implementation of gethostname().  It
makes it possible to test the NTLM authentication for exact match, and
this way test the implementation of MD4 and DES.

If LD_PRELOAD doesn't work, a debug build willl also workk as debug
builds are now made to prefer a specific environment variable and will
then return that content as host name instead of the actual one.

Kamil wrote the bulk of this, Daniel Stenberg polished it.

Added a comment with an alternate idea to avoid the backslash line contination character.

Changed comparison to match size_t var type.

Removed unused vars to avoid compiler warnings.

Make Watcom makefiles use Makefile.inc to reduce future maintainance.

lib/Makefile.Watcom works fine already, for src/Makefile.Watcom we
need first to tweak src/Makefile.inc a bit - therefore the handtweaked
list still exists for now.

Watcom makefiles overhaul.

- make both libcurl and curl makefiles use register calling convention
  (previously libcurl had stack calling convention).
- added include paths to the Watcom headers so its no longer required
  to set the environment vars for this.
- added -wcd=201 to supress compiler warning about unreachable code.
- use macros for all tools, and removed dependency on GNU tools like rm.
- make ipv6 and debug builds controlable via env vars and so make them
  optional instead of default.
- commented WINLDAPAPI and WINBERAPI since they broke with OW 1.8, and
  it seems they're not needed (anymore?).
- added rule for hugehelp.c.cvs so that it will be created when not
  already exist - this is required for building from a release tarball
  since there we have no hugehelp.c.cvs, thus compilation broke.
- removed C_ARG creation from lib/Makefile.Watcom and use CFLAGS
  directly as done too in src/Makefile.Watcom - this has the benefit
  that we will see all active cflags and defines during compile.
- added LINK-ARG to src/Makefile.Watcom in order to better control
  linker input.
- a couple of other minor makefile tweaks here and there ...
- added largefile support for Watcom builds to config-win32.h. Not yet
  tested if it really works, but should since Win32 supports it.
- added loaddll stuff to speed up builds if supported.

some cosmetic changes.

Added md4.c to the Watcom makefile

Added PolarSSL to the docs

curl-config: --built-shared returns shared info

The curl-config now features a --built-shared command line option that
will output 'yes' or 'no' depending if the build process was asked to
build shared library/libraries or not.

It is primarily made to offer more details to the test suite to know
what kind of stunts it can expect to work.

add_buffer_send: fix compiler warning

Win64's 32 bit long but 64 bit size_t caused a warning that we avoid
with a typecast. A small whitespace indent fix was also applied.

Reported by: Adam Light

Updated library versions.

Fixed script version which was still based on CVS Revision tag.

FAQ: Why doesn't cURL error out when the cable is unplugged?

This one was long overdue to be mentioned in the FAQ. Also, mention the
new ftp wildcard downloading feature.

ssh: Fix compile error on 64-bit systems.

Signed-off-by: Ben Greear <greearb@candelatech.com>

build: Enable configure --enable-werror

  This passes -Werror to gcc when building curl and libcurl,
  allowing easy dection of compile warnings.

Signed-off-by: Ben Greear <greearb@candelatech.com>

pingpong: Fix indentation (whitespace change only)

Signed-off-by: Ben Greear <greearb@candelatech.com>

CUSTOMREQUEST: shouldn't be disabled when HTTP is disabled

... since FTP is using it as well, and potentially other protocols!

Also, an #endif CURL_DISABLE_HTTP was incorrectly marked, as it seems to
end the proxy block instead.

pingpong: response_time is milliseconds

Fixed the comment/document for the response_time struct member.

ftp: response timeout bug in "quote" sending

The FTP implementation was missing a timestamp reset point, making the
waiting for responses after sending a post-transfer "QUOTE" command not
working as supposedly. This bug was introduced in 7.20.0

remote-header-name: chop filename at next semicolon

The --remote-header-name option for the command-line tool assumes that
everything beyond the filename= field is part of the filename, but that
might not always be the case, for example:

Content-Disposition: attachment; filename=file.txt; modification-date=...

This fix chops the filename off at the next semicolon, if there is one.

--retry: access violation with URL part sets continued

When getting multiple URLs, curl didn't properly reset the byte counter
after a successful transfer so if the subsequent transfer failed it
would wrongly use the previous byte counter and behave badly (segfault)
because of that. The code assumes that the byte counter and the 'stream'
pointer is well in synch.

Reported by: Jon Sargeant
Bug: http://curl.haxx.se/bug/view.cgi?id=3028241

releasnote: synch up with commit f3b77e5611d

examples: add curl_multi_timeout

Make the multi-interface using examples use curl_multi_timeout to
properly educate users how to do things.