security.c: sec_write tweaks

- |fd| is now a curl_socket_t and |len| a size_t to avoid conversions.
- Added 2 FIXMEs about the 2 unsigned -> signed conversions.
- Included 2 minor changes to Curl_sec_end.

security.c: _sec_send tweaks

- Renamed the method to sec_send now that we
  renamed sec_send to do_sec_send.
- Some more variable renaming.

security.c: sec_read tweaks

- Renamed the function to sec_recv.
- Renamed the parameters and variable to match the rest of the code.

security.c: Curl_sec_fflush_fd tweaks

- Use an early return as it makes the code more readable.
- Added a FIXME about a conversion.

security.c: sec_send tweaks

- Renamed it to do_sec_send as it is the function doing the actual
  transfer.
- Do not return any values as no one was checking it and it never
  reported a failure (added a FIXME about checking for errors).
- Renamed the variables to make their use more specific.
- Removed some casts (int -> curl_socket_t, ...)
- Avoid doing the htnl <-> nthl twice by caching the 2 results.

security.c: Curl_sec_read_msg tweaks

- Renamed the variables name to better match their intend.
- Unified the |decoded_len| checks.
- Added some FIXMEs to flag some improvement that did not go in this
  change.

security.c: Curl_sec_set_protection_level tweaking

- Removed sec_prot_internal as it is now inlined in the function (this removed
  a redundant check).
- Changed the prototype to return an error code.
- Updated the method to use the new ftp_send_command function.
- Added a level_to_char helper method to avoid relying on the compiler's
  bound checks. This default to the maximum security we have in case of a
  wrong input.

security.c: factored the logic from Curl_sec_login into a dedicated method that better reflect its intent.

Introduced a helper method ftp_send_command that synchronously send
an FTP query.

security.c: Remove out_buffer as it was never written into.

security.c: buffer_read various fixes.

Tighten the type of the |data| parameter to avoid a cast. Also made
it const as we should not modify it.

Added a DEBUGASSERT on the size to be written while changing it.

security.c: Made block_write return a CURLcode.

While doing so, renamed it to socket_write to better match its
function.

security.c: Made block_read and sec_get_data return CURLcode.

To do so, made block_read call Curl_read_plain instead of read.

While changing them renamed block_read to socket_read and sec_get_data
to read_data to better match their function.

Also fixed a potential memory leak in block_read.

Security.c: Fix headers guard to match the rest of the code.

configure: Fix the LDAPS disable message

... for example when LDAP is not compiled.

Fixed the logic to match the rest of the options' message that is we
update the default message only if the option is not disabled after the
different checks.

Reported by: Guenter Knauf

RELEASE-NOTES: sync with 8665d4e5 and c-ares >= 1.6.0 note

parse_remote_port: ignore colons without port number

Obviously, browsers ignore a colon without a following port number. Both
Firefox and Chrome just removes the colon for such URLs. This change
does not remove the colon for URLs sent over a HTTP proxy, so we should
consider doing that change as well.

Reported by: github user 'kreshano'

RELEASE-NOTES: in sync with 19f45eaa799

duphandle: use ares_dup()

curl_easy_duphandle() was not properly duping the ares channel. The
ares_dup() function was introduced in c-ares 1.6.0 so by starting to use
this function we also raise the bar and require c-ares >= 1.6.0
(released Dec 9, 2008) for such builds.

Reported by: Ning Dong
Bug: http://curl.haxx.se/mail/lib-2010-08/0318.html

MacOSX-Framework: updates for Snowleopard

1) PPC64 appears to be an 10.5 only supported architecture, so I
forced 10.5 for 64bit if there is a need for PPC64, else 64bit only
does x86_64

2) proper "make clean" after every ./configure. fixes a bug where
subsequent runs the 32bit do not get compiled

3) Added a version numbering curl-$VERSION} rather than the "stock standard" A

RELEASE-NOTES: synced with 5fcc4332d62fe

Removed the duplicate entry of Kamil in the credits.

configure: don't enable RTMP if the lib detect fails

librtmp is often statically linked and using sub dependencies like
OpenSSL, so we need to make sure we can actually link with it properly
before enabling it. Otherwise we easily end up trying to link with a
RTMP lib that fails.

TODO: added 8.4 non-gcrypt under GnuTLS

We must not assume gcrypt just because of GnuTLS

configure: check for gcrypt if using GnuTLS

1 - libcurl assumes that there are gcrypt functions available when
GnuTLS is.

2 - GnuTLS can be built to use libnettle instead as crypto library,
which breaks assumption (1)

This change makes configure make sure that if GnuTLS is requested and
detected, it also makes sure that gcrypt is present or it errors
out. This is mostly a way to make the user more aware of this flaw, the
correct fix would be to detect which crypto layer that is in use and
adapt our code to use that instead of blindly assuming gcrypt.

Reported by: Michal Gorny
Bug: http://curl.haxx.se/bug/view.cgi?id=3071038

RELEASE-NOTES: sync from d2a7fd2fe65b to HEAD

FTP: fix bad check of Curl_timeleft() return code

When it returns 0 it means no timeout. Only a negative value means that
we're out of time.

LDAP: moved variable declaration to avoid compiler warn

If built without HTTP or proxy support it would cause a compiler warning
due to the unused variable. I moved the declaration of it into the only
scope it is used.

LDAP: Use FALSE instead of bool_false when setting bits.close

bool_false is the internal name used in the setup_once.h definition
we fall back to for non-C99 non-stdbool systems, it's not the actual
name to use in assignments (we use bool_false, bool_true there to
avoid global namespace problems, see comment in setup_once.h).
The correct C99 value to use is 'false', but let's use FALSE as
used elsewhere when assigning to bits.close. FALSE is set equal
to 'false' in setup_once.h when possible.

This fixes a build problem on C99 targets.

LDAP: Add missing declaration for 'result'

LDAP: Support for tunnelling queries through HTTP proxy

As of curl-7.21.1 tunnelling ldap queries through HTTP Proxies is not
supported. Actually if --proxytunnel command-line option (or equivalent
CURLOPT_HTTPPROXYTUNNEL) is used for ldap queries like
ldap://ldap.my.server.com/... You are unable to successfully execute the
query. In facts ldap_*_bind is executed directly against the ldap server
and proxy is totally ignored. This is true for both openLDAP and
Microsoft LDAP API.

Step to reproduce the error:
Just launch "curl --proxytunnel --proxy 192.168.1.1:8080
ldap://ldap.my.server.com/dc=... "

This fix adds an invocation to Curl_proxyCONNECT against the provided
proxy address and on successful "CONNECT" it tunnels ldap query to the
final ldap server through the HTTP proxy. As far as I know Microsoft
LDAP APIs don't permit tunnelling in any way so the patch provided is
for OpenLDAP only.  The patch has been developed against OpenLDAP 2.4.23
and has been tested with Microsoft ISA Server 2006 and works properly
with basic, digest and NTLM authentication.

timeout: use the correct start value as offset

Rodric provide an awesome recipe that proved libcurl didn't timeout at
the requested time - it instead often timed out at [connect time] +
[timeout time] instead of the documented and intended [timeout time]
only. This bug was due to the code using the wrong base offset when
comparing against "now". I could also take the oppurtinity to simplify
the code by properly using of the generic help function for this:
Curl_timeleft.

Reported by: Rodric Glaser
Bug: http://curl.haxx.se/bug/view.cgi?id=3061535

Curl_timeleft: avoid returning "no timeout" by mistake

As this function uses return code 0 to mean that there is no timeout, it
needs to check that it doesn't return a time left value that is exactly
zero. It could lead to libcurl doing an extra 1000 ms select() call and
thus not timing out as accurately as it should.

I fell over this bug when working on the bug 3061535 but this fix does
not correct that problem alone, although this is a problem that needs to
be fixed.

Reported by: Rodric Glaser
Bug: http://curl.haxx.se/bug/view.cgi?id=3061535

whitespace: unified source

if ( => if(
while ( => while(

and some other changes in the similar spirit, trying to make the
whole file use the same style

remote-header-name: don't output filename when NULL

TheArtOfHttpScripting: use long options

getinmemory: make the example easier to follow

1. Remove the comment warning that it's "not been verified to work". It
   works with no problems in my testing.

2. Remove 2 unnecessary includes.

3. Remove the myrealloc(). Initialize chunk.memory with malloc() instead
   of NULL. The comments for these two parts contradicted each other.

4. Handle out of memory from realloc() instead of continuing.

5. Print a brief status message at the end.

multi: don't do extra expire calls for the connection

The timeout is set for the connect phase already at the start of the
request so we should not add a new one, and we MUST not set expire to 0
as that will remove any other potentially existing timeouts.

Fix a bashism: test a = b is more portable than ==.

glob_word: remove a check that is always false

inflate_stream: remove redundant check that is always true

digest: make it clear the condition is always true

ssluse: removed redundant check that is always true

Link curl and the test apps with -lrt explicitly when necessary

When curl calls a function from that library then it needs to
explicitly link to the library instead of piggybacking on
libcurl's own dependency.  Without this, GNU ld with the
--no-add-needed flag fails when linking (which Fedora now does
by default).

Reported by: Quanah Gibson-Mount
Bug: http://curl.haxx.se/mail/lib-2010-09/0085.html

Mention the Debian Popularity Contest

test565: Don't hardcode IP:PORT

Use %HOSTIP:%HTTPPORT instead of 127.0.0.1:8990 so that
verification works if the baseport change option is used
when executing runtests.pl.

curl.1: updated protocols and polished language

FAQ: CURL_STATICLIB for visual studio users

Clarified as it isn't used with a -D option for them.

Reported by: Artfunkel
Bug: http://curl.haxx.se/bug/view.cgi?id=3060381

FAQ: updated and added host with custom IP question

Added "3.19 How do I get HTTP from a host using a specific IP address?"
and updated some stuff about certs etc.

chunky parser: only rewind if needed

The code reading chunked encoding attempts to rewind the code if it had
read more data than the chunky parser consumes. The rewinding can fail
and it will then cause an error. This change now makes the rewinding
only happen if pipelining is in use - as that's the only time it really
needs to be done.

Bug: http://curl.haxx.se/mail/lib-2010-08/0297.html
Reported by: Ron Parker

rtsp: avoid SIGSEGV on malformed header

rtsp: avoid SIGSEGV on malformed header

warning: fix conversion to 'int' from 'size_t'

portabilty: use proper variable type to hold sockets

Curl_getconnectinfo() is changed to return a proper curl_socket_t for
the last socket so that it'll work more portably (and cause less
compiler warnings).

Trial to fix another compiler warning with braces.

Use checkprefix() to compare protocol-specific strings

Otherwise, there could be problems running in certain locales.

Moved S_ISREG define to setup as suggested by Dan.

Use own typedef as workaround for broken sspi.h header (f.e. Watcom).

Added some hacks in order to build with VC from git.

Adam Light posted this patch to the list which enables builds from
git with VC versions other than vc6; also he added a vc10 target.

Added S_ISREG define for Win32.

multi: fixes for timing out handles

Add a timeout check for handles in the state machine so that they will
timeout in all states disregarding what actions that may or may not
happen.

Fixed a bug in socket_action introduced recently when looping over timed
out handles: it wouldn't assign the 'data' variable and thus it wouldn't
properly take care of handles.

In the update_timer function, the code now checks if the timeout has
been removed and then it tells the application. Previously it would
always let the remaining timeout(s) just linger to expire later on.

threaded resolver: no more expire 0 calls

Curl_expire() set to 0 expires ALL timeouts so it should only be called
if we truly and really want to remove all timeouts for the handle.

resolve_server: simplify code

Make use of the helper function Curl_timeleft() instead of duplicating
code.

multi: make sure the next timeout is used when one expires

Each easy handle has a list of timeouts, so as soon as the main timeout
for a handle expires, we must make sure to get the next entry from the
list and re-add the handle to the splay tree.

This was attempted previously but was done poorly in my commit
232ad6549a68450.

Added proxy keyword to allow skipping test in proxyless configs

multi: set timeouts when transfer begins

When a new transfer is about to start we now set the proper timeouts to
expire for the multi interface if they are set for the handle. This is a
follow-up bugfix to make sure that easy handles timeout properly when
the times expire and the multi interface is used. This also improves
curl_multi_timeout().

CURLOPT_DIRLISTONLY: don't use with CURLOPT_WILDCARDMATCH

FAQ: update list of supported protocols

In the m4 detection line, factor out the 2>dev/null

If m4 doesn't support --version, try if gm4 does.

If the m4 version isn't recognized at all, just say so

'm4 version  found. You need a GNU m4 installed!' is a bit confusing.

HISTORY: mention the gopher story

Tweaked some test data files

Fixed some issues that caused xmllint failures, added features
and keywords, fixed some quotes and removed some <strip> sections
that unnecessarily limited test checking.

Added new source files to Symbian and TPF makefiles

RELEASE-NOTES: sync from b980c9a02 to HEAD

Makefile: add gopher.c file to build

As the VC and RISCOS makefiles don't use the .inc file

runtests: fix uninitialized variable warning

gopher tests: revert parts of gopher in the pingpong server

Introduced in the initial gopher commits, there was added logic to do
GOPHER test serving in the pingpong server but as it resembles HTTP much
more than FTP or SMTP, the gopher testing has been moved over to instead
use the sws (HTTP) server. This change simply removes unused code.

gopher tests: use sws and adjusted to more standard style

sws: added basic gopher support

gopher: enable the header callback/verbosity

gopher: fix test case line endings

Patches over email very easily lose CRLF line endings in files otherwise
LF-only so I had to put them back where needed.

gopher: fix memory leak and busyloop

The fix for the busyloop really only is a temporary work-around.  It
causes a BLOCKING behavior which is a NO-NO. This function should rather
be split up in a do and a doing piece where the pieces that aren't
possible to send now will be sent in the doing function repeatedly until
the entire request is sent.

Gopher using Curl_write; test suite (4 tests)

Remove url.c test

Forgot gopher.h in Makefile.inc

Gopher protocol support (initial release)

http: handle trailer headers in all chunked responses

HTTP allows that a server sends trailing headers after all the chunks
have been sent WITHOUT signalling their presence in the first response
headers. The "Trailer:" header is only a SHOULD there and as we need to
handle the situation even without that header I made libcurl ignore
Trailer: completely.

Test case 1116 was added to verify this and to make sure we handle more
than one trailer header properly.

Reported by: Patrick McManus
Bug: http://curl.haxx.se/bug/view.cgi?id=3052450

TODO: we now support RTMP

TODO: done "NTLM with other crypto functions"

Since NTLM was made to work with the NSS API as well, the primary SSL
alternatives will be built with NTLM support in libcurl.

TODO: fixed "Make curl_multi_info_read faster"

It is really fast now

Fixed a NULL pointer dereference in form posting

It was introduced in commit eeb2cb05 along with the -F type=
change. Also fixed a typo in the name of the magic filename=
parameter. Tweaked tests 39 and 173 to better test this path.

multi:  Fix compile warning on 64-bit systems

Mention PolarSSL in tutorial & add some URLs to INSTALL

RESUME_FROM: clarify what ftp uploads do

The numerical value passed to CURLOPT_RESUME_FROM for FTP uploads is
interpreted and used as position where to resume the _reading_ of the
local file and it will "blindly" append that data on the remote
file. This was certainly not clear in the docs previously.

Reported by: catalin
Bug: http://curl.haxx.se/bug/view.cgi?id=3048174

Curl_is_connected: use correct errno

The correctly extracted errno contents were mistakenly overwritten by a newer
value that wasn't the correct error value.

Bug: http://curl.haxx.se/mail/lib-2010-08/0242.html

cmdline: make -F type= accept ;charset=

The -F option allows some custom parameters within the given string, and
those strings are separated with semicolons. You can for example specify
"name=daniel;type=text/plain" to set content-type for the
field. However, the use of semicolons like that made it not work fine if
you specified one within the content-type, like for:
"name=daniel;type=text/plain;charset=UTF-8"
... as the second one would be seen as a separator and "charset" is no
parameter curl knows anything about so it was just silently discarded.

The new logic now checks if the semicolon and following keyword looks
like a parameter it knows about and if it isn't it is assumed to be
meant to be used within the content-type string itself.

I modified test case 186 to verify that this works as intended.

Reported by: Larry Stone
Bug: http://curl.haxx.se/bug/view.cgi?id=3048988

Added mk-ca-bundle.vbs script.

The script works exactly same as the Perl one except for one thing:
when the text descriptions generated with openssl are included then
the md5 fingerprints are missing; seems openssl has either a bug or
a feature which prints the md5 fingerprint output to stdout instead
of writing them to specified file; this script could here do the same
as what the Perl scripr does (redirect stdout into file) but this
makes the script take up double the time because it needs to launch
cmd.exe 140 times (fo each openssl call). So I think for now we just
ommit the md5 fingerprints, and see if openssl will be fixed.

Trial to fix win32 autobuilds.

It seems that its time to look at some better ideas for the win32
non-configure builds; probably a prebuild target which copies
config-win32.h to curl_config.h and appends also then feature
defines like USE_ARES.

Use the S_ISREG macro to determine what is a regular file

AC_INIT: avoid a warning with autoconf 2.66

It was complaining about the '=>' operator, introduced in e3fc0d5.

Fixed a memory leak during OOM in the multi timeout code