protocol handler: added flags field

The protocol handler struct got a 'flags' field for special information
and characteristics of the given protocol.

This now enables us to move away central protocol information such as
CLOSEACTION and DUALCHANNEL from single defines in a central place, out
to each protocol's definition. It also made us stop abusing the protocol
field for other info than the protocol, and we could start cleaning up
other protocol-specific things by adding flags bits to set in the
handler struct.

The "protocol" field connectdata struct was removed as well and the code
now refers directly to the conn->handler->protocol field instead. To
make things work properly, the code now always store a conn->given
pointer that points out the original handler struct so that the code can
learn details from the original protocol even if conn->handler is
modified along the way - for example when switching to go over a HTTP
proxy.

- Take new char * options into account in OS400 curl_easy_setopt_ccsid().
- Keep RPG binding, STRING_* table end check and OS400 README up to date.

FAQ: indent tables

Lines that are indented with at least 5 spaces get special treatment by
the script that converts it to HTML on the site.

sslgen: define Curl_ssl_connect_nonblocking for non-SSL

The non-blocking connect improvement for IMAP showed that we didn't
properly define the Curl_ssl_connect_nonblocking function for non-SSL
builds.

Reported by: Tor Arntsen

configure: removed wrongly claimed default paths

Several --with-XXX options claimed the wrong default path in their help
outputs.

Reported by: Vincent Torri

mk-ca-bundle.pl: Only download if modified

Only download and convert the certdata to the ca-bundle.crt if Mozilla
changed the data

The Perl LWP module (which in a bit of a circular reference is used by
mk-ca-bundle.pl) is now indirectly using this script. I made this small
tweak to make it easier to automatically maintain the generated
ca-bundle.crt file in version control.

SSH: add protocol lock direction

Some protocols have to call the underlying functions without regard to
what exact state the socket signals. For example even if the socket says
"readable", the send function might need to be called while uploading,
or vice versa. This is the case for libssh2 based protocols: SCP and
SFTP and we now introduce a define to set those protocols and we make
the multi interface code aware of this concept.

This is another fix to make test 582 run properly.

state: add missing state to debug table

As a new state recently was added to the IMAP state machine it has to be
in the array of names as well as otherwise libcurl crashes when a debug
version runs...

test 582: enabled again

Commit ca37692bf43b5ef should now hopefully make it run

ssh_statemach_act: set cselect for sftp upload

For uploads we want to use the _sending_ function even when the socket
turns out readable as the underlying libssh2 sftp send function will
deal with both accordingly. This is what the cselect_bits magic is for.

Fixes test 582.

RELEASE-NOTES: synced with e649a7baae2

Revert "test582: enabled"

This reverts commit b8478187406cf625c9d0f10b45a082221130cc92.

Merge branch 'imap' of https://github.com/bnoordhuis/curl into bnoordhuis-imap

TODO-RELEASE: fixed four isues

These issues are now addressed:

276 - Karl M's vc makefile patch
277 - The "Stall when uploading to sftp using multi interface"  bug
279 - curl_multi_remove_handle() crashes
280 - Marcus Sundberg's gss patch

VC: add missing file

http_negotiate_sspi.c was added to the source tree recently

GSS: handle reuse fix

Make GSS authentication work when a curl handle is reused for multiple
authenticated requests, by always setting negdata->state in
output_auth_headers().

Signed-off-by: Marcus Sundberg <marcus.sundberg@aptilo.com>

test583: verify early SSH multi remove handle

This test case is meant to verify that the logic in commit
60172a0446bbe3f8b actually works. This test failed for me before that
change and it works after it.

SFTP: gracefully handle shutdown early

When using the multi interface and a handle using SFTP was removed very
early on, we would get a segfault due to the code assumed data was there
that hadn't yet been setup.

Bug: http://curl.haxx.se/mail/lib-2011-03/0066.html
Reported by: Saqib Ali

CURL_CHECK_FUNC_RECVFROM: android/bionic fix

recvfrom in bionic (the android libc) deviates from POSIX and uses a
const in the 5th argument ("const struct sockaddr *") so the check now
tests for that as well.

test582: enabled

PROT_CLOSEACTION: added SFTP and SCP

Both SFTP and SCP are protocols that need to shut down stuff properly
when the connection is about to get torned down. The primary effect of
not doing this shows up as memory leaks (when using SCP or SFTP with the
multi interface).

This is one of the problems detected by test 582.

readwrite_upload: stop upload at file size

As we know how much to send, we can and should stop once we've sent that
much data as it avoids having to rely on other mechanisms to detect the
end.

This is one of the problems detected by test 582.

Reported by: Henry Ludemann <misc@hl.id.au>

sftp upload: expire to advance state machine

When using the multi_socket API to do SFTP upload, it is important that
we set a quick expire when leaving the SSH_SFTP_UPLOAD_INIT state as
there's nothing happening on the socket so there's no read or write to
wait for, but the next libssh2 API function needs to be called to get
the ball rolling.

This is one of the problems detected by test 582.

Reported by: Henry Ludemann <misc@hl.id.au>

test582: improved info messages

source header: added to more files

sources: update source headers

All C and H files now (should) feature the proper project curl source
code header, which includes basic info, a copyright statement and some
basic disclaimers.

TODO-RELEASE: add 10 pending issues

TODO-RELEASE: fix the IPv6-working probing

tests: phase out haxx.se

Instead of using haxx.se as a fixed magic host name in lots of tests,
this is a first step to move toward the generic example.com host
instead.

test523: avoid using haxx.se

... since search engines find what they think is a URL in this, they
hammer www.haxx.se on this port!

configure: update the copyright year in the output

Force setopt constants written by --libcurl to be long

cyassl: fix compiler warnings

SSL: (part 2) Added CyaSSL to SSL abstraction layer

This is the modified existing files commit.

SSL: Added CyaSSL to SSL abstraction layer

CyaSSL (available from git@github.com:cyassl/cyassl.git) has been
added to the SSL abstraction layer.

To test:
1) git CyaSSL sources
2) autoreconf -i
3) ./configure --disable-static
4) make
5) sudo make install
6) autoreconf -i
7) git curl sources (and this patch)
8) ./configure --disable-shared --with-cyassl --without-ssl --enable-debug
9) make
10) normal testing

Please send questions or comments to todd@yassl.com .

curl.1: clarify -E

Stress that it is for client certificates and then mention that it also
works for all other SSL-based protocols apart from HTTPS and
FTPS. Namely POP3S, IMAPS and SMTPS for now.

FAQ: Protocol xxx not supported or disabled in libcurl

lib582: used for test 582

Accidentally not included in commit 0e74e1d8d83

Fixed libcurl to honour the --disable-ldaps configure option

sftp-multi: test 582 added

Add test 582 for uploading a file using sftp and the multi interface.

(Patch and test slightly tweaked by Daniel Stenberg)

Initially marked as disabled until it is fixed in the source.

FAQ: How to SFTP from my user's home directory?

cpp: correct #endif placement

The end-of-file #endif in rawstr.h was not correcly positioned after all
prototypes.

Reported by: Boris
Bug: http://curl.haxx.se/bug/view.cgi?id=3195205

Moved test 577 into the unit test framework as test 1307

Added unit test 1306 so tests 558 & 559 are now fully replaced

The unit test argument is allowed to be used

Converted tests 558 & 559 to use the unit test framework as 1305

Test 558 was just a subset of 559 which is something that can be
easily added later.

Fixed test 1300 to pass the torture test

Added abort_* unit test macros

These are for when a test failure makes it impossible to continue
running further tests.

transfer: avoid insane conversion of time_t

ssh_connect: treat libssh2 return code better

libssh2_knownhost_readfile() returns a negative value on error or
otherwise number of parsed known hosts - this was previously not
documented correctly in the libssh2 man page for the function.

Bug: http://curl.haxx.se/mail/lib-2011-02/0327.html
Reported by: murat

http: removed wrong unused comment.

|premature| is used in Curl_http_done.

http: removed code duplication for stubbed https_getsock function.

RELEASE-NOTES: synced with 2345c1dd661c

runtests.pl/stopserver: space separate pids

The stopserver function would append pids to kill and could append them
without separating them with space properly. The result would be a very
large number that by (some implementations of) kill would be interpreted
as a negative number and that process group would be wiped...

Bug: http://curl.haxx.se/bug/view.cgi?id=3188836
Reported by: Greg Pratt

nss: do not ignore failure of SSL handshake

Flaw introduced in fc77790 and present in curl-7.21.4.
Bug: https://bugzilla.redhat.com/669702#c16

CURLOPT_SSH_KEYFUNCTION: requires *SSH_KNOWNHOSTS

Extend the docs to clarify that CURLOPT_SSH_KEYFUNCTION is only called
if the known hosts option is also correctly set!

curl_easy_setopt.3: Removed wrong reference to CURLOPT_USERPASSWORD.

CURLOPT_HTTPAUTH was mentioning CURLOPT_USERPASSWORD instead of
CURLOPT_PASSWORD.

Reported by: Mike Henshaw

netrc: Removed _NETRC_DEBUG code.

This is not needed anymore as we have unit testing running on it.

tests: Cleaned up netrc testing.

Removed the "netrc_debug" keyword replaced with --netrc-file additions.
Removed the debug code from Curl_parsenetrc as it is superseeded by
--netrc-file.

curl: Added --netrc-file.

This enables people to specify a path to the netrc file to use.
The new option override --netrc if both are present. However it
does follow --netrc-optional if specified.

IMAP in multi mode: use Curl_ssl_connect_nonblocking() when upgrading the connection to TLS/SSL.

IMAP in multi mode: use Curl_ssl_connect_nonblocking() when connecting.

multi: close connection on timeout

After a request times out, the connection wasn't properly closed and
prevented to get re-used, so subsequent transfers could still mistakenly
get to use the previously aborted connection.

multi: better failed connect treatment

When failing to connect the protocol during the CURLM_STATE_PROTOCONNECT
state, Curl_done() has to be called with the premature flag set TRUE as
for the pingpong protocols this can be important.

When Curl_done() is called with premature == TRUE, it needs to call
Curl_disconnect() with its 'dead_connection' argument set to TRUE as
well so that any protocol handler's disconnect function won't attempt to
use the (control) connection for anything.

This problem caused the pingpong protocols to fail to disconnect when
STARTTLS failed.

Reported by: Alona Rossen
Bug: http://curl.haxx.se/mail/lib-2011-02/0195.html

PolarSSL: Return 0 on receiving TLS CLOSE_NOTIFY alert

Signed-off-by: Hoi-Ho Chan <hoiho.chan@gmail.com>

symbols-in-versions: sorted

I forgot to sort it when I added the CURL_SOCKOPT_* symbols

TODO-RELEASE: refresh

SOCKOPTFUNCTION: documented new return codes

SOCKOPTFUNCTION: callback can say already-connected

Introducing a few CURL_SOCKOPT* defines for conveniance. The new
CURL_SOCKOPT_ALREADY_CONNECTED signals to libcurl that the socket is to
be treated as already connected and thus it will skip the connect()
call.

nss: avoid memory leak on SSL connection failure

RELEASE-NOTES: fresh start towards 7.21.5

curlver.h: bump to 7.21.5

THANKS: add contributors from 7.21.4

Set -fpcc-struct-return only for gcc compiler.

RELEASE-NOTES: credits since 7.21.3

I went through all the names mentioned as authors and in commit messages
since 7.21.3, and this list inserted now is sorted on first name.

nss_load_key: fix unused variable warning

gmtime: remove define

It turns out some systems rely on the gmtime or gmtime_r to be defined
already in the system headers and thus my "precaution" redefining of
them only caused trouble. They are now removed.

Added -m32 to CFLAGS to compile with x86_64 gcc.

Updated OpenSSL version, added links to docu.

RELEASE-NOTES: synced with 3bb1291fbd4

--keepalive-time: warn if not supported properly

Since the feature requires support for TCP_KEEPIDLE and TCP_KEEPINTVL to
function as documented, it now warns if that support is missing when the
option is used.

Call ERR_peek_error instead of ERR_peek_last_error

The latter isn't available in older OpenSSL versions, and is
less useful since it returns the most recent error instead of
the first one encountered.

netrc: Enable setting up the filename in unit tests.

Unset the environment variable so that we can specify different
filenames in the unit test.

test1304: Added some unit tests for Curl_parsenetrc.

Moved some definitons into the header file so that we can reuse them.

CURLE_TLSAUTH_FAILED: removed

On second thought, I think CURLE_TLSAUTH_FAILED should be eliminated. It
was only being raised when an internal error occurred while allocating
or setting the GnuTLS SRP client credentials struct. For TLS
authentication failures, the general CURLE_SSL_CONNECT_ERROR seems
appropriate; its error string already includes "passwords" as a possible
cause. Having a separate TLS auth error code might also cause people to
think that a TLS auth failure means the wrong username or password was
entered, when it could also be a sign of a man-in-the-middle attack.

TLS-SRP: new options documented

CURLOPT_SOCKOPTFUNCTION: return proper error code

When the callback returns an error, this function must make sure to return
CURLE_ABORTED_BY_CALLBACK properly and not CURLE_OK as before to allow the
callback to properly abort the operation.

curl.1: typo in -v description

Reported by: Ian D Allen
Bug: https://bugs.launchpad.net/ubuntu/+source/curl/+bug/714895

Forwarded to us by:

Reported by: Andreas Olsson
Bug: http://curl.haxx.se/bug/view.cgi?id=3175422

netrc: Removed dead code.

The main has not been updated from some time and is out of sync with
the code. The code is now tested by several test cases so no need for
a seperate code path.

netrc: Tightened up the type checks.

The state should not be anonymous so that we can check if the values
are fine. Added 2 unreachables states to the switch as a result of this
change.

imap: Fixed typo in a comment.

Curl_gmtime: avoid future mistakes

Document Curl_gmtime() and define away the old functions so that they
won't be used internally again by mistake.

Curl_gmtime: added a portable gmtime

Instead of polluting many places with #ifdefs, we create a single place
for this function, and also check return code properly so that a NULL
pointer returned won't cause problems.

mk-ca-bundle.vbs: use new cacert url

The official Mozilla page at http://www.mozilla.org/projects/security/certs/
points out a new place as the "proper" place to get Mozilla's CA certs from
so this script is now updated to use that instead.

Reported by: Daniel Mentz

mk-ca-bundle.pl: use new cacert url

The official Mozilla page at
http://www.mozilla.org/projects/security/certs/ points out a new place
as the "proper" place to get Mozilla's CA certs from so this script is
now updated to use that instead.

Reported by: Daniel Mentz

ssluse: improved error message on SSL_CTX_new failures

"SSL: couldn't create a context" really isn't that helpful, now it'll
also extract an explanation from OpenSSL and append to the right.

multi: fix CURLM_STATE_TOOFAST for multi_socket

The code in the toofast state needs to first recalculate the values
before it uses them again since it may have been a while since it last
did it when it reaches this point.

unit1300: code style cleanup

adding unit tests for Curl_llist_remove

Include TLSAUTH options in ILE/RPG binding.