ftpserver.pl: three new custom FTP server commands to disable data channel

NODATACONN421: applies only to active FTP mode, instructs server to not
establish data connection back to client and reply with FTP 421.

NODATACONN425: applies only to active FTP mode, instructs server to not
establish data connection back to client and reply with FTP 425.

NODATACONN: applies to both active and passive FTP modes, instructs server
to not establish nor accept a data channel and fool client into believing
that the data channel connection is possible.

Some polishing probably required.

multi.c: OOM handling fix

Fix curl_multi_cleanup() segfault when using weird cleanup sequence.

multi: start ftp state machine when switching to DO_MORE

This extends the fix from commit d7934b8bd491

When the multi state is changed within the multi_runsingle from DOING to
DO_MORE, we didn't immediately start the FTP state machine again. That
then left the FTP state in FTP_STOP. When curl_multi_fdset() was
subsequently called, the ftp_domore_getsock() function would return the
wrong fd info.

Reported by: Gokhan Sengun

libcurl-multi.3: update the list of areas still blocking

test 589: active FTP upload using multi timeout and EPRT disabled server

multi tests: OOM handling fixes - commit 629d2e34 follow-up

- Prepare the ILE/RPG binding and OS400 documentation for the upcoming release

RELEASE-NOTES: synced with 4464583a6ed

5 more bug fixes, 4 additional contributors

runtests.pl: running server checks

When running torture tests, verify before each test case that required
pingpong servers which are supposed to be alive are actually responsive.
If found not responsive then restart them.

dist: add test 587

I created test 587 in commit 840eff44f2b but forgot to add the file to
the tarball. Added now.

test 588: verify active FTP with multi interface without EPRT

This is using the verbatim 525 test code but it disables EPRT in the
server and this should work just as well anyway.

FTP server: allow EPRT by default

EPRT is now supported by default by the server. To disable it, use the
generic REPLY instruction in the <servercmd> tag. Test 116 now has it
disabled. All other existing active FTP port tests strip out the port
commands from the logs already so the change of the server isn't that
noticable.

ftp.c: some OOM handling fixes

ftpserver.pl: ensure integral number usage for passive mode string

large headers: have curl accept >16K headers

As commit 5850cc4808ab clarifies, libcurl can deliver header lines that
are longer than CURL_MAX_WRITE_SIZE, only body data is limited to that
size. The curl tool has check (when built debug-enabled) that made the
wrong checks and this new test 1205 verifies that larger headers work.

curl_easy_setopt.3: headers can be CURL_MAX_HTTP_HEADER bytes

Mention this maximum header size for the header callback cases

Merge pull request #25 from trtom/master

make sure the static build uses the static build option!

curl_easy_setopt.3: fix typo

shoot, Dan Fandrich already had this pointed out...

curl_easy_setopt: Added pop3 to CURLOPT_URL.

Added pop3 username and password example as well as an explanation of
how path part of the URL is used under pop3.

Additionally have corrected a couple of typos.

tool_operate.c: OOM handling fix

Move curl_easy_perform source code geneartion out of curl_easy_perform's loop
for proper OOM handling and source code geneartion.

curl_multi_fdset: correct fdset with FTP PORT use

After a PORT has been issued, and the multi handle would switch to the
CURLM_STATE_DO_MORE state (which is unique for FTP), libcurl would
return the wrong fdset to wait for when curl_multi_fdset() is
called. The code would blindly assume that it was waiting for a connect
of the second connection, while that isn't true immediately after the
PORT command.

Also, the function multi.c:domore_getsock() was highly FTP-centric and
therefore ugly to keep in protocol-agnostic code. I solved this problem
by introducing a new function pointer in the Curl_handler struct called
domore_getsock() which is only called during the DOMORE state for
protocols that set that pointer.

The new ftp.c:ftp_domore_getsock() function now returns fdset info about
the control connection's command/response handling while such a state is
in use, and goes over to waiting for a writable second connection first
once the commands are done.

The original problem could be seen by running test 525 and checking the
time stamps in the FTP server log. I can verify that this fix at least
fixes this problem.

Bug: http://curl.haxx.se/mail/lib-2011-10/0250.html
Reported by: Gokhan Sengun

Added some missing test case XML tags and keywords

file.c: OOM handling fix

file_disconnect() free's resources for multi API

multi.c: fix segfault

runtests.pl: fix printing of multivalued error codes

multi tests: OOM handling fixes

Additionally, improved error checking and logging.

Fixed compilation when HTTP or cookies are disabled

KNOWN_BUGS: #74 fixed

Multiple auths in the same WWW-Authenticate header

Fixed in commit 7d81e3f7193b8c

Curl_http_input_auth: handle multiple auths in WWW-Authenticate

The fix is pretty much the one Nick Zitzmann provided, just edited to do
the right indent levels and with test case 1204 added to verify the fix.

Bug: http://curl.haxx.se/mail/lib-2011-10/0190.html
Reported by: Nick Zitzmann

Curl_smtp_escape_eob: first byte is index 0...

Fix a bug with with commit 2621dd42a4d that happened due to my last
second pre-commit cleanup of the change without proper testing
afterwards!

CURLM_CALL_MULTI_PERFORM: remove mention

This return code has not been used since 7.20.0 so we can stop
mentioning it for current libcurl.

Silenced a compiler warning about an unused variable

gtls: only call gnutls_transport_set_lowat with <gnutls-2.12.0

The default lowat level for gnutls-2.12* is set to zero to avoid
unnecessary system calls and the gnutls_transport_set_lowat function has
been totally removed in >=gnutls-3 which causes build failures.

Therefore, the function shouldn't be used except for versions that
require it, <gnutls-2.12.0.

Curl_smtp_escape_eob: fix EOB escaping

As the EOB string can come byte by byte over a series of writes we must
match byte-wise.

Bug: http://curl.haxx.se/mail/lib-2011-10/0172.html

RELEASE-NOTES: synced with ecbb08cea3cd6

singleipconnect: unstick the ipv6-connection boolean

Previously the bit was set before the connection was found working so if
it would first fail to an ipv6 address and then connect fine to a IPv4
address the variable would still be TRUE.

Reported by: Thomas L. Shinnick
Bug: http://curl.haxx.se/bug/view.cgi?id=3421912

nss: avoid a SIGSEGV with immature version of NSS

Bug: https://bugzilla.redhat.com/733685

nss: big cleanup in nss_load_cert() and cert_stuff()

nss: refactor fmt_nickname() -> dup_nickname()

Do not use artificial nicknames for certificates from files.

nss: select client certificates by DER

... instead of nicknames, which are not unique.

--epsv: fix typo

Reported by: Thomas L. Shinnick

--show-error: position indepdenent

Previously we required that -S/--show-error was used _after_
-s/--silent. This was slightly confusing since we strive to make
arguments as position independent as possible.

Now, you can use them in any order and the result should still be the
same.

Bug: http://curl.haxx.se/bug/view.cgi?id=3424286
Reported by: Andreas Olsson

curl_multi_fdset: clarify the max_fd == -1 case

Elaborate what max_fd == -1 means

Remove the reference to CURLM_CALL_MULTI_PERFORM as modern libcurl
versions don't ever return that.

formdata: ack read callback abort

When doing a multipart formpost with a read callback, and that callback
returns CURL_READFUNC_ABORT, that return code must be properly
propagated back and handled accordingly. Previously it would be handled
as a zero byte read which would cause a hang!

Added test case 587 to verify. It uses the lib554.c source code with a
small ifdef.

Reported by: Anton Bychkov
Bug: http://curl.haxx.se/mail/lib-2011-10/0097.html

TODO: have form functions use CURL handle argument

typecheck: allow NULL to unset CURLOPT_ERRORBUFFER

There might be situations where a user would want to unset this option.
Avoid forcing him/her to cast the NULL argument to (char *) in order to
get past the compile time typecheck.

singleipconnect: don't clobber errno

Save the errno value immediately after a connect() failure so that it
won't get reset to something else before we read it.

Bug: http://curl.haxx.se/mail/lib-2011-10/0066.html
Reported by: Frank Van Uffelen and Fabian Hiernaux

docs: --xattr

file.c: fix compiler warning

url.c: fix endless loop upon transport connection timeout

Jerry Wu detected and provided detailed info about this issue.

sws.c: HTTP and GOPHER test server-side connection closing adjustment

When, for a given test, server is instructed to close connection after
server reply we now wait a very small amount of time (50ms) before doing
so. This is done to allow client to, at least partially, read server
reply before getting an ECONNRESET.

The above is required to make test cases 1070, 1200, 1201 and 1202 pass
with Cygwin 1.5.X on W2K.

GOPHER test server closes connection after _every_ server-reply, as such,
at some point it could require a bigger time or using shutdown() before
a server-side initiated disconnection.

curl_gethostname.c: fix signed/unsigned comparison and avoid a double copy

both introduced in 42be24af

curl_ntlm_msgs.c: fix variable shadowing declaration introduced in 185ed340

tftp.c: TFTP timeout and unexpected block adjustments

Set ACK timeout to 5 seconds.

If we are waiting for block X and receive block Y that is the expected one, we
should send ACK and increase X (which is already implemented). Otherwise drop
the packet and don't increase retry counter.

multi.c: OOM handling fixes

Prevent modification of easy handle being added with curl_multi_add_handle()
unless this function actually suceeds.

Run Curl_posttransfer() to allow restoring of SIGPIPE handler when
Curl_connect() fails early in multi_runsingle().

url.c: make line shorter than 80 chars

OOM handling/cleanup slight adjustments

OOM handling/cleanup slight adjustments

lib540.c: OOM handling fixes making test 540 pass torture testing

RELEASE-NOTES: Fixed a couple of typos

telnet.c: fix compiler warning

libcurl: some OOM handling fixes

multi.c: OOM handling fixes making torture tests 560 580 581 pass

test harness: non-stunnel https server integration overhaul

curl tool: reviewed code moved to tool_*.[ch] files

buildconf: warn about autoconf 2.67 and 2.68 generating bad/unusable scripts

curl tool: fix compiler warning

curl tool: OOM handling fixes

curl tool: reviewed code moved to tool_*.[ch] files

curl tool: OOM handling fixes

curl tool: OOM handling fixes

curl tool: OOM handling fixes

curl tool: header inclusion adjustment

curl tool: symbol check adjustment

curl tool: header inclusion adjustment

curl tool: code moved to tool_*.[ch] files

curl_share_cleanup: avoid compiler warning

Move the variable declaration to within the #ifdef

struct Curl_share: provide sslsession unconditionally

It makes much nicer and less convuluted code everywhere if this struct
member is always present even when libcurl is built without SSL support.

This reverts parts of commit 15e3e451702396e

ftp: improved the failed PORT host name resolved error message

codepolicing

sspi build fix

define away Curl_ntlm_sspi_cleanup() when no windows SSPI build

smtp: Added support for NTLM authentication

Modified smtp_endofresp() to detect NTLM from the server specified list
of supported authentication mechanisms.

Modified smtp_authenticate() to start the sending of the NTLM data.

Added smtp_auth_ntlm_type1_message() which creates a NTLM type-1
message. This function is used by authenticate() to start the sending
of data and by smtp_state_auth_ntlm_resp() when the AUTH command
doesn't contain the type-1 message as part of the initial response.
This lack of initial response can happen if an OOM error occurs or the
type-1 message is longer than 504 characters. As the main AUTH command
is limited to 512 character the data has to be transmitted in two
parts; one containing the AUTH NTLM and the second containing the
type-1 message.

Added smtp_state_auth_ntlm_type2msg_resp() which handles the incoming
type-2 message and sends an outgoing type-3 message. This type-2
message is sent by the server in response to our type-1 message.

Modified smtp_state_auth_resp() to handle the response to: the AUTH
NTLM without the initial response and the type-2 response.

Modified smtp_disconnect() to cleanup the NTLM SSPI stack.

Curl_ntlm_create_typeX_message: Added the outlen parameter

Added the output message length as a parameter to both
Curl_ntlm_create_type1_message() and Curl_ntlm_create_type3_message()
for use by future functions that require it.

Updated curl_ntlm.c to cater for the extra parameter on these two
functions.

smtp: General tidy up ready for adding NTLM support

Changed the name of variable l, in several functions, which represents
the length of strings being sent to the server, to len which is more
meaningful and consistent with other code in smtp.c and elsewhere.

Reworked smtp_authenticate() to be simpler and easier to follow.
Variables and now initialised in their definitions and if no username
and password are specified the function sets the state to SMTP_STOP and
returns immediately, rather than being part of a huge if statement.

curl tool: reviewed code moved to tool_*.[ch] files

smtp_mail: fixed another memory leak

... introduced in 7f304ab84f560c

m4: Use x in order to avoid variable 'x' set but not used [-Werror=unused-but-set-variable]

This error could be caused by configure scripts being run with -Werror
-Wall, which would lead to libcurl being detected as unusable.

share: don't use SSL unless enabled

Don't even declare the struct members for disabled features

Introducing the CURLSHE_NOT_BUILT_IN return code for the share interface
when trying to set a sharing option that has been disabled (or not
enabled) in the library.

multi: progress function abort must close connection

When the progress function returns to cancel the request, we must mark
the connection to get closed and it must do to the DONE state.

do_init() must be called as early as possible so that state variables
for new connections are reset early. We could otherwise see that the old
values were still there when a connection was to be disconnected very
early and it would make it behave wrongly.

Bug: http://curl.haxx.se/mail/lib-2011-10/0006.html
Reported by: Vladimir Grishchenko

tutorial: clarify the handle sharing when treaded

Previously there was wording that made people uncertain of the exact
rules.

Feedback by: Julien Royer and Georg Lippitsch
URL: http://curl.haxx.se/mail/lib-2011-09/0357.html

multi_runsingle: change state on callback abort

Reported by: Marcin Adamski
Bug: http://curl.haxx.se/mail/lib-2011-09/0329.html

curl tool: fix some more OOM handling

Fix SSL disabled builds broken with 'SSL session sharing' commit 5793bc37

smtp_mail: fix memory leak

... introduced in 7f304ab84f560c

smtp_mail: Added support to MAIL FROM for the optional SIZE parameter

The size of the email can now be set via CURLOPT_INFILESIZE. This
allows the email to be rejected by the server, if supported, and the
maximum size has been configured on the server.

curlverh.h: next release will be 7.23.0

RELEASE-NOTES: synced with 5898a6a09b211fc7e2

Bumped next release version to become 7.23.0 for the changes

curl_easy_setopt: Added scp and sftp to the URL section

curl_easy_setopt: A brief tidy up

Slight rewording of the CURLOPT_URL SMTP sub-section.

Corrected the incorrect use of hyphens on the three uses of
"zero-terminated" with "zero terminated" to match the rest of the
document.

Corrected the use of an out of place hyphen in CURLOPT_NOPROXY section.

configure openssl version check: handle lack of L suffix

It seems some versions of the OpenSSL version defines don't come with L
appended to the number, so let's deal with that nicely.