multi: handle timeouts on DNS servers by checking for new sockets

If the first name server is not available, the multi interface does
not invoke the socket_cb when the DNS request to the first name server
timesout.  Ensure that the list of sockets are always updated after
calling Curl_resolver_is_resolved.

This bug can be reproduced if Curl is complied with --enable_ares and
your code uses the multi socket interfaces and the
CURLMOPT_SOCKETFUNCTION option.  To test try:
  iptables -I INPUT \
           -s $(sed -n -e '/name/{s/.* //p;q}' /etc/resolv.conf)/32 \
           -j REJECT
and then run a program which uses the multi-interface.

test 815: verify POP3 dot-first-on-line unescaping

POP3: fixed escaped dot not being striped out

Changed the eob detection to work across the whole of the buffer so that
lines that begin with a dot (which the server will have escaped) are
passed to the client application correctly.

buildconf: follow-up for commit 7e02f7fd

buildconf: fix libtool 1.5.x warnings triggered with autoconf 2.6x or later

Using libtool 1.5.x (x < 26) with autoconf 2.6x or later generates warnings
due to some libtool variables not following naming convention for variables
that will be cached.

This is addressed renaming a couple of variables to make these follow expected
naming convention.

RELEASE-NOTES: synced with 1038d0aa1

5 bugfixes and 1 new contributor

pop3.c: fix compiler warning

configure: avoid usage of macro PKG_CHECK_MODULES

libidn option adjusted in order to use pkg-config info when available
in a similar way as we already do for other libraries.

POP3: detect when LIST returns no mails

By making sure the function can detect an "end of body" sequence
immediately on the first line, test 811 is now enabled.

ftpserver: output CRLF in logs

Previously the log function would just filter out all CR and LF
occurances from the log to make it more readable. This had the downside
that it made it very hard to see CR LFs when they actually matters.

Now, they're instead converted to "[CR]" and "[LR]" in the log to become
apparent to readers.

POP3: fix end of body detection

Curl_pop3_write() now has a state machine that scans for the end of a
POP3 body so that the CR LF '.' CR LF sequence can come in everything
from one up to five subsequent packets.

Test case 810 is modified to use SLOWDOWN which makes the server pause
between each single byte and thus makes the POP3 body get sent to curl
basically one byte at a time.

test: added POP3 test with dot-prefixed line

Test 815 is disabled for now since libcurl currently doesn't unescape
such lines the way it should. See mail:

http://curl.haxx.se/mail/lib-2011-11/0324.html

configure: fix to make older pkg-config play well

configure.ac:1349: error: possibly undefined macro: PKG_CONFIG_LIBDIR

Obviously this is not a problem with pkg-config 0.26 but older versions
seem to show this.

Fix suggested by: Kamil Dudka
Reported by: Guenter
Bug: http://curl.haxx.se/mail/lib-2011-11/0298.html

test 1211: FTP test to repeat bug #3429299

"Active FTP hangs if server does not open data connection"

The server first sends a 150 and then when libcurl waits for the data
transfer, the server sends a 425.

configure: add support for pkg-config detection of libidn

FTP tests 1206 - 1209: don't expect QUIT

The protocol parts for these tests do not include QUIT simply because
the error is CURLE_OPERATION_TIMEDOUT (28) which is a generic timeout
error without specificly saying for which connection it concerns, and
for timeouts libcurl marks the control channel as "invalid". As this
test case times out for the data connection it could still use the
control channel.

CyaSSL 2.0+ library initialization adjustment

rectify comment

SSLSESSION_SHARED: new macro to check if session is shared

Added convenience macro to use to check if a handle is using a shared
SSL session, and fixed so that Curl_ssl_close_all() doesn't lock when
the session isn't shared.

telnet.c: fix MSVC compiler warning

tvdiff_secs(): sub-zero time difference adjustment

Skip a floating point addition operation when integral part of time difference
is zero. This avoids potential floating point addition rounding problems while
preserving decimal part value.

telnet: fix macros to allow proper semicolon use

Macros that look like function calls need to be made so that we can use
semicolons properly for indentation and for reducing the risk for
mistakes when using them.

TELNET: improved treatment of options

1) enables the Window Size option
2) allows the server to enable the echo mode
3) allows an app using libcurl to disable the default binary mode

Signed-off-by: Laurent Rabret

RELEASE-NOTES: synced with 2c905fd1f82

query-part: ignore the URI part for given protocols

By setting PROTOPT_NOURLQUERY in the protocol handler struct, the
protocol will get the "query part" of the URL cut off before the data is
handled by the protocol-specific code. This makes libcurl adhere to
RFC3986 section 2.2.

Test 1220 is added to verify a file:// URL with query-part.

symbols.pl: provide LIBCURL_HAS macro for apps

Experience has shown that the symbols-in-versions file is very useful to
applications that want to build with a wide range of libcurl versions.
It is however easy to get it wrong and the source gets a bit messy with
all the fixed numerical comparisions.

The point of this script is to provide an easy-to-use macro for libcurl-
using applications to do preprocessor checks for specific libcurl
defines, and yet make the code clearly show what the macro is used for.

lib573.c: fix double data type variable comparison with zero

getinfo.c: reset app connect time when clearing session-info time variables

Fix unreleased regression when using windows gnutls versions older than 2.8

gnutls: only translate winsock errors for old versions

Bugfix: https handshake fails using gnutls 3 on windows
http://sourceforge.net/tracker/index.php?func=detail&aid=3441084&group_id=976&atid=100976

New gnutls versions have an error handler that knows about Winsock
errors, which is why gnutls_transport_set_global_errno() was deprecated
and then removed.

This is a correction of commit f5bb370 (blame me) which meant to
reimplement gnutls_transport_set_global_errno(), which is not necessary.

protocol_connect: show verbose connect and set connect time

Regression: commit b998d95b (shipped first in release 7.22.0) made the
condition always equal false that should reset the TIMER_CONNECT timer
and call the Curl_verboseconnect() function.

Reported by: "Captain Basil"
Bug: http://curl.haxx.se/mail/archive-2011-11/0035.html

-J -O: use -O name if no Content-Disposition header comes!

A regression between 7.22.0 and 7.23.0 -- downloading a file with the
flags -O and -J results in the content being written to stdout if and
only if there was no Content-Disposition header in the http response. If
there is a C-D header with a filename attribute, the output is correctly
written.

Reported by: Dave Reisner
Bug: http://curl.haxx.se/mail/archive-2011-11/0030.html

Add support for using nettle instead of gcrypt as gnutls backend

test: SFTP quote commands with * prefix

Related to the f64812ca63 commit

CURLOPT_QUOTE: SFTP supports the '*'-prefix now

SFTP: support '*' prefix for quote operations

prefixing a command with '*' means it is allowed to fail without
aborting the chain actions

getsessionid: don't ever return while locked

Also, check for the session sharing bit instead of comparing pointers

Curl_ssl_getsessionid: increase the value, not the pointer

THANKS: one new contributor in 7.23.1

SSL session share: move the age counter to the share object

Previously the age counter would be counted individually in each easy
handle that shared SSL sessions!

libtest build: add the missing lib586

CURLOPT_DNS_SERVERS: set name servers if possible

RELEASE-NOTES: correct the release and contributor numbers

FindWin32CACert: return OK even if CA cert isn't found

Bug: http://curl.haxx.se/mail/lib-2011-11/0180.html
Reported by: Mark Brand

curl has been built on many Android versions

7.24.0: start the work

THANKS: added 18 new contributors from 7.23.0

curl_easy_setopt arguments should be of type long in the examples

RELEASE-NOTES: synced with 10120e6a

one more bug fix and contributor

progress_cb: avoid buffer overflow

The progress bar output function would blindly use the terminal width
without bounds checking. When using a very wide terminal that caused a
buffer overflow and segfault.

We now limit the max bar with to 255 columns, and I simplified the code
to avoid an extra snprintf and buffer.

Bug: http://curl.haxx.se/bug/view.cgi?id=3435710
Reported by: Alexey Zakhlestin

Active mode FTP test cases with server not establishing data connection

591 -> FTP multi PORT and 425 on upload
592 -> FTP multi PORT and 421 on upload
593 -> FTP multi PORT upload, no data conn and no transient neg. reply
594 -> FTP multi PORT upload, no data conn and no positive prelim. reply

1206 -> FTP PORT and 425 on download
1207 -> FTP PORT and 421 on download
1208 -> FTP PORT download, no data conn and no transient negative reply
1209 -> FTP PORT download, no data conn and no positive preliminary reply

Fix to skip untrusted certs.

RELEASE-NOTES: synced with e3166df1bb3

4 new bugfixes, 2 more contributors

ftp PORT: don't hang if bind() fails

When the user requests PORT with a specific port or port range, the code
could lock up in an endless loop. There's now an extra conditional that
makes sure to special treat the error and try the local address only
once so a second failure will abort the loop correctly.

Bug: http://curl.haxx.se/bug/view.cgi?id=3433968
Reported by: Gokhan Sengun

pingpong: change two comments wrongly referring "FTP"

Just a sign of where the code originally was ripped out from. Now it is
generic "pingpong".

test 590: verify the bug fix in 4851dafcf1

This test is created to verify Rene Bernhardt's patch which makes sure
libcurl properly _not_ deals with Negotiate if not asked to even if the
proxy says it can serve it.

HTTP auth: fix proxy Negotiate bug

If a proxy offers several Authentication schemes where NTLM and
Negotiate are offered by the proxy and you tell libcurl not to use the
Negotiate scheme then the request never returns when the proxy answers
with its HTTP 407 reply.

It is reproducible by the following steps:

- Use a proxy that offers NTLM and Negotiate ( CURLOPT_PROXY and
CURLOPT_PROXYPORT )

- Tell libcurl NOT to use Negotiate CURL_EASY_SETOPT(CURLOPT_PROXYAUTH,
CURLAUTH_BASIC | CURLAUTH_DIGEST | CURLAUTH_NTLM )

- Start the request

The call to CURL_EASY_PERFORM never returns. If you switch on debug
logging you can see that libcurl issues a new request As soon as it
received the 407 reply. Instead it should return and set the response
code to 407.

Bug: http://curl.haxx.se/mail/lib-2011-10/0323.html

ssluse.c: fix calling of OpenSSL's ERR_remove_state(0)

Move calling of ERR_remove_state(0) a.k.a ERR_remove_thread_state(NULL)
from Curl_ossl_close_all() to Curl_ossl_cleanup().

In this way ERR_remove_state(0) is now only called in libcurl by
curl_global_cleanup(). Previously it would get called by functions
curl_easy_cleanup(), curl_multi_cleanup and potentially each time a
connection was removed from a connection cache leading to premature
destruction of OpenSSL's thread local state hash.

Multi-threaded apps using OpenSSL enabled libcurl should still call
function ERR_remove_state(0) or ERR_remove_thread_state(NULL) at the
very end end of threads that do not call curl_global_cleanup().

tool_cb_wrt.c: disambiguate warning message

tool_cfgable.c: pending check done

url.c and file.c: fix OOM triggered segfault

rename ftp_ssl: the struct field is used for many protocols

Now called 'use_ssl' instead, which better matches the current CURLOPT
name and since the option is used for all pingpong protocols (at least)
it makes sense to not use 'ftp' in the name.

gtls_connect_step1: remove use of deprecated functions

Use gnutls_priority_set_direct() instead of gnutls_protocol_set_priority().

Remove the gnutls_certificate_type_set_priority() use since x509 is the
default certificate type anyway.

Reported by: Vincent Torri

url.c and transfer.c: nullify connection pointer when free()'ed

FTP test server: NODATACONN commands follow-up

Make NODATACONN425 and NODATACONN421 return a 150 positive preliminary reply
before 425 or 421.

New NODATACONN150 returns 150 without further positive nor negative reply

Now NODATACONN doesn't reply anything at all.

multi.c: OOM handling fix

FTP test server: NODATACONN commands follow-up

Make NODATACONN custom commands apply to both active and passive FTP,
and ensure 425 and 421 are not returned unless data channel usage is
attempted.

tool_cb_see.h: fix compiler warning

setup.h: fix compiler warning

FTP test server: NODATACONN commands commit c761fcb0 follow-up

Adjustments that make NODATACONN custom commands fully usable.

doc/curl.1: fix sentence with ending for -# option

Try to be a little more descriptive about the effect of this flag,
rather than parroting what was said in the paragraph just above.

FTP test server: fix server unresponsiveness

Some torture tests left FTP test server in an unresponsive state, resulting
in torture tests that actually completed following unexpected code paths.

Changes in this commit solely address this issue and some adjustments for
ftpserver.pl logging relative to data channel establishment and tear down.
Pending NODATACONN relative adjustments reserved for a further commit.

runtests.pl: running server checks - commit 4464583a follow-up

Ensure verification takes place with no server commands file.
Ignore verbose setting for running server precheck.
Tweak unresponsive server message, to allow detection by haxx.se scripts.

gtls.c: gnutls_transport_set_global_errno() deprecated in version 2.12.3

runtests.pl: running server checks - commit 3676ec96 follow-up

Fix called sub when checking TFTP server, and adjust message.

runtests.pl: running server checks - commit 4464583a follow-up

Extended server checks to others in addition to pingpong when torture testing.

lib589.c: add CURLOPT_READDATA missing stuff

ftpserver.pl: three new custom FTP server commands to disable data channel

NODATACONN421: applies only to active FTP mode, instructs server to not
establish data connection back to client and reply with FTP 421.

NODATACONN425: applies only to active FTP mode, instructs server to not
establish data connection back to client and reply with FTP 425.

NODATACONN: applies to both active and passive FTP modes, instructs server
to not establish nor accept a data channel and fool client into believing
that the data channel connection is possible.

Some polishing probably required.

multi.c: OOM handling fix

Fix curl_multi_cleanup() segfault when using weird cleanup sequence.

multi: start ftp state machine when switching to DO_MORE

This extends the fix from commit d7934b8bd491

When the multi state is changed within the multi_runsingle from DOING to
DO_MORE, we didn't immediately start the FTP state machine again. That
then left the FTP state in FTP_STOP. When curl_multi_fdset() was
subsequently called, the ftp_domore_getsock() function would return the
wrong fd info.

Reported by: Gokhan Sengun

libcurl-multi.3: update the list of areas still blocking

test 589: active FTP upload using multi timeout and EPRT disabled server

multi tests: OOM handling fixes - commit 629d2e34 follow-up

- Prepare the ILE/RPG binding and OS400 documentation for the upcoming release

RELEASE-NOTES: synced with 4464583a6ed

5 more bug fixes, 4 additional contributors

runtests.pl: running server checks

When running torture tests, verify before each test case that required
pingpong servers which are supposed to be alive are actually responsive.
If found not responsive then restart them.

dist: add test 587

I created test 587 in commit 840eff44f2b but forgot to add the file to
the tarball. Added now.

test 588: verify active FTP with multi interface without EPRT

This is using the verbatim 525 test code but it disables EPRT in the
server and this should work just as well anyway.

FTP server: allow EPRT by default

EPRT is now supported by default by the server. To disable it, use the
generic REPLY instruction in the <servercmd> tag. Test 116 now has it
disabled. All other existing active FTP port tests strip out the port
commands from the logs already so the change of the server isn't that
noticable.

ftp.c: some OOM handling fixes

ftpserver.pl: ensure integral number usage for passive mode string

large headers: have curl accept >16K headers

As commit 5850cc4808ab clarifies, libcurl can deliver header lines that
are longer than CURL_MAX_WRITE_SIZE, only body data is limited to that
size. The curl tool has check (when built debug-enabled) that made the
wrong checks and this new test 1205 verifies that larger headers work.

curl_easy_setopt.3: headers can be CURL_MAX_HTTP_HEADER bytes

Mention this maximum header size for the header callback cases

Merge pull request #25 from trtom/master

make sure the static build uses the static build option!

curl_easy_setopt.3: fix typo

shoot, Dan Fandrich already had this pointed out...

curl_easy_setopt: Added pop3 to CURLOPT_URL.

Added pop3 username and password example as well as an explanation of
how path part of the URL is used under pop3.

Additionally have corrected a couple of typos.

tool_operate.c: OOM handling fix

Move curl_easy_perform source code geneartion out of curl_easy_perform's loop
for proper OOM handling and source code geneartion.

curl_multi_fdset: correct fdset with FTP PORT use

After a PORT has been issued, and the multi handle would switch to the
CURLM_STATE_DO_MORE state (which is unique for FTP), libcurl would
return the wrong fdset to wait for when curl_multi_fdset() is
called. The code would blindly assume that it was waiting for a connect
of the second connection, while that isn't true immediately after the
PORT command.

Also, the function multi.c:domore_getsock() was highly FTP-centric and
therefore ugly to keep in protocol-agnostic code. I solved this problem
by introducing a new function pointer in the Curl_handler struct called
domore_getsock() which is only called during the DOMORE state for
protocols that set that pointer.

The new ftp.c:ftp_domore_getsock() function now returns fdset info about
the control connection's command/response handling while such a state is
in use, and goes over to waiting for a writable second connection first
once the commands are done.

The original problem could be seen by running test 525 and checking the
time stamps in the FTP server log. I can verify that this fix at least
fixes this problem.

Bug: http://curl.haxx.se/mail/lib-2011-10/0250.html
Reported by: Gokhan Sengun

Added some missing test case XML tags and keywords

file.c: OOM handling fix

file_disconnect() free's resources for multi API