test suite: libtest header inclusion cleanup - follow-up

Adjust tests/libtest/Makefile.inc and remove a couple of unused headers from
tests/libtest/lib583.c

test case 583: ensure that test failures don't go unnoticed

test suite: libtest header inclusion cleanup

Added missing memoryTracking to test cases 560 and 583. If this triggers
leak detection on these, it only means that previously it was going unnoticed.

fix bool variables checking and assignment

pingpong.c: avoid a memmove call in function Curl_pp_vsendf

fix bool variables checking and assignment

test suite: use test case specific netrc file names

Fixed final message output.

TODO-RELEASE: deleteing five issues due to no response

No feedback and no updates, removing these issues

setup_once.h cleanup and sync

Fix to skip untrusted certs.

Added SPNEGO to MinGW makefiles.

NTLM WB: fix file descriptor leak upon OOM condition

revert changes not intended to be pushed with commit 6b75d2c2

fix a bunch of MSVC compiler warnings

Updated dependecies versions.

Some MinGW makefile tweaks for MinGW64.

Changed MinGW to use own winidn prototypes.

Fix NTLM winbind support to pass the torture tests

Calling sclose() both in the child and the parent fools the
socket leak detector into thinking it's been closed twice.
Calling close() in the child instead overcomes this problem. It's
not as portable as the sclose() macro, but this code is highly
POSIX-specific, anyway.

MemoryTracking: fix logging of free() calls done where Curl_safefree is called

Just internal stuff...

Curl_safefree is now a macro defined in memdebug.h instead of a function
prototyped in url.h and implemented in url.c, so inclusion of url.h is no
longer required in order to simply use Curl_safefree.

Provide definition of macro WHILE_FALSE in setup_once.h in order to allow
other macros such as DEBUGF and DEBUGASSERT, and code using it, to compile
without 'conditional expression is constant' warnings.

The WHILE_FALSE stuff fixes 150+ MSVC compiler warnings.

transfer.c: fix parentheses/braces placement for vi/emacs delimiter matching

transfer.c: fix loadhostpairs() OOM handling

test harness: https, ftps and ssh servers allowed start up time increased 33%

hostip.c: return immediately from Curl_resolv_timeout() upon expired timeout.

Ensure existing logic in Curl_resolv_timeout() is not subverted upon getting a
negative timeout from resolve_server(). The timeout in resolve_server() could
be checked to avoid calling Curl_resolv_timeout() with an expired timeout, but
fixing this in this way allows existing logic in resolve_server() to be kept
unchanged.

ftp.c: fix some leaks torture tests detected 2011-08-30 - follow-up

follow-up for commit d20408e8

test harness: fix detection of test harness client knownhosts file

Regenerate curl's tests client knownhosts file also when, somehow,
this file is empty.

test harness: fix detection of test harness host and client key files

Regenerate curl's tests host and client key files also when, somehow,
any of these files are empty.

ssh.c: fix realloc() OOM handling

ftp.c: fix some leaks torture tests detected 2011-08-30 - follow-up

follow-up for commit c06de200

fix some leaks torture tests detected 2011-08-30

fix some leaks torture tests detected 2011-08-30

RELEASE-NOTES: synced with 3445fa2e3f

tests: break busy loops in tests 502, 555, and 573

pingpong.c: fix Curl_pp_vsendf() arbitrary restrictions on command length

This removes command length restrictions on calling functions.

NTLM: header inclusion cleanup follow-up

NTLM: header inclusion cleanup

NTLM: END of refactoring/splitting/moving

First:

File curl_ntlm.h renamed curl_ntlm_msgs.h
File curl_ntlm.c renamed curl_ntlm_msgs.c

Afterwards:

File http_ntlm.c renamed curl_ntlm.c
File http_ntlm.h renamed curl_ntlm.h

NTLM: move NTLM core specifics into curl_ntlm_core.[ch]

NTLM_WB: move NTLM_WB specifics into curl_ntlm_wb.[ch]

NTLM_WB: final congruency naming adjustments

Configure script option --enable-wb-ntlm-auth renamed to --enable-ntlm-wb
Configure script option --disable-wb-ntlm-auth renamed to --disable-ntlm-wb

Preprocessor symbol WINBIND_NTLM_AUTH_ENABLED renamed to NTLM_WB_ENABLED
Preprocessor symbol WINBIND_NTLM_AUTH_FILE renamed to NTLM_WB_FILE

Test harness env var CURL_NTLM_AUTH renamed to CURL_NTLM_WB_FILE

Static function wb_ntlm_close renamed to ntlm_wb_cleanup
Static function wb_ntlm_initiate renamed to ntlm_wb_init
Static function wb_ntlm_response renamed to ntlm_wb_response

NTLM single-sign on adjustments (XI)

Feature string literal NTLM_SSO renamed to NTLM_WB.
Preprocessor symbol USE_NTLM_SSO renamed to WINBIND_NTLM_AUTH_ENABLED.
curl's 'long' option 'ntlm-sso' renamed to 'ntlm-wb'.
Fix some comments to make clear that this is actually a NTLM delegation.

--cookie-jar: activates the cookie engine

Curl_read_plain: indent code

NTLM single-sign on adjustments (X)

Functions renamed:

Curl_output_ntlm_sso -> Curl_output_ntlm_wb
sso_ntlm_close -> wb_ntlm_close
sso_ntlm_response -> wb_ntlm_response
sso_ntlm_initiate -> wb_ntlm_initiate

Preprocessor symbols renamed:

CURLAUTH_NTLM_SSO -> CURLAUTH_NTLM_WB
CURL_VERSION_NTLM_SSO -> CURL_VERSION_NTLM_WB

TODO: progress callback without doubles

http NTLM: refactoring followup

Output of Curl_ntlm_create_type1_message() and Curl_ntlm_create_type3_message()
functions is now already base64 encoded.

docs: the next release is going to be 7.22.0

include limits.h for INT_MAX

add missing semicolons

add missing semicolons

safefree use: fix compiler warning

include the prototype header

SMTP authentication: fix ordering of preferred authentication method

Fixed the order of the preferred SMTP authentication method to:
AUTH CRAM-MD5, AUTH LOGIN then AUTH PLAIN.

AUTH PLAIN should be the last as it slightly more insecure than AUTH LOGIN
as the username and password are sent together - there is no handshaking
between the client and server like there is with AUTH LOGIN.

base64: fix Curl_base64_encode and Curl_base64_decode interfaces

Previous interfaces for these libcurl internal functions did not allow to tell
apart a legitimate zero size result from an error condition. These functions
now return a CURLcode indicating function success or otherwise specific error.
Output size is returned using a pointer argument.

All usage of these two functions, and others closely related, has been adapted
to the new interfaces. Relative error and OOM handling adapted or added where
missing. Unit test 1302 also adapted.

resolve.c: new example showing off CURLOPT_RESOLVE

externalsocket.c: new example

http NTLM: remaining bits from 0001-Moved-ntlm-[...]-curl_ntlm-mod_3.patch

* Added function comments:
    - Curl_ntlm_decode_type2_message
    - Curl_ntlm_create_type1_message
    - Curl_ntlm_create_type3_message

* Modification of ntlm processing state to NTLMSTATE_TYPE2 is now done
  only when Curl_ntlm_decode_type2_message() has fully succeeded.

runtests.pl: option -gw for single test windowed debugging (where possible)

zlib: ensure user provided memory functions are used by zlib, when given

As a bonus, this lets our MemoryTracking subsystem track zlib operations.
And also fixes a shortcut some zlib 1.2.x versions took using malloc()
instead of calloc(), which would trigger memory debuggers warnings on
memory being used without having been initialized.

main: fix segfault

Follow-up to commit 5eb2396cd as that wasn't complete.

At times HEADERFUNCTION+HEADERDATA was set only to have only HEADERDATA
set in the subsequent loop which could cause a NULL to get sent as
userdata to 'header_callback' which wasn't made to handle that.

Now HEADERFUNCTION is explicitly set to NULL if it isn't set to the
callback.

MemoryTracking: adjust initialization calling - followup

Fix macro definition

MemoryTracking: adjust initialization calling

Calling of curl_memdebug() was still done with a pending free()

tcpconnect: follow-up commit after b998d95b

As I modified conn->bits.tcpconnect to become an array that holds one
bool for each potential connection all uses of that struct field must
index it correctly.

ssh.c: add PATH_MAX definition for WIN32

connect: set TIMER_CONNECT

When connecting, make sure TIMER_CONNECT is set.

test573: fix the keywords

FTP: fix proxy connect race condition

When using the multi interface, a SOCKS proxy, and a connection that
wouldn't immediately consider itself connected (which my Linux tests do
by default), libcurl would be tricked into doing _two_ connects to the
SOCKS proxy when it setup the data connection and then of course the
second attempt would fail miserably and cause error.

This problem is a regression that was introduced by commit
4a42e5cdaa344755 that was introduced in the 7.21.7 release.

Bug: http://curl.haxx.se/mail/lib-2011-08/0199.html
Reported by: Fabian Keil

Curl_SOCKS4: minor code compression

zlib: enforce full initialization of our data space z_stream structs

VC makefiles: fixed variable name mistake

MemoryTracking: adjust curl_domalloc() and curl_dofree() memory filling

Until 2011-08-17 libcurl's Memory Tracking feature also performed
automatic malloc and free filling operations using 0xA5 and 0x13
values. Our own preinitialization of dynamically allocated memory
might be useful when not using third party memory debuggers, but
on the other hand this would fool memory debuggers into thinking
that all dynamically allocated memory is properly initialized.

As a default setting, libcurl's Memory Tracking feature no longer
performs preinitialization of dynamically allocated memory on its
own. If you know what you are doing, and really want to retain old
behavior, you can achieve this compiling with preprocessor symbols
CURL_MT_MALLOC_FILL and CURL_MT_FREE_FILL defined with appropriate
values.

MemoryTracking: make curl_docalloc() call calloc() avoiding our zero fill

MSVC makefiles: provide SSH build targets

"release-ssl-ssh2-zlib" and "debug-ssl-ssh2-zlib" are two new makefile
targets that build libcurl with MSVC and link with libssh2

Bug: http://curl.haxx.se/bug/view.cgi?id=3388920
Reported by: "kdekker"

test572: fixed

Two problems were fixed:

GET_PARAMETER responses that have no body must be 204 response or
properly set length to 0.

One of the <data> sections had the wrong content-length for its
GET_PARAMETER response.

Enabled test 572 again.

Curl_pgrsStartNow: clear all flags but HIDE

As bug 3385258 pointed out but I missed up the fix for. This is another
take at a fix.

Bug: http://curl.haxx.se/bug/view.cgi?id=3392101
Reported by: Wu Yongzheng

unittests: disable unit tests for some autobuild configurations

IRIX 6.5.24 gcc 3.3 autobuilds fail unittests library compilation due to a
problem related with OpenSSL headers and library versions not matching.

All AIX autobuilds fails unit tests linking against unittests library due to
unittests library being built with no symbols or members. Libtool ?

nss: start with no database if the selected database is broken

Bug: https://bugzilla.redhat.com/728562

http NTLM: reinstate "nssg.h" "curl_sspi.h" header inclusions

tests: disable #572

TODO-RELEASE: synced

Added comments to some remaining issues

telnet: allow programatic use on Windows

Summary of the issue can be found at:
http://curl.haxx.se/mail/lib-2010-04/0367.html

That patch only updated the unix sockets code - the winsock code was not
updated and no longer works the same was as the unix code. This change
updates the windows code accordingly.

Bug: http://curl.haxx.se/bug/view.cgi?id=3163118

TODO-RELEASE: fixed issue #291

291 - bug 3383692 "GET PARAMETER request and body in response"

http NTLM: reinstate "memdebug.h" header inclusion

Inclusion of header "memdebug.h" in http_ntlm.c got lost in commit 98fb0ef7.

RTSP: GET_PARAMETER requests have a body

Bug: http://curl.haxx.se/bug/view.cgi?id=3383692

Curl_output_ntlm: remove unused variable

http NTLM: add curl_ntlm.c to Symbian's libcurl.mmp

http NTLM: fix 8 compiler warnings

Strict splitting of http_ntlm.[ch] may trigger 8 compiler warnings when
building with some compilers and strict compiler warnings enabled, depending
on other specific configuration options some could get triggered or not.

Seven are related with 'unused function parameters' and another one with
'var may be used before its value is set'.

http NTLM: split http_ntlm.[ch] between http_ntlm.[ch] and curl_ntlm.[ch]

For modularity purposes, huge chunks of NTLM existing code is transformed into
functions to allow future internal code reuse.

Resulting three new libcurl private functions:

 - Curl_ntlm_create_type1_message()
 - Curl_ntlm_create_type3_message()
 - Curl_ntlm_decode_type2_message()

Changing static ntlm_sspi_cleanup() into non-static Curl_ntlm_sspi_cleanup()

This 'refactoring' has been prepared by previous commits to allow that this
specific one does not introduce any change to existing code. All existing
goodness and badness previous to this commit should remain the same once it is
applied, the only difference should be that existing code is moved into
functions.

Given the quite big portions of code being moved around, and the importance of
change traceability, this commit has been done in such a way that it is
possible to perform a three-way diff from initial http_ntlm.[ch] to resulting
http_ntlm.[ch] and curl_ntlm.[ch] to actually verify that no functional change
is introduced here.

Notice that Steve Holme has provided several patches, but these included this
refactoring along with 'extra' fixes. I really wanted this 'clean' refactoring
done first, in order to allow discussion or committing of 'extra' fixes on a
case by case basis, so, I had to bite the bullet ;-)

Comments, line adjustments, compiler warning fixes, whatever, may follow
afterwards.

http_negotiate_sspi.c: fix compiler warning

warning C4706: assignment within conditional expression

http NTLM: change return type of Curl_input_ntlm() to CURLcode

Remove CURLntlm enum, no longer required.

RELEASE-NOTES: synced with a30ede868ab64

Three more bugs fixed, three more contributors mentioned

VC6 makefiles: added embedded documentation

Just a note about the fact that all VC[6/8/9/10] makefiles are generated
from the VC6 one as source.

cmake: find winsock when building on windows

When building on Windows, with CMake and mingw, curl fails to compile
because the CMake build system is not properly looking for the Winsock
libraries

Patch by: Pau Garcia i Quiles
Bug: http://curl.haxx.se/bug/view.cgi?id=3389231

Curl_retry_request: check return code!

Curl_readrewind() was called without checking its return code, which
could lead to badness.

Bug: http://curl.haxx.se/bug/view.cgi?id=3349227

ignore rtsp

http NTLM: update NTLM type-* message structure descriptions - followup

docs: --delegation

added --delegation

Using this option with an argument being set to one of
none/policy/always instructs libcurl how to deal with GSS
credentials. Or rather how it tells the server that delegation is fine
or not.

http NTLM: fix inclusion of curl_ntlm.h

http NTLM: update NTLM message structure notes

http NTLM: move portions of http_ntlm.h into new curl_ntlm.h