write extended attributes by using fsetxattr

Instead of reopening the downloaded file, fsetxattr uses the (already
open) file descriptor to attach extended attributes. This makes the
procedure more robust against errors caused by moved or deleted files.

Check for getinfo errors before setting attributes

ftp: treat server's response 421 as CURLE_OPERATION_TIMEDOUT

Bug: https://bugzilla.redhat.com/650255
Reported by: Simon H.

symbols-in-version: add CURL_SOCKET_BAD

I also documented the filtering logic in the symbol-scan.pl function to
clarify why not all CURL_* symbols are included.

serial number bump

ftp: close connection as soon as ABOR has been sent

... and do not send ABOR unless really necessary.

Bug: https://bugzilla.redhat.com/649347
Reported by: Simon H.

RELEASE-NOTES: synced with fc6c4c10f9faab08

I also recounted and updated the command line and libcurl options.

help: indent the --xattr option like the others

curl.1: --resolve documented

CURLOPT_RESOLVE: documented

CURLOPT_USE_SSL: move from FTP options to connection options

xattr-check: correct the comment as well

xattr: use const char * for const strings

setxattr: fix the checks

My copy and paste job was a little too much copy and I missed to adjust
it properly to sys/xattr.h all over and this is a fix to cure that.

CURLOPT_RESOLVE: added

CURLOPT_RESOLVE is a new option that sends along a curl_slist with
name:port:address sets that will populate the DNS cache with entries so
that request can be "fooled" to use another host than what otherwise
would've been used. Previously we've encouraged the use of Host: for
that when dealing with HTTP, but this new feature has the added bonus
that it allows the name from the URL to be used for TLS SNI and server
certificate name checks as well.

This is a first change. Surely more will follow to make it decent.

fix compiler warning

Added os-specific.c and xattr.c to the Symbian build files

xattr: fix VisualStudio builds

fix snapshot generation

--libcurl: simplify output

Removed the code that was needed for libcurl before 7.19.0 which now is
more than two years old.

Simplified the top comment and corrected the URL.

LDAP: detect non-binary attributes properly

If the query result has a binary attribute, the binary attribute is
base64 encoded. But all following non binary attributes are also base64
encoded which is wrong.

This is a test (LDAP server is public).

curl
ldap://x500.bund.de:389/o=Bund,c=DE?userCertificate,certificateSerialNumber?sub
?cn=*Woehleke*

xattr: add configure check and #ifdefs

setxattr is a glibc call to set extended attributes, so configure now
checks for it and the code is adapted to only build when the
functionality is present.

save metadata to extended file attributes

It is often convinient to track back the source of a once downloaded
file; this patch makes curl store the source URL and other metadata
alongside the retrieved file by using the extended attributes (if
supported by the file system and enabled by --xattr).

test: remove test 580

Test 580 is removed again for two reasons:

1) Some compilers aren't satisfied by just a data variable called 'test'
when first.o wants a function called 'test'. The Solaris compiler says
"ld: warning: symbol `test' has differing types:" while the AIX compiler
downright rejects it.

2) Test case 1119 that was added after this test is way more complete
and cover everything test 580 does and more without introducing the same
problems.

Revert: use Host: name for SNI and cert name checks

This reverts commit b0fd03f5b8d4520dd232a9d13567d16bd0ad8951,
4b2fbe1e97891f, afecd1aa13b4f, 68cde058f66b3

TODO-RELEASE: "TLS SNI use Host:" is done

262 - Manual setting of TLS Server Name Indication - use Host:

RELEASE-NOTES: synced with 7b823badbcab9d330

curl.1: added a few missing exit codes

certcheck: use the custom Host: name for checks

If you use a custom Host: name in a request to a SSL server, libcurl
will now use that given name when it verifies the server certificate to
be correct rather than using the host name used in the actual URL.

SNI: simplify the custom host name use

The redirect check is already done at the position where the customhost
field is assigned so there's no point in doing that a second time.

host: get the custom Host: name more genericly

When given a custom host name in a Host: header, we can use it for
several different purposes other than just cookies, so we rename it and
use it for SSL SNI etc.

SNI: set name to custom Host header

OpenSSL SNI host name should be set to the custom Host header, if the
user provided one.

fopen.c: re-indented, fixed previous mistake

I've made the code intended using curl-style now to look more like other
examples.

My previous "fix" was a bit too invasive but is now fixed again.

multi use: call multi_perform even on select() timeouts

example: add smtp-multi.c

An example application source code sending SMTP mail with the multi
interface. It is based on the code Alona Rossen provided, which in turn
is based on existing example/test code, and I converted it even more
into a decent example with a fair multi API use, put the info required
to edit at the top and I added some comments.

CURLOPT_NOSIGNAL: add blurb about SIGPIPE

Allow building test 580 out of tree

dist: add symbol-scan.pl to the tarball

test1119: verify symbols-in-versions

runtests: allow tests written as perl scripts

If a command is set type="perl", it can now specify a perl program that will
be run instead of an ordinary curl or built tool.

A perl test automatically disables memory and valgrind debugging.

symbol-scan: verifies symbols-in-versions

This new script scans for all enums and #defines used by the curl/curl.h
and curl/multi.h headers. Then it reads all symbols mentioned in
symbols-in-vesions and make sure that there's no entries missing in
there. It then proceeds to verify that the entries that
symbols-in-vesions mentions but aren't found in the sources are truly
documented as removed.

This script is used in the new test case 1119

symbols-in-versions: added 119 missing symbols

I've developed a script I call symbol-scan.pl that scans the curl.h and
multi.h header files and compare the symbols it finds in there with the
symbols symbols-in-versions documents and outputs a report on the
differences.  Using this I've dug through the history to fill up
symbols-in-versions with all the symbols my script found mismatches for.

I will commit symbol-scan.pl separatly and think of a way to put it to
use in the build/tests so that we from now on will get this in-sync
check automatically.

Added mk580.pl to the tar ball

symbols-in-versions: added missing symbols

ignore: lib580.c is generated by mk580.pl

test: added test 580 - verifies symbols-in-versions

The new perl script mk580.pl generates a C table in a fresh source file
named lib580.c and if that compiles fine we know that the file
docs/libcurl/symbols-in-versions at least doesn't include any symbols
that are misspelled.

An additional feature would be to somehow scan curl/curl.h and compare
with symbols-in-versions to see if there are symbols missing.

spellfix: CURLOPT_TFTP_BLKSIZE it is

ftp: prevent server from hanging on closed data connection

Some FTP servers (e.g. Pure-ftpd) end up hanging if we close the data
connection before transferring all the requested data.  If we send ABOR
in that case, it prevents the server from hanging.

Bug: https://bugzilla.redhat.com/643656
Reported by: Pasi Karkkainen, Patrick Monnerat

Removed a leftover mention of FTP in an error message

Removed the native Makefile.riscos files

These haven't worked in at least 8 years due to missing source
files, and most active RiscOS developers these days apparently
cross-compile anyway.

Signed-off-by: James Bursa <james@zamez.org>

Lightened the stack in wc_statemach to permit deeper recursion

Also, added a few hints to help compilers to perform tail call
recursion optimization.

SSH: use libssh2_session_handshake()

In libssh2 1.2.8, libssh2_session_handshake() replaces
libssh2_session_startup() to fix the previous portability problem with
the socket type that was too small for win64 and thus easily could cause
crashes and more.

SSH: avoid using the libssh2_ prefix

It is a bad idea to use the public prefix used by another library and
now we realize that libssh2 introduces a symbol in the upcoming version
1.2.8 that conflicts with our static function named libssh2_free.

formdata: provide error message

When failing to build form post due to an error, the code now does a
proper failf(). Previously libcurl would report an error like "failed
creating formpost data" when a file wasn't possible to open which was
not easy for users to figure out.

I also lower cased a function name to be named more curl-style and
removed some unnecessary code.

URL-parsing: consider ? a divider

The URL parser got a little stricter as it now considers a ? to be a
host name divider so that the slightly sloppier URLs work too. The
problem that made me do this change was the reported problem with an URL
like: www.example.com?email=name@example.com This form of URL is not
really a legal URL (due to the missing slash after the host name) but is
widely accepted by all major browsers and libcurl also already accepted
it, it was just the '@' letter that triggered the problem now.

The side-effect of this change is that now libcurl no longer accepts the
?  letter as part of user-name or password when given in the URL, which
it used to accept (and is tested in test 191). That letter is however
mentioned in RFC3986 to be required to be percent encoded since it is
used as a divider.

Bug: http://curl.haxx.se/bug/view.cgi?id=3090268

curl_easy_setopt.3: spellfix

curl_easy_setopt.3: CURLOPT_USE_SSL is not just for FTP

It is for FTP, SMTP, POP3, IMAP at least.

krb4.h: removed unused prototypes

krb4: make a few functions static

TODO-RELEASE: cleanup for 7.21.3 works

"SFTP resume with 4GB file does not work" is now removed as I'm sure
this is really a libssh2 bug and not a libcurl bug.

7.21.2 is released already

RELEASE-NOTES: sync with 09a2d93a0f17ca

http_chunks: remove debug output

Accidentally left in there during my previous debugging of this

Curl_setopt: disallow CURLOPT_USE_SSL without SSL support

In order to avoid for example the pingpong protocols to issue STARTTLS
(or equivalent) even though there's no SSL support built-in.

Reported by: Sune Ahlgren
Bug: http://curl.haxx.se/mail/archive-2010-10/0045.html

options: check for features for some options

Some options, such as the automatic decompression and some SSL related
ones now will bail out if the underlying libcurl doesn't have support
for the particular feature needed.

Fixed the IPv6 host address in test1203

Reported by: Christian Weisgerber
Bug: http://curl.haxx.se/bug/view.cgi?id=3087479

curl_easy_setopt.3: clarify CURLOPT_CRLF

The option takes a parameter that should be 1 or 0 to enable or disable
the feature.

URL: http://curl.haxx.se/bug/view.cgi?id=3086428

Some more small Watcom makefile fixes.

Added --noconfigure switch to testcurl.pl.

Modified Watcom makefiles to work on Linux too.

Added MingW32 rtmp target; changed Watcom targets.

Modified Watcom targets to avoid backslashs so that they can
work on Linux too.

gitignore: ignore Makefile.vc10.dist made by maketgz

curlver.h: start over at 7.21.3

RELEASE-NOTES: start over towards 7.21.3

THANKS: added contributors from 7.21.2

RELEASE-NOTES: synced with ecd624b8e774a85

CMake: Build fix.

Do not match the trailing '\n' in the regular expression as this would
make us dump a ) parenthesis on a new line.

This fixes the following error:

would get transformed into:

)

Bug: http://curl.haxx.se/mail/lib-2010-10/0065.html
Reported by: Dimitre Dimitrov

header_callback: strip off file path separated with backslashes

If the filename contains a backslash, only use filename portion. The
idea is that even systems that don't handle backslashes as path
separators probably want that path removed for convenience.

This flaw is considered a security problem, see the curl security
vulnerability http://curl.haxx.se/docs/adv_20101013.html

Get the curl source files for Amiga from Makefile.inc

This is similar to how it's done in the lib directory.
The Amiga build appears to have been broken for a year because
of a missing homedir.c

Added section on server-supplied names to security considerations

Fixed Watcom makefile.

Added build bits for librtmp / libssh2 to Watcom makefiles.

Added build bits for librtmp to NetWare makefiles.

SFTP: more ignoring negative file sizes

As the change in 5f0ae7a0626cbe709 added a precaution against negative
file sizes that for some reason managed to get returned, this change now
introduces the same check at the second place in the code where the file
size from the libssh2 stat call is used.

This check might not be suitable for a 32 bit curl_off_t, but libssh2.h
assumes long long to work and to be 64 bit so I believe such a small
curl_off_t will be very unlikely to occur in the wild.

SMTP: debug output for no known auth mechanisms supported

... and some minor source code whitespace edits

test: urlglob error messages have no extra newline anymore

Added build bits for librtmp to MingW32 makefiles.

RELEASE-NOTES: synced with 61f4cdb73ae4

globbing: fix crash on unballanced open brace

Having an open brace without a closing brace caused a segfault.

Having a closing brace too many caused a silent error to occur, which
caused curl to bail out and return an error code but no error message
was shown. It does now!

All error message outputs no longer wrongly get _two_ newlines written
after the error message.

Reported by: Vlad Ureche
Bug: http://curl.haxx.se/bug/view.cgi?id=3083942

libcurl.m4: AC_PATH_PROG fixes

The invocation of autoconf's AC_PATH_PROG( ) is not quite right for
finding curl-config. This fix corrects the negative case (where
curl-config is not found).

FAQ: added "How do I submit my patch?"

examples: use example.com in example URLs

TODO-RELEASE: libidn problem not repeatable

"261 - configure and libidn" is removed from the list since Julien
Chaffraix tried to repeat it but failed and the reporter did not return
to provide further details.

Reported by: Lyndon Hill
Bug: http://curl.haxx.se/mail/lib-2010-07/0029.html

libcurl.m4: mention argument is PREFIX

The macro provides a --with-libcurl option that expects a PREFIX to be
specified and not actually a "directory" in which libcurl will be found.
This now spells that out more clearly.

Reported by: Dan Locks
Bug: http://curl.haxx.se/bug/view.cgi?id=3079891

Some NetWare makefile tweaks.

Renamed SDK_* to NDK_*; made NDK_* defines overwriteable from
environment; removed now obsolete YACC macro;
moved some curl_config.h defines to IPv6 section since they
are only needed when IPv6 is enabled - this makes libcurl compile
with older NDKs too which were not IPv6-aware.

TODO-RELEASE: 416 error fixed

"3076808 Requests fail silently following a 416 error" done

krb5-gssapi: Removed a memory leak in krb5_auth.

We forgot to release the buffer passed to gss_init_sec_context.

The previous logic was difficult to read as we were reusing the same
variable (gssbuf) for both input buffer and output buffer. Splitted the
logic in 2 variables to better underline who needs to be released.
Also made the code break at 80 lines.

krb5-gssapi: Made the function always return a value.

kr5_auth missed a final 'return' statement. This is not an error in
gcc but can lead to potential bugs.

krb5-gssapi: Delete the GSS-API context.

This fixes a memory leak related to the GSS-API code.

Added a krb5_init and krb5_end functions. Also removed a work-around
the lack of proper initialization of the GSS-API context.

HTTP: remove special case for 416

It was pointed out that the special case libcurl did for 416 was
incorrect and wrong. 416 is not really different to other errors so the
response body must be handled like for other errors/http responses.

Reported by: Chris Smowton
Bug: http://curl.haxx.se/bug/view.cgi?id=3076808

sws: Added writedelay HTTP server command

This delays between write operations, hopefully making it easier
to spot problems where libcurl doesn't flush the socket properly
before waiting for the next response.