[SoupAddress] make _resolve_async idempotent, document/fix thread-safety

Document that _resolve_async() can be called multiple times, but only
from the same async_context, and _resolve_sync() can be called
multiple times from different threads. Note that _get_name, etc, may
misbehave in the presence of multiple threads.

Change _resolve_async() so that multiple attempts to resolve the same
address will result in only a single GResolver call, and they will all
complete at the same time.

Part of https://bugzilla.gnome.org/show_bug.cgi?id=598948

[SoupAddress] Remove some cruft

Tell GnuTLS about interesting Winsock errors

In the pull and push functions, if we get a Winsock error, tell GnuTLS
about it. Treat WSAEWOULDBLOCK and WSAETIMEDOUT as EAGAIN and WSAEINTR
as EINTR. This helps timeout-test run to finish.

Approved in bug #600749.

Register libgcrypt thread callbacks also on Windows

Libsoup must register thread callback functions for libgcrypt also on
Windows, otherwise libgcrypt will use its fallback dummy mutex
functions which don't do any real mutexing.

Approved in bug #600748.

Ensure WSAStartup() is called on Windows more reliably

It is apparently no longer enough to call WSAStartup() from
soup_address_class_init() and expect that to be called from
soup_address_get_type().

Furthermore, soup-address.c doesn't do any socket API calls any more
so it is more natural to do the WSAStartup() call in
soup-socket.c. Use G_DEFINE_TYPE_WITH_CODE() to make sure
soup_socket_get_type() calls once exactly a function that calls
WSAStartup(). This is what GInetAddress does too, for instance.

Ajust ssl-test.c accordingly.

Approved in bug #600689.

Don't change HEAD to GET on 303 redirect

https://bugzilla.gnome.org/show_bug.cgi?id=600830

Don't crash if the sqlite database lacks some values

Right now we strcmp() the isSecure and isHttpOnly values,
but if they are missing we will crash since strcmp() is
not NULL safe. Use g_strcmp0() instead.

2.28.1

Fix the latest round of "Connection terminated unexpectedly" errors

The fix introduced in ef7fc058 for bug 578990 caught most cases where
we'd write a request to an already-closed connection, but not all.
Unfortunately, at some point the code path for recovering from that
case got broken, so when it did happen, we'd always end up returning
the error to the app rather than retrying the request. This is now
fixed again.

The specific recent cause of the problem was that the
multiple-pending-connections fix (baa316ac/bug 594768) results in us
sometimes opening more connections than we need, and so some of those
connections become idle without ever having had a message sent across
them. Servers tend to have different timeouts/behaviors here than with
idle persistent connections, so we should time them out more
aggressively. So now we close a connection after 3 seconds if it
hasn't been used yet.

fix soup_address_get_physical and reverse-resolution

Noted by Enrico Tröger on IRC.

Belatedly clean up some dns/socket-related stuff

We use GResolver so we don't need to check for getaddrinfo() etc
ourselves, and we don't need to check for IPv6 support, since
GResolver/GSocket require it unconditionally.

[configure] import libgcrypt.m4 to m4/

Fixes both https://bugzilla.gnome.org/show_bug.cgi?id=587709 (the
current hack for letting you autogen without libgcrypt.m4 does the
wrong thing if you have gnutls-devel but not libgcrypt-devel
installed) and https://bugzilla.gnome.org/show_bug.cgi?id=592275
(older autotools don't automatically create the m4/ dir).

[configure] require gnutls>=2.1.7

noted by Nguyen Thai Ngoc Duy in bug 581342

Allow multiple pending connections to a server at once

Only allowing a single connection attempt at once really slows down
pages with lots of subresources on servers that disallow persistent
connections.

https://bugzilla.gnome.org/show_bug.cgi?id=594768

Fixed problem with the content sniffing.

The content sniffing loop that checks the content patterns was not
controlling the length of each pattern.

https://bugzilla.gnome.org/show_bug.cgi?id=597545

Make QUERY_ALL explicit in SoupCookieJarSQLite

SELECT * is dangerous, as there seems to be at least two different
formats with different orders in the wild.

Bug #596859

Signed-off-by: Xan Lopez <xan@gnome.org>

2.28.0

Keep reference on SoupSocket while emitting signals

The socket could have its last external referenced dropped by
soup_message_io_cleanup() during the "readable" signal and then
abort() when trying to emit the "disconnected" signal.

https://bugzilla.gnome.org/show_bug.cgi?id=594951

Fix leaks, including a large one in SoupContentSniffer

Fix a handful of leaks noticed by valgrind, including a leak of the
buffers being passed to SoupContentSniffer
(https://bugs.webkit.org/show_bug.cgi?id=28148).

Fix leaks in test programs, update libsoup.supp

_SOUP_ATOMIC_INTERN_STRING: cast result to (const char *)

http://bugzilla.gnome.org/show_bug.cgi?id=594508

Keep database handle open, and avoid synchronous writes

The synchronous writes behavior is the safest, but has very poor
performance, and causes UI hangs for users of soup.

Bug #584522

2.27.92

Remove SoupPasswordManager from the stable API

See http://bugzilla.gnome.org/show_bug.cgi?id=594377

SoupURI: an empty query is distinct from no query

http://bugzilla.gnome.org/show_bug.cgi?id=594405

Skip termios stuff in tests/get if building on Windows

Yeah, yeah, I should add a HAVE_TERMIOS_H test. Whatever.

http://bugzilla.gnome.org/show_bug.cgi?id=593845

Reset error pointer to NULL when we are about to use it again.

Just in case sqlite expects this to be the case a la GError.

Also use NULL instead of 0 to initialize the error pointers elsewhere.

Set MISSING_REGRESSION_TEST_PACKAGES if built with --disable-ssl

This way "make check" will warn you that it didn't test everything

Fix timeout-test without SSL support

http://bugzilla.gnome.org/show_bug.cgi?id=593563

Fix header names in build-howto.xml

Pointed out by Dominik Bylica

Fix some incorrect "Since" tags in SoupCookieJar docs.

Pointed out by Lucian Langa

post-release bump to 2.27.92

2.27.91

Fix some leaks in the error cases of soup_multipart_new_from_message()

Noticed by Xan Lopez while looking for a different leak.

Avoid infinite loop trying to connect to host when the network is down.

If a connection attempt to a host fails, fail all of the messages
queued for that host.

Previously we would leave them in the queue if there was already an
existing connection to the host (hoping that we'd be able to reuse
that connection for the other messages later), but this meant that if
there was a single connection to a host open, with a message running
on it, and at least one additional queued message to the same host,
and then the network went down, libsoup would get stuck in a loop
repeatedly trying and failing to open a second connection (with the
first connection never getting a chance to time out).

http://bugzilla.gnome.org/show_bug.cgi?id=592492

Fix SoupLogger to not crash with streamed requests

http://bugzilla.gnome.org/show_bug.cgi?id=591857

Re-redo not-yet-used connection handling

Previously we were taking special care to avoid closing connections
that hadn't been used yet, but this is not actually necessary;
run_queue() doesn't prune idle connections until after running through
the entire queue once, so if the new connection is still idle at that
point, it means we no longer have a message to send on it (probably
because the message already got sent on another connection), and so it
is legitimate to close it if needed.

http://bugzilla.gnome.org/show_bug.cgi?id=592084

Remove checks for SOUP_MESSAGE_IO_STATUS_CONNECTING, since it never gets set

The connection-management rewrite removed the code that would set it.
Since it never worked exactly the way it was supposed to anyway, let's
just get rid of it and replace it with something better.

Fix the definition of soup_message_is_keepalive() for HTTP/1.0

Fixes a problem where some requests would reach 100% but never "finish"

Add warning in a "can't happen" case

This is mostly to indicate that we did not forget error checking.

Tweak SoupConnection handling a bit wrt "not yet used" connections.

Should help to avoid the "undead" connections described in bug 592084.

Notice closed connections sooner

Only works on UNIX; Windows has to wait for the GSocket port.

http://bugzilla.gnome.org/show_bug.cgi?id=578990

Fix a crash when processing a request with no Host header

Pointed out by Andreas Henriksson on IRC

Add SoupPasswordManager and SoupPasswordManagerGNOME

SoupPasswordManager (and some new SoupAuth APIs) provide an interface
for saving passwords, and SoupPasswordManagerGNOME provides an
implementation of that interface using gnome-keyring.

post-release version bump

2.27.90

Fix up docs

Port SoupAddress to use GResolver, remove soup-dns

Fix error code when trying to https with --disable-ssl

http://bugzilla.gnome.org/show_bug.cgi?id=590464

Add soup_session_get_feature_for_message, remove _get_proxy_resolver

Add a cache to soup_session_get_feature(), and remove the separate
auth_manager and proxy_resolver private vars, and just use
soup_session_get_feature() as needed instead. (Partly inspired by the
fact that the cache branch adds yet another specially-tracked
feature.)

Add soup_session_get_feature_for_message() to get a feature and check
soup_message_disables_feature() on it, and use that to replace
soup_session_get_proxy_resolver().

Add soup_message_disable_feature()

This allows you to disable specific SoupSessionFeatures for particular
messages.

Also update tests/sniffing-test to test it out.

http://bugzilla.gnome.org/show_bug.cgi?id=574773

Support "OPTIONS *" in SoupServer

Update soup-message-server-io.c to allow "*" in a Request-Line, and
update SoupServer and SoupAuthDomain methods and docs to deal with it.
For backward-compatibility, requests to "*" are NOT passed to the
default handler; you must explicitly register a handler for "*".

http://bugzilla.gnome.org/show_bug.cgi?id=590751

another out-of-tree build fix

Build fixes

- Add -I$(top_builddir) to documentation scanner CFLAGS (fixes "make
  distcheck" run from an out-of-tree build)

Use an m4/ directory for aclocal files

Add automake 1.11 silent-rules support

Use guchar instead of char where the distinction is important.

Noticed by -Wextra

Remove a redundant check

Clarify that an ignored return value is intentional, to appease fortify

http://bugzilla.gnome.org/show_bug.cgi?id=591226

Add some g_return_if_fail()s to soup-headers.c

(partly from "cache" branch)

soup-session: fix typo in documentation

Add missing soup-proxy-uri-resolver.h to soup.h

Mirror Mozilla behavior for when to follow Content-Length

Mozilla only honors content length on messages that use keep-alive to
work around servers that send broken Content-Length headers. This patch
mirrors that behavior.

An example for such a page is
http://sourceforge.net/apps/wordpress/sourceforge

Re-fix _SOUP_ATOMIC_INTERN_STRING to not cause strict-aliasing warnings

http://bugzilla.gnome.org/show_bug.cgi?id=588771

2.27.5

Don't crash when a request is redirected to an invalid/non-http URI

Make redirect_handler() reject such responses, and also make soup-uri
g_return_if_fail rather than crashing. Add a regression test.

http://bugzilla.gnome.org/show_bug.cgi?id=528882

Do not discard the request body after sending, even if !accumulate

We can't discard the request body until the message is completely
finished, because it may be necessary to send it a second time due to
redirect, authentication, or premature connection close.

In particular, if the request body did get discarded, then when
soup-message-io tried to send it the second time, it would see a non-0
content-length but no body chunks, and so would assume that the
application was intending to stream the body, and so would pause it
and wait for the first chunk. Since the application was not actually
intending to stream the request, this would result in the message
getting stuck forever.

http://bugzilla.gnome.org/show_bug.cgi?id=584645

Build fixes

- Remove acinclude.m4, which just hosted a stale copy of
  GTK_DOC_CHECK, which in turn broke "make distcheck" when used in
  combination with the gtk-doc.make installed by newer gtkdocize.

- Fix #include in soup-path-map.h.

Allow version 1 CA certificates in clients

This is done by setting the GNUTLS_VERIFY_ALLOW_X509_V1_CA_CRT
flag while setting up the credentials and parsing the CA certificate
file. This is necessary because without it, some releases of gnutls
reject certificates that are currently in use by major sites, including
Google.

Setting the flag is safe in libsoup because the file is meant to
contain only CA certificates. The main weakness around version 1
certs is that personal certificates could be mistaken for CA certs,
which shouldn't happen if libsoup is used as intended.

Servers don't have the possibility to verify their clients, so this
problem doesn't apply to them.

http://bugzilla.gnome.org/show_bug.cgi?id=589323

Fix cut+pasto in win32 gnutls code

2.27.4

distcheck fixes for sniffing-test

Make gcc happy with body handling in sniffing-test

Fix HTML or feed algorithm to not go past resource_length

Fix SSL on Windows

The connection timeout changes had broken SSL on Windows because they
used read/write rather than recv/send.

Based on a patch from Fridrich Strba.
http://bugzilla.gnome.org/show_bug.cgi?id=587910

Make SOUP_SESSION_TIMEOUT also affect async connection

http://bugzilla.gnome.org/show_bug.cgi?id=588177

Fix a content-sniffer crash with redirected URLs

SoupMessageHeaders was not properly cleaning up the cached
Content-Type when a request was redirected, which meant that if the
redirected-to URL had no Content-Type header, then
soup_message_headers_get_content_type() would return the Content-Type
of the original request, but
soup_message_headers_get_one("Content-Type") would return NULL,
causing the sniffer to crash.

http://bugzilla.gnome.org/show_bug.cgi?id=588335

Miscellaneous content-sniffing fixes

Remove the should_sniff_content flag; if there is a sniffer, we always
sniff.

Clean up soup-message-io a bit to require fewer special cases, and fix
a few potential leaks/crashes where it wasn't dealing with
IF_CANCELLED_OR_PAUSED correctly. (Although this looks like a large
patch, it actually results in a much smaller diff relative to 2.26.

Fix tests/sniffing-test to do chunked encoding correctly, make sure to
return data in chunks that are smaller than the sniffing buffer size,
and make resources/mbox larger than the sniffing buffer size so it
takes multiple reads to get enough data (when using chunked encoding).
Also add tests for empty response bodies (from Gustavo).

http://bugzilla.gnome.org/show_bug.cgi?id=587907

Actually test chunked encoding, and fix some hangs

The test was not really testing chunked encoding, because of incorrect
handling of the query string in the SoupURI, now it does. This has
exposed a couple hangs.

This change also avoids hanging on chunked encoding messages on the
sniffing test by calling soup_message_body_complete(), and by
sanitizing IO read state and read_length inconditionally when we reach
got_body, during message IO.

Fix the SOUP_METHOD_* and SOUP_URI_SCHEME_* defines to be threadsafe

Also fix/optimize a few other things in URI scheme canonicalization

Implement content sniffing

The implementation is based on the draft spec on Content-Type
Processing Model (draft-abarth-mime-sniff-01). It is a spinoff from
the HTML5 spec.

Soup now provides a SoupContentSniffer session feature, which hooks
into the message I/O, and delays emissions of the got-chunk signal to
be able to figure out the Content-Type of messages from the actual
content received, in some cases.

GIO is also used to sniff content, whenever the spec allows further
sniffing.

http://bugzilla.gnome.org/show_bug.cgi?id=572589

Require explicit --disable-ssl to build without GNUTLS support

In general, if someone is trying to build without GNUTLS installed
it's an accident, so bail out with an error.

Inspired by http://bugzilla.gnome.org/show_bug.cgi?id=584955

Fix POST 301 redirect behavior

We were doing POST->GET translation on 302 and 303, but we need to do
it on 301 as well to be compatible.

http://bugzilla.gnome.org/show_bug.cgi?id=586692

2.27.2

Remove -r flag from tests/get

The requirement that it imposed--that we "guess" the name of the index
file when fetching a URL that ended with "/"--is more annoying than
the usefulness of being able to test multiple downloads at once.

add a HACKING file with some initial notes on code style and correctness

Add "Content-Length: 0" to requests with a Content-Type but no body

Some servers get annoyed if a POST/PUT declares a Content-Type but
contains no body, so make sure to send a 0-length body (which is
different) instead.

Implement SoupProxyURIResolver, to replace SoupProxyResolver

Simplifies implementations, allows for non-http proxy resolution, and
allows authentication information to be passed.

http://bugzilla.gnome.org/show_bug.cgi?id=580051

SoupConnection/SoupSession reorg and cleanup

Move CONNECT handling from SoupConnection to SoupSession so it works
more like other requests. Generally clean up and simplify
SoupConnection, and simplify the coordination between SoupSession and
its subclasses.

Fix hostname resolution behavior

Previously we went to some effort to resolve the message URI hostname
to an IP address before figuring out proxies/connections, but this
turns out to be wrong for multiple reasons:

  1. Some hosts that send all requests via proxy don't even have a
     working DNS config.
     (http://bugzilla.gnome.org/show_bug.cgi?id=577532)

  2. Apparently no one expects hostnames in requests to be matched
     against IP addresses in proxy ignore lists anyway.

  3. The big web browsers all implement connection limits on a
     per-hostname basis, not a per-IP basis, and some web pages take
     advantage of this by using multiple aliases for the same host
     to get around the connection limit.

Also update tests/proxy-test to verify that the hostname is not
resolved when passing a request to a proxy.

More temporary SSL tweaking

Disable TLS 1.0 too, since some sites don't even support that (I'm
looking at you, PayPal). Eventually we'll want to make this be more
clever, and have it first try TLS 1.1 with extensions, and then fall
back to SSL 3.0 if the server gets confused by the new stuff. But that
will take some rewriting.

Include the (optional) algorithm param in Digest auth responses

Apple's CalDAV server apparently considers it mandatory.
http://bugzilla.gnome.org/show_bug.cgi?id=583091

Use POSIXly-correct "test a = b" rather than bash "test a == b"

Stupid bash. http://bugzilla.gnome.org/show_bug.cgi?id=583911

Update REQUIRED_AUTOMAKE_VERSION to match reality

http://bugzilla.gnome.org/show_bug.cgi?id=583942

Don't emit "authenticate" until a message is actually sent and fails.

In some cases, we're reasonably sure it's going to fail if we don't
emit authenticate, but forcing callers to deal with both the
pre-sending and post-sending cases in their authenticate handlers
makes writing them tricky. (In particular, calling
soup_message_io_pause() in the pre-sending case won't work, since the
message hasn't actually started yet.) This also solves the problem
that we were previously emitting "authenticate" both before and after
the message was sent in some cases.

Add a regression test for this case (written by Gustavo Noronha, who
figured out the circumstances where the bug was happening), and tweak
the existing regression tests to match the new rules.

http://bugzilla.gnome.org/show_bug.cgi?id=583462

Temporarily redo the TLS compatibility patch

It broke tests/ssl-test on machines that support %SSL3_RECORD_VERSION.
For now, we will just not use that flag, and instead always disable
TLS 1.1. The gnutls problem has been reported upstream.

Don't set AI_CANONNAME when calling getaddrinfo()

We weren't using the information it generated, so it had no effect
besides slowing things down with additional DNS traffic. Pointed out
by Christophe Gillette on libsoup-list.

Fix a warning introduced in fix for bug 582002

Fix cflags to work with older versions of gcc

Check that gcc supports -Wmissing-include-dirs and -Wundef rather than
using them unconditionally.

http://bugzilla.gnome.org/show_bug.cgi?id=578851

Fix the header/body boundary detection logic

The change to support LF LF in addition to CRLF CRLF broke this subtly
so that if the first network read returned a packet that ended at a
CR, then the following LF would be mistakenly interpreted as ending
the headers.

http://bugzilla.gnome.org/show_bug.cgi?id=582002