SoupAuthDigest, SoupAuthDomainDigest: follow the spec more precisely

Some implementations apparently require you to precisely follow the spec
in terms of whether particular attribute values are quoted or non-quoted.

Probably fixes https://bugzilla.gnome.org/show_bug.cgi?id=582219

Link to GNUTLS here

Don't send URI fragment when requesting via proxy

and add a test for it

Revert "Warn if the user tries to load a URI containing a fragment."

This is causing problems in WebKit.

This reverts commit 19cc4d0c0956ec92f06a0a3a746ad0434e47bc9c.

[SoupURI] add a bit of ftp URI support

SoupCookie: more fixes to path handling

Warn if the user tries to load a URI containing a fragment.

Previously fragments were silently ignored when doing direct HTTP, but
were passed to the proxy when using a proxy (which would sometimes
cause the request to fail, depending on the server configuration).
Since fragments are not meaningful at the HTTP level, callers should
not be passing URIs with fragments to SoupMessage, so warn if they do,
and then consistently ignore the fragment after that.

Also update SoupSession to fix up fragments in Location headers so
that SoupMessage won't warn about them (since that's the server's
fault, not the caller's), and add a test to redirect-test for that.

See also https://bugs.webkit.org/show_bug.cgi?id=28687 for some
additional discussion.

Update cookie parsing/output to match the current httpstate draft better

Also fixes
https://bugzilla.gnome.org/show_bug.cgi?id=603496
https://bugzilla.gnome.org/show_bug.cgi?id=604794

tests/get: updates for cookie debugging

Add "-q" (quiet) flag, and fix it to handle relative URI redirects
"correctly", to support the httpstate cookie test harness. Oh, and add
a SoupCookieJar to the session...

Change the typedef of SoupCookieJar to follow the other parts of soup

https://bugzilla.gnome.org/show_bug.cgi?id=584413

Clean up accept-language-auto a bit

Fix leaks, cross-reference the docs, use nicer qvalues, and don't
bother cleaning up the g_get_language_names() return value; that's
glib's fault (bug 604815).

Also, use accept-language-auto in tests/get

New accept-language-auto property for SoupSession

Provide a new way for SoupSession to assume an 'Accept-Language'
string automatically from the return value of g_get_language_names(),
properly formatted according to RFC2616.

https://bugzilla.gnome.org/show_bug.cgi?id=597004

Provide a new 'accept-language' property for SoupSession

This would allow to externally set a list of languages for the HTTP
"Accept-Language" header, compliant to rfc2616.

https://bugzilla.gnome.org/show_bug.cgi?id=597004

fix dist

Content-Encoding support

Adds SoupContentDecoder, which provides support for decoding "gzip"
Content-Encoding. For now other types are not supported and can't be
added. The SoupCoding interface is private because it will eventually
be replaced with something GConverter-based.

https://bugzilla.gnome.org/show_bug.cgi?id=522772

[SoupAuthDigest] don't crash if the server supports qop="auth,auth-int"

pointed out on libsoup-list

Fix memory corruption in SoupPasswordManagerGNOME

Debugged by Gustavo Noronha Silva,
https://bugzilla.gnome.org/show_bug.cgi?id=595554

Handle spurious CR/LFs between responses

based on a patch from Alexander V. Butenko.
https://bugzilla.gnome.org/show_bug.cgi?id=602863

Fix comment in previous commit

Make connection-created and tunneling of SoupSession use a GObject

The connection-created and tunneling signals added to SoupSession in commit
6ff7ecdd were using SoupConnection, and this made SoupConnection
semi-public (gir-repository failed to build because it didn't know about
it, for example).

Since SoupConnection is intended to be private, use a GObject for the
signal parameter.

https://bugzilla.gnome.org/show_bug.cgi?id=603696

[configure] post-release bump to 2.29.4

2.29.3

[SoupAuthDomainDigest] fix nc parsing

We were parsing it as decimal rather than hex, which meant the auth
would fail and return 401 again after 10 requests.

Noted by Chris Head,
https://bugzilla.gnome.org/show_bug.cgi?id=602898

Don't leak session if message is cancelled during socket connection

Fix up refcounting handling so that if the session is destroyed while
a connection attempt is pending, it doesn't cause the session to be
leaked.

https://bugzilla.gnome.org/show_bug.cgi?id=596074

Changes to SoupConnection and SoupSession for debugging

Specifically, to help epiphany's soup-fly extension track connection
usage.

Patch from José Millán Soto,
https://bugzilla.gnome.org/show_bug.cgi?id=598163

Add soup_session_prepare_for_uri

Lets the session prepare for a possible upcoming request. (Eg,
WebKitGTK will call this when the user hovers over a link.) Currently
just does DNS resolution. Will eventually do proxy resolution as well.

Based on a patch from José Millán Soto
https://bugzilla.gnome.org/show_bug.cgi?id=598948

[configure] bump version to 2.29.3

Fix Request-Line in https over proxy

Previously it was continuing to send a full URI rather than only a path
in the Request-Line after completing the CONNECT, which confused some
(broken) servers.

https://bugzilla.gnome.org/show_bug.cgi?id=598277
https://bugzilla.gnome.org/show_bug.cgi?id=600826

soup_multipart_new_from_message: fix to work with binary attachments

Previously we were using strstr() to find the multipart boundary, so
it would fail if the body contained '\0' bytes. Update
tests/forms-test to test this case.

https://bugzilla.gnome.org/show_bug.cgi?id=601640

soup_cookies_from_request: fix to not always g_warn

https://bugzilla.gnome.org/show_bug.cgi?id=602389

Don't crash when setting cookie for about:blank

https://bugzilla.gnome.org/show_bug.cgi?id=602498

SOUP_URI_VALID_FOR_HTTP: update to check uri->path too

[SoupAddress] make _resolve_async idempotent, document/fix thread-safety

Document that _resolve_async() can be called multiple times, but only
from the same async_context, and _resolve_sync() can be called
multiple times from different threads. Note that _get_name, etc, may
misbehave in the presence of multiple threads.

Change _resolve_async() so that multiple attempts to resolve the same
address will result in only a single GResolver call, and they will all
complete at the same time.

Part of https://bugzilla.gnome.org/show_bug.cgi?id=598948

[SoupAddress] Remove some cruft

Tell GnuTLS about interesting Winsock errors

In the pull and push functions, if we get a Winsock error, tell GnuTLS
about it. Treat WSAEWOULDBLOCK and WSAETIMEDOUT as EAGAIN and WSAEINTR
as EINTR. This helps timeout-test run to finish.

Approved in bug #600749.

Register libgcrypt thread callbacks also on Windows

Libsoup must register thread callback functions for libgcrypt also on
Windows, otherwise libgcrypt will use its fallback dummy mutex
functions which don't do any real mutexing.

Approved in bug #600748.

Ensure WSAStartup() is called on Windows more reliably

It is apparently no longer enough to call WSAStartup() from
soup_address_class_init() and expect that to be called from
soup_address_get_type().

Furthermore, soup-address.c doesn't do any socket API calls any more
so it is more natural to do the WSAStartup() call in
soup-socket.c. Use G_DEFINE_TYPE_WITH_CODE() to make sure
soup_socket_get_type() calls once exactly a function that calls
WSAStartup(). This is what GInetAddress does too, for instance.

Ajust ssl-test.c accordingly.

Approved in bug #600689.

Don't change HEAD to GET on 303 redirect

https://bugzilla.gnome.org/show_bug.cgi?id=600830

Don't crash if the sqlite database lacks some values

Right now we strcmp() the isSecure and isHttpOnly values,
but if they are missing we will crash since strcmp() is
not NULL safe. Use g_strcmp0() instead.

2.28.1

Fix the latest round of "Connection terminated unexpectedly" errors

The fix introduced in ef7fc058 for bug 578990 caught most cases where
we'd write a request to an already-closed connection, but not all.
Unfortunately, at some point the code path for recovering from that
case got broken, so when it did happen, we'd always end up returning
the error to the app rather than retrying the request. This is now
fixed again.

The specific recent cause of the problem was that the
multiple-pending-connections fix (baa316ac/bug 594768) results in us
sometimes opening more connections than we need, and so some of those
connections become idle without ever having had a message sent across
them. Servers tend to have different timeouts/behaviors here than with
idle persistent connections, so we should time them out more
aggressively. So now we close a connection after 3 seconds if it
hasn't been used yet.

fix soup_address_get_physical and reverse-resolution

Noted by Enrico Tröger on IRC.

Belatedly clean up some dns/socket-related stuff

We use GResolver so we don't need to check for getaddrinfo() etc
ourselves, and we don't need to check for IPv6 support, since
GResolver/GSocket require it unconditionally.

[configure] import libgcrypt.m4 to m4/

Fixes both https://bugzilla.gnome.org/show_bug.cgi?id=587709 (the
current hack for letting you autogen without libgcrypt.m4 does the
wrong thing if you have gnutls-devel but not libgcrypt-devel
installed) and https://bugzilla.gnome.org/show_bug.cgi?id=592275
(older autotools don't automatically create the m4/ dir).

[configure] require gnutls>=2.1.7

noted by Nguyen Thai Ngoc Duy in bug 581342

Allow multiple pending connections to a server at once

Only allowing a single connection attempt at once really slows down
pages with lots of subresources on servers that disallow persistent
connections.

https://bugzilla.gnome.org/show_bug.cgi?id=594768

Fixed problem with the content sniffing.

The content sniffing loop that checks the content patterns was not
controlling the length of each pattern.

https://bugzilla.gnome.org/show_bug.cgi?id=597545

Make QUERY_ALL explicit in SoupCookieJarSQLite

SELECT * is dangerous, as there seems to be at least two different
formats with different orders in the wild.

Bug #596859

Signed-off-by: Xan Lopez <xan@gnome.org>

2.28.0

Keep reference on SoupSocket while emitting signals

The socket could have its last external referenced dropped by
soup_message_io_cleanup() during the "readable" signal and then
abort() when trying to emit the "disconnected" signal.

https://bugzilla.gnome.org/show_bug.cgi?id=594951

Fix leaks, including a large one in SoupContentSniffer

Fix a handful of leaks noticed by valgrind, including a leak of the
buffers being passed to SoupContentSniffer
(https://bugs.webkit.org/show_bug.cgi?id=28148).

Fix leaks in test programs, update libsoup.supp

_SOUP_ATOMIC_INTERN_STRING: cast result to (const char *)

http://bugzilla.gnome.org/show_bug.cgi?id=594508

Keep database handle open, and avoid synchronous writes

The synchronous writes behavior is the safest, but has very poor
performance, and causes UI hangs for users of soup.

Bug #584522

2.27.92

Remove SoupPasswordManager from the stable API

See http://bugzilla.gnome.org/show_bug.cgi?id=594377

SoupURI: an empty query is distinct from no query

http://bugzilla.gnome.org/show_bug.cgi?id=594405

Skip termios stuff in tests/get if building on Windows

Yeah, yeah, I should add a HAVE_TERMIOS_H test. Whatever.

http://bugzilla.gnome.org/show_bug.cgi?id=593845

Reset error pointer to NULL when we are about to use it again.

Just in case sqlite expects this to be the case a la GError.

Also use NULL instead of 0 to initialize the error pointers elsewhere.

Set MISSING_REGRESSION_TEST_PACKAGES if built with --disable-ssl

This way "make check" will warn you that it didn't test everything

Fix timeout-test without SSL support

http://bugzilla.gnome.org/show_bug.cgi?id=593563

Fix header names in build-howto.xml

Pointed out by Dominik Bylica

Fix some incorrect "Since" tags in SoupCookieJar docs.

Pointed out by Lucian Langa

post-release bump to 2.27.92

2.27.91

Fix some leaks in the error cases of soup_multipart_new_from_message()

Noticed by Xan Lopez while looking for a different leak.

Avoid infinite loop trying to connect to host when the network is down.

If a connection attempt to a host fails, fail all of the messages
queued for that host.

Previously we would leave them in the queue if there was already an
existing connection to the host (hoping that we'd be able to reuse
that connection for the other messages later), but this meant that if
there was a single connection to a host open, with a message running
on it, and at least one additional queued message to the same host,
and then the network went down, libsoup would get stuck in a loop
repeatedly trying and failing to open a second connection (with the
first connection never getting a chance to time out).

http://bugzilla.gnome.org/show_bug.cgi?id=592492

Fix SoupLogger to not crash with streamed requests

http://bugzilla.gnome.org/show_bug.cgi?id=591857

Re-redo not-yet-used connection handling

Previously we were taking special care to avoid closing connections
that hadn't been used yet, but this is not actually necessary;
run_queue() doesn't prune idle connections until after running through
the entire queue once, so if the new connection is still idle at that
point, it means we no longer have a message to send on it (probably
because the message already got sent on another connection), and so it
is legitimate to close it if needed.

http://bugzilla.gnome.org/show_bug.cgi?id=592084

Remove checks for SOUP_MESSAGE_IO_STATUS_CONNECTING, since it never gets set

The connection-management rewrite removed the code that would set it.
Since it never worked exactly the way it was supposed to anyway, let's
just get rid of it and replace it with something better.

Fix the definition of soup_message_is_keepalive() for HTTP/1.0

Fixes a problem where some requests would reach 100% but never "finish"

Add warning in a "can't happen" case

This is mostly to indicate that we did not forget error checking.

Tweak SoupConnection handling a bit wrt "not yet used" connections.

Should help to avoid the "undead" connections described in bug 592084.

Notice closed connections sooner

Only works on UNIX; Windows has to wait for the GSocket port.

http://bugzilla.gnome.org/show_bug.cgi?id=578990

Fix a crash when processing a request with no Host header

Pointed out by Andreas Henriksson on IRC

Add SoupPasswordManager and SoupPasswordManagerGNOME

SoupPasswordManager (and some new SoupAuth APIs) provide an interface
for saving passwords, and SoupPasswordManagerGNOME provides an
implementation of that interface using gnome-keyring.

post-release version bump

2.27.90

Fix up docs

Port SoupAddress to use GResolver, remove soup-dns

Fix error code when trying to https with --disable-ssl

http://bugzilla.gnome.org/show_bug.cgi?id=590464

Add soup_session_get_feature_for_message, remove _get_proxy_resolver

Add a cache to soup_session_get_feature(), and remove the separate
auth_manager and proxy_resolver private vars, and just use
soup_session_get_feature() as needed instead. (Partly inspired by the
fact that the cache branch adds yet another specially-tracked
feature.)

Add soup_session_get_feature_for_message() to get a feature and check
soup_message_disables_feature() on it, and use that to replace
soup_session_get_proxy_resolver().

Add soup_message_disable_feature()

This allows you to disable specific SoupSessionFeatures for particular
messages.

Also update tests/sniffing-test to test it out.

http://bugzilla.gnome.org/show_bug.cgi?id=574773

Support "OPTIONS *" in SoupServer

Update soup-message-server-io.c to allow "*" in a Request-Line, and
update SoupServer and SoupAuthDomain methods and docs to deal with it.
For backward-compatibility, requests to "*" are NOT passed to the
default handler; you must explicitly register a handler for "*".

http://bugzilla.gnome.org/show_bug.cgi?id=590751

another out-of-tree build fix

Build fixes

- Add -I$(top_builddir) to documentation scanner CFLAGS (fixes "make
  distcheck" run from an out-of-tree build)

Use an m4/ directory for aclocal files

Add automake 1.11 silent-rules support

Use guchar instead of char where the distinction is important.

Noticed by -Wextra

Remove a redundant check

Clarify that an ignored return value is intentional, to appease fortify

http://bugzilla.gnome.org/show_bug.cgi?id=591226

Add some g_return_if_fail()s to soup-headers.c

(partly from "cache" branch)

soup-session: fix typo in documentation

Add missing soup-proxy-uri-resolver.h to soup.h

Mirror Mozilla behavior for when to follow Content-Length

Mozilla only honors content length on messages that use keep-alive to
work around servers that send broken Content-Length headers. This patch
mirrors that behavior.

An example for such a page is
http://sourceforge.net/apps/wordpress/sourceforge

Re-fix _SOUP_ATOMIC_INTERN_STRING to not cause strict-aliasing warnings

http://bugzilla.gnome.org/show_bug.cgi?id=588771

2.27.5

Don't crash when a request is redirected to an invalid/non-http URI

Make redirect_handler() reject such responses, and also make soup-uri
g_return_if_fail rather than crashing. Add a regression test.

http://bugzilla.gnome.org/show_bug.cgi?id=528882

Do not discard the request body after sending, even if !accumulate

We can't discard the request body until the message is completely
finished, because it may be necessary to send it a second time due to
redirect, authentication, or premature connection close.

In particular, if the request body did get discarded, then when
soup-message-io tried to send it the second time, it would see a non-0
content-length but no body chunks, and so would assume that the
application was intending to stream the body, and so would pause it
and wait for the first chunk. Since the application was not actually
intending to stream the request, this would result in the message
getting stuck forever.

http://bugzilla.gnome.org/show_bug.cgi?id=584645

Build fixes

- Remove acinclude.m4, which just hosted a stale copy of
  GTK_DOC_CHECK, which in turn broke "make distcheck" when used in
  combination with the gtk-doc.make installed by newer gtkdocize.

- Fix #include in soup-path-map.h.