libsoup.supp: belatedly commit some fixes

Use GTlsDatabase, add new SoupSession properties for it

Now that we have GTlsFileDatabase, we can use that to validate
certificates when the caller sets SoupSession:ssl-ca-file, rather than
doing it the slow hacky way we had been.

Also, add two new properties, SoupSession:tlsdb, to set an arbitrary
GTlsDatabase on the session, and SoupSession:use-system-ca-file, to
tell it to use the default GTlsDatabase.

redirect-test: add a test for accidental connection sharing

https://bugzilla.gnome.org/show_bug.cgi?id=651146

SoupSession: set the connection to IDLE on unqueuing SoupMessages

Connection should be set to IDLE state only after being 100% sure that is
not going to be reused by the current owner.

Also, fix a bug in SoupSessionSync revealed by this change.

https://bugzilla.gnome.org/show_bug.cgi?id=651146

SoupSession: make pause/unpause work in any state

https://bugzilla.gnome.org/show_bug.cgi?id=651146

Update for GStaticMutex deprecation in glib master

Instead of using GStaticMutex directly, use the G_LOCK macros, which
use GStaticMutex on older glibs and GMutex on newer glibs.

post-branch version bump to 2.37.0

2.36.0

Lots of gtk-doc fixes (no code changes)

2.35.92

tests/ssl-test: belatedly commit this

SoupSession: forget about SoupHosts if not used

Free SoupHosts with 0 connections after some time. Host IP addresses will
this way be re-resolved, protecting clients against server IP changes.

https://bugzilla.gnome.org/show_bug.cgi?id=646959

tests/ssl-test: add a test of https-related functionality

tests: update the test ssl key

Update the test ssl key to specify "CN=127.0.0.1", so we don't get
G_TLS_CERTIFICATE_BAD_IDENTITY from it

soup-socket: fix tls-errors property

We were mistakenly leaving G_TLS_CERTIFICATE_UNKNOWN_CA set after
validating the certificate against the ssl_creds's CA list.

soup-message-io: fix setting of SoupMessage TLS properties

Now that the TLS handshake occurs during connection, the socket
properties are set before we get to soup-message-io (and never
change), so copy them to the message right away rather than waiting
for a property notification.

https://bugzilla.gnome.org/show_bug.cgi?id=611496

tests: fix a few leaks, update valgrind suppressions file

soup-http-input-stream: read data from leftover buffers in finished messages

soup_http_input_stream_read(_async) allow clients to read pending data in
leftover buffers even if the SoupMessage used by the stream is finished.

https://bugzilla.gnome.org/show_bug.cgi?id=659256

Fix documentation to use the appropriate term for flags

Although checking for the existence of flags yields a boolean value,
flags can't be true, they are either set or not set.

2.35.90

Don't use the reserved keyword 'interface'

On Win32 environments, the keyword 'interface' is a reserved keyword. Up
until now a hack was applied in soup-portability.h to '#undef interface'
so that various pieces of libsoup could use that keyword. However, due
to a recent change in the mingw-w64 toolchain this #undef causes more
breakage while #include'ing other Win32 headers.

As the keyword 'interface' is a reserved keyword on Win32, applications
or libraries shouldn't be messing around with that. This patch changes
various parts of libsoup where the keyword 'interface' is used as name
for variables. These variables have been renamed to 'iface'. Due to this
rename, the #undef hack can be dropped and libsoup can be compiled
cleanly against the latest mingw-w64 toolchain

https://bugzilla.gnome.org/show_bug.cgi?id=656402

Add SOUP_MESSAGE_CAN_REBUILD, for regeneratable streamed request bodies

Long ago, soup_message_body_set_accumulate() was made into a no-op on
request bodies, because otherwise there would be no body available to
send if the request was restarted. Add a SOUP_MESSAGE_CAN_REBUILD
flag, that indicates that the caller takes responsibility for handling
this, and properly discard chunks if that is set.

Also update chunk-test to test this, and (finally!) remove the FIXME
there, since we are now testing the !accumulate codepath again
properly.

https://bugzilla.gnome.org/show_bug.cgi?id=656650

2.35.5

Fix distcheck

SoupContentSniffer: don't use gio anymore

This brings the content sniffing algorithm closer to the HTML5
specification.

https://bugzilla.gnome.org/show_bug.cgi?id=648846

Call soup_message_clean_response() when restarting a message

When a message got restarted, we were leaving the previous response
state in the message, which is bad for various reasons.

In particular, this caused a problem with non-keepalive redirections
of https URLs through proxies (!), because after the second CONNECT
succeeded, it would see that the message already had a status_code
set, and so it thought the message had been cancelled or something
while it was processing the CONNECT. proxy-test now has a regression
test for this case.

Based on patches and analysis from DongJae Kim and Thierry Reding.

https://bugzilla.gnome.org/show_bug.cgi?id=631368

Default to TLS for https connections, and fall back to SSLv3 on failure

Rather than always using SSLv3, try proper TLS+extensions first, and
fall back to SSLv3-without-extensions if that gives an error that
looks like it might mean "broken SSLv3-only server". Use
SoupSessionHost to record the fallback status for a host.

https://bugzilla.gnome.org/show_bug.cgi?id=581342

SoupConnection: do TLS handshake at connection time

Previously, when connecting to an https site, the TLS handshake didn't
happen until we started writing the request. Change it so that it now
happens as part of SoupConnection connecting.

Soup-2.4.gir: add missing introspection data from Vala bindings

https://bugzilla.gnome.org/show_bug.cgi?id=655397

Support NTLM Single Sign On

Support NTLM Single Sign On by using Samba's 'winbind' daemon
helper /usr/bin/ntlm_auth

https://bugzilla.gnome.org/show_bug.cgi?id=650940

Soup-2.4.gir: filter out SoupProxyResolver

SoupProxyResolver has been deprecated (in favor of
SoupProxyURIResolver) since before Soup-2.4.gir was available, and it
would need annotations to work correctly anyway, so just remove it
entirely.

https://bugzilla.gnome.org/show_bug.cgi?id=655397

Add/update some "Since" flags

soup-request-http: fix usage with non-default-context

SoupHTTPInputStream was doing I/O in a thread if the session didn't
use the global default context. But really, it should have been
checking the thread-default context instead. And anyway, the threaded
version doesn't actually work, it turns out. So, fix the check, make
it into a g_return_if_fail(), and remove the threaded codepath.

Also, fix a handful of places that were adding sources to the global
default context rather than the thread-default/SoupSession context.

Add tests/requester-test to do some basic
SoupRequester/SoupRequestHTTP/SoupHTTPInputStream testing.

https://bugzilla.gnome.org/show_bug.cgi?id=653707

Doh, fix the CVE number: should have been CVE-2011-2524

2.35.4

SoupServer: fix to not allow smuggling ".." into path

When SoupServer:raw-paths was set (the default), it was possible to
sneak ".." segments into the path passed to the SoupServerHandler,
which could then end up tricking some handlers into retrieving
arbitrary files from the filesystem. Fix that.

https://bugzilla.gnome.org/show_bug.cgi?id=653258

soup-session.c: mark helper property API as (skip) to not collide with bindings

gobject-introspection-bindable interpreters like pygobject and gjs replace "-"s
in property names with "_"s. Given that the property API intentionally uses the
same names as their real methods, this causes a collision. Since the properties
were never intended to be bindable, just mark them as (skip).

https://bugzilla.gnome.org/show_bug.cgi?id=655150

soup-cache.c: use hashes for entry keys. Added entry key collision handling.

It's faster to use uint32 keys for the SoupCacheEntries instead of the full
URI as string. This patch also adds collision handling support.

https://bugzilla.gnome.org/show_bug.cgi?id=649963

soup-cache: plug memory leak

2.35.3

Revert "soup-message-io: clear connection from queue items when IDLE status is set"

This broke tests/proxy-test.

This reverts commit c56c66aa2625bc95f54f8a1972e13503f454a51a.

soup-message-io.c: Fix integer overflow on 32bit

Fixes a bug serving large files, eg, in Rygel.

https://bugzilla.gnome.org/show_bug.cgi?id=638468

soup-cache: fix a use after free

Store a list of SoupBuffers to write data to cache instead of using
a GString. The reason is that g_string_append might reallocate the str
pointer, which is not guaranteed to keep pointing to the same area, and
which would cause the original area that was pointed to to be freed, leading
to the buffer passed to write() to be invalid.

https://bugzilla.gnome.org/show_bug.cgi?id=650620

soup-cache.c: Replaced the type of some SoupCacheEntry fields.

GVariant format string specifies not only the type but the size of the
numeric values it stores. We were using "u" to store the values of time_t
variables that are not guaranteed to be 32 bit. We were also reading values
stored with "u" using unitialized time_t variables.

https://bugzilla.gnome.org/show_bug.cgi?id=653349

soup-cache: keep track of the HTTP status code to use it for cache responses

SoupMessages returned by the cache were lacking the HTTP status code. We
must store it in the cache and restore it when sending responses back.

https://bugzilla.gnome.org/show_bug.cgi?id=649965

soup-cache: Add versioning support to SoupCache

Cache index file was renamed to soup.cache2. It now contains the version of
the cache used to store data. If the version used to save the file is not
the same than the current cache versions then cache files will be deleted.

https://bugzilla.gnome.org/show_bug.cgi?id=652554

soup-session.c: reference leak in soup_session_prepare_for_uri

soup_session_prepare_for_uri() takes a reference to a SoupAddress that is
never unref'ed. This could lead to big leaks.

https://bugzilla.gnome.org/show_bug.cgi?id=652699

soup-cache: removed a g_debug statement

I added it by mistake in the patch that was fixing some SoupCache leaks.

soup-cache: fix several leaks.

We were incorrectly using the GVariant API to serialize/deserialize cache
contents. The consequence is that several leaks were created when loading
and dumping the cache.

https://bugzilla.gnome.org/show_bug.cgi?id=649309

soup-cache: update state of SoupMessages when returning data from the cache

SoupCache generates conditional requests to validate some resources. As the
cache is transparent for the client it must update the state of the
SoupMessage used by the SoupHTTPRequest as if the message was really
transmitted over the network. SoupCache was not updating the state
(basically status code and headers) of the SoupMessage that belongs to the
SoupHTTPRequest but the one used for freshness validation.

https://bugzilla.gnome.org/show_bug.cgi?id=649965

soup-message-io: clear connection from queue items when IDLE status is set

Do not reuse the SoupConnection we used for the first time when
a SoupMessage gets redirected as it could have been assigned to a different
SoupMessage meanwhile.

https://bugzilla.gnome.org/show_bug.cgi?id=651146

Fix few memory leaks

https://bugzilla.gnome.org/show_bug.cgi?id=651643

COPYING: update to a version with the correct mailing address

soup-cache: do not store hop-by-hop headers.

Those headers are meaningful only for single transport-level connections,
we should not store them.

https://bugzilla.gnome.org/show_bug.cgi?id=650094

SoupContentDecoder: deal with broken apache Content-Encoding

When sending a .gz file, Apache will (by default) incorrectly claim
"Content-Encoding: gzip", causing us to do the wrong thing with it.
Work around this bug in the same way Firefox does.

https://bugzilla.gnome.org/show_bug.cgi?id=613361

docs: fix typo in client-howto

Patch from Davide Italiano
https://bugzilla.gnome.org/show_bug.cgi?id=650526

soup-request-file: plug leak

We are needlessly duplicating a string that we never free.

soup-cache: free params hash list

There's one code path where we can exit the method without freeing
it. Plug the leak.

Fix docs build for pickier linkers

Patch from "arno"
https://bugzilla.gnome.org/show_bug.cgi?id=648948

soup-session.c: always send the "Keep-Alive" header

This will save us many new connection attempts when connecting to HTTP1.0
servers that automatically try to close the connection unless specified by
the client.

https://bugzilla.gnome.org/show_bug.cgi?id=648680

Post-branch version bump to 2.35.0

2.34.1

soup-cache: plug leak

We are leaking a GFile per cache response.

https://bugzilla.gnome.org/show_bug.cgi?id=648521

soup_session_abort: fix a race condition in SoupSessionSync

soup_session_abort() on a SoupSessionSync would sometimes crash,
because of races between the cancellation of the pending messages and
the destruction of the open connections. Fix this by waiting for all
of the messages to finish cancelling before we start closing the
connections.

soup-cache: do not append data to existing files

SoupCache was creating files using g_file_append_to_async(). Whenever there
was an untracked existing file in the directory cache, the SoupCache was
incorrectly appending data to the existing file, and thus, creating invalid
cached resources on disk.

https://bugzilla.gnome.org/show_bug.cgi?id=648285

soup_uri_to_string: print port numbers as unsigned integers

soup_uri_to_string() was using the "%d" printf format but it
should use "%u" instead as the port number is a guint in SoupURI.

https://bugzilla.gnome.org/show_bug.cgi?id=647767

Build relevant parts of libsoup-gnome on windows

soup_request_data_send: data URL decoding fix

SoupRequestData was not unescaping base64 URIs before trying to decode them.
This was incorrectly causing decoding errors with base64 data.

https://bugzilla.gnome.org/show_bug.cgi?id=646896

Fix memory leaks, update libsoup.supp

header-parsing: update tests for RFC 5987 and multipart quoting changes

soup-multipart: Fix generation of Content-Disposition for broken servers

Some servers require that Content-Disposition headers use
quoted-string values, even if the provided filename can be represented
as a token. So use soup_header_g_string_append_param_quoted(), but also
change that to fall back to using RFC 5987 encoding if necessary, so
that we can still specify UTF-8-encoded filenames.

soup-headers: Update UTF-8 header param handling for RFC 5987

Update the handling of UTF-8 header parameters for the
changes/clarifications to RFC 2231 published in RFC 5987:

    * Decode iso-8859-1 params in addition to UTF-8 ones
    * An encoded UTF-8 param should override an unencoded param
      of the same name, regardless of which order they appear in

post-release version bump to 2.34.1

2.34.0

Use the custom main context in SoupProxyResolverDefault

https://bugzilla.gnome.org/show_bug.cgi?id=646201

Bump shared library minor version for API additions since 2.32

Fix introspection build on Debian/Ubuntu

Debian libtool is weird about dependencies, so specify that
SoupGNOME-2.4.gir depends libsoup-2.4.la too, even though we shouldn't
have to.

(Also use --include-uninstalled, which turned out not to be the fix
for this bug, but is correct anyway.)

https://bugzilla.gnome.org/show_bug.cgi?id=645505

2.33.92

soup_socket_get_remote_address: fix

This was setting priv->local_addr instead of priv->remote_addr, and so
it always ended up returning NULL.

https://bugzilla.gnome.org/show_bug.cgi?id=645227

Add restarted streaming chunk-test, which is where it really starts to get fun

Add client streaming test to chunk-test.c

For when the client *really* wants the request not to accumulate. It can
call soup_message_body_wrote_chunk() from the wrote-chunk signal handler,
to simulate the behaviour that the server side gets.

SoupProxyResolverGNOME: make this a subclass of SoupProxyResolverDefault

modify SoupProxyResolverDefault so it's possible to override the
choice of g_proxy_resolver_get_default(), and make
SoupProxyResolverGNOME just be a subclass of SoupProxyResolverDefault
that specifically requests the "gnome" GProxyResolver.

libsoup-gnome no longer depends on libproxy and GConf. (Perhaps it
should now depend on gsettings-desktop-schemas, or else a
glib-networking that includes GProxyResolverGnome. But it will fall
back to using the libproxy-based proxy resolver in that case anyway,
so it's all good.)

https://bugzilla.gnome.org/show_bug.cgi?id=625898

soup-proxy-resolver-default.c: new proxy resolver based on GProxyResolver

This adds a new session feature that makes it easy to take advantage
of the new GProxyResolver object available in GIO.

https://bugzilla.gnome.org/show_bug.cgi?id=642928

Reset priv->base_offset in soup_message_body_truncate()

Add 'soup_server_disconnect' method

This is primarily useful for language bindings, where you don't have
explicit control over reference counts, and hence cannot just use
'g_object_unref' on the server object.

See https://bugzilla.gnome.org/show_bug.cgi?id=638576

tests: remove a redundant GOptionEntry flag that now causes a warning

SoupCookieJar: catch overflows when parsing very distant dates

Our APIs use an int for max_age, which meant that when reading a
cookie file/db written by another program on a 64-bit architecture, a
very large max_age would overflow. Fix things up to avoid that. Since
we can't change the APIs to use a long for max_age, this means that we
will end up expiring the cookie "early" (eg, in 20 years rather than
50).

Based on a patch from Mark Starovoytov
https://bugzilla.gnome.org/show_bug.cgi?id=643462

soup-cookie-jar: avoid a g_return_if_fail when using non-http URIs

When using SOUP_COOKIE_JAR_ACCEPT_NO_THIRD_PARTY, don't try to
domain-match the cookie if the first_party URI has no domain.

https://bugzilla.gnome.org/show_bug.cgi?id=643226

DOAP: fix download location

Parse month names regardless of case

A test case is added that verifies that this works.

Fixes: https://bugzilla.gnome.org/show_bug.cgi?id=644048

2.33.90

soup-cache.c: do not cache multipart/x-mixed-replace content

That MIME type is normally used to stream video from webcams. Makes no sense to
cache those resources as they are always changing.

https://bugzilla.gnome.org/show_bug.cgi?id=642028

soup-session.c: send Keep-Alive for HTTP/1.0 connections

Sending the keep alive header prevents connections from closing and thus
improves overall performance when requesting multiple resources from HTTP/1.0
hosts as we do not need to create new connections for each request but reuse
the existing ones.

https://bugzilla.gnome.org/show_bug.cgi?id=640414

soup-message-client-io: ASCIIfy unicode hostnames for Host header

We were resolving unicode hostnames correctly, but then putting them
in the Host header as UTF-8 rather than using the ASCII-encoded
version. Fix that.

https://bugzilla.gnome.org/show_bug.cgi?id=642075

Fix typo

Make the glib-networking dependency more explicit

Require glib-networking to be present at build time (with an error
explaining that you can pass --disable-tls-check, but packagers should
make sure libsoup has a runtime dependency on glib-networking).

Also, if a TLS connection fails because of missing glib-networking,
mention that in the reason_phrase, as a last resort.

2.33.6

soup-cache: fix a warning (and a bug)

If a request specifies "Cache-Control: max-age=0", revalidate the
response, but don't mark the cache entry as "must_revalidate", since
the need for revalidation applies only to the current request.

https://bugzilla.gnome.org/show_bug.cgi?id=640556

soup-request-data: return decoded contents for non-base64 data URLs

SoupRequestData was not returning the decoded version of data URLs when they
were not encoded in base64

https://bugzilla.gnome.org/show_bug.cgi?id=641022

SoupCache fails to load resources when cache contents are externally removed

Try to download cached resources again if they are no longer
accesible by the cache.

https://bugs.webkit.org/show_bug.cgi?id=50577

(belatedly copied from WebKit's version of this file)