SoupSession: break infinite loops

Every year or two some bug comes up that makes libsoup retry a request
infinitely. (Also, apps can do this on their own by not paying
attention to the "retrying" flag in SoupSession::authenticate.) Move
the "too many redirects" code and rework it to handle all possible
cases of "message gets resent a suspicious number of times".

2.41.91

soup-cache: update cached headers on revalidations

SoupCache was not updating the cached headers on conditional requests. We
were only doing it for revalidations started by libsoup clients.

This also properly reset the values of freshness_lifetime and
must_revalidate on revalidations. These two fields were keeping their
original values even if the server wasn't providing such information.

Finally this adds a new cache test (do_header_test) and fixes the one
disabled with #ifdefs (second revalidations).

https://bugzilla.gnome.org/show_bug.cgi?id=695121

build: Remove gio resource compiler definition from configure.ac

The variable GLIB_COMPILE_RESOURCES is already set by AM_PATH_GLIB_2_0
macro. Spotted by Csaba Osztrogonác.

https://bugzilla.gnome.org/show_bug.cgi?id=694942

soup-message-queue: hold a reference to the async context

This will ensure that the GMainContext is not freed at least until we get
rid of the queue item. This was causing crashes when synchronously
retrieving resources in WebKit as it uses a different GMainContext for each
of those synchronous requests.

https://bugzilla.gnome.org/show_bug.cgi?id=694920

[l10n] Updated German translation

Updated Vietnamese translation

po/vi: import from Damned Lies

Updated Traditional Chinese translation(Hong Kong and Taiwan)

Punjabi: Translation updated (aalam)

Updated slovak translation

Updated Norwegian bokmål translation

Updated Lithuanian translation

examples: use GOptionContext (finally)

examples: move examples from tests/ to examples/

get, simple-httpd, and simple-proxy are more example code than test
programs, so move them into a separate directory.

Also, remove "dns", which was once a sort-of test of SoupAddress, but
is now just a redundant sort-of test of GResolver.

build: remove some cruft

Remove accumulated cruft, mostly from things we used to depend on but
don't any more.

Also a few minor drive-by configure cleanups

Updated Uyghur translation

Signed-off-by: Gheyret Kenji <gheyret@gmail.com>

Updated Hebrew translation.

Updated Galician translations

tests: do skipped tests properly

automake interprets exit code 77 as meaning "skipped", so have the
various apache-dependent, php-dependent, and curl-dependent tests do
that, and compile them unconditionally. (Although, to avoid "unused"
warnings, we end up #ifdeffing out the whole file.)

tests: [CENSORED] [CENSORED] automake [CENSORED]

Specifying serial-tests in AM_INIT_AUTOMAKE breaks the build with
automake 1.11, so the only way to support both 1.11 and 1.13 is to
make the tests work under the parallel harness. Fortunately this
wasn't that hard.

Added Aragonese translation

tests: fix under automake 1.13

The parallel test harness (which is the default as of automake 1.13)
doesn't let you use make functions in the definition of TESTS. (It
generates an invalid Makefile in this case.) Since the tests as
currently written won't work with the parallel harness anyway (since
each apache-based test stops apache when it's done), just force the
serial harness for now.

https://bugzilla.gnome.org/show_bug.cgi?id=694135

soup-session.c: do not emit content-sniffed if it isn't cached

The SoupCache does not get any information from sniffed content types as it
works at a lower level. That's why sometimes we might not have any
Content-Type information for a cached resource (if the server does not
specify it).

Updated Spanish translation

Updated Czech translation

2.41.90

Updated Serbian translation

Updated Polish translation

cache-test: added a new cancellation test

Added do_refcounting_test that checks that streams do not leak any
reference when a message is cancelled just before starting to read.

This test also need a new cancel flag called
SOUP_TEST_REQUEST_CANCEL_AFTER_SEND_FINISH.

https://bugzilla.gnome.org/show_bug.cgi?id=682527

test-utils: Added SOUP_TEST_REQUEST_CANCEL_IMMEDIATE flag

We were assuming that if the SOUP_TEST_REQUEST_CANCEL_SOON flag was not
present then we wanted an immediate cancelation. That worked but now we need
to add it to support more cancellation types.

https://bugzilla.gnome.org/show_bug.cgi?id=682527

soup-cache-input-stream: fixed a reference cycle

Fixed a reference cycle between SoupCacheInputStream and a
GTask. This reference cycle was preventing the input stream from
being freed when the SoupMessage was cancelled before the stream
was completely read. Furthermore the SoupCache was not able to
complete the pending request because the SoupCacheInputStream was
not aware of the message cancellation and remained waiting forever.

In order to remove the cycle
soup_cache_input_stream_cache(_finish) were removed and the
caching operation finalization is now reported via a signal.
SoupCacheInputStream also implements close_fn which properly
finalizes any pending caching operation.

https://bugzilla.gnome.org/show_bug.cgi?id=682527

tests: simplify and improve "make check"

Remove rules that automake can figure out itself. Run the tests in
alphabetical order. Run "make kill-httpd" at the end of "make check",
in case the last httpd-using test crashed.

SoupSession: remove some dead code, fix proxy error messages

SoupMessageQueueItem's proxy_addr and proxy_uri fields were no longer
being used, but they were still there, and SoupSession was trying to
use item->proxy_uri to provide clarifying information on
SOUP_STATUS_CANT_RESOLVE_PROXY / SOUP_STATUS_CANT_CONNECT_PROXY.

Remove the unused fields, and fix SoupSession to get the proxy name
from the SoupConnection instead.

https://bugzilla.gnome.org/show_bug.cgi?id=680273

Internal renamings for clarity

The GSocketClient::event signal gets proxied from GSocketClient to
SoupSocket to SoupConnection to SoupSession to SoupMessage (!) via
signal handlers that used to have "proxy" in their names. But that
made it sound like they had something to do with network proxies. So
rename them all (to "re_emit").

https://bugzilla.gnome.org/show_bug.cgi?id=680273

Updated Malayalam Localization

cache-test: added cancellation tests

Added cancellation tests for both fresh and under revalidation resources.
These tests ensure that cancellations happen flawlessly and that any
potential revalidation process is also cancelled.

https://bugzilla.gnome.org/show_bug.cgi?id=692310

test-utils: add cancellation support to soup_test_request_send

The function gets a new parametter used to enable request cancellation for
both sync and async sessions. The cancellation could be performed by either
using the GCancellable or by directly cancelling the SoupMessage.

Also the GMainContext used to simulate sync operations with async ones will
now try to execute all its pending events before quiting the main loop.

https://bugzilla.gnome.org/show_bug.cgi?id=692310

soup-session: handle cancellation of SoupCache resources

SoupSession will now properly handle cancellations (either with
soup_session_cancel_message or g_cancellable_cancel) of resources returned
by the cache whether they're fresh or need a revalidation.

http://bugzilla.gnome.org/show_bug.cgi?id=692310

Updated slovak translation

SoupAuthNTLM: fix to do a "retrying" authenticate

If the first attempt at NTLM auth fails, let the auth manager emit a
"retrying" authenticate as well, just like normal auths do.

https://bugzilla.gnome.org/show_bug.cgi?id=693222

SoupSession: fix a bug with the add-feature-by-type property

The add-feature-by-type and remove-feature-by-type properties were
only accepting SoupSessionFeature types, so you couldn't use it for
things like request types, auth types, etc.

tests: fix non-php apache tests to still work without php

Setting "IF_HAVE_PHP" to "#" actually sets it to "", because the "#"
is treated as the start of a comment. We have to set it to "\#" if we
want to cause the "#" to actually get substituted into httpd.conf

https://bugzilla.gnome.org/show_bug.cgi?id=693311

SoupSession: added a new construction-time property "local-address"

It will be proxied to the SoupConnection and then to SoupSocket,
allowing the user to specify a local address to bind the local socket.

SoupConnection: added a new construction-time property "local-address"

It will be proxied to the SoupSocket upon its creation.

SoupSocket: Use the local socket, when available, even on client side.

This allows binding the client connection to a specific local address.

SoupSocket: Move the creation of socket clients to a single place

Thus avoiding duplication of code in sync and async functions.

2.41.5

Updated Traditional Chinese translation(Hong Kong and Taiwan)

soup-session: use SoupMessageQueueItem's cancellable for the GTask

Even if the caller does not specify a GCancellable the GTask must use the
one that comes with the item by default.

This also sets check_cancellable() to FALSE in the session's GTask in order
not to override error messages previously set on the GTask in case of
cancellations.

https://bugzilla.gnome.org/show_bug.cgi?id=692310

[l10n] Updated German translation

[l10n] Updated Italian translation.

Revert "SoupURI: replace NULL password with "" on http"

This broke CalDAV in evolution. I'm not sure exactly why, but if it
broke that, it might break other things too, so let's just revert
this.

This reverts commit 38901ca5e684a8fac75e6ff740d45c82dd44181a.

https://bugzilla.gnome.org/show_bug.cgi?id=692149

Updated Norwegian bokmål translation

Updated Uyghur translation

Signed-off-by: Gheyret Kenji <gheyret@gmail.com>

soup-body-input-stream: update priv->eof when skipping

We must update the priv->eof field in the skip() operation as we do in
read(). This bug was causing redirects not to finish because the
SoupBodyInputStream was creating a pollable source that will never issue
anything instead of a plain timeout source.

https://bugzilla.gnome.org/show_bug.cgi?id=692026

set_ssl_ca_file: don't try unreffing tlsdb if it's NULL

If g_tls_file_database_new() failed for any reason but
G_TLS_ERROR_UNAVAILABLE, we don't create a fallback DB and so tlsdb stays
NULL.

https://bugzilla.gnome.org/show_bug.cgi?id=691930

Updated Serbian translation

Updated Belarusian translation.

2.41.4

soup-session: add SoupMessage-based streaming APIs

SoupRequestHTTP is now implemented in terms of SoupSession SoupMessage
operations, so we might as well just expose those directly, for people
who want streaming APIs, but not SoupRequest.

soup-message: belated #include cleanup

Remove some includes that I had commented out to see if they were
still needed, but then forgot to actually remove when it turned out
they weren't.

SoupURI: replace NULL password with "" on http

All supported HTTP auth methods use both username and password, so
assume a password of "" if none is given

soup-auth-digest: fix a leak on re-auth

Calling soup_auth_authenticate() on an already-authenticated
SoupAuthDigest would leak the old username and hashed password.

https://bugzilla.gnome.org/show_bug.cgi?id=690142

Updated Bulgarian translation

soup-session: fix a deadlock when aborting a SoupSessionSync

We need to signal conn_cond when removing an item from the queue,
since flush_queue() expects that... (and also, since in some cases,
removing a message from the queue will allow another one to start).

https://bugzilla.gnome.org/show_bug.cgi?id=691399

Add explicit soup-version.h include into soup.h

build: Do not use AM_GLIB_GNU_GETTEXT

The po/Makefile.in.inis generated by intltoolize

autogen.sh: Use autoreconf instead gnome-autogen

soup_message_get_https_status: provide info for failed attempts too

SoupMessage:tls-certificate and SoupMessage:tls-errors were only
getting set for successful https connections. It is useful to have
them be set on failed ones as well. Fix that, and make ssl-test test
it.

https://bugzilla.gnome.org/show_bug.cgi?id=690176

Revert "SoupConnection: disconnect on failed connections/tunnels"

Disconnecting clears priv->sock, and in some cases, the caller may
want to look at that after the failed connection. So switch this back
to having the session do the disconnecting itself (which is simpler
now due to various SoupSession rewrites), and remove one inconsistent
case where the connection was disconnecting itself before.

This reverts commit 21d707d66460233596a04f6dc99c945d2dbc3085.

Fix previous commit

soup-session: fix up the SoupRequest requeuing logic

Split the "this message is likely to be requeued" logic into a single
function that the sync and async codepaths can share, and fix it to
not think that SOUP_MESSAGE_NO_REDIRECT messages will be redirected,
or that messages that disable SOUP_TYPE_AUTH_MANAGER will be
authenticated.

Rename LIBSOUP_DISABLE_DEPRECATED to SOUP_DISABLE_DEPRECATED

GNOME_MAINTAINER_MODE_DEFINES apparently sets
LIBSOUP_DISABLE_DEPRECATED, which is now causing various jhbuild
modules to break. "Fix" this by renaming the define (which is only
still there because gtk-doc complains if it's not). The *right* way to
get deprecation warnings/errors now is to define
SOUP_VERSION_MIN_REQUIRED.

soup-auth-manager: make this thread-safe

Very belatedly, make SoupAuthManager thread-safe.

It also ensures that any SoupAuth that it manages is only manipulated
from one thread at a time.

soup-auth-manager: add soup_auth_manager_use_auth()

Add soup_auth_manager_use_auth(), for "preloading" authentication, and
make the old automatically-request-NTLM behavior happen only for
the legacy SoupSession subclasses.

SoupAuthManager: make this public

soup-auth-manager: split out connection handling

Add a new SoupConnectionAuth class to help with connection tracking,
and make SoupAuthNTLM a subclass of it. Allow a single SoupAuthNTLM to
carry state information about multiple connections.

Make SoupSession store the SoupConnection a SoupMessage is associated
with on the message, and use that from SoupConnectionAuth rather than
tracking sockets by hand like SoupAuthManager had previously done.
Remove the connection tracking in SoupAuthManager, since it is no
longer needed.

soup-auth-ntlm: get rid of separate SSO states

Use a single boolean to track whether we're using single-sign-on
(/usr/bin/ntlm_auth) rather than having two parallel sets of
SoupNTLMStates.

ntlm-test: kill some dead code

ntlm-test-helper: fix

We need to set SOUP_NTLM_AUTH_DEBUG to an empty string (to tell
SoupAuthNTLM to always use built-in NTLM), not leave it unset, which
will let SoupAuthNTLM use the real ntlm_auth binary.

(The effect of this bug was that instead of always using built-in
NTLM, ntlm-test-helper would first try to use ntlm_auth, and fail
because there were no cached credentials, and then fall back to
built-in NTLM, which meant that we were testing the fallback codepath
even in the supposed-to-be-non-fallback case. Unless your username was
"alice" or "bob" and you had a working winbind configuration, in which
case the tests would just fail.)

Also, fix up ntlm-test a bit, so that if ntlm-test-helper for some
reason tries to authenticate as someone other than alice or bob, it
recognizes this, rather than considering everyone who isn't alice to
be bob.

soup-auth-domain-digest: minor documentation correction

Updated Friulian translation

soup-auth-ntlm: small fix

Reorganize NTLM authentication, fix ntlm_auth support

Move the auth-managery parts of SoupAuthManagerNTLM down into
SoupAuthManager, and the NTLMy parts into SoupAuthNTLM (in preparation
for supporting other kinds of connection-based auth such as
Negotiate).

The reorganization also makes it possible to use SoupAuthNTLM to
implement a mock version of /usr/bin/ntlm_auth, so we can extend
ntlm-test to test both the built-in-NTLM and external-NTLM codepaths.
Doing this reveals that, AFAICT, the external codepath did not
previously actually work, because it mis-used
G_SPAWN_FILE_AND_ARGV_ZERO and so ended up passing incorrect arguments
to /usr/bin/ntlm_auth.

tests: add session-test

Add a test that each of the 3 SoupSession types (plain, async, sync)
behaves as expected with soup_session_queue_message(),
soup_session_send_message(), and soup_session_cancel_message().

SoupSession: update docs (and some semantics) for plain SoupSession

Update the docs to reflect the changes in plain SoupSessions vs its
traditional subclasses. And while we're there, add a few new ones
(including making soup_session_queue_message() and
soup_session_send_message() work on plain SoupSession.

Revert the mirroring of SoupMessage API onto SoupRequestHTTP.

SoupMessage isn't being deprecated, and mirroring its API onto
SoupRequestHTTP is just going to result in always having to add every
new API twice. Also, it turns out to be less useful than originally
expected anyway, since you end up having to cast between SoupRequest
and SoupRequestHTTP frequently anyway.

This reverts commit d7117329400e47d2187ed033099d921d555f8d71 and most of
commit 53c270d0e2868fa5ad48ce864f10a9486b11a071.

Add back LIBSOUP_DISABLE_DEPRECATED

gtk-doc expects "Deprecated:" notes in docs to be matched up with some
deprecation-guard #define. So even though we don't want people to use
it any more, add LIBSOUP_DISABLE_DEPRECATED back.

docs: more fixes

docs: Lots of minor fixes and additions

Updated Hebrew translation.

soup-session: move cache handling here

Move the SoupCache special handling from SoupRequestHTTP to
SoupSession (as another step towards making SoupCache not such a
magical special case hack that only works in certain situations).

tests: add cache-test

Add a test of basic cache functionality (finally!)

Still needs more tests...

test-utils: remove unnecessary #includes

Updated Polish translation

Updated Galician translations

Updated Slovenian translation

Updated Spanish translation

[l10n] Updated Estonian translation