Fix the retry-on-broken-connection codepath for SoupRequest

The retry-if-the-server-closes-the-connection-immediately code was
only getting run in the SoupMessage API codepaths. Fit it into the
right place in the SoupRequest paths too, and test that from
connection-test.

Might fix https://bugzilla.gnome.org/show_bug.cgi?id=679527 ?

Add some test-utils helpers for async SoupRequest usage

soup-client-input-stream: don't chain up from close/close_async

GInputStream's default close_async method runs the sync close method
in a thread, which means that you can't chain up to it from a subclass
implementation. And GFilterInputStream only overrides close_fn, not
close_async, so there's no way to asynchronously get the
close-base-stream behavior if we want to override close_async in
SoupClientInputStream. Ugh! Anyway, we always have a non
close-base-stream SoupBodyInputStream somewhere under the
SoupClientInputStream, so there's no need to chain up anyway.

Fixes a sporadic bug caused by the fact that we were closing the
stream (and thus calling soup_message_io_run_until_finish()) twice.

Clean up includes

Especially, include soup.h rather than individually including a bunch
of other public soup-*.h files.

Remove unnecessary system includes (many are leftovers from code that
has moved down into glib).

Reorganize files to need fewer forward declarations

Also, prefix virtual method implementation names with the class name,
to be consistent with other code.

Use G_DEFINE_INTERFACE and G_DEFINE_BOXED_TYPE

Use g_clear_object(), g_clear_pointer()

Use g_ptr_array_new_with_free_func()

Use g_slist_free_full()

Replace g_hash_table_foreach() with GHashTableIter

or g_hash_table_new_full() when the foreach was only being used for
cleanup.

Remove an unnecessary old demo program that doesn't work any more

soup-session.c: whitespace fix

requester-test: fix some debug printfs

Assamese translation completed

Added Assamese to LINGUAS

Updated Hebrew translation.

SoupCookie: ignore values on httponly and secure attributes

The cookie parsing algorithm says to ignore values on attributes that
aren't supposed to have them, so do that. Also add a test for this.
Based on a patch from "Basavaraj".

Also, drive-by bugfix in soup_cookie_to_set_cookie_header() /
soup_cookies_to_response() (the SoupServer side of the cookie APIs),
which were outputting "HttpOnly" if the cookie had the "secure" flag
set, rather than the "http_only" flag.

https://bugzilla.gnome.org/show_bug.cgi?id=678753

Fix cookies-test.c indentation

Updated Norwegian bokmål translation

Replace deprecated symbols

Add deprecation attributes to deprecated functions

This is using the newly introduce G_DEPRECATED macros
from GLib. Traditional deprecation guards are still in
place.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=671770

Updated Bulgarian translation

update .gitignore for tld_data.inc

Added Vietnamese translation

Updated Indonesian translation

tld-parser: Rewrite in Python

This avoids the issues in building native code to build an
intermediate file to build more native code.  Automake has
BUILT_SOURCES but it's easier to just have build tools in scripting
languages.

https://bugzilla.gnome.org/show_bug.cgi?id=678909

build: Don't write tld_data.inc to srcdir which may not be writable

Generated data should go in the builddir.

https://bugzilla.gnome.org/show_bug.cgi?id=678909

tld-parser: Add error handling

Revert "make dist fix"

This reverts commit 76cc02212e63f692e6e36bdf99987928dc3c2ed2.  After
discussion with Dan on IRC, we agreed to revert this for now until a
better solution is written.  Probably one of

1) Rewrite tld-parser in a scripting language, so it doesn't have
   a build process
2) Hack somewhere else in automake to make 'make dist' happy

2.39.3

make dist fix

Updated Galician translations

Updated Greek translation

Updated Telugu Translation

Updated Telugu Translation

belatedly commit 2.39.2 NEWS

Updated Slovenian translation

Updated Spanish translation

soup-cookie-jar: do not accept cookies for well known public domains

SoupCookieJar uses the new soup_tld_* utils to reject cookies whose domains
are registered public suffixes. This prevents sites from setting supercookies.

https://bugzilla.gnome.org/show_bug.cgi?id=673802

soup-tld: added soup_tld_* utils

The soup_tld_* set of functions along with the list of public suffixes
published in http://publicsuffix.org allows API clients to get the base
domain of a given hostname or to check if a given domain is a public suffix
(one under which internet users can register new names).

https://bugzilla.gnome.org/show_bug.cgi?id=673802

Updated Greek translation

Bump version to 2.39.2

Bug 677923 - Add soup_cookie_jar_set_cookie_with_first_party() alternative that takes a SoupCookie in argument

Currently, the only way to add a cookie while checking first_party is to use
soup_cookie_jar_set_cookie_with_first_party(). However, this function takes an
unparsed cookie in argument.

In the event the client has already parsed the cookie (e.g. to do some
pre-processing), it would be useful to have an alternative to
soup_cookie_jar_set_cookie_with_first_party() which takes a parsed SoupCookie
in argument. This would be more efficient.

Bug 677922 - Add soup_cookie_jar_get_cookies() alternative that returns a GSList of SoupCookies

Adds a soup_cookie_jar_get_cookie_list() function that returns the
cookies in the jar that would be sent with a request to a specific
uri, as a GSList of SoupCookies.

soup_message_headers_get_content_type: annotate @params

https://bugzilla.gnome.org/show_bug.cgi?id=677002

Updated Belarusian translation.

tests/date: Fix compiler warning

soup-cache: use the status code from the stored response for expiration heuristics

We must check the status code of the stored response instead of the status
code of the SoupMessage passed to soup_cache_entry_set_freshness(). The reason
is because the SoupMessage might be the one used to revalidate the resource
instead of the original.

soup-cache: use the proper Content-Type when returning data from cache

This does not completely fixes the content-type handling by the cache as it
does not take into account the sniffed content type. Anyway trying to return
something from the original message was clearly wrong as it was not sent.
Better use the Content-Type from the 304 response.

soup-cache: correctly handle conditional requests not returning 304

If we do not get a 304 after a conditional request we have to refresh the
cache contents for that resource. We should use the original SoupMessage to
retrieve the new data from the resource (we were incorrectly using the
SoupMessage used for the conditional request).

The current strategy is clearly suboptimal as we ask again for the resource
instead of directly using the data from the response of the conditional
request. This will change once the cache is integrated into the streams
stack.

Updated Polish translation

New French translation

Updated Norwegian bokmål translation

proxy-test: unskip accidentally skipped tests

Updated Hebrew translation.

Fix a few more introspection warnings

Fix a warning in last commit

add Simplified Chinese (zh_CN) translation

soup-message-body: Add a soup_buffer_get_as_bytes method

This new method will return a GBytes instance containing the
contents of the SoupBuffer.

https://bugzilla.gnome.org/show_bug.cgi?id=676776

introspection: Include SoupRequester API

https://bugzilla.gnome.org/show_bug.cgi?id=676742

introspection: Fix warnings

https://bugzilla.gnome.org/show_bug.cgi?id=676742

Fix the handling of trailing junk with Content-Encoding

When a content-encoded response has trailing junk,
SoupConverterWrapper needs to make sure that all of that junk gets
read before returning G_CONVERTER_FINISHED, or else it will end up
becoming the start of the next response on that connection.

coding-test wasn't hitting this, because the trailing junk was always
small enough that it would have been read into GConverterInputStream's
internal buffer already at the point when the GZlibDecompresser
returned FINISHED. Switching coding-test to use chunked encoding
caused it to reliably hit the bug though, because the final 0-length
chunk (including its header) will always still be unread at that
point. So update it to use that.

Also add a SoupRequest-based test to coding-test, though it turns out
to not have been relevant to this bug, which affected the SoupMessage
API too.

https://bugzilla.gnome.org/show_bug.cgi?id=676477

Updated Slovenian translation

Added Punjabi (pa) Translation

Correctly handle unsuccessful CONNECTs via request API

and add tests to proxy-test to make sure that the request API works
for each case as well (based on a patch from Sergio)

https://bugzilla.gnome.org/show_bug.cgi?id=675865

Test case

https://bugzilla.gnome.org/show_bug.cgi?id=675865

soup-message-io: keep cancellable alive for duration of io_run_until

io_run() passes io->cancellable to io_run_until(), but io may be
destroyed (and cancellable unreffed) before io_run_until() returns,
causing it to eventually call g_cancellable_is_cancelled() on garbage.
Fix by reffing it around the io_run_until() call (though really this
is just another example of "SoupMessageIOData needs to be
refcounted".)

Tweak misc-test to test this case.

Fixes crasher in rygel test case. Based on a patch from Ray Strode.
https://bugzilla.gnome.org/show_bug.cgi?id=676038

soup-message-io: fix reference leak

io_run_until forgets to release a reference it takes
in a cancellation error path.

This commit fixes that.

https://bugzilla.gnome.org/show_bug.cgi?id=676038

Updated Galician translations

Updated Spanish translation

Add a (temporary?) fix for async authentication via SoupRequest

In order to do async authentication, we need to stop the processing of
the request during the soup_request_send_async() call. So re-enable
soup_session_pause_message() for that case. Possibly to be revisited.

https://bugzilla.gnome.org/show_bug.cgi?id=675306

Fix indentation on some code copied from glib

Fix a few recent request API bugs, add some more tests

Added Belarusian translation.

Updated Greek translation

requester-test: add an early-cancellation test

Fix warnings/failures with messages that are cancelled from got-headers

https://bugzilla.gnome.org/show_bug.cgi?id=674747

soup-auth-manager-ntlm: avoid some /usr/bin/ntlm_auth warnings

ntlm_auth sometimes spews errors that we don't care about, so use
G_SPAWN_STDERR_TO_DEV_NULL.

Also, the "PW" response ("no cached credentials, ask for a password
instead") can be returned in response to the type 3 message too, so
deal with it there (and don't print a warning, because it's not an
error).

Updated Romanian translation

2.39.1

po: Revert "Updated Telugu Translation"

The translation file is missing

This reverts commit b9196b0b627cfad96a063e14dddb7083ca5a4eb9.

Added nb

Added Norwegian bokmål translation

Updated Telugu Translation

tests/get: use GProxyResolverDefault

Reorganize proxy resolution, and support SOCKS and other proxy types

Push the proxy resolution code from SoupSession down into
SoupConnection and SoupSocket. If using a SoupProxyResolverDefault,
just enable proxy support on the GSocketClient instead (after adding
"http" as an application protocol). This way we get support for SOCKS
proxies (and any other proxies supported by GProxy types).

https://bugzilla.gnome.org/show_bug.cgi?id=553269

Move SoupSocket stuff out of soup-message-io.c

Add a new SoupIOStream, which wraps the SoupFilterInputStream and
GOutputStream that SoupSocket exposes. Pass that to soup-message-io
rather than the SoupSocket, and update various other things for this.

[l10n] Added Indonesian translation

soup-client-input-stream: emit SoupMessage::got-chunk

SoupClientInputStream will emit the got-chunk signal whenever data is read
from the stream. With that hack we keep the SoupCache working while it is
not proprely migrated to the new gio-based architecture.

https://bugzilla.gnome.org/show_bug.cgi?id=674732

Added Russian translation

Updated Hebrew translation.

Added sl for Slovenian translation

Added Slovenian translation

Updated Polish translation

Make the new SoupSocket APIs private

Added Galician translations

Signed-off-by: Fran Diéguez <fran.dieguez@mabishu.com>

Updated Spanish translation

belated version bump to 2.39.0

soup-cookie-jar: Add SoupCookieJar:is-persistent property

It allows to query whether cookies are stored persisently by the
SoupCookieJar.

https://bugzilla.gnome.org/show_bug.cgi?id=672838

tests: add some more SoupRequester-based tests

Add SoupRequester-based tests to redirect-test and add
SoupSessionSync-based tests to requester-test.