SoupTLD: fix a regression in soup_tld_is_public_suffix()

soup_tld_is_public_suffix() was not returning TRUE for well known TLDs as
".com" after cbae89f4. Also added some extra documentation to
soup_tld_get_base_domain() in order to make explicit that it returns NULL
for private URLs.

Reworked unit tests in order to allow them detect these regressions.

https://bugzilla.gnome.org/show_bug.cgi?id=681085

2.39.5

soup-xmlrpc: fix parsing of <methodCall> without <params>

If a method takes no parameters, you can leave out the <params>
section of <methodCall>, but soup_xmlrpc_parse_method_call() was
requiring it anyway.

Fix that and add some tests of parameter-less methods.

https://bugzilla.gnome.org/show_bug.cgi?id=671661

soup-socket.c: fix a use-after-free of a GCancellable

Add a simple regression test for unbound sockets

https://bugzilla.gnome.org/show_bug.cgi?id=673083

SoupSocket: local, remote address are undefined if unconnected

Warn and return NULL deterministically, rather than warning and returning
uninitialized stack garbage, but document it as "undefined"; these
methods were never meant to be valid in this situation, apparently.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=673083

tld-test: update for changes to TLD data

update effective_tld_names.dat

Assamese translation updated

Add Esperanto translation

Updated Galician translations

autogen.sh: remove two outdated bits

Updated Russian translation

Updated gujarati file  & Added LINGUAS file for gujarati

Fix building with MinGW compiler

Update Chinese simplified translation for ui

Updated Norwegian bokmål translation

test-utils: simplify the SoupRequest test utils a bit

Updated Hebrew translation.

SoupConverterWrapper: handle truncated responses in general

Rather than just the specific case of "server claims non-0
Content-Length but response is empty", allow the response to be
truncated at any point. Because, you know, the web.

SoupSessionAsync: fix handling of timed-out SoupRequests

When using the SoupRequest API, a message that hit
SOUP_SESSION_TIMEOUT would error out, but would not emit "finished" or
get fully removed from the queue. Fix that and add SoupRequest tests
to timeout-test (along with tests that "finished" gets emitted).

Updated Greek translation

SoupSocket: don't emit "readable" on disconnect for blocking sockets

"readable" and "writable" are only supposed to be emitted for
non-blocking sockets, but we were emitting "readable" on disconnect
for all sockets.

In libsoup 2.38 and earlier, this could cause a crash if a message in
a SoupSessionSync failed at certain points, since the code wasn't
expecting to end up in io_read(). The current code no longer has this
problem (since soup-message-io no longer uses the SoupSocket signals),
but other external users of SoupSocket might.

Updated Slovenian translation

SoupServer: fix non-default-main-context usage

Need to push the server's async_context around doing message I/O to
make sure all the responses come back to the right place.

Fix deprecation warning on soup_message_headers_get()

https://bugzilla.gnome.org/show_bug.cgi?id=680143

SoupConverterWrapper: handle empty "compressed" responses

If a server sends an empty response but includes a Content-Encoding
header (in particular, in a HEAD or 304 response), suppress the
PARTIAL_INPUT error from the GZlibDecompressor and just return 0.

https://bugzilla.gnome.org/show_bug.cgi?id=679527 (?)

SoupBodyInputStream: fix hang reading empty chunked response

Set the eof flag immediately after reading the last chunk, rather than
waiting for the next read, since if the caller calls is_readable() or
create_source() instead, we need to know to not wait for the
base_stream to become readable.

Added Serbian translation

soup_uri_normalize: more fixes

uri_normalized_copy() should not go into fixup mode when it sees a
non-printable character if that character is in @unescape_extra.
Likewise, if it does go into fixup mode, it shouldn't fix up the
@unescape_extra characters.

https://bugzilla.gnome.org/show_bug.cgi?id=680018

2.39.4.1

soup-tld: Handle SOUP_TLD_ERROR_NO_BASE_DOMAIN in soup_tld_domain_is_public_suffix()

And return FALSE in case domain doesn't have a base domain, so that non
suffixed domains like localhost are not considered public.

https://bugzilla.gnome.org/show_bug.cgi?id=679230

tld-parser.py: fix tabs vs spaces

and remove an unused import. patch from "marduk".

https://bugzilla.gnome.org/show_bug.cgi?id=680089

Updated Spanish translation

2.39.4

soup-tld: do not consider non suffixed domains as public

Non suffixed hostnames (used in many intranet applications) should not be
considered as public.

Based on a patch from Sergio Villar Senin.

https://bugzilla.gnome.org/show_bug.cgi?id=679230

Set the message priv->decoders to NULL after free.

Set the message priv->decoders to NULL after free
to fix

(epiphany:14909): GLib-GObject-CRITICAL **: g_object_unref:
assertion `G_IS_OBJECT (object)' failed

 in epiphany from soup_message_cleanup_response.

https://bugzilla.gnome.org/show_bug.cgi?id=680055

soup_message_headers_get_content_length: recheck encoding

Use soup_message_headers_get_encoding() rather than looking at
hdrs->encoding directly, so that it gets recomputed if it's stale (eg,
from another header having been removed).

https://bugzilla.gnome.org/show_bug.cgi?id=680029

soup-cache: Save the sniffed mime type in the cache too

https://bugzilla.gnome.org/show_bug.cgi?id=680029

SoupSession: rename host_lock to conn_lock

since that describes its purpose better

soup-message-io: make disconnect-on-unfinished more implicit

Rather than disconnecting the connection from soup_message_io_stop()
if the message didn't complete, do it from
SoupConnection:clear_current_item(). This makes it DTRT even if the
SoupMessageQueueItem loses its connection before
soup_message_io_stop() gets called.

soup_session_queue_message: simplify the msg refcounting internally

SoupSession: replace queue_message() base impl with a separate method

Create soup_session_append_queue_item() to do what the base
implementation of queue_message() did, and use that from various
places that used to call the base queue_message() directly.

soup-uri: fix uri_normalized_copy to not always do fixup

need_fixup was always getting set, because the trailing NUL character
was being processed by the loop. Fix.

Pointed out by Yann SOUBEYRAND,
https://bugzilla.gnome.org/show_bug.cgi?id=680018

Updated Traditional Chinese translation(Hong Kong and Taiwan)

Updated Belarusian translation.

Added Lithuanian translation

Remove zh_HK and zh_TW because the translation files are missing

Updated Traditional Chinese translation(Hong Kong and Taiwan)

Fix the retry-on-broken-connection codepath for SoupRequest

The retry-if-the-server-closes-the-connection-immediately code was
only getting run in the SoupMessage API codepaths. Fit it into the
right place in the SoupRequest paths too, and test that from
connection-test.

Might fix https://bugzilla.gnome.org/show_bug.cgi?id=679527 ?

Add some test-utils helpers for async SoupRequest usage

soup-client-input-stream: don't chain up from close/close_async

GInputStream's default close_async method runs the sync close method
in a thread, which means that you can't chain up to it from a subclass
implementation. And GFilterInputStream only overrides close_fn, not
close_async, so there's no way to asynchronously get the
close-base-stream behavior if we want to override close_async in
SoupClientInputStream. Ugh! Anyway, we always have a non
close-base-stream SoupBodyInputStream somewhere under the
SoupClientInputStream, so there's no need to chain up anyway.

Fixes a sporadic bug caused by the fact that we were closing the
stream (and thus calling soup_message_io_run_until_finish()) twice.

Clean up includes

Especially, include soup.h rather than individually including a bunch
of other public soup-*.h files.

Remove unnecessary system includes (many are leftovers from code that
has moved down into glib).

Reorganize files to need fewer forward declarations

Also, prefix virtual method implementation names with the class name,
to be consistent with other code.

Use G_DEFINE_INTERFACE and G_DEFINE_BOXED_TYPE

Use g_clear_object(), g_clear_pointer()

Use g_ptr_array_new_with_free_func()

Use g_slist_free_full()

Replace g_hash_table_foreach() with GHashTableIter

or g_hash_table_new_full() when the foreach was only being used for
cleanup.

Remove an unnecessary old demo program that doesn't work any more

soup-session.c: whitespace fix

requester-test: fix some debug printfs

Assamese translation completed

Added Assamese to LINGUAS

Updated Hebrew translation.

SoupCookie: ignore values on httponly and secure attributes

The cookie parsing algorithm says to ignore values on attributes that
aren't supposed to have them, so do that. Also add a test for this.
Based on a patch from "Basavaraj".

Also, drive-by bugfix in soup_cookie_to_set_cookie_header() /
soup_cookies_to_response() (the SoupServer side of the cookie APIs),
which were outputting "HttpOnly" if the cookie had the "secure" flag
set, rather than the "http_only" flag.

https://bugzilla.gnome.org/show_bug.cgi?id=678753

Fix cookies-test.c indentation

Updated Norwegian bokmål translation

Replace deprecated symbols

Add deprecation attributes to deprecated functions

This is using the newly introduce G_DEPRECATED macros
from GLib. Traditional deprecation guards are still in
place.

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=671770

Updated Bulgarian translation

update .gitignore for tld_data.inc

Added Vietnamese translation

Updated Indonesian translation

tld-parser: Rewrite in Python

This avoids the issues in building native code to build an
intermediate file to build more native code.  Automake has
BUILT_SOURCES but it's easier to just have build tools in scripting
languages.

https://bugzilla.gnome.org/show_bug.cgi?id=678909

build: Don't write tld_data.inc to srcdir which may not be writable

Generated data should go in the builddir.

https://bugzilla.gnome.org/show_bug.cgi?id=678909

tld-parser: Add error handling

Revert "make dist fix"

This reverts commit 76cc02212e63f692e6e36bdf99987928dc3c2ed2.  After
discussion with Dan on IRC, we agreed to revert this for now until a
better solution is written.  Probably one of

1) Rewrite tld-parser in a scripting language, so it doesn't have
   a build process
2) Hack somewhere else in automake to make 'make dist' happy

2.39.3

make dist fix

Updated Galician translations

Updated Greek translation

Updated Telugu Translation

Updated Telugu Translation

belatedly commit 2.39.2 NEWS

Updated Slovenian translation

Updated Spanish translation

soup-cookie-jar: do not accept cookies for well known public domains

SoupCookieJar uses the new soup_tld_* utils to reject cookies whose domains
are registered public suffixes. This prevents sites from setting supercookies.

https://bugzilla.gnome.org/show_bug.cgi?id=673802

soup-tld: added soup_tld_* utils

The soup_tld_* set of functions along with the list of public suffixes
published in http://publicsuffix.org allows API clients to get the base
domain of a given hostname or to check if a given domain is a public suffix
(one under which internet users can register new names).

https://bugzilla.gnome.org/show_bug.cgi?id=673802

Updated Greek translation

Bump version to 2.39.2

Bug 677923 - Add soup_cookie_jar_set_cookie_with_first_party() alternative that takes a SoupCookie in argument

Currently, the only way to add a cookie while checking first_party is to use
soup_cookie_jar_set_cookie_with_first_party(). However, this function takes an
unparsed cookie in argument.

In the event the client has already parsed the cookie (e.g. to do some
pre-processing), it would be useful to have an alternative to
soup_cookie_jar_set_cookie_with_first_party() which takes a parsed SoupCookie
in argument. This would be more efficient.

Bug 677922 - Add soup_cookie_jar_get_cookies() alternative that returns a GSList of SoupCookies

Adds a soup_cookie_jar_get_cookie_list() function that returns the
cookies in the jar that would be sent with a request to a specific
uri, as a GSList of SoupCookies.

soup_message_headers_get_content_type: annotate @params

https://bugzilla.gnome.org/show_bug.cgi?id=677002

Updated Belarusian translation.

tests/date: Fix compiler warning

soup-cache: use the status code from the stored response for expiration heuristics

We must check the status code of the stored response instead of the status
code of the SoupMessage passed to soup_cache_entry_set_freshness(). The reason
is because the SoupMessage might be the one used to revalidate the resource
instead of the original.

soup-cache: use the proper Content-Type when returning data from cache

This does not completely fixes the content-type handling by the cache as it
does not take into account the sniffed content type. Anyway trying to return
something from the original message was clearly wrong as it was not sent.
Better use the Content-Type from the 304 response.

soup-cache: correctly handle conditional requests not returning 304

If we do not get a 304 after a conditional request we have to refresh the
cache contents for that resource. We should use the original SoupMessage to
retrieve the new data from the resource (we were incorrectly using the
SoupMessage used for the conditional request).

The current strategy is clearly suboptimal as we ask again for the resource
instead of directly using the data from the response of the conditional
request. This will change once the cache is integrated into the streams
stack.

Updated Polish translation