Bug 626748 – Use async methods for writing and handle EAGAIN

If sending a lot of data and/or the other peer is not reading it, then
socket buffers can overflow. This is communicated from the kernel by
returning EAGAIN. In GIO, it is modelled by g_output_stream_write()
and g_socket_send_message() returning G_IO_ERROR_WOULD_BLOCK.

It is also problematic that that we're using synchronous IO in the
shared GDBus IO thread. It means that one GDBusConnection can lock up
others.

It turns out that by porting from g_output_stream_write() to
g_output_stream_write_async() we fix the EAGAIN issue. For GSocket, we
still need to handle things manually (by creating a GSource) as
g_socket_send_message() is used.

We check the new behavior in Michael's producer/consumer test case (at
/gdbus/overflow in gdbus-peer.c) added in the last commit.

Also add a test case that sends and receives a 20 MiB message.

Also add a new `transport' G_DBUS_DEBUG option so it is easy to
inspect partial writes:

 $ G_DBUS_DEBUG=transport ./gdbus-connection -p /gdbus/connection/large_message
 [...]
 ========================================================================
 GDBus-debug:Transport:
   >>>> WROTE 128000 bytes of message with serial 4 and
        size 20971669 from offset 0 on a GSocketOutputStream
 ========================================================================
 GDBus-debug:Transport:
   >>>> WROTE 128000 bytes of message with serial 4 and
        size 20971669 from offset 128000 on a GSocketOutputStream
 ========================================================================
 GDBus-debug:Transport:
   >>>> WROTE 128000 bytes of message with serial 4 and
        size 20971669 from offset 256000 on a GSocketOutputStream
 [...]
 ========================================================================
 GDBus-debug:Transport:
   >>>> WROTE 43669 bytes of message with serial 4 and
        size 20971669 from offset 20928000 on a GSocketOutputStream
 [...]
 ========================================================================
 GDBus-debug:Transport:
   <<<< READ 16 bytes of message with serial 3 and
        size 20971620 to offset 0 from a GSocketInputStream
 ========================================================================
 GDBus-debug:Transport:
   <<<< READ 15984 bytes of message with serial 3 and
        size 20971620 to offset 16 from a GSocketInputStream
 ========================================================================
 GDBus-debug:Transport:
   <<<< READ 16000 bytes of message with serial 3 and
        size 20971620 to offset 16000 from a GSocketInputStream
 [...]
 ========================================================================
 GDBus-debug:Transport:
   <<<< READ 144000 bytes of message with serial 3 and
        size 20971620 to offset 20720000 from a GSocketInputStream
 ========================================================================
 GDBus-debug:Transport:
   <<<< READ 107620 bytes of message with serial 3 and
        size 20971620 to offset 20864000 from a GSocketInputStream
 OK

https://bugzilla.gnome.org/show_bug.cgi?id=626748

Signed-off-by: David Zeuthen <davidz@redhat.com>

GSocket: Properly initialize msg.msg_control

This patch fixes this problem

   Syscall param socketcall.sendmsg(msg.msg_control) points to uninitialised byte(s)
      at 0x3D5B00EA60: __sendmsg_nocancel (syscall-template.S:82)
      by 0x53F9790: g_socket_send_message (gsocket.c:2918)
      by 0x540FDD0: g_unix_connection_send_credentials (gunixconnection.c:351)
      by 0x542B93F: _g_dbus_auth_run_client (gdbusauth.c:618)
      by 0x5438001: initable_init (gdbusconnection.c:2191)
      by 0x53E09CC: g_initable_init (ginitable.c:105)
      by 0x543F6E9: g_bus_get_sync (gdbusconnection.c:6091)
      by 0x402C7E: test_connection_life_cycle (gdbus-connection.c:126)
      by 0x4C7CABB: test_case_run (gtestutils.c:1174)
      by 0x4C7CD84: g_test_run_suite_internal (gtestutils.c:1223)
      by 0x4C7CE49: g_test_run_suite_internal (gtestutils.c:1233)
      by 0x4C7CE49: g_test_run_suite_internal (gtestutils.c:1233)
    Address 0x7fefff9fc is on thread 1's stack

Signed-off-by: David Zeuthen <davidz@redhat.com>

Declare stream base classes as abstract

Always do async vs sync correctly in GSocketConnection streams

Previously if a GSocketConnection had a blocking GSocket, it would
sometimes block during asynchonous I/O, and if it had a non-blocking
socket, it would sometimes return G_IO_ERROR_WOULD_BLOCK from
synchronous I/O. This fixes the connection to not depend on the socket
state.

https://bugzilla.gnome.org/show_bug.cgi?id=616458

Belatedly add g_socket_client_get/set_timeout to docs and symbols

GSocketClient: plug two leaks

g_socket_client_connect_async() was always leaking its GCancellable,
and would also leak any GSocket that eventually failed to connect
after returning G_IO_ERROR_PENDING.

GSocketClient: add a timeout property

GSocket has a timeout flag now, but when using GSocketClient there was
no way to set the timeout until after connecting (or failing). Fix
that by adding a timeout property to GSocketClient.

Add examples for GAsyncInitiable and GSimpleAsyncResult

Bug 602417

Document that _complete() et al. ref the GSimpleAsyncResult

_simple_async_result_is_valid: allow tag to be NULL

Because g_simple_async_report_[g]error_in_idle() don't take a source tag
parameter, code that uses them can't currently use
g_simple_async_result_is_valid() (at least, not for the error case).

Bug 602417

GVariant: be more explicit about adopting and returning floating refs

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=622770

Add bug references to some tests

Document vendor override files

Features without documentation, tsk tsk.

Fix doc format errors

Add tests for async file replace and load

Correct a comment

Add an async file create/write/read/delete test

Fix a typo, and some doc reformatting

Add some long descriptions for filter streams

Run volumemonitor test with local vfs

This is an attempt to stop the test from hanging on some build bots
in build.gnome.org.

Bug 626841 – Add test-case for non-socket GIOStream

Also fix a couple of bugs so it actually works.

https://bugzilla.gnome.org/show_bug.cgi?id=626841

Signed-off-by: David Zeuthen <davidz@redhat.com>

Add test for EAGAIN overflow in gdbusconnection based on David's test.

Add some async file tests

Collect NEWS for 2.25.14

Bump version

GAsyncQueue: use g_queue_init() not g_queue_new()

By using g_queue_init() instead of g_queue_new(), we can avoid
a separate memory allocation.

Bug 626704

Updated Swedish translation

Fix gio/win32 build after -I flag changes

Update Simplified Chinese translation.

Replace the explicit list of character categories by a reference
to the GUnicodeType docs.

Refer to GUnicodeScript docs instead of listing scripts explicitly

Move GRegex docs inline

Whitespace cleanup

Remove two redundant comments

Fix up a doc typo

Minor cleanup

The definition is now present in pcre.h

Move GConvert docs inline

update translation for master

Add introspection annotations in gregex.c

Also, make the new getters follow the style of other GRegex getters,
and take a const GRegex *.

Don't compile some unused functions in gio/xdgmime/

Don't compile an unused function

Trivial typo fix

Improve regex test coverage

Improve the async result test coverage

Improve dbus address test coverage

Updated galician translations

Improve regex test coverage

Drop some unused code

Some functions in pcre_get.c are not used.

Simplify gcov generation

lcov seems to handle .libs just fine on its own.

Bug 578295 - gtester has a race condition

Deal with the race in GMainLoop by installing a do-nothing timeout.

Make g_dbus_error_unregister_error work

Add some more test about gdbus_error apis

Make g_simple_async_result_is_valid work without source

The problem was pointed out by Xavier Claessens in bug 626208.

Make the closure variants of name owning and watching actually work

The GClosure API is a bit funky (and badly documented), and requires
you to set a marshaller on the closure, and the marshaller has an
implicit 'this' argument, and the caller is reponsible for unsetting
the values after invoking the closure.

I've added some calls of the _with_closures variants to the
gdbus-names test now.

Updated Norwegian bokmål translation

notifyqueue: Dedup pspecs when adding

The previous code dedup'd when thawing and threw nasty warnings your way
if you notified too often. This can now easily be avoided.

Performance should be roughly identical, as both are O(n²).

Prepare to release glib 2.25.13

gitignore update

gtester: Run tests only once on 'make check'

The gtester makefile runs 'make test' on 'make check' and also recurses
on 'make test'.  automake recurses on 'make check'.

This means that every level of recursive make that we go through results
in the tests running twice as many times.  If you type 'make check' at
the toplevel, for example, tests in gio/tests/ run 4 times.

Fix that by introducing a 'test-nonrecursive' target and using that one
from 'make check'.  'make test', 'make test-report', etc. are still
recursive.

Fix volumemonitor test case

Don't blindly g_object_unref() that which may be NULL.

gio.symbols: add g_dbus_message_[gs]et_byte_order

typo fix: Dist the data for the test cases

change 'dist_hook:' to 'dist-hook:'

Replace -I with $(glib_INCLUDES) and friends

Stop using ad hoc -I in all of our Makefile.am.  Use the new variables
instead.

configure.ac: define glib_INCLUDES and friends

These macros should be used instead of -I for things in the tree that
depend on various bits of glib.

also gobject_INCLUDES, gthread_INCLUDES, gmodule_INCLUDES, gio_INCLUDES

Clean up improper #includes

We have a lot of broken #including going on around the tree.  This has
gone unnoticed due to our sloppy use of -I.

Don't dist 'glibconfig.h'

This is causing very serious problems when doing out-of-tree builds from
tarballs on architectures that are different from the architecture that
the tarball was created on.

This commit breaks the build in those cases, but I'll fix that in the
next commits.

https://bugzilla.gnome.org/show_bug.cgi?id=626107

error test case: don't double-free the source

g_propagate_prefixed_error() frees the source already, don't
g_error_free() it.

avoid warning in gutils.h when using gcc with -Wconversion

https://bugzilla.gnome.org/show_bug.cgi?id=619026

Updated Galician translations

Updated French translation

Contributed by Gérard Baylard and Claude Paroz

Add $(top_builddir)/glib to includes

This is required to find glibconfig.h during srcdir != builddir builds

Updated Spanish translation

Expand documentation about error quark naming

Closes: bgo#625827

Test an option handling corner-case

Add a not about arguments beginning with dashes

Updated Hebrew translation.

Beautify configure output

Checking for cpp before using it avoids somewhat ugly
nested output. Pointed out in bug 593544.

Modernize pkg-config check

As pointed out in bug 599590, our hand-rolled check fails to find
cross-complication variants of pkg-config like i686-pc-mingw32-pkg-config.

Add missing files

Reported in bug 624739

GDBus: Add `return' debug option

This prints all GDBusMethodInvocation API usage and is normally used
with the `incoming' option. Example:

 # G_DBUS_DEBUG=incoming,return ./polkitd --replace
 Entering main event loop
 Connected to the system bus
 Registering null backend at priority -10
 [...]
 Acquired the name org.freedesktop.PolicyKit1
 [...]

 ========================================================================
 GDBus-debug:Incoming:
  <<<< METHOD INVOCATION org.freedesktop.PolicyKit1.Authority.RegisterAuthenticationAgent()
       on object /org/freedesktop/PolicyKit1/Authority
       invoked by name :1.26
       serial 299
 ========================================================================
 GDBus-debug:Return:
  >>>> METHOD ERROR org.freedesktop.PolicyKit1.Error.Failed
       message `Cannot determine session the caller is in'
       in response to org.freedesktop.PolicyKit1.Authority.RegisterAuthenticationAgent()
       on object /org/freedesktop/PolicyKit1/Authority
       to name :1.26
       reply-serial 299

 [...]

 ========================================================================
 GDBus-debug:Incoming:
  <<<< METHOD INVOCATION org.freedesktop.PolicyKit1.Authority.RegisterAuthenticationAgent()
       on object /org/freedesktop/PolicyKit1/Authority
       invoked by name :1.2402
       serial 25
 ========================================================================
 GDBus-debug:Return:
  >>>> METHOD RETURN
       in response to org.freedesktop.PolicyKit1.Authority.RegisterAuthenticationAgent()
       on object /org/freedesktop/PolicyKit1/Authority
       to name :1.2402
       reply-serial 25

Signed-off-by: David Zeuthen <davidz@redhat.com>

GDBusMessage: Validate header fields when serializing/deserializing

The D-Bus spec mentions exactly what header fields are required for
various message types. Add tests for this as well.

Also disallow empty interfaces for signals since the D-Bus spec says
this is Verboten already.

Signed-off-by: David Zeuthen <davidz@redhat.com>

GDBusMessage: Add a way to get/set byte order of a message

Also use this in the test cases to check that serialization to and
from both big and little endian works.

Signed-off-by: David Zeuthen <davidz@redhat.com>

GDBusMessage: Assert various things when serializing to a blob

We use g_assert() instead of setting the GError because it is a
programming error if the GVariant contains invalid data - see commit
5e6f762d61db1a5c64bd1d33e5ba112755106581 for where the last hole in
GVariant was closed.

So if we can trust GVariant to only contain valid data (ignoring the
case where unsafe API such as g_variant_new_from_data() is used), why
g_assert() at all with costly g_utf8_validate() checks? Because a) it
is relatively inexpensive; and b) it helps find bugs such as the one
fixed in commit 5e6f762d61db1a5c64bd1d33e5ba112755106581.

If performance is a concern we can play games like introducing
environment variables or other machinery to avoid such "costly"
checks. I doubt it will ever be an issue.

Also replace two "Hmm" TODO item with a static assert - the code that
serializes a gdouble into the D-Bus wire format by treating it as a
guint64 is indeed correct - endianess needs to be taken into account
(see the D-Bus reference implementation for similar code). But we want
to make sure that we're indeed using an architecture/compiler where a
gdouble takes up 8 bytes - hence the assertion.

Signed-off-by: David Zeuthen <davidz@redhat.com>

GDBusMessage: Validate UTF-8 strings when serializing from blob

Signed-off-by: David Zeuthen <davidz@redhat.com>

remove a junk line

Updated Norwegian bokmål translation

binding: Add a default marshaller for the closure API

The g_object_bind_property_with_closures() function should set a
marshaller if the two GClosures don't have one already. This simplifies
the caller code and avoids duplication.

We need to add a new marshaller to the gmarshal.list matching the
signature of the GBindingTransformFunc function.

GDBusConnection: Debug messages when receiving signals and method invocations

Spell out "RECEIVED SIGNAL" instead of "SIGNAL" to emphasize this is
about receiving a signal, not emitting one (which is "SIGNAL
EMISSION"). Also make the "arrows" point in the "right" direction
("<<<<" vs ">>>>") - like this:

 ========================================================================
 GDBus-debug:Signal:
  <<<< RECEIVED SIGNAL org.freedesktop.DBus.NameOwnerChanged
       on object /org/freedesktop/DBus
       sent by name org.freedesktop.DBus

and

 ========================================================================
 GDBus-debug:Incoming:
  <<<< METHOD INVOCATION org.freedesktop.PolicyKit1.Authority.EnumerateTemporaryAuthorizations()
       on object /org/freedesktop/PolicyKit1/Authority
       invoked by name :1.2176

Signed-off-by: David Zeuthen <davidz@redhat.com>

glib-compile-schemas: Pass a C string, not a GString wrapper

Commit 5e6f762d61db1a5c64bd1d33e5ba112755106581 (introducing UTF-8
validity checks for GVariant instances containing strsings) actually
uncovered a bug in glib-compile-schemas - a GString was passed when a
C string was expected.

Signed-off-by: David Zeuthen <davidz@redhat.com>

GVariant: validate that passed string is UTF-8

As discussed with Ryan on IRC.

This check is crucial because it guarantees that
g_variant_get_string() will _always_ return valid UTF-8. Except in
cases where the programmer used unsafe API such as
g_variant_new_from_data() and setting @trusted to TRUE.

In fact, this check revealed a flaw in my polkit gdbus port

 (lt-polkitd:11632): GLib-CRITICAL **: g_variant_new_string: assertion
 `g_utf8_validate (string, len, NULL)' failed

and with this I could easily find the problem by using gdb(1) and
G_DBUS=fatal-warnings.

Without this check we'd pass the non-UTF8 string all the way to the
message bus and the bus would then disconnect us. So instead I was
seeing

  g_dbus_connection_real_closed: Remote peer vanished with error:
  Underlying GIOStream returned 0 bytes on an async read
  (g-io-error-quark, 0). Exiting.

and then SIGTERM as raised by g_dbus_connection_real_closed() and my
polkitd process would exit. This behavior is much harder to debug than
failing early (as this patch implements).

Signed-off-by: David Zeuthen <davidz@redhat.com>

Fix gdbus-exit-on-close test case

Forgot to update the test case after last commit.

Signed-off-by: David Zeuthen <davidz@redhat.com>

GDBus: If exiting b/c remote peer disconnected and error is set, print it

This should make things easier to debug:

  g_dbus_connection_real_closed: Remote peer vanished with error:
  Underlying GIOStream returned 0 bytes on an async read
  (g-io-error-quark, 0). Exiting.

Signed-off-by: David Zeuthen <davidz@redhat.com>

GDBusProxy: Don't leak a GSimpleAsyncResult when doing async calls

Signed-off-by: David Zeuthen <davidz@redhat.com>

Fix a possible deadlock

the FdSource was calling g_cancellable_disconnect while holding the
main context lock, which is bad news if the ::cancelled handler is
trying to get that lock to wake up the mainloop...

Bug 586432

fix the completion test

improve completion test coverage

Don't assert too much

Move bookmarkfile tests to the test framework

Update the Git ignore files

Don't add (extra) DESTDIR to tapsetdir for tapset_DATA.

https://bugzilla.gnome.org/show_bug.cgi?id=625876