Simplify tests that can time out

There are basically two patterns:

* something should stop the main loop within n seconds; if not, that's
  failure (this is now loop_run_with_timeout)
* run the main loop for n seconds, then check whether things we wanted
  to happen happened (this is now loop_run_with_non_fatal_timeout)

The latter is basically a bug in itself; I'm not going to fix that
right now, but I did mark it as deprecated.

In both cases, we want to adjust the timeout for running under Valgrind
or Callgrind, which makes everything slow.

build: ensure libtp-test-contactlist is built before its dependents

Autotools somehow wasn't picking up the dependencies correctly, so this
forces it to build the support library first.

As the comment says, there's probably a better fix but time is precious.

NEWS for locale bits

TestCase: set locale from the environment

This fixes an annoyance I'd had for a while: UTF-8 arrows etc.
in debug messages came out as "?", because until we call setlocale()
we're in the C locale, whose character set is ASCII (and some layer
of library responds by transcoding our strings into ASCII).

With this change, running the tests in en_GB.UTF-8 results in
Unicode arrows and more comprehensible output.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=696179
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

folks-inspect, folks-import: initialize localization from the environment

Otherwise, $LANG etc. are ignored and we stay in the C locale.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=696179
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Updated Korean translation

Add support for running tests under callgrind as well as memcheck

Bug https://bugzilla.gnome.org/show_bug.cgi?id=696104
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>
[... and document it in HACKING in response to review -smcv]
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>

EdsTest.Backend: add contacts as a batch, not one at a time

This should make it much quicker to add contacts in bulk.

Bug https://bugzilla.gnome.org/show_bug.cgi?id=696104
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

EdsTest.Backend: use an array for contacts

This means we don't have to worry about whether prepending is faster
than appending, or about Vala getting confused about ownership in
linked lists.

Bug https://bugzilla.gnome.org/show_bug.cgi?id=696104
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

EdsTest.Backend: clear up more thoroughly after tests

Bug https://bugzilla.gnome.org/show_bug.cgi?id=690830
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>
[redundant line removed in response to review -smcv]
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>

Add infrastructure for finding test data files, and use it for avatars

Again, I've speculatively added support for a FOLKS_TESTS_INSTALLED
variable, because one day I'd like "make installcheck" to work.

Bug https://bugzilla.gnome.org/show_bug.cgi?id=690830
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Simplify how we get PACKAGE_DATADIR

DATA_DIR and PACKAGE_DATADIR appear to have been intended to both be
${prefix}/share/folks, but due to a typo (sharedir vs. shareddir)
DATA_DIR was actually defined to an empty string. Neither is actually
used anywhere at the moment.

Bug https://bugzilla.gnome.org/show_bug.cgi?id=690830
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

NEWS: describe the change to tools' locale search path

tools: use the right locale directory

I happened to notice that they're misusing $(pkgdatadir) - $(pkgdatadir)
is $(datadir)/$(PACKAGE), i.e. typically /usr/share/folks, but
localization is installed to $(localedir), typically /usr/share/locale.

This resulted in the tools looking in /opt/gnome-3.8/share/folks/locale
in my installation, instead of the correct /opt/gnome-3.8/share/locale.

Add infrastructure to run helper test binaries

I've included basic infrastructure to run them from an installed
path instead of the builddir, because there seems to be considerable
interest in that at the moment.

Bug https://bugzilla.gnome.org/show_bug.cgi?id=690830
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>
[document capture_stdout in response to review -smcv]
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>

In tests that do not rely on with-session-bus*.sh, use a transient $HOME

This is one more way in which we can avoid touching the user's
real files.

Bug https://bugzilla.gnome.org/show_bug.cgi?id=690830
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>
[use "this." in response to review -smcv]
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>

Run Telepathy test cases under GTestDBus instead of with-session-bus.sh

Bug https://bugzilla.gnome.org/show_bug.cgi?id=690830
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Run libsocialweb tests under GTestDBus instead of with-session-bus.sh

Bug https://bugzilla.gnome.org/show_bug.cgi?id=690830
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

LibsocialwebTest.Backend: clean up object registrations in tear_down()

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=690830
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>
[more comments in response to review -smcv]
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>

LibsocialwebTest: don't try to keep ownership of name through tear_down()

This is a step towards replacing with-session-bus*.sh with GTestDBus,
which cleans up our D-Bus connection while the test is still running.
If we do that without this change, then the NameLost callback is triggered
when we get disconnected from D-Bus, causing an assertion failure.

This also should reduce circular references, by making sure closures
that contain "this" get cleaned up.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=690830
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Add infrastructure to run tests under GTestDBus

For now, all library TestCase subclasses except the one for key-files
override this back to "do nothing" and rely on being run under
with-session-bus.sh, because I haven't checked whether they survive
having the D-Bus session bus disconnected from under them.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=690830
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>
[added comments about the undesirable dbus-1 dependency -smcv]
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>

[l10n] Updated Italian translation.

[l10n] Added Tadjik translation

all Makefiles: don't ignore or clean .c files not corresponding to Vala

This will become more important if we use C to implement fast-paths
and faster data structures.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

TestCase: avoid circular refs between GTest and this

Instead of running tests via the Adaptor inner class, run them via
a C helper that takes a weak ref to the TestCase. This relies on the
caller keeping a ref to the TestCase until after Test.run() - but I
recently converted the tests to do exactly that, so that's OK.

Adding a debug message which prints this.ref_count to final_tear_down()
reveals that some of our regression tests still leak the TestCase, but
many don't now.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

All tests: switch to a calling convention that does not rely on leaking

The standard main() used in each test relied on the fact that
get_suite() kept a ref to the TestCase subclass instance, which would
be stored in the global variables of the GTest infrastructure,
resulting in the TestCase never being freed and its final_teardown()
never being executed.

That's undesirable if final_teardown() is going to do something
significant, like terminating a temporary session bus. As a first
step towards that, run the tests with the TestCase subclass instance
globally referenced (so that the version passed to GTest can eventually
be a weak reference), and explicitly run final_tear_down() so that
even if there is a ref leak (as there is now), it gets executed.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

For symmetry, nullify sets in tear_down() if created in set_up()

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Assert that each D-Bus test case is run in its intended environment

This is a safety check so we don't trash the user's real home directory.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>
[added a comment as per pwithnall's review -smcv]
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>

Document recently-added TestCase subclasses

They currently assume that they will be wrapped in with-session-bus*.sh.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

LibsocialwebTest.TestCase: defer creation of lsw_backend until set_up()

Also destroy it in tear_down(), for symmetry. Since there are only two
LSW test cases and neither of them has more than one test, we don't
need to worry much about compatibility - it's easy to check.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

tests: limit backends via the environment a bit more directly

This makes it more obvious what's enabled and what isn't. We want to
make sure that only the intended backends are enabled, because those
are the ones for which we've done enough environmental setup
(D-Bus, etc.) to make sure they don't "leak out" into the user's
real data.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Make EdsTest.TestCase.eds_backend nullable

It's null outside the period from set_up() to tear_down().

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Reduce hard-coding of e-d-s address book names

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Add subclasses for each category of TestCase

Move small amounts of initialization (just the low-hanging fruit)
into each subclass. Folks.TestCase is now reserved for tests that
don't need any backends or additional services at all.

In the process, make TpTestsBackend.tear_down() idempotent, so it's OK
if we call it repeatedly.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Updated Latvian translation

Updated Danish translation

Updated Hungarian translation

Updated Portuguese translation and converted to New Spelling (Novo AO)

[l10n] Updated Catalan (Valencian) translation

[l10n] Updated Catalan translation

Updated gujarati file

update NEWS

BackendStore: provide an easier way to limit backends via environment

If FOLKS_BACKENDS_ALLOWED is set, it's a space-, comma- or
colon-separated list of backends to allow, or "all". If unset, the
default is "all". Backends not in the list are disabled, even if the
keyfile says they ought to be enabled.

If FOLKS_BACKENDS_DISABLED is set, it's a space-, comma- or
colon-separated list of additional backends to disable.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695381
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

TestCase: fix indentation

Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

collection comparators: optimize the case of empty collections

Comparing integers is a lot faster than constructing one or more
GObjects to iterate over the hash table. This saves about 3% of the
user CPU time needed to deal with 2049 simple e-d-s Google contacts,
each with one email address and no phone numbers etc.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695648
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Don't do manual memory management for libsocialweb Contact structs

GObject (and hence Vala) already knows how to memory-manage a Contact,
because it's a boxed type. Trying to do our own memory-management
anyway results in an occasional (50%?) double-free and crash.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695719
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

update NEWS

Always append to AM_VALAFLAGS, don't replace

This avoids losing --target-glib=2.24 (from configure.ac) in certain
test modules.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695628
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Do not assign to VALAFLAGS

Users should be able to do "make VALAFLAGS=--enable-experimental-non-null"
without overriding necessary flags like --target-glib=2.24. The variable
for use by package maintainers is AM_VALAFLAGS.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=695628
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Assamese translation updated for gnome 3.8

HACKING: Update documentation for strict-non-null mode

Mention how to compile with --enable-experimental-non-null.

See: https://bugzilla.gnome.org/show_bug.cgi?id=695628

Updated Indonesian translation

Updated Greek translation

Update NEWS with recent changes

Mostly avoid an expensive multi-map iteration pattern

If you have a MultiMap with, say, 100 keys each with 1 value, and you
iterate over it like this (pseudocode):

    for key in keys():
        values = get(key)
        for value in values:
            do something(key, value)

then you have constructed one GObject for the result of keys(), and
100 GObjects for the results of get() (because it returns a read-only
view). If you iterate it like this:

    iter = map_iterator()
    while iter.next():
        do something(iter.key(), iter.value())

there's only one extraneous GObject, the iterator itself.

When there are thousands of contacts, as in add-contacts-stress-test,
this really starts to matter.

This patch doesn't fix every use of get_keys() - some of them do
non-trivial work per key as well as per value, making it awkward to
convert to map_iterator() - but it's a start. It cuts 'user' CPU time
for IndividualAggregator quiescence for an e-d-s Google account with
2049 contacts (reading from cache) by around 3%.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=682903
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>
[note added to HACKING as per Philip's review]
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>

Updated Slovenian translation

Updated Belarusian translation.

Updated Brazilian Portuguese translation

Use absolute paths for --vapidir

In the rules currently generated by Automake, valac currently runs
cd'd into the ${srcdir}. It seems unwise to rely on that, and the
only thing that will work regardless of whether ${srcdir} is ".",
relative or absolute is its "absolutized" version.

Similarly, look in both the ${srcdir} and the ${builddir} for Vala
bindings we generate: the ${srcdir} because that's where valac currently
puts them, and the ${builddir} because that's where they ought to go
in principle.

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=694883
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>

Add -I$(top_srcdir) throughout

Automake adds (the equivalent of) -I$(top_builddir) to our CPPFLAGS
automatically, so we can #include "config.h". It does not add
-I$(top_srcdir). Many things in folks want to #include <folks/folks.h>,
so we should always have -I$(top_srcdir) so we can pick that up.

Out-of-tree builds previously either didn't work, or relied on having
installed folks headers (I'm not sure which).

Bug: https://bugzilla.gnome.org/show_bug.cgi?id=694883
Reviewed-by: Philip Withnall <philip@tecnocode.co.uk>
[amended to do the same for tracker- and libsocialweb-specifics too -smcv]
Signed-off-by: Simon McVittie <simon.mcvittie@collabora.co.uk>

Updated Norwegian bokmål translation

[l10n] Updated German translation

Updated Lithuanian translation

Updated Traditional Chinese translation(Hong Kong and Taiwan)

Updated Serbian translation

Updated Galician translations

Updated Polish translation

build: Include location-details.c in POTFILES.skip

This fixes a break in distcheck

build: Use @return instead of unsupported @returns valadoc

This was breaking the build when making docs

Updated Uyghur translation

Signed-off-by: Gheyret Kenji <gheyret@gmail.com>

Updated Uyghur translation

Signed-off-by: Gheyret Kenji <gheyret@gmail.com>

Updated Uyghur translation

Signed-off-by: Gheyret Kenji <gheyret@gmail.com>

Updated Czech translation

Punjabi: Translation updated (aalam)

Updated Spanish translation

Update French translation

Update French translation

support geo location information

This adds "Location" class with latitude and longitude and
single-valued "LocationDetails" which exposes that information for a
contact. The logic for choosing "the best" among many locations from
different personas is left out for now. Instead folks picks according
to the default ordering of single values, which prefers values from
the primary store.

The EDS backend provides, creates and writes the GEO property as
location.

Updated Czech translation

eds: Fix the type of a parameter in add_persona_from_details()

This build breaker was introduced in commit
dcc558d87d113dae0aa8721db3d80261c08dee57.

eds: fix Android favourite handling when creating contact

When processing PersonaDetail.GROUPS before PersonaDetail.IS_FAVOURITE
while creating a new contact in EDS, the special code for adding the
contact to the “Starred in Android” group (bgo#661490 was skipped). We
must go through _set_is_favourite instead of _set_contact_is_favourite
to get that part done, too.

eds: support 'groups' when creating a contact

There's a minor twist with supporting the setting of groups from
details: _set_contact_groups() needs to know whether the contact
is a favorite, for special handling of Google contacts.

If the PersonaDetail.IS_FAVOURITE is found first in the details, that
boolean is passed to a later _set_contact_groups(). If
_set_contact_groups() is done first, then _set_contact_is_favourite()
applies the special Google workaround.

Update the home page listed in DOAP file

Post-release version bump

Release version 0.9.1

Fix build with evolution-data-server master

Eds recently splitted certain enums from libebook into libebook-contacts.
As part of that, they are now correctly reported as error domains,
rather than bare enums, so we need to change the syntax to check them.

https://bugzilla.gnome.org/show_bug.cgi?id=694049

Post-release version bump

Release version 0.9.0

Temporarily disable some broken tests for the release.

Distribute the ofono backend dir

Alphabetize backend subdirs

Revert "build fix: Only depend on Gee 0.8.3, since 0.8.4 isn't released yet"

This reverts commit ad77950c7a628399e59ac3d04f07f95bb21f1887.

Bump Tracker requirement to the latest series.

Updated Polish translation

eds: Check property values have changed before committing them to EDS

This prevents timeouts when waiting for EDS to notify us of property changes,
since it won’t notify for non-changed properties. It also saves a D-Bus round
trip in the case the folks property setter is called with an unchanged value.

Closes: https://bugzilla.gnome.org/show_bug.cgi?id=692951

Update French translation

Revert "CUT -- disable some broken tests"

This reverts commit f58c41dfbdb53bb617215888859fafb32ad2b9d6.

CUT -- disable some broken tests

build fix: Only depend on Gee 0.8.3, since 0.8.4 isn't released yet

This can safely be reverted once Gee 0.8.4 is released.

tools: Fix ambiguous references to HashTable

Could have been GLib.HashTable or Xml.HashTable. Caught by Jenkins:
https://jenkins.qa.ubuntu.com/view/Raring/view/JHBuild%20Gnome/job/jhbuild-amd64-folks/114/

On further investigation, this was caused by changes to the libxml2
bindings in Vala. Compilation of folks against Vala master now
succeeds, so there shouldn’t be any more HashTable failures.