test-client-cursor-operations.c: Removed bogus test for invalid sexp

No search expression is invalid anymore.

test-client-custom-summary: Added test for the 'x-evolution-any-field' NULL special case

x-evolution-any-field with a NULL value (or byte) means 'get all contacts'.

EBookSqlite: Improved performance and simplified code

After much discussion on sqlite-users mailing list, I found
the real, correct technique for querying our multi attribute
values on the auxiliary tables.

  o Removed the crack query optimizer

  o Added the index to aux_table.uid (this is important
    to optimize contact inserts, as we have to delete
    all aux_table.uid entries in the case of a replace).

  o Drop the LEFT JOIN statements in favor of

    JOIN 'folder_id_email_list' AS 'email_list' ON +email_list.uid = summary.uid

    This does not create exponentially huge data sets because of the ON
    statement, the '+' ensures that email_list.uid is ineligable for
    indexing, since we want to use email_list.value indexes later on.

Bug #715057 - Weather calendar is using Fahrenheit units as default

Remove unused camel_session_get_main_context().

Remove unused camel_service_get_session().

Avoid camel_service_get_session().

Use camel_service_ref_session() instead.

test-server-utils: Fixed to wait for clients to finalize

Previously we would get sporadic errors from tests when clients
do not finalize synchronously in response to g_object_unref().

However this syncrhonous finalization is not really mandated by
the API, so instead we give them a grace period to finalize and
error out if they fail to finalize eventually.

Fix build break in e-data-book-factory.c.

Missing #include <locale.h>

CamelIMAPXSettings: Remove unused "mobile-mode" property.

Not used by Evolution and not clear what this mode even means.

Removing it makes a bunch of confusing complexity drop out, which is
justication enough for me.

CamelPOP3Settings: Remove unused "batch-fetch-count" property.

Was tied to "mobile mode", no longer used.

CamelPOP3Settings: Remove unused "mobile-mode" property.

Not used by Evolution and not clear what this mode even means.

Removing it makes a bunch of confusing complexity drop out, which is
justification enough for me.

CamelFolder: Remove unused fetch_messages_sync() method.

The method is not used by Evolution and was partially broken anyway.
The boolean return value was overloaded to mean both whether an error
occurred AND whether there were more messages to fetch.  That's more
than two possible states and would have required an additional "out"
parameter to clarify, but I'm not going to bother with it.

CamelFolder: Remove all asynchronous class methods.

Rationale:

When I originally added Camel's asynchronous API, I thought providers
could choose to override the synchronous or asynchronous class methods.

Years later, turns out the asynchronous methods were never overridden,
and it wouldn't have worked anyway.  The asynchronous methods by default
invoke an associated synchronous function from a worker thread, but many
of Camel's synchronous functions do extra processing around invoking the
synchronous class method.  camel_store_get_folder_sync() is an example.

If a provider tried to implement synchronous methods in terms of the
asynchronous methods, then that extra processing in the synchronous
functions could potentially get skipped.

Removing the asynchronous class methods should help clarify how Camel
providers are intended to be written.

The removal should have no impact on existing Camel providers, all of
which implement only the synchronous class methods.  I've even padded
the CamelFolderClass struct to keep the binary interface intact.

CamelSubscribable: Remove all asynchronous class methods.

Rationale:

When I originally added Camel's asynchronous API, I thought providers
could choose to override the synchronous or asynchronous class methods.

Years later, turns out the asynchronous methods were never overridden,
and it wouldn't have worked anyway.  The asynchronous methods by default
invoke an associated synchronous function from a worker thread, but many
of Camel's synchronous functions do extra processing around invoking the
synchronous class method.  camel_store_get_folder_sync() is an example.

If a provider tried to implement synchronous methods in terms of the
asynchronous methods, then that extra processing in the synchronous
functions could potentially get skipped.

Removing the asynchronous class methods should help clarify how Camel
providers are intended to be written.

The removal should have no impact on existing Camel providers, all of
which implement only the synchronous class methods.  I've even padded
the CamelSubscribableInterface struct to keep the binary interface
intact.

CamelTransport: Remove all asynchronous class methods.

Rationale:

When I originally added Camel's asynchronous API, I thought providers
could choose to override the synchronous or asynchronous class methods.

Years later, turns out the asynchronous methods were never overridden,
and it wouldn't have worked anyway.  The asynchronous methods by default
invoke an associated synchronous function from a worker thread, but many
of Camel's synchronous functions do extra processing around invoking the
synchronous class method.  camel_store_get_folder_sync() is an example.

If a provider tried to implement synchronous methods in terms of the
asynchronous methods, then that extra processing in the synchronous
functions could potentially get skipped.

Removing the asynchronous class methods should help clarify how Camel
providers are intended to be written.

The removal should have no impact on existing Camel providers, all of
which implement only the synchronous class methods.  I've even padded
the CamelTransportClass struct to keep the binary interface intact.

CamelStore: Remove all asynchronous class methods.

Rationale:

When I originally added Camel's asynchronous API, I thought providers
could choose to override the synchronous or asynchronous class methods.

Years later, turns out the asynchronous methods were never overridden,
and it wouldn't have worked anyway.  The asynchronous methods by default
invoke an associated synchronous function from a worker thread, but many
of Camel's synchronous functions do extra processing around invoking the
synchronous class method.  camel_store_get_folder_sync() is an example.

If a provider tried to implement synchronous methods in terms of the
asynchronous methods, then that extra processing in the synchronous
functions could potentially get skipped.

Removing the asynchronous class methods should help clarify how Camel
providers are intended to be written.

The removal should have no impact on existing Camel providers, all of
which implement only the synchronous class methods.  I've even padded
the CamelStoreClass struct to keep the binary interface intact.

CamelService: Remove all asynchronous class methods.

Rationale:

When I originally added Camel's asynchronous API, I thought providers
could choose to override the synchronous or asynchronous class methods.

Years later, turns out the asynchronous methods were never overridden,
and it wouldn't have worked anyway.  The asynchronous methods by default
invoke an associated synchronous function from a worker thread, but many
of Camel's synchronous functions do extra processing around invoking the
synchronous class method.  camel_store_get_folder_sync() is an example.

If a provider tried to implement synchronous methods in terms of the
asynchronous methods, then that extra processing in the synchronous
functions could potentially get skipped.

Removing the asynchronous class methods should help clarify how Camel
providers are intended to be written.

The removal should have no impact on existing Camel providers, all of
which implement only the synchronous class methods.  I've even padded
the CamelServiceClass struct to keep the binary interface intact.

EBookSqlite: Fixed a transaction which wanted to read, but asked to write.

EBookClientCursor: Keep a strong reference to the client

When finalizing a cursor, it is important to have access
to the direct backend available so that it can be asked
to delete the direct access cursor instance.

For this reason EBookClientCursor must keep the EBookClient alive,
EBookClient now exposes a hidden API (not in the header file)
to allow the EBookClientCursor to ask the EBookClient to delete
the cursor on the EBookClientCursor's behalf.

Ugly, but works.

EBookBackend: Fixed ref-counting bug in e_book_backend_set_locale()

EDataBookFactor / EDataBook: Migrated locale handling to EDataBookFactory

The EDataBookFactory is the server side singleton, this is the right
place to handle locale changes, now each EDataBook is set into the
correct locale by the factory, when books are created, and when the
locale change notification arrives.

Revert "test-server-utils: Disable the cache-reaper in the test environment"

This reverts commit fcdad7cc7779692d6a63d194c55ed3ac1bca0f3c.

Updated Spanish translation

Fixed test-client-cursor-create

There is no such thing anymore as an invalid query for the cursor.

EBookClient: Fixed e_book_client_cursor_get_contact_alphabetic_index()

Fixed the above function to not pass NULL to e_collator_get_index()

test-client-uid-only-view: Fixed test

Now we aren't filtering by fields of interest for contact changes,
so disabled the part of the test which adds a contact.

This can be reverted if we so decide to filter it manually
in EDataBookView

test-client-revision-view: Disabled part of the test.

Initial changes are filtered by fields-of-interest, however
change notifications are not filtered, this is because it's actually
faster to just send the vcard as is.

test-client-custom-summary: Added various tests

  o Added test for the underscore

    Before we used to only escape the '%' character in LIKE statements,
    but SQLite also recognizes the '_' as a single char wildcard and
    needs escaping.

    This test ensures that the underscore is properly handled.

  o Added query test which ORs the same field

    This helps to test the query optimizer in EBookBackendSqlite, which
    will optimize a query which ORs two multi attribute fields (like
    E_CONTACT_EMAIL).

  o Added tests for the NOT queries

  o Added tests for NOT, AND and OR and as well as some nested AND / OR
    tests which trigger the query optimizer in EBookBackendSqlite

  o Fix expectations for phone number matches, now that the phone number
    comparisons are fixed

  o Added --filter option.

    Pass a regular expression to filter which test cases should run

  o Added test which searches by UID (can trigger bugs if normalization
    is mistakenly done on the UIDs).

test-client-cursor-operations.c: Test cursor in fallback mode

Now test the cursor functionality in cases where the cursor
is using sort fields not in the summary (and search expressions
not in the summary).

Also added --filter option, pass a regular expression to filter
which test cases should run

Also increased TIMEOUT tollerance. This needs fixing, backends are not
shutting down properly, locale changes get backed up and take more and
more time as the test keeps running.

test-server-utils: Disable the cache-reaper in the test environment

This causes races, when changing the locale, the previous/complete
test (which is not shut down properly) is getting I/O errors because
the cache-reaper comes to screw up the day.

Added case to the book-migration test for basic cursor operation.

Ported the lower level cursor tests to use EBookSqlite.

Refactored the whole test suite so that it's isolated to
libedata-book, use the EBookSqlite directly.

Now for the majority of test cases, we test with and without
fields in the summary (with an empty summary configuration)
and we also test the EBookSqlite with a callback to fetch
vcards and without a callback.

We also now test for e164 number change notifications in locale changes.

EBookClientCursor: Changed for EDataBookCursor API change (cancellables)

EBookClient: Changed for EDataBookCursor API change.

EDataBookCursorSqlite: Ported to EBookSqlite

EBookBackendFile: Ported to new EBookSqlite API

Make use of the new callback in e_book_sqlite_set_locale()
and notify views if contacts have changed as a result of a locale
change.

Rely on EBookBackend implementation for ->notify_update() now.

EBookBackend: e_book_backend_set_locale() now has GCancellable

EDataBookCursor: Changed APIs to permit GCancellable for long running operations.

EDataBook: Changed for EBookBackend set_locale() API change

Adding new EBookSqlite

This is a complete rewrite for the EBookBackendSqliteDB API,
some improvements here include:

  o Support for e_book_query_exists() and e_book_query_not()

  o ESexp parsing only happens once, least possible processing
    while generating a query

  o Query preflighting stage checks for the validity of a query,
    and also optimizes it, so that the generated statement will
    be as fast as possible

  o Implementation of queries are now much more straigh forward,
    we have a single array of constraint generator functions, one
    for each type of EBookQueryTest

  o General interactions with SQLite is improved, functions like
    ebsql_string_append_printf() and book_backend_sqlite_exec_printf()
    reduce the amount of redundant code

  o Inserts are done with prepared SQLite statements, which should
    buy us optimization on batch inserts

  o Phone number queries no longer require the E_BOOK_INDEX_PHONE
    to work, however they are quicker with the index

  o Auxiliary tables are now created for each multi attribute contact
    field in the summary separately, reducing the amount of rows
    needed to traverse for a match (also adding more flexibility to
    how we handle these multi-attribute fields)

  o Special care has been taken to ensure that we begin write transactions
    with BEGIN IMMEDIATE, allowing us to fail gracefully if and when
    SQLITE_BUSY is returned

  o Schema upgrades are more failsafe, Just add columns needed in the
    summary if they are not already declared, even though SQLite does
    not support "ADD COLUMN IF NOT EXISTS".

  o When searching contacts with a search expression that cannot
    be satisfied by the summary columns, use a fallback built into
    the SQLite instead of loading everything into memory

  o Allow usage of the cursor with fields that are not in the summary,
    both for cursor ordering and filtering.

  o While relocalizing the whole database, care is taken to perform
    the operation in batches, this way EBookBackendSqlite does not
    ever try to load the whole database in memory at once.

  o Region code for phone number parsing is now tied into the locale
    setting and will change as a result of locale changes.

  o While relocalizing and reformatting the e164 phone number attributes
    in vcards, we send notifications for vcards which changed as a
    result of relocalization via a EbSqlVCardCallback which can
    be passed to e_book_backend_sqlite_set_locale()

  o Error codes are refined to be more meaningful in general than the
    traditional E_BOOK_SQLITE_ERROR_OTHER

Added E_BOOK_INDEX_SORT_KEY to EBookIndexType

EBookQuery: Added end marker for the EBookQueryTest enum

Also declare the first member with "= 0", just because we now
use it to index an array, and I'm paranoid/unsure about the C spec
in this case.

EPhoneNumber: Fixed phone number matching semantics.

Only use the default region code for the purpose of parsing
phone numbers, but disregard the default country code in comparisons.

Also, work around a bug in libphonenumber's C++ implementation
and make sure to properly promote SHORT number matches to NATIONAL
number match strength.

Based on a patch by Patrick Ohly

ECollator: Added e_collator_new_interpret_country()

ICU is our best source for parsing locale strings, this
is just a convenience for EBookBackendSqlite to get the active
country code for phone number parsing.

ECollator: fixed e_collator_collate() to allow NULL strings.

NULL strings sort below other strings.

Added e_vcard_construct_full()

This new variant allows construction of a vcard from a string
which is not terminated.

Updated Galician translations

EDataBookCursor: fixed memory leak.

This was forgetting to free the result list after transforming it
for the D-Bus return.

Bug #719382 - Build break, missing NSPR CFLAGS/LIBS in Camel

CamelSession: Add a "user-alert" signal.

This replaces the interactive "alert_user()" method since the
interactive aspect is no longer used and proved difficult for
applications to handle correctly.

New functions:

  camel_session_user_alert()

Removed functions:

  camel_session_alert_user()

Bug #712578 - MH folder refresh can cause summary rebuild

Updated Polish translation

CamelSession: Remove leftover "check_junk" function declarations.

Bug #680961 - Broken dispatching of EAuthenticationSession

There was basically no error reporting from the server to the client
when any such occurred during authentication on the server side, thus
the client was left waiting for a response which never happened. Even
the 'dismiss' signal has a comment that it can be used for such cases,
it's not the right thing to do, because it hides the errors from a user,
thus he/she doesn't know that something went wrong. For that a new
ServerError signal was added and the error is properly propagated to
the client. Note the GOA errors don't strip the GDBus error from
the message, which looks odd in the UI, thus I added a workaround
for that too.

Updated Lithuanian translation

Bug 709838 - CamelDataCache: Empty cache file leads to deadlock

camel_data_cache_get() forgot to abort the key reservation from its
object bag when an empty cache file is detected.  This would eventually
lead to a deadlock when attempting to add the same key later.

This bug was mainly affecting HTML mails, when a remote image download
got interrupted and left behind an empty file in the HTTP cache.

test-client-custom-summary.c: Report specific error from add_contacts()

Updated Spanish translation

CamelSession: Remove "check-junk" property.

Evolution uses it but Camel doesn't.  Move it to Evolution.

Bump libcamel soname.

Some more API changes to follow.

ESexp: Check for NULL before freeing a GPtrArray

ESExp: Fixed memory leak of ESExp->error string

EDataBook: Fixed memory leak of every EContact succesfully added to the addressbook.

Updated POTFILES.in

Updated Greek translation

ECalBackend: Use GThreadPool instead of g_io_scheduler_push_job().

Once the old-style backend API is gone we can port everything to GTask,
but for now be conservative with the changes.

EBookBackend: Use GThreadPool instead of g_io_scheduler_push_job().

Once the old-style backend API is gone we can port everything to GTask,
but for now be conservative with the changes.

Bug 712323 - Substantially expand EVCard documentation

e-vcard: Fix case sensitivity of string comparisions

The rest of the code (and the specification) uniformly users
case-insensitive comparisons of attribute names and parameter values.

e-vcard: Fix a minor memory leak for multi-valued parameters

CamelFolder: Update "host-reachable" before connecting.

CamelStore: Update "host-reachable" before connecting.

Add camel_network_service_can_reach_sync().

Just wrappers g_network_monitor_can_reach() using the service's own
GSocketConnectable, but also updates the "host-reachable" property.
External callers can use this to synchronously update the property,
in case they need an up-to-date result to make a decision.

Also adds equivalent asynchronous functions:

  camel_network_service_can_reach()
  camel_network_service_can_reach_finish()

services: Demote g_print() -> g_debug() for bus names

This happens in normal operation, we don't need to announce it.

Developers wanting to trace things relating to DBus names can use
tools like gdbus monitor or d-feet.

https://bugzilla.gnome.org/show_bug.cgi?id=712841

Weather calendar: Be able to change temperature unit

The ESourceExtension had a 'unit' property, but it was not used
anywhere, thus I changed it to reflect possible values of current
libgweather and made it used in the background.

CamelNetworkService: Don't block first "host-reachable" notification.

Evolution had a similar problem recently, where an arbitrary choice of
default for a status property we don't yet know the real initial value
for could block the property's first "notify" signal after the initial
value is determined.

Updated Spanish translation

UOA: Add support for IMAP access to Windows Live accounts.

UOA: Return IMAP/SMTP user names when collecting user info.

Can't assume the user names are the same as the collection identity.

Would be better to specify this in the .service files.

   e.g. <imapuser>EMAILADDRESS / USERIDENTITY</imapuser>

But that can wait.  Hard-coding by provider is ugly but works for now.

UOA: Miscellaneous cleanups.

ESourceRegistry: Ignore hidden files from .source folder monitoring

There used to be a critical warning on the source registry console:
   ** Failed to load key file at
   'file:///home/user/.config/evolution/sources/.goutputstream-1P9V6W':
   File must have a '.source' extension

There is nothing the source registry can do with these files (because
they are created by GIO), but ignore them during the folder monitoring,
instead of spreading useless runtime warning.

Updated POTFILES.in

Bug 712728 - Add --disable-migration option to evolution-source-registry

This allows one to run the EDS processes in relocated XDG user data
directories, without the registry stealing your user data from ~/.evolution
or previous versions.

Bug 712829 - Silence unnecessary migration chatter on stdout

Currently we log a message every time the migrater starts, even
if we have nothing to migrate.  This clutters the systemd journal.

To fix this cleanly, rework this code so that error handling is
cleaner and more unified, which preserves the migration context.

registry-server: Demote g_print() to g_debug()

Avoid doing this sort of thing during normal startup.

UOA: Update google-calendar service to use OAuth-based CalDAV.

libebackend: Use g_debug() for normal operation message instead of g_print()

I'm trying to reduce log spew from simply booting.  Now that dbus
connects bus-activated services to the journal, this g_print() is now
visible.  Demote it to g_debug().

Bump minimum libgweather requirement.

Recent changes began using symbols introduced in libgweather 3.8 while
the minimum build requirement remained at 3.5.  Update the requirement.

Tamil Translations Updated

Make the Weather calendar work after changes for bug #712388

Bump AddressBook service name for new cursor API.

Update API documentation.

Remove undefined $(GNOME_INCLUDEDIR) / $(GTK_INCLUDEDIR).

Remove --enable-nntp configure option.

NNTP adds no extra dependencies; there's no need for it to be optional.

Makefile.am cleanups.

- Remove trailing tabs.
- Add terminators to multi-line lists.

Post-release version bump.

NEWS update for 3.11.2 release.

Fix distcheck error.

Updated Spanish translation