Bug 701838 - Work around a semantic API break in GObject

Recent versions of GObject fire critical messages if properties are
installed outside of class initializers (causing all of EDS tests to
fail).  This patch adds some class data and initializes the class in
the dynamic subclass initializer.

Note that the class data which should normally be freed in the class
finalizer is not freed, since it is a static type the finalizer will
never run (and GLib also takes the liberty of firing critical messages
for specifying a class finalizer).

Fix e-source-enumtypes.h generation.

Cannot feed more than one file to EDS's enum generation rule, or
else it results in imbalanced G_BEGIN/END_DECLS declarations.

Adding D-Bus localed xml description to EXTRA_DIST to pass distcheck

Customize the default system addressbook

This patch modifies data/sources/system-address-book.source.in
so that it has a customized summary optimized for person names
and phone numbers.

This customization adds the following fields to the summary
with prefix indexes (for optimized SQLite queries):

 E_CONTACT_FULL_NAME, E_CONTACT_FAMILY_NAME, E_CONTACT_NICKNAME,
 E_CONTACT_GIVEN_NAME, E_CONTACT_TEL

Additionally, the E_CONTACT_TEL field is configured to store the
normalized phone number data in SQLite in order to optimize the
phone number queries such as E_BOOK_QUERY_EQUALS_PHONE_NUMBER.

The code to achieve the same configuration is as follows:

e_source_backend_summary_setup_set_summary_fields (
setup,
E_CONTACT_FULL_NAME,
E_CONTACT_FAMILY_NAME,
E_CONTACT_NICKNAME,
E_CONTACT_GIVEN_NAME,
E_CONTACT_TEL,
0);
e_source_backend_summary_setup_set_indexed_fields (
setup,
E_CONTACT_FULL_NAME, E_BOOK_INDEX_PREFIX,
E_CONTACT_FAMILY_NAME, E_BOOK_INDEX_PREFIX,
E_CONTACT_NICKNAME, E_BOOK_INDEX_PREFIX,
E_CONTACT_GIVEN_NAME, E_BOOK_INDEX_PREFIX,
E_CONTACT_TEL, E_BOOK_INDEX_PREFIX,
E_CONTACT_TEL, E_BOOK_INDEX_PHONE,
0);

Added test-sqlite-cursor-change-locale.c

This new test changes the locale dynamically and then checks new
sort order of the converted addressbook between every locale
change.

libedata-book tests: Changed all cursor tests to use new testing APIs

Mostly changed to include the locale in the move-by tests and to stop
setting the 'EDS_COLLATE' variable to hack the current locale used by
the backend.

tests/libedata-book: Added a testing API to set the locale dynamically

Also, the 'move-by' testing API now has a locale argument.

EBookClient: Added "locale" property.

Propagate the 'locale' property change notifications when the dbus
proxy notifies a locale property change, also load the initial value
of the dbus proxy's locale property for the initial value.

EBookBackendFile: Implement EBookBackend->set_locale() & ->get_locale()

EBookBackendSqliteDB: Added e_book_backend_sqlitedb_get/set_locale()

Locale setting is now only ever guessed when creating a new addressbook
before e_book_backend_sqlitedb_set_locale() is called, setting the locale
will save the localization setting and it will be reused on subsequent
accesses. If and when a locale setting is changed, the contact sort
keys are regenerated with a new ECollator for the new locale.

EDataBook: Watch the system bus for locale notifications

When org.freedesktop.locale1 is available, listen to changes in
the LC_COLLATE locale and configure backends with locale changes
using e_book_backend_set_locale(), notify property changes via
the locale property on the addressbook D-Bus API.

Also, load the backend's initially set locale as the locale property
value until the org.freedesktop.locale1 D-Bus interface notifies
us of a locale change on the system bus.

EBookBackend added new ->set_locale() API and ->get_locale() API

Use these to dynamically set the locale of a running addressbook, and also
to fetch the currently configured locale of an addressbook at startup time

org.gnome.evolution.AddressBook.xml: Added Locale property.

Added org.freedesktop.locale1 interface to private/ to generate a DBus proxy

Migrated sqlite cursor test cases to not specify any specific collation rule.

Ported data migration tests to use the new ICU sorted data.

Added migration tests also for fr_CA and de_DE locale, the
de_DE locale expects a @collation=phonebook type of sort order
but only the test-sqlite-cursor-posix-initial test which creates
the shared addressbook defines it, so we also test that the
collation rule is properly stored and introspected in the
SQLite tables.

Ported test-sqlite-cursor-set-sexp to use the new ICU sorted data.

Ported test-sqlite-cursor-calculate test to use the new ICU test data.

Ported test-sqlite-cursor-set-target.c to work with new ICU test data.

No point in doing one for every locale, we test a bunch of locales already
with the move-by test.

Fixed test-sqlite-cursor-move-by for new ICU localization

Added new sortable vcards and changed the whole sortable data set.

Now there are 4 move-by tests: posix, en_US, fr_CA and de_DE. All
tests try the default and phonebook collation rules, the de_DE test
data sorts differently under phonebook sort.

A table was added to data-test-utils.h for reference, showing
the expected order of sorted contacts in given locales.

EBookBackendSqliteDB: Pull out the code which keeps separate collators per summarized field.

For now let's keep a single ECollator, it seems that we don't want to configure
collation rules but rather have a single collator API which maintains a
knowledge base of what tailoring to choose in which locale.

EBookBackendSqliteDB: Use ECollator

Now check the ESourceBackendSummarySetup extension for custom collations,
use a default ECollator for the current locale for every contact field
unless a custom collation is specified, if a custom collation is specified
for a given field then use a special ECollator to sort that field.

Revert "ESourceBackendSummarySetup: Added apis to set collation rules on addressbooks."

This reverts commit 6a30b3f5164b782e6d0c1194930fd854fdb43a3d.

Reverting this for now but keeping the history, apparently we do not
want a configurable collation rule for addressbook fields, but rather
an ECollator which chooses the most popular default.

ESourceBackendSummarySetup: Added apis to set collation rules on addressbooks.

ECollator: Remove the "collation_type" option.

Instead ECollator will try to make a best guess at what
type of collation is desired for a given language

Added utility ECollator to libedataserver.

The ECollator API wraps up the required ICU APIs into something more
convenient for usage in EDS.

Added detection of ICU libs to configure.ac

ECalClient tests: Use async apis to open the client for every async test.

EBookClient tests: Use async apis to open the client for every async test.

test-utils: Added argumement to the fixture closure data to open async

If a closure specifies async then the EBookClient or ECalClient will be
opened using async APIs instead of sync APIs.

Added e_book_client_connect_direct() and e_book_client_connect_direct_finish()

test-client-custom-summary.c: Added tests for regex queries

test-client-custom-summary.c: Optimize test.

Reuse the same two addressbooks for every test, so that only the
first 2 tests populate the addressbooks with contacts and the remaining
tests only create a client and execute a query.

Also add all test contacts with a single batch command and dont fetch
the test contacts, also removed the #if 0'd case which is the only
case which required the local contact copies.

test-server-utils: Allow reuse of existing addressbook.

If committing the new scratch source ends with an error that
the addressbook/calendar already exists, then just use the existing
source instead of bailing out.

This is needed for tests which reuse the addressbook from a previous test.

Conflicts:

tests/test-server-utils/e-test-server-utils.c

EBookBackendSqliteDB: Support regex queries

E_BOOK_QUERY_REGEX_NORMAL is supported in summary queries if the
query field is summarized, E_BOOK_QUERY_REGEX_RAW and normalized
but non-summarized queries are delegated to EBookBackendSexp for
matching.

EBookBackendSexp: Support regex query types.

EBookQuery: Added regex query API.

Added E_BOOK_QUERY_REGEX_NORMAL and E_BOOK_QUERY_REGEX_RAW

Added tests to ensure that localized data is properly migrated.

The added tests must run in the order specified in the Makefile:
  o test-sqlite-cursor-posix-initial

    Creates an addressbook sorted in POSIX locale and asserts that
    contacts are sorted in basic POSIX locale

  o test-sqlite-cursor-en-US-migrated

    Loads the existing address book in en_US-UTF-8 locale and asserts
    that contacts are sorted in the en_US-UTF-8 locale

  o test-sqlite-cursor-posix-migrated

    Loads the existing address book in POSIX locale again and asserts
    that contacts are sorted in the POSIX locale

Added test case test-sqlite-cursor-set-sexp.c

This test verifies that invalid queries are rejected, and that a cursor
position is changed by the new sexp with the correct new filtered values
after applying a filter (sexp) to the cursor.

Added test case test-sqlite-cursor-calculate.c

This test verifies that e_book_backend_sqlitedb_cursor_calculate() report
the right position and total values when the cursor is moved, after the
target is set, after the addressbook is modified, for filtered and unfiltered
result sets.

Added test case test-sqlite-cursor-set-target.c

This test case tests e_book_backend_sqlitedb_cursor_set_target().

The special case of setting a partial state is tested so that when
a cursor is setup to sort by "family_name, given_name" and the target
is set to "J", then we recieve results inclusive of the contact with
the family name "J".

Added test case test-sqlite-cursor-move-by

This test case asserts that e_book_backend_sqlite_cursor_move_by()
works as expected. Consequently, a hand full of additional test
vcards were added for this.

Added test case test-sqlite-create-cursor

The new test case verifies that cursor creation is well protected
(cursor creation is denied for some queries and ordering requests).

Added libedata-book test directory and added first test.

In this new directory we can add tests for libedata-book backend
components, currently there is a custom fixture which opens an
EBookBackendSqliteDB on the same addressbook that an EBookClient
opens, to test EBookBackendSqliteDB APIs directly on the addressbook.

Conflicts:

tests/Makefile.am

EBookBackendSqliteDB: Adding cursor APIs

Added the following APIs:

      o e_book_backend_sqlitedb_cursor_new()

        Creates a cursor for a given query expression and sort order

      o e_book_backend_sqlitedb_cursor_free()

        Frees a cursor and it's resources

      o e_book_backend_sqlitedb_cursor_move_by()

        Moves the cursor and fetches results

      o e_book_backend_sqlitedb_cursor_set_target()

        Sets the cursor state to a given position in the results

      o e_book_backend_sqlite_cursor_calculate()

        Calculates the position / total values of a cursor.

      o e_book_backend_sqlitedb_cursor_set_sexp()

        Sets the search expression for a given cursor

Also restored DB overwrite when country code changes.

test-server-utils: Add e_test_server_utils_run_full()

Basically this is to tell e_test_server_utils_run() to not
wipe the working directory before start.

Conflicts:

tests/test-server-utils/e-test-server-utils.h

libedataserver: Fix some documentation typos.

(cherry picked from commit 1e8be12632b44e9cae764c82cae8fc8c761f096b)

Bug 699909 — Do not use toggle_refs in CamelObjectBag

They are broken and not thread-safe. Use GWeakRef instead to fix the
original problem that they were introduced to fix (bug 638810).
(cherry picked from commit 87b365d99c2d1f5d366d1432a6422db8fdc45d0b)

Improve error handling in imapx_command_fetch_message_done().

Spotted a few execution paths where we claim success but have no
stream object for the fetched message.

(cherry picked from commit 8e239df91382e0950e75d2231de3bbd0e39e6e4b)

camel_imapx_command_set_error_if_failed() minor cleanup.

(cherry picked from commit f6de223967143aae8732bf88a7643bcd49eae27a)

Make CamelNNTPStore a bit more thread-safe.

* Make CamelNNTPStore's public members private.

* Guard the private CamelNNTPStore members with a mutex.

* Add thread-safe accessors:

    camel_nntp_store_ref_cache()
    camel_nntp_store_ref_stream()
    camel_nntp_store_ref_summary()
    camel_nntp_store_get_current_group()
    camel_nntp_store_dup_current_group()
    camel_nntp_store_set_current_group()
    camel_nntp_store_add_capabilities()
    camel_nntp_store_has_capabilities()
    camel_nntp_store_remove_capabilities()

(cherry picked from commit fbf1ac4ac492951a3d6877e73961004741a0591c)

CamelNNTPStore: Remove unused "password_reprompt" flag.

(cherry picked from commit 5d6f055cd0ce49c2406e689822e2c9ae6c44e554)

CamelNNTPStore: Remove unused "posting_allowed" flag.

(cherry picked from commit c9342840ead4c6b7cdb2d85f5573b6ea8d3492d3)

CamelNNTPStore: Remove unused "extensions" flags.

(cherry picked from commit 96c1aca7d1f0b716a42f1cb44236313567f3951f)

CamelNNTPStore: Remove CamelMemStream member.

It's just used for assembling command strings.  Use a GString instead,
and for heaven sake don't make it a public member!  That's not thread-
safe at all.

(cherry picked from commit d3f5679d45d646eddd6aae54883e0996a473dfd6)

Make CamelPOP3Store a bit more thread-safe.

* Make CamelPOP3Store's cache and engine members private.

* Guard the private cache and engine members with a mutex.

* Add thread-safe accessors which return a new reference:

    camel_pop3_store_ref_cache()
    camel_pop3_store_ref_engine()

TODO: CamelPOP3Engine itself should also be made thread-safe, but that
      will be considerably more work.  This commit merely prevents the
      CamelPOP3Engine from being finalized while still in use.

(cherry picked from commit 0338a31f78160beadaba421698c79635737c6b8c)

Bug 699597 - Autocomplete using GAL is slow

With large addressbooks, using an inner join which produces hundreds of
thousands of duplicate results, and then filtering them back down to what
we really wanted with 'DISTINCT' is really inefficient. I can't even tell
you *how* inefficient, because it didn't complete a single query in the
hours that I left it running. Switch it to a more sensible outer join and
it completes in a second or so on my 216000-entry address book.
(cherry picked from commit fcc0c4c89dcb01329d76f9a826dc9cb7f3d346a6)

CamelGpgContext: Report decrypt error only if no data was decrypted

When there is a message which is both signed and encrypted in once,
the gpg checks also signature of the sender, and if the sender's key
is not available between user's keys, or it's not trusted, or
the signature is otherwise incorrect, then the gpg returns failure,
which caused no data returned, though the decrypt itself worked
flawlessly.

updated kn translations

Updated Russian translation

Camel MH provider can deadlock on folder creation

This was reported downstream as [1]. The MH provider can deadlock
during folder creation, because it tries to get a new CamelFolder
instance for a folder it is currently creating, which makes
the CamelObjectBag of CamelFolder-s wait for itself.

[1] https://bugzilla.redhat.com/show_bug.cgi?id=854017

Bug #699811 - Moved IMAPx messages reappear

This affected users whom had configured a real Trash folder.

Updated Norwegian bokmål translation

Post-release version bump.

NEWS update for 3.8.2 release.

IMAPX: Support IMAP MOVE extension.

http://tools.ietf.org/rfc/rfc6851

(cherry picked from commit e2355e318a87f4512c789026f998598249ab030f)

IMAPX: Add macros for checking server capabilities.

These just read better and are more compact.

    CAMEL_IMAPX_HAVE_CAPABILITY(cinfo, capa)
    CAMEL_IMAPX_LACK_CAPABILITY(cinfo, capa)

Both macros evaluate to FALSE if 'cinfo' is NULL.

(cherry picked from commit 6f935fd146476048b80b1f42e5176a587dc106d4)

Bug 697859 - Google: "Other Fax" is saved as "Business Fax"

The gd:phoneNumber @rel value "http://schemas.google.com/g/2005#fax"
has no clear mapping to an EContact field.

Both it and "http://schemas.google.com/g/2005#other_fax" end up in a
vCard as TEL;TYPE=fax.  But because of the conversion table ordering,
TEL;TYPE=fax was being saved as "#fax" instead of "#other_fax".

Then when reading the contact back from Google, I guess some fallback
logic somewhere was converting "#fax" to "TEL;TYPE="work,fax".  Never
found exactly where that was happening.  Maybe in the Contact Editor?

This commit reorders the conversion table to prefer "#other_fax" over
"#fax".  There's still a conflict where if a Google contact specifies
both "#fax" and "#other_fax" one of the fax numbers may be lost.  But
honestly, who has that many fax machines nowadays?

(cherry picked from commit e40b88b4e1b7c90cf0490cbca08c7912583eebc4)

Coding style and whitespace cleanup.

ECalBackendWeather: e_weather_source_new() is failable.

Backend logic was failing to take this into account and crashing if the
weather location code in the ESource was invalid.

I'm not sure if EWeatherSource is even worth keeping around, but I'll
come back to that later.  Not doing an all-out rewrite at the moment.

(cherry picked from commit ef17c11c438c390378130ae942d81d6feb65405d)

EWeatherSource cleanups.

(cherry picked from commit 7bd54b6fd0a53d83907bcff6f88c5613342d0934)

Bug 699024 - [google/yahoo] Don't override username

When mail child sources are added to a google or yahoo collection, avoid
overriding an existing user name setting.  The IMAP or (especially) SMTP
configuration may have been modified to use a non-Google/Yahoo! server.

(cherry picked from commit 49da63819f2c4da465758210fea325f6efa1e7b6)

ECalClientView: Make D-Bus signal handlers thread-safe.

Seeing crashes now where handler functions for D-Bus signals like
"objects-added" are receiving finalized ECalClientView instances.
Possibly a side-effect of recent changes to GMainContext usage.

Use the trick of passing an allocated GWeakRef along with a suitable
GClosureNotify to g_signal_connect_data().  The handler function will
just return quietly if it can't obtain a strong client view reference.

(cherry picked from commit b255406dd249327efdb133e2c797b4dd496c736b)

Conflicts:
calendar/libecal/e-cal-client-view.c

EBookClientView: Make D-Bus signal handlers thread-safe.

Seeing crashes now where handler functions for D-Bus signals like
"objects-added" are receiving finalized EBookClientView instances.
Possibly a side-effect of recent changes to GMainContext usage.

Use the trick of passing an allocated GWeakRef along with a suitable
GClosureNotify to g_signal_connect_data().  The handler function will
just return quietly if it can't obtain a strong client view reference.

(cherry picked from commit 2df7a66eb535863dc41db446afc67ca4e0268c12)

Conflicts:
addressbook/libebook/e-book-client-view.c

Bug 699223 - Emit view signals from context where view was started

This applies to both EBookClientView and ECalClientView.

Incoming D-Bus signals were being propagated to the EClient's main loop
context, but there may not be a running main loop on that thread, so the
main loop sources were never being dispatched and the view signals never
emitted.

Instead use the main loop context which was the thread-default at the
time the view was started, which is often the so-called "main" thread
where a main loop is more likely to be running.

(cherry picked from commit 417164c733128072ea3e4ad685829f0c3270c1b7)

Conflicts:
addressbook/libebook/e-book-client-view.c
calendar/libecal/e-cal-client-view.c

IMAPX: Recognize RFC 5530 response codes.

(cherry picked from commit c6a76b8d21ffb88260e8d42bde19a8af1ea3882f)

Bug 699160 - IMAPX: Always flush debugging messages

Had a debugging scenario where key information was not written to a log
file until another IMAP command was issued.  Caused a bit of confusion.
This commit ensures that won't happen again.

(cherry picked from commit d22b2ec7cdf32c9904e2c19fb263750b5173f62c)

camel_imapx_debug() cleanups.

(cherry picked from commit 3fbf3f2e9347643e7e72fc8e66895cd974c11f7c)

Make camel_mime_message_dump() dump message contents

Previously unimplemented.  Dumps in hex and ASCII:

class: CamelMimeMessage
mime-type: text/plain; charset="UTF-8"
content class: CamelDataWrapper
content mime-type: text/plain; charset="UTF-8"
content len 967
    4f 6e 20 54 68 75 2c 20 32 30 31 33 2d 30 35 2d    On Thu, 2013-05-
    30 32 20 61 74 20 31 34 3a 31 37 20 2d 30 35 30    02 at 14:17 -050
    30 2c 20 44 61 6e 20 57 69 6c 6c 69 61 6d 73 20    0, Dan Williams
    77 72 6f 74 65 3a 0a 3e 20 4f 6e 20 54 68 75 2c    wrote:.> On Thu,
    20 32 30 31 33 2d 30 35 2d 30 32 20 61 74 20 31     2013-05-02 at 1
    31 3a 35 33 20 2d 30 37 30 30 2c 20 4c 69 6e 75    1:53 -0700, Linu
    73 20 54 6f 72 76 61 6c 64 73 20 77 72 6f 74 65    s Torvalds wrote
    3a 0a 3e 20 3e 20 4f 6e 20 54 68 75 2c 20 4d 61    :.> > On Thu, Ma
    79 20 32 2c 20 32 30 31 33 20 61 74 20 31 31 3a    y 2, 2013 at 11:

(02:09:38 PM) mbarnes: dcbw: nice, I forgot about camel_mime_message_dump() -- go ahead and commit that

(cherry picked from commit f69531d1bca0ddf379b1da9516e302d2325bd31b)

Bug 699461 - Accept any 2xx HTTP code as successful DELETE

(cherry picked from commit c80a95cd1bf12438bedac1b1b492c5719cbc901b)

ESource: Fix a compiler warning.

(cherry picked from commit fa2da02c05c06bc4bcd9345649a7c23817bfffd5)

Bug 698725 - ESourceRegistry: Handle service restarts gracefully

Check GDBusObjectManagerClient's "name-owner" property when handling
"object-added" and "object-removed" signals.  If the property is NULL,
implement a strategy that swaps out the ESource's old proxy object for
an equivalent replacement such that applications should remain unaware
of the service restart.

This is important to handle gracefully not only for crash recovery, but
also when the registry service receives a Reload() method invocation or
a SIGHUP, both of which cause it to temporarily release its well-known
bus name and reload key files.

(cherry picked from commit b219dfe2d989809b4eed437b7d8bc67b14e9cc1b)

e_source_ref_dbus_object: Use the property lock.

ESourceRegistry is going to swap out the GDBusObject as part of the
recovery strategy for evolution-source-registry restarts, so we need
to make sure e_source_ref_dbus_object() is properly thread-safe.

(cherry picked from commit 133c0e3fe057e6bcac5339879c08649e7cdc72b5)

ESourceRegistry: object_path_table cleanups.

(cherry picked from commit 995aff9ca6760b5c0700b1250ea6064110864908)

Add source_registry_dbus_object_dup_uid().

Handy internal utility for ESourceRegistry.

This also happens to fix an EDBusSource reference leak in
source_registry_create_sources_object_added_cb().

(cherry picked from commit e3ea6473316091a5ed9f8a333f584dda277a2404)

hindi update

update Punjabi Translation

Bug 699027 - Crash in e_cal_backend_file_get_backend_property()

EGoaClient nitpicks.

(cherry picked from commit fdfc4c71a9c45a384d03b4b401109854d36b1e3c)

Bug 698726 - Handle goa-daemon crashes/restarts gracefully

EGoaClient is an improved GoaClient that handles daemon crashes and
restarts gracefully so E-D-S accounts are not destroyed unnecessarily.

(cherry picked from commit 725e976e67a62bf00820c70c47a3f439811d6c0d)

Tamil Translation Updated

Improve error handling in imapx_server_get_message().

If a GET_MESSAGE job for the same UID is already in progress, wait for
the job to finish, but don't assume it was successful.  Try retrieving
the message from cache, but if that fails then we have to re-fetch the
message from the IMAP server.

(cherry picked from commit cb048105f08625cf504bd8a539cafeccc92ba89e)

Updated gujarati file

Do not consider PGP and S/MIME subparts as attachments

[l10n] Updated Catalan (Valencian) translation

[l10n] Update Catalan translation

build: Fix srcdir != builddir from git

We can't do (cd $(srcdir); ...) and inside reference $(top_srcdir)
because that variable uses a *relative* path.  Thus we copy the
approach from gnome-shell of explicitly using addprefix to append the
source directory.

(cherry picked from commit fb9b02e43251b7f4004eb41791f0a3553eeb2b4c)

Bug #698261 - Skip invalid flags in imapx_parse_flags()

Previous patch had incorrectly implemented skip of the broken flag,
which fixes this change.

Bug #698261 - Skip invalid flags in imapx_parse_flags()

CamelStoreSettings::filter-inbox: Change default to TRUE