test-client-custom-summary.c: Added tests for regex queries

test-client-custom-summary.c: Optimize test.

Reuse the same two addressbooks for every test, so that only the
first 2 tests populate the addressbooks with contacts and the remaining
tests only create a client and execute a query.

Also add all test contacts with a single batch command and dont fetch
the test contacts, also removed the #if 0'd case which is the only
case which required the local contact copies.

test-server-utils: Allow reuse of existing addressbook.

If committing the new scratch source ends with an error that
the addressbook/calendar already exists, then just use the existing
source instead of bailing out.

This is needed for tests which reuse the addressbook from a previous test.

Conflicts:

tests/test-server-utils/e-test-server-utils.c

EBookBackendSqliteDB: Support regex queries

E_BOOK_QUERY_REGEX_NORMAL is supported in summary queries if the
query field is summarized, E_BOOK_QUERY_REGEX_RAW and normalized
but non-summarized queries are delegated to EBookBackendSexp for
matching.

EBookBackendSexp: Support regex query types.

EBookQuery: Added regex query API.

Added E_BOOK_QUERY_REGEX_NORMAL and E_BOOK_QUERY_REGEX_RAW

Added tests to ensure that localized data is properly migrated.

The added tests must run in the order specified in the Makefile:
  o test-sqlite-cursor-posix-initial

    Creates an addressbook sorted in POSIX locale and asserts that
    contacts are sorted in basic POSIX locale

  o test-sqlite-cursor-en-US-migrated

    Loads the existing address book in en_US-UTF-8 locale and asserts
    that contacts are sorted in the en_US-UTF-8 locale

  o test-sqlite-cursor-posix-migrated

    Loads the existing address book in POSIX locale again and asserts
    that contacts are sorted in the POSIX locale

Added test case test-sqlite-cursor-set-sexp.c

This test verifies that invalid queries are rejected, and that a cursor
position is changed by the new sexp with the correct new filtered values
after applying a filter (sexp) to the cursor.

Added test case test-sqlite-cursor-calculate.c

This test verifies that e_book_backend_sqlitedb_cursor_calculate() report
the right position and total values when the cursor is moved, after the
target is set, after the addressbook is modified, for filtered and unfiltered
result sets.

Added test case test-sqlite-cursor-set-target.c

This test case tests e_book_backend_sqlitedb_cursor_set_target().

The special case of setting a partial state is tested so that when
a cursor is setup to sort by "family_name, given_name" and the target
is set to "J", then we recieve results inclusive of the contact with
the family name "J".

Added test case test-sqlite-cursor-move-by

This test case asserts that e_book_backend_sqlite_cursor_move_by()
works as expected. Consequently, a hand full of additional test
vcards were added for this.

Added test case test-sqlite-create-cursor

The new test case verifies that cursor creation is well protected
(cursor creation is denied for some queries and ordering requests).

Added libedata-book test directory and added first test.

In this new directory we can add tests for libedata-book backend
components, currently there is a custom fixture which opens an
EBookBackendSqliteDB on the same addressbook that an EBookClient
opens, to test EBookBackendSqliteDB APIs directly on the addressbook.

Conflicts:

tests/Makefile.am

EBookBackendSqliteDB: Adding cursor APIs

Added the following APIs:

      o e_book_backend_sqlitedb_cursor_new()

        Creates a cursor for a given query expression and sort order

      o e_book_backend_sqlitedb_cursor_free()

        Frees a cursor and it's resources

      o e_book_backend_sqlitedb_cursor_move_by()

        Moves the cursor and fetches results

      o e_book_backend_sqlitedb_cursor_set_target()

        Sets the cursor state to a given position in the results

      o e_book_backend_sqlite_cursor_calculate()

        Calculates the position / total values of a cursor.

      o e_book_backend_sqlitedb_cursor_set_sexp()

        Sets the search expression for a given cursor

Also restored DB overwrite when country code changes.

test-server-utils: Add e_test_server_utils_run_full()

Basically this is to tell e_test_server_utils_run() to not
wipe the working directory before start.

Conflicts:

tests/test-server-utils/e-test-server-utils.h

libedataserver: Fix some documentation typos.

(cherry picked from commit 1e8be12632b44e9cae764c82cae8fc8c761f096b)

Bug 699909 — Do not use toggle_refs in CamelObjectBag

They are broken and not thread-safe. Use GWeakRef instead to fix the
original problem that they were introduced to fix (bug 638810).
(cherry picked from commit 87b365d99c2d1f5d366d1432a6422db8fdc45d0b)

Improve error handling in imapx_command_fetch_message_done().

Spotted a few execution paths where we claim success but have no
stream object for the fetched message.

(cherry picked from commit 8e239df91382e0950e75d2231de3bbd0e39e6e4b)

camel_imapx_command_set_error_if_failed() minor cleanup.

(cherry picked from commit f6de223967143aae8732bf88a7643bcd49eae27a)

Make CamelNNTPStore a bit more thread-safe.

* Make CamelNNTPStore's public members private.

* Guard the private CamelNNTPStore members with a mutex.

* Add thread-safe accessors:

    camel_nntp_store_ref_cache()
    camel_nntp_store_ref_stream()
    camel_nntp_store_ref_summary()
    camel_nntp_store_get_current_group()
    camel_nntp_store_dup_current_group()
    camel_nntp_store_set_current_group()
    camel_nntp_store_add_capabilities()
    camel_nntp_store_has_capabilities()
    camel_nntp_store_remove_capabilities()

(cherry picked from commit fbf1ac4ac492951a3d6877e73961004741a0591c)

CamelNNTPStore: Remove unused "password_reprompt" flag.

(cherry picked from commit 5d6f055cd0ce49c2406e689822e2c9ae6c44e554)

CamelNNTPStore: Remove unused "posting_allowed" flag.

(cherry picked from commit c9342840ead4c6b7cdb2d85f5573b6ea8d3492d3)

CamelNNTPStore: Remove unused "extensions" flags.

(cherry picked from commit 96c1aca7d1f0b716a42f1cb44236313567f3951f)

CamelNNTPStore: Remove CamelMemStream member.

It's just used for assembling command strings.  Use a GString instead,
and for heaven sake don't make it a public member!  That's not thread-
safe at all.

(cherry picked from commit d3f5679d45d646eddd6aae54883e0996a473dfd6)

Make CamelPOP3Store a bit more thread-safe.

* Make CamelPOP3Store's cache and engine members private.

* Guard the private cache and engine members with a mutex.

* Add thread-safe accessors which return a new reference:

    camel_pop3_store_ref_cache()
    camel_pop3_store_ref_engine()

TODO: CamelPOP3Engine itself should also be made thread-safe, but that
      will be considerably more work.  This commit merely prevents the
      CamelPOP3Engine from being finalized while still in use.

(cherry picked from commit 0338a31f78160beadaba421698c79635737c6b8c)

Bug 699597 - Autocomplete using GAL is slow

With large addressbooks, using an inner join which produces hundreds of
thousands of duplicate results, and then filtering them back down to what
we really wanted with 'DISTINCT' is really inefficient. I can't even tell
you *how* inefficient, because it didn't complete a single query in the
hours that I left it running. Switch it to a more sensible outer join and
it completes in a second or so on my 216000-entry address book.
(cherry picked from commit fcc0c4c89dcb01329d76f9a826dc9cb7f3d346a6)

CamelGpgContext: Report decrypt error only if no data was decrypted

When there is a message which is both signed and encrypted in once,
the gpg checks also signature of the sender, and if the sender's key
is not available between user's keys, or it's not trusted, or
the signature is otherwise incorrect, then the gpg returns failure,
which caused no data returned, though the decrypt itself worked
flawlessly.

updated kn translations

Updated Russian translation

Camel MH provider can deadlock on folder creation

This was reported downstream as [1]. The MH provider can deadlock
during folder creation, because it tries to get a new CamelFolder
instance for a folder it is currently creating, which makes
the CamelObjectBag of CamelFolder-s wait for itself.

[1] https://bugzilla.redhat.com/show_bug.cgi?id=854017

Bug #699811 - Moved IMAPx messages reappear

This affected users whom had configured a real Trash folder.

Updated Norwegian bokmål translation

Post-release version bump.

NEWS update for 3.8.2 release.

IMAPX: Support IMAP MOVE extension.

http://tools.ietf.org/rfc/rfc6851

(cherry picked from commit e2355e318a87f4512c789026f998598249ab030f)

IMAPX: Add macros for checking server capabilities.

These just read better and are more compact.

    CAMEL_IMAPX_HAVE_CAPABILITY(cinfo, capa)
    CAMEL_IMAPX_LACK_CAPABILITY(cinfo, capa)

Both macros evaluate to FALSE if 'cinfo' is NULL.

(cherry picked from commit 6f935fd146476048b80b1f42e5176a587dc106d4)

Bug 697859 - Google: "Other Fax" is saved as "Business Fax"

The gd:phoneNumber @rel value "http://schemas.google.com/g/2005#fax"
has no clear mapping to an EContact field.

Both it and "http://schemas.google.com/g/2005#other_fax" end up in a
vCard as TEL;TYPE=fax.  But because of the conversion table ordering,
TEL;TYPE=fax was being saved as "#fax" instead of "#other_fax".

Then when reading the contact back from Google, I guess some fallback
logic somewhere was converting "#fax" to "TEL;TYPE="work,fax".  Never
found exactly where that was happening.  Maybe in the Contact Editor?

This commit reorders the conversion table to prefer "#other_fax" over
"#fax".  There's still a conflict where if a Google contact specifies
both "#fax" and "#other_fax" one of the fax numbers may be lost.  But
honestly, who has that many fax machines nowadays?

(cherry picked from commit e40b88b4e1b7c90cf0490cbca08c7912583eebc4)

Coding style and whitespace cleanup.

ECalBackendWeather: e_weather_source_new() is failable.

Backend logic was failing to take this into account and crashing if the
weather location code in the ESource was invalid.

I'm not sure if EWeatherSource is even worth keeping around, but I'll
come back to that later.  Not doing an all-out rewrite at the moment.

(cherry picked from commit ef17c11c438c390378130ae942d81d6feb65405d)

EWeatherSource cleanups.

(cherry picked from commit 7bd54b6fd0a53d83907bcff6f88c5613342d0934)

Bug 699024 - [google/yahoo] Don't override username

When mail child sources are added to a google or yahoo collection, avoid
overriding an existing user name setting.  The IMAP or (especially) SMTP
configuration may have been modified to use a non-Google/Yahoo! server.

(cherry picked from commit 49da63819f2c4da465758210fea325f6efa1e7b6)

ECalClientView: Make D-Bus signal handlers thread-safe.

Seeing crashes now where handler functions for D-Bus signals like
"objects-added" are receiving finalized ECalClientView instances.
Possibly a side-effect of recent changes to GMainContext usage.

Use the trick of passing an allocated GWeakRef along with a suitable
GClosureNotify to g_signal_connect_data().  The handler function will
just return quietly if it can't obtain a strong client view reference.

(cherry picked from commit b255406dd249327efdb133e2c797b4dd496c736b)

Conflicts:
calendar/libecal/e-cal-client-view.c

EBookClientView: Make D-Bus signal handlers thread-safe.

Seeing crashes now where handler functions for D-Bus signals like
"objects-added" are receiving finalized EBookClientView instances.
Possibly a side-effect of recent changes to GMainContext usage.

Use the trick of passing an allocated GWeakRef along with a suitable
GClosureNotify to g_signal_connect_data().  The handler function will
just return quietly if it can't obtain a strong client view reference.

(cherry picked from commit 2df7a66eb535863dc41db446afc67ca4e0268c12)

Conflicts:
addressbook/libebook/e-book-client-view.c

Bug 699223 - Emit view signals from context where view was started

This applies to both EBookClientView and ECalClientView.

Incoming D-Bus signals were being propagated to the EClient's main loop
context, but there may not be a running main loop on that thread, so the
main loop sources were never being dispatched and the view signals never
emitted.

Instead use the main loop context which was the thread-default at the
time the view was started, which is often the so-called "main" thread
where a main loop is more likely to be running.

(cherry picked from commit 417164c733128072ea3e4ad685829f0c3270c1b7)

Conflicts:
addressbook/libebook/e-book-client-view.c
calendar/libecal/e-cal-client-view.c

IMAPX: Recognize RFC 5530 response codes.

(cherry picked from commit c6a76b8d21ffb88260e8d42bde19a8af1ea3882f)

Bug 699160 - IMAPX: Always flush debugging messages

Had a debugging scenario where key information was not written to a log
file until another IMAP command was issued.  Caused a bit of confusion.
This commit ensures that won't happen again.

(cherry picked from commit d22b2ec7cdf32c9904e2c19fb263750b5173f62c)

camel_imapx_debug() cleanups.

(cherry picked from commit 3fbf3f2e9347643e7e72fc8e66895cd974c11f7c)

Make camel_mime_message_dump() dump message contents

Previously unimplemented.  Dumps in hex and ASCII:

class: CamelMimeMessage
mime-type: text/plain; charset="UTF-8"
content class: CamelDataWrapper
content mime-type: text/plain; charset="UTF-8"
content len 967
    4f 6e 20 54 68 75 2c 20 32 30 31 33 2d 30 35 2d    On Thu, 2013-05-
    30 32 20 61 74 20 31 34 3a 31 37 20 2d 30 35 30    02 at 14:17 -050
    30 2c 20 44 61 6e 20 57 69 6c 6c 69 61 6d 73 20    0, Dan Williams
    77 72 6f 74 65 3a 0a 3e 20 4f 6e 20 54 68 75 2c    wrote:.> On Thu,
    20 32 30 31 33 2d 30 35 2d 30 32 20 61 74 20 31     2013-05-02 at 1
    31 3a 35 33 20 2d 30 37 30 30 2c 20 4c 69 6e 75    1:53 -0700, Linu
    73 20 54 6f 72 76 61 6c 64 73 20 77 72 6f 74 65    s Torvalds wrote
    3a 0a 3e 20 3e 20 4f 6e 20 54 68 75 2c 20 4d 61    :.> > On Thu, Ma
    79 20 32 2c 20 32 30 31 33 20 61 74 20 31 31 3a    y 2, 2013 at 11:

(02:09:38 PM) mbarnes: dcbw: nice, I forgot about camel_mime_message_dump() -- go ahead and commit that

(cherry picked from commit f69531d1bca0ddf379b1da9516e302d2325bd31b)

Bug 699461 - Accept any 2xx HTTP code as successful DELETE

(cherry picked from commit c80a95cd1bf12438bedac1b1b492c5719cbc901b)

ESource: Fix a compiler warning.

(cherry picked from commit fa2da02c05c06bc4bcd9345649a7c23817bfffd5)

Bug 698725 - ESourceRegistry: Handle service restarts gracefully

Check GDBusObjectManagerClient's "name-owner" property when handling
"object-added" and "object-removed" signals.  If the property is NULL,
implement a strategy that swaps out the ESource's old proxy object for
an equivalent replacement such that applications should remain unaware
of the service restart.

This is important to handle gracefully not only for crash recovery, but
also when the registry service receives a Reload() method invocation or
a SIGHUP, both of which cause it to temporarily release its well-known
bus name and reload key files.

(cherry picked from commit b219dfe2d989809b4eed437b7d8bc67b14e9cc1b)

e_source_ref_dbus_object: Use the property lock.

ESourceRegistry is going to swap out the GDBusObject as part of the
recovery strategy for evolution-source-registry restarts, so we need
to make sure e_source_ref_dbus_object() is properly thread-safe.

(cherry picked from commit 133c0e3fe057e6bcac5339879c08649e7cdc72b5)

ESourceRegistry: object_path_table cleanups.

(cherry picked from commit 995aff9ca6760b5c0700b1250ea6064110864908)

Add source_registry_dbus_object_dup_uid().

Handy internal utility for ESourceRegistry.

This also happens to fix an EDBusSource reference leak in
source_registry_create_sources_object_added_cb().

(cherry picked from commit e3ea6473316091a5ed9f8a333f584dda277a2404)

hindi update

update Punjabi Translation

Bug 699027 - Crash in e_cal_backend_file_get_backend_property()

EGoaClient nitpicks.

(cherry picked from commit fdfc4c71a9c45a384d03b4b401109854d36b1e3c)

Bug 698726 - Handle goa-daemon crashes/restarts gracefully

EGoaClient is an improved GoaClient that handles daemon crashes and
restarts gracefully so E-D-S accounts are not destroyed unnecessarily.

(cherry picked from commit 725e976e67a62bf00820c70c47a3f439811d6c0d)

Tamil Translation Updated

Improve error handling in imapx_server_get_message().

If a GET_MESSAGE job for the same UID is already in progress, wait for
the job to finish, but don't assume it was successful.  Try retrieving
the message from cache, but if that fails then we have to re-fetch the
message from the IMAP server.

(cherry picked from commit cb048105f08625cf504bd8a539cafeccc92ba89e)

Updated gujarati file

Do not consider PGP and S/MIME subparts as attachments

[l10n] Updated Catalan (Valencian) translation

[l10n] Update Catalan translation

build: Fix srcdir != builddir from git

We can't do (cd $(srcdir); ...) and inside reference $(top_srcdir)
because that variable uses a *relative* path.  Thus we copy the
approach from gnome-shell of explicitly using addprefix to append the
source directory.

(cherry picked from commit fb9b02e43251b7f4004eb41791f0a3553eeb2b4c)

Bug #698261 - Skip invalid flags in imapx_parse_flags()

Previous patch had incorrectly implemented skip of the broken flag,
which fixes this change.

Bug #698261 - Skip invalid flags in imapx_parse_flags()

CamelStoreSettings::filter-inbox: Change default to TRUE

LC_ADDRESS is a GNU extension. Treat it as such.

Unconditional use of the GNU extension LC_ADDRESS causes compiler
errors on non-GNU systems.

In test cases, use LC_MESSAGES if LC_ADDRESS is unavailable.
Also fail gracefully with a log message if setlocale() fails.

(cherry picked from commit 6a440ebb07a846ba40920c746bfb846992d6133a)

ESource: Move "remember-password" to Authentication extension.

It's a more suitable place since the option is only relevant to
EAuthenticationSession.

(cherry picked from commit 0342aecbfda8bea93726c63873dd61011deaab50)

Bug #691939 - Password prompt has "save password" always checked

Switch NULL to empty string in e_util_utf8_{data_}make_valid()

It's used on various places which expect a valid string, but which
doesn't check for NULL values of the string, which can cause a crash,
like xtian found with e_data_cal_respond_get_object(), which can have
passed in a NULL object. This change is also to avoid NULL-checking
on too many places.

EBookBackendSqliteDB: Avoid summary introspection on initial creation.

The summary introspection does not introspect whether regular prefix
indexes are created, which is acceptable since it does not effect queries.

However since we introspect before creating the indexes, we lose the
configured index information which is needed to initially create those
indexes.

This patch simply checks if the table exists when initially creating
the summary and avoids the introspection if the table is being created
for the first time.

Automatically strip D-Bus info from error messages.

I mistakenly assumed code generated by the gdbus-codegen tool would
automatically strip off the D-Bus error name from error messages, but
that apparently is not possible according to my discussion with David
Zeuthen in [1], since it would break g_dbus_error_is_remote_error().

Distinguishing between local and remote errors strikes me as a rarely
needed corner case, and is certainly not worth the extra step imposed
on applications when dealing with something as fundamental as GError.

This commit prevents the D-Bus error name from leaking through in any
Evolution-Data-Server client-facing library functions.

Also rename any stack-allocated GError pointers to 'local_error' to
help distinguish them from GError "out" parameters which are always
named 'error'.  This is just to improve variable name consistency.

[1] https://bugzilla.gnome.org/697819

(cherry picked from commit 5115e6118bc030d2437d7fa73bb50f1fd31e28d3)

Conflicts:
addressbook/libebook/e-book-client-view.c
addressbook/libebook/e-book-client.c
calendar/libecal/e-cal-client-view.c

Post-release version bump.

NEWS update for 3.8.1 release.

Bug 697705 - e_cal_client_remove_objects_sync() crashes on empty UID

(cherry picked from commit ae2f0b7e81be5d633860a7f05b9ee810ae1945c3)

Test suite cleanups.

(cherry picked from commit 4fb88510a2277e1cbeac9c97de21ec94b147fa8b)

Bug #696757 - Do not use dynamic keys in g_object_set_data()

Bug #681837 - Make enum type registration thread safe

Bug 697734 - Memory leak in local calendar backend

We were leaking an icalproperty while seeding the "revision" D-Bus
property during instance initialization, because the backend does
not yet have an icalcomponent to hold the icalproperty.

This commit avoids the leak during instance initialization, but also
makes sure the "revision" property gets updated once the backend does
have an icalcomponent.

(cherry picked from commit f8c1f31ca598f0ed37480de0bc73c5171abcd8b8)

Conflicts:
calendar/backends/file/e-cal-backend-file.c

ECalBackendFile: Indentation cleanups.

Tabs, not spaces.

(cherry picked from commit 89db12c1ec94bf66aa9632744f4e5636cdb5c369)

Updated Slovak translation

CamelIMAPXServer: Rewrite duplicate message fetching.

The g_cond_wait() call in imapx_server_get_message() seems to be the
source of many deadlocks.  Possibly because some of the error handling
branches in that function fail to broadcast the GCond being waited on,
and cancellation is a very common error condition, especially when the
user is rapidly browsing through messages.

The code is attempting to wait for the completion of a GET_MESSAGE job
for the same UID which is already queued.  It's doing this by defining
its own GMutex and GCond, but it turns out we already have a function
for this: camel_imapx_job_wait().

Let's try using camel_imapx_job_wait() there.  It can't do worse than
the current situation, and we can kill off the specialized GMutex and
GCond variables which were unfortunately made public.

(cherry picked from commit 4a1025dd38ba57725b2c147f8b791f05eb577b72)

Updated Danish translation

sqlite addressbook: fix memory corruption in get_revision

Instead of setting a pointer, the pointer pointing to the pointer was
overwritten. As a result, e_book_backend_file_load_revision() always saw a
NULL pointer when opening the address book (regardless whether in
evolution-addressbook-factory or a DRA client) and used
e_book_backend_file_bump_revision() to write a new revision.

It is not entirely clear whether overwriting the wrong pointer (which was on
the stack and thus should not have been that important) or these concurrent
writes were to blame, but testing shows that this fix solves a mysterious
sqlite query failure ("corrupt database") in the DRA client when running
SyncEvolution's testpim.py TestContacts.testFilterStartupRefineSmart.

Fixes BGO #697173.

Updated Norwegian bokmål translation

ECalClient: Use G_DBUS_MESSAGE_FLAGS_NO_REPLY_EXPECTED for close().

Invoke the close() method without a callback function so the server
knows not to reply.  ECalClient tests that use GTestDBus generally
close their GDBusConnection immediately after disposing ECalClient,
and because we call close() asynchronously the server sometimes has
no chance to reply before the GDBusConnection closes, resulting in
a spurious console warning during the test.

(cherry picked from commit 2535427ac2fc516b0caa2ff4d4ef1340484adf05)

EBookClient: Use G_DBUS_MESSAGE_FLAGS_NO_REPLY_EXPECTED for close().

Invoke the close() method without a callback function so the server
knows not to reply.  EBookClient tests that use GTestDBus generally
close their GDBusConnection immediately after disposing EBookClient,
and because we call close() asynchronously the server sometimes has
no chance to reply before the GDBusConnection closes, resulting in
a spurious console warning during the test.

(cherry picked from commit c9a29823124717b649c6013268ff904152240a57)

Updated Greek translation

Updated Basque language

Updated Lithuanian translation

Updated Indonesian translation

[l10n] Updated German translation

Updated Belarusian translation.

Updated Brazilian Portuguese translation

Fix implicit declaration of WIFEXITED.

https://bugzilla.gnome.org/show_bug.cgi?id=696858

Updated Hungarian translation

Updated Slovenian translation