Bug #656267 - Checking for auth types doesn't work properly

libecal: e_cal_remove_object() must remove *all* recurrences

Traditionally, e_cal_remove_object() has always removed all
recurrences, despite the use of MOD_THIS underneath. That was due to
the uncertain semantic of MOD_THIS without rid.

Since clarifying that semantic and fixing the (file) backend
accordingly, e_cal_remove_object() started to behave differently: of
an event series with detached recurrences, only the parent event was
removed, which then caused the failures fixed by the previous commits.

This commit fixes that by switching to MOD_ALL, which properly
reflects the semantic of the API call. It was tested successfully with
the file backend.

calendar file backend: fixed incomplete sanity check in e_cal_create_object()

e_cal_create_object() traditionally is used for a new events which are
unrelated to anything in the calendar. Adding detached recurrences
to an existing meeting series has to be done with e_cal_modify_object().

The code did not correctly reject the addition of a parent event for a
previously added child event event because lookup_component() returned
NULL in that case.

This commit renames lookup_component() and redefines the return value
to match what it is used for: checking for the existance of a UID.

ecal file backend: avoid manipulating the UID inside component_add()

This commit fixes the following memory handling problem:
==10069== Invalid read of size 1
==10069==    at 0x4C25812: __GI_strlen (mc_replace_strmem.c:284)
==10069==    by 0x8EF011E: g_strdup (gstrfuncs.c:99)
==10069==    by 0xF4E08B6: e_cal_backend_file_create_object (e-cal-backend-file.c:2363)
==10069==    by 0x93E6061: e_cal_backend_sync_create_object (e-cal-backend-sync.c:214)
==10069==    by 0x93E86D3: _e_cal_backend_create_object (e-cal-backend-sync.c:630)
==10069==    by 0x93DD40B: e_cal_backend_create_object (e-cal-backend.c:1017)
==10069==    by 0x93F0C34: impl_Cal_createObject (e-data-cal.c:401)
==10069==    by 0x4E75383: _e_gdbus_gdbus_cclosure_marshaller_BOOLEAN__OBJECT_STRING (e-gdbus-marshallers.c:377)
==10069==    by 0x820999E: g_closure_invoke (gclosure.c:773)
==10069==    by 0x8225972: signal_emit_unlocked_R (gsignal.c:3256)
==10069==    by 0x82248D0: g_signal_emit_valist (gsignal.c:2997)
==10069==    by 0x8224DBC: g_signal_emit (gsignal.c:3044)
==10069==  Address 0x1499c7b0 is 0 bytes inside a block of size 39 free'd
==10069==    at 0x4C240FD: free (vg_replace_malloc.c:366)
==10069==    by 0x9DE952C: icalvalue_free (in /usr/lib/libical.so.0.44.0)
==10069==    by 0x9DDB796: icalproperty_set_value (in /usr/lib/libical.so.0.44.0)
==10069==    by 0x4E4FFA2: e_cal_component_set_uid (e-cal-component.c:1479)
==10069==    by 0xF4DB8F3: check_dup_uid (e-cal-backend-file.c:498)
==10069==    by 0xF4DBD9B: add_component (e-cal-backend-file.c:614)
==10069==    by 0xF4E0894: e_cal_backend_file_create_object (e-cal-backend-file.c:2356)
==10069==    by 0x93E6061: e_cal_backend_sync_create_object (e-cal-backend-sync.c:214)
==10069==    by 0x93E86D3: _e_cal_backend_create_object (e-cal-backend-sync.c:630)
==10069==    by 0x93DD40B: e_cal_backend_create_object (e-cal-backend.c:1017)
==10069==    by 0x93F0C34: impl_Cal_createObject (e-data-cal.c:401)
==10069==    by 0x4E75383: _e_gdbus_gdbus_cclosure_marshaller_BOOLEAN__OBJECT_STRING (e-gdbus-marshallers.c:377)

This occurs when a client (incorrectly) tries to create a VEVENT with
RECURRENCE-ID for a UID which already exists. The sequence of events is this:
- e_cal_backend_file_create_object() calls lookup_component(),
  which returns NULL because it only checks for the parent event
  (will be fixed separately).
- e_cal_backend_file_create_object() keeps a pointer to the UID.
- check_dup_uid() repeats the UID check, but this time finds that it
  is already taken and replaces the existing UID in the component
  before adding it. The pointer in e_cal_backend_file_create_object()
  points to freed memory.

I've seen cases where the hash ended up using the original UID as key,
with a component inside that had the new, replaced UID. As a result,
retrieving the event as reported by e_cal_get_object_list() (= rewritten UID)
failed in e_cal_get_object() (= original UID).

The UID should not be overwritten. I can't verify it anymore (events where it occured
have already been deleted), but this rewriting might explain why some of my
meeting update emails couldn't be applied to previously imported events.

Therefore this patch moves check_dup_uid() out of component_add(). This check
and rewriting only makes sense when reading the existing calendar file,
as a safe-guard against on-disk corruption. When adding or modifying events
via the API, the right reaction is to add a missing UID or or reject the
operation with an error.

All places where component_add() is used should have the necessary checks
or are preceeded by a remove_component(), which removes the UID first.

Updated Norwegian bokmål translation

complete_get_object_master: Fix the NULL recurrence-id check

The check was checking that the recurrence-id was valid instead
of making sure that it is NULL (opposite).

Add a bit more type checking in ESourceList

e_client_utils_open_new() could use already freed memory

Backends can notify that they are "opened" multiple times, but only
the first notification is significant for e_client_utils_open_new().

Bug #656058 - Improve EBookBackendSqliteDB searching API

Updated Galician translations

Properly manage boolean values in SQLite contacts cache

Vala bindings: work around owned not being honored in metadata

Works around: https://bugzilla.gnome.org/show_bug.cgi?id=655996

Bug #652172 - Fix a regression from the previous commit

Call gtk_init_check() in factories with enabled maintainer mode

That's to have loaded gtk-modules, like gnomesegvhandler
from bug-buddy, if it's possible. Factories can still be
run without gtk environment.

Add missing G_BEGIN_DECLS macro to libedataserver/e-client.h

Bug #655748 - rdate parsing failure: unknown value for period 20068

Updated Swedish translation

Adding test-client-revision-view.c

This test asserts that e_book_client_view_set_fields_of_interest()
is working properly with the local addressbook backend with regards
to views setup to only notify with the UID+REVISION.

Added test-client-uid-only-view.c test case.

This test case ensures that an EBookClientView with
the e_book_client_view_set_feilds_of_interest() set to
only the E_CONTACT_UID field, notifies with shallow
vcards holding only the contact UID.

Handle fields-of-interest for local addressbook backend.

This patch refactors the local addressbook backend to use
the new sqlitedb api instead of the old summary apis.
The result is that vcards are virtually built from the
sqlitedb cache when fields-of-interest is set.

Additionally, the patch adds the EBookBackend->notify_update()
vfunc which can be implemented for e_book_backend_notify_update().
The file backend uses this to notify with virtually created vcards
from the sqlite cache in response to contact additions and modifications.

This patch should address both bugs:
  https://bugzilla.gnome.org/show_bug.cgi?id=652179
  https://bugzilla.gnome.org/show_bug.cgi?id=652172

Handle summary fields and fields of interest better in e-book-backend-sqlitedb.c

This patch dramatically changes the sqlitedb cache code by introducing
a table (array of structures) describing all of the fields which should
be included in the (summary) cache. Thus, all code that treats the
summary fields by hand previously now consults the cache generically.

The REV field is added to the summary table, the UID is always returned
in any results from e_book_backend_sqlitedb_search() and when
'fields_of_interest' is specified then the sqlite3 db will only
be queried for the fields_of_interest + UID (thus only those fields
will be present in any virtually created vcard objects).

Additionally, e_book_backend_sqlitedb_get_vcard_string() and _get_contact()
take a new 'GHashTable *fields_of_interest' argument for field filtering and
e_book_backend_sqlitedb_is_summary_query() is an exported api which can be
tested before calling e_book_backend_sqlitedb_get_vcard_string().

Do not cancel cancellable in free_get_objects_async_data()

Introspection: fix annotation in e_vcard_remove_attributes

Bug #655190 - Sluggish performance interacting with calendar/tasks

Replace alarm by reminder for UI consistency. Fixes bug #340614

Bug 619135 — Add photo support to Google Contacts backend

Add support for getting and setting photos on contacts from Google Contacts,
including caching support.

Closes: bgo#619135

Updated Swedish translation

Bug #655499 - Don't crash when getting contacts before backend is opened

Updated Russian translation

Updated Spanish translation

Merge same backtraces into one e_pointer_tracker report

Be able to provide backtraces for e_ptr_tracker* functions

The e_ptr_tracker* functions from e-data-server-util.h track
pointers and reports those left in the queue at the end of
the application. With this change, when evolution-data-server
is configured with --enable-backtraces and required tools are
available, then also a backtrace when the pointer was added
to the queue is shown.

Thanks to Jan Kratochvil for his help with the dwfl part.

Introspection: state the element-type when using GSLists

Updated Traditional Chinese translation(Hong Kong and Taiwan)

Introspection: fix annotation in e_client_get_capabilities

Fix stray unref of server in imapx add_folders_to_summary()

This was causing a double (well, multiple) free and use-after-free of the
server; it has no business here.

It was actually seen when a broken Yahoo server gave a namespace with NIL
for the dir_sep, thus causing problems with subfolders.

Make e-{addressbook,calendar}-factory supersede old factory at startup.

I've lost count of the number of times I've run a factory for debugging
purposes but actually discovered that there's another one already running,
so my new one isn't being used. It's particularly likely because when you
*kill* an existing factory Evolution will bitch about how calendars will
never work again until you restart Evolution... but it *will* restart the
factory automatically!

So make the new factory supersede an old one, and make the old one quit
when it's superseded. This will make debugging a whole lot saner.

Introspection: fix annotation in e_book_client_get_contacts_finish

Introspection: fix annotation in e_book_client_get_self

In the previous commit I forgot to annotate the fact that
the EBookClient param is an out param too.

Introspection: fix annotation in e_book_client_get_self

Add missing \n in a debug print

Introspection: fix annotation in e_book_client_get_contacts_sync

Bug #654893 - Fix one missed rename of 'msg_security' to 'dirty'

Bug #655414 - Need translation comments

Bug #655409 - Extra flags in CamelStoreInfo break folder type check

Bug #654472 - Crash on async error return over GDBus

Be able to fetch all vCards/uids from an SQLite book backend cache

Use same type for fields_of_interest arguments

The fields_of_interest argument of e_book_backend_sqlitedb_search()
was of a different type than the one provided by EDataBookView.

Return back camel_stream_reset() functionality where required

Bug #655331 - pgp/gpg signature is not shown

Bug 654480 - [imapx] Mark as Junk is not reliable

When comparing server-side message flags to local flags, disregard
non-permanent flags that appear to have been cleared on the server.

This solves the problem of IMAP servers not storing junk-related flags
permanently, then when we synchronize message flags with the server, our
local junk-related flags (which -are- stored permanently) get clobbered.

IMAPX: Delete CamelIMAPXViewSummary.

After spending nearly an hour trying to understand how this code is
used... only to realize it's not.

Post-release version bump.

NEWS update for 3.1.4 release.

Coding style and whitespace cleanups.

CamelPOP3Store cleanups.

Update API documentation.

Update POTFILES.in for camel-junk-filter.c.

Add CamelNetworkService interface.

For now this interface is optional for network-based providers.
Eventually I'd like to move the connect() and disconnect() methods
from CamelService to CamelNetworkService entirely, but for now this
interface just collects duplicate code from the imap, imapx, nntp,
pop3 and smtp providers.  The connect_sync() method creates a TCP
stream and configures it to use a SOCKS proxy if available.

Generate GTypes for various Camel enums.

Kind of picking and choosing at this point.  Some enum types must be
renamed to use CamelCase before they can be added to camel-enums.h,
other enum types don't even have a type name.

CamelNNTPStore cleanups.

Revert the previous commit since it seems to be a problem with the build chain

Add camel-junk-filter to the provider sources to make it build in recent jhbuild. Also include camel-junk-filter.h in the source files that use the api.

CamelIMAPXConnManager: Keep a weak pointer to CamelStore.

CamelIMAPXStore owns CamelIMAPXConnManager, so keep only a weak pointer
back to the CamelIMAPXStore to break another reference cycle.

Break reference cycle between CamelStore and CamelFolder.

Now that we've ensured that every CamelFolder instance is cached by its
parent CamelStore, the CamelFolder need only keep a weak pointer to its
parent CamelStore.  This breaks another reference cycle.

CamelStore: Folder cache is always present.

I can't find any CamelStore instances with no folder cache, so let's
assert that it's always present and quit checking for NULL everywhere.

CamelService: Little typo.

Didn't set up the weak pointer correctly.

CamelSession: Add camel_session_remove_services()

Helps ensure CamelService instances are finalized during application
shutdown, even if CamelSession itself is caught in reference cycles.

CamelIMAPXServer: Fix CamelSession reference leak.

CamelIMAPXServer was not releasing its CamelSession reference.

Not that it matters much at the moment since CamelIMAPXServer instances
themselves are not getting finalized.  Need to hunt down what's leaking
those now...

Break reference cycle between CamelSession and CamelService.

CamelService now holds only a weak pointer to CamelSession.

Updated Slovenian translation

Rewrite Camel's junk plugin interface.

Replace CamelJunkPlugin with a proper GInterface and add a "junk-filter"
property to CamelSession with corresponding get/set functions.  The new
interface includes GCancellable and GError parameters.

Fix wakeups in imapx parser thread.

There's no need to wake up every 30 seconds. If the parser_quit flag
gets set, our cancellable will be cancelled. Fix a race condition in
imapx_command_idle_stop which was triggering the cancellable and *then*
setting parser_quit.

Updated Lithuanian translation

Updated Latvian translation.

Move the "$host" down when $host is actually set and don't set DL_LIB
to libdl which is not available on OpenBSD/FreeBSD.

https://bugzilla.gnome.org/show_bug.cgi?id=654444

Updated Norwegian bokmål translation

Updated POTFILES.in

Remove G_DISABLE_DEPRECATED.

ATK headers still use G_CONST_RETURN, which is deprecated.

CamelSpoolStore cleanups.

CamelMhStore cleanups.

CamelLocalStore cleanups.

[l10n]Updated Turkish translation

Added UG translation

CamelDataWrapper: Keep contents in a GByteArray.

Keep CamelDataWrapper contents in an internal GByteArray rather than a
CamelStream.  The CamelStream was causing problems because it now needs
to be seekable, but in some cases we were getting a CamelStreamFilter
which is _not_ seekable.

Also add camel_data_wrapper_get_byte_array() for when you need direct
access to the contents.  This is sometimes more convenient than copying
it into a memory stream, but carries a thread-safety risk if you're not
careful.  Only CamelDataWrapper subclasses should really be using it.

This is another API and ABI break since CamelDataWrapper's CamelStream
pointer was a public struct member.

Remove camel_stream_printf().

GIO streams have no equivalent method, so removing this function forces
our code to look a bit more like it will when we move to GIO streams.

Also, camel_stream_printf() lacks GCancellable and GError arguments,
which inevitably leads to poor error handling in the providers.

libcamel soname has already been bumped for 3.1.4.

Avoid camel_stream_printf().

camel_stream_printf() is next on the chopping block.

Use g_strdup_printf() or a GString to construct a formatted string in
memory, pass to to camel_stream_write() in one go, and then check for
errors (unless it's a memory stream).

post release version bump

News update for 3.1.3.1 release

Updated Spanish translation

Update Simplified Chinese translation.

Bug#654054 Fix eds build failure

camel_stream_vprintf() doesn't exist.

Remove its declaration from camel-stream.h.

Remove camel_stream_reset().

All use cases accounted for; they're all seekable streams, so use
g_seekable_seek() instead if you need to reset the cursor position.

Obviously an API break.  The libcamel soname has already been bumped for
3.1.4 so we'll leave it be.

Prefer g_seekable_seek() over camel_stream_reset().

When a stream is obviously a file or memory stream (both of which
implement the GSeekable interface), use g_seekable_seek() instead of
camel_stream_reset().

This is helping me discover if it's safe to remove camel_stream_reset().
We want to eventually move to GIO streams, which have no reset method.

Camel: Remove some unnecessary type casts.

CamelImapWrapper: Use GError instead of errno.

camel_stream_process_connect(): Add GError parameter.

Updated Galician translations

camel_tcp_stream_ssl_enable_ssl(): Add GError parameter.