ipconfig: Possible to have double unref

Because we do not check that origin pointer is not this ipconfig,
it is possible that we might try to unref the ipconfig one time
too many.
Something like this was seen in the log file:

connmand[19208]: src/ipconfig.c:enable_ipv6()
connmand[19208]: src/ipconfig.c:__connman_ipconfig_unref() ipconfig 0x47502f0 refcount 0
connmand[19208]: src/ipconfig.c:__connman_ipconfig_disable() ipconfig 0x47502f0
connmand[19208]: src/ipconfig.c:disable_ipv6()
connmand[19208]: src/ipconfig.c:__connman_ipconfig_unref() ipconfig 0x47502f0 refcount -1

proxy: Service was saved but not referenced

connection: Only take service ref when saving service

The fix b68795352dd5a9ac41eab31c765ade0c88329a6e was only partly
working. We must only take the ref when we are saving stuff
to hash (no need to take ref if we are only modifying value
in the hash). This patch reverts the commit b68795

service: Properly ref/unref the network

We only took reference to network when the network was
created by service. This needs to be changed as the network
might disappear while service is using network pointer.
So now we take network ref when necessary and release it
when service is removed or if underlaying network is changed.

service: Refactor the service unref function

service: Add ref counting debug

service: Cleanup of already removed functionality

The commit 87318d768c9bf6842ec4dc74f03220ee8b6a9c72 removed
code from service but left the network_created flag intact.
This patch removes the useless flag.

dhcpv6: Do not start release if we are not connected

We do not need to start the RELEASE procedure if we have not
yet contacted the server.

network: Do not start IPv6 autoconfiguration if already pending

dhcpv6: Prevent user from starting DHCPv6 multiple times

We must make sure that user cannot start DHCPv6 many times
for a given network.

network: Add more debug prints

network: Verify we are connected before starting DHCPv6

dhcpv6: Add more debug prints

dhcpv6: Do not wait answer to RELEASE message

We do not want to wait the answer to release message that
was sent to the DHCPv6 server because the reply from server
might take some time and we must continue the network
disconnect procedure. So we just inform the server that we
are done with the addresses but ignore server reply as there
is nothing to be done anyway after sending the release.

ofono: Register technology driver

With e1d92d253c5db96bdc8fe2a21e463fc730570311 we need to register a driver
for each technology.

Fixes BMC#24702.

technology: Register a technology is there's a driver for it

Connman should not handle technologies whose drivers are not compiled in.
This patch also avoids connman controlling the rfkill switches for
technologies not compiled in.

Fixes BMC#24549.

ethernet: Add technology driver for handling ethernet

technology: Assign driver to technology at creation time

No need to assign driver to technolog during driver registration.

dnsproxy: Fix invalid hash table cleanup

The remove_listener() should not call __connman_dnsproxy_remove_listener
because that function will modify the hash table.

ipconfig: Move connman_ipaddress declaration to connman.h

ipconfig: Rename previously public functions

Prefix them with a "__".

ipconfig: Move connman_ipconfig_* to connman.h

Non of those function are used in the plugins.
Let's move them to connman.h.

technology: Add missing args termination

Open argument list has to be terminated.

test: Fixes enable/disable tethering script according to new API

Fixes BMC#24644

gdhcp: Fix build failure

<inet.h> doesn't exist.

connection: Fix service refcount

Service may be refcount two times when add_gateway for both ipv4 and
ipv6, we need to unref the service twice according when we have both
ipv6 and ipv4 gateway

service: Fix reply_pending in __connman_service_connect

gweb: process_send_file after HTTP Header is sent

session: Undo empty D-Bus message check

This check is wrong.

provider: Undo empty D-Bus message check

This check is wrong.

agent: Undo empty D-Bus message check

This check is wrong.

AUTHORS: Mention Arjan's contributions

dnsproxy: Empty lines cleanup

Add and remove some empty lines.

dnsproxy: Add cache refreshing logic

This patch adds logic to the DNS cache where it will refresh, rather than purge,
popular DNS entries when they expire. This will cut down latency for the user,
since he doesn't have to wait for a DNS resolve for his popular entries.

It also makes changing DNS servers (say, when joining a VPN) less expensive,
since the popular entries from the cache will be refreshed after the join,
rather than just being dropped

dnsproxy: Add a "invalidate cache" function

When something changes in the network topology, we need to invalidate the cache.
This first implementation will delete all entries (which could have been done
more efficiently), but in later patches in this series we'll enhance this logic
to only delete the cached data, not the names. With keeping the names,
we can then re-lookup popular data in the new topology.

dnsproxy: Deal nicer with a cache-full situation

Now that we have hit counts for the cache, we can make the cache-full
handling slightly smarter; if we can't make space freeing expired entries,
we can now make space freeing entries that have a very low use count.

dnsproxy: Track cache hit statistics

For various decisions (which entries to prune, which entries to refresh)
and for debugging, it's useful to track how many hits a cache entry
gets.

This patch adds the basic counting for this; the only tricky aspect
is that we serve DNS entries out of the cache, even in case of a miss,
so we need to compensate for that by subtracting a hit first.

dnsproxy: Have a minimum cache TTL

some DNS servers return an extremely short TTL causing all kinds of fun.
This patch ensures that we just enforce a minimum TTL of 30 seconds.

dnsproxy: Cache negative IPv6 entries for the case where we have an IPv4 entry already

It's very common for a client to ask for both IPv4 and IPv6 entries for a name,
however until now, Connman would only cache the IPv4 entry. The result is that the
client app still has the full latency of a lookup, the one for the AAAA record.

This patch will cause Connman to cache negative IPv6 entries, but only if a valid
IPv4 entry is already in the cache. The TTL for this negative entry is set to
the TTL of the existing IPv4 entry, with the rationale that these entries go together
anyway.

dnsproxy: Send the correct TTL to our clients

When we send a cached entry to our clients, it won't do to report the TTL
from the original request to our client. The time that an entry has lived
in our cache needs to be subtracted from the TTL that we report to our client.

This patch adds a function to adjust the TTL of a response that we send,
and uses the newly stored "valid_until" value to compute the remaining TTL.

dnsproxy: Start tracking the end time of the TTL

In order to be able to report an accurate TTL to our client (see next patch
to actually do that), we are going to need to track the end point in time
for this TTL. This also allows us to track separately how long an entry
is valid versus how long we want to cache the entry.

This patch also adds some logic to group end times of the various
cache entries to logical boundaries (10 and 30 seconds); this will
cause cache entries to expire together, which is more efficient in
power/performance, and also later when we add refreshing logic.

dnsproxy: Delete expired cache entries when they expire

The DNS cache has logic to never replace cached data if it already exists.
However, this only works well if we actually delete the data parts
of the cache entries as they expire.

This patch creates a cache_enforce_validity() function, which will
delete the data portion of cache entries if they are expired.
With this in place, consecutive lookups of the same name can get
cached again.

dnsproxy: Make sure "rr" is not NULL

I've caught some crashes with connman where "rr" ended up being NULL;
easy to add a check for this and prevent the crash.

test-connman: Remove unsupported passphrase support

AUTHORS: Mention Flávio's contributions

session: Handle empty D-Bus message

provider: Handle empty D-Bus message

agent: Handle empty D-Bus message

In case the agent sends wrongly an empty reply.

dnsproxy: Check compress flag properly.

clock: Emit property changed signal when time property is channged.

Fixes BMC#23740.

technology: There is no need for add_interface to refcount technology.

technology: return a reply even if there are no devices in the technology list.

inotify: Change inotify mask.

Use IN_CLOSE_WRITE instead of IN_MODIFY so the notifier
is called once only after all the changes are written.

Fixes BMC#23741.

device: Disconnect service when disabling device

We should disconnect service instead of disconnecting network
when device is disabled. Otherwise service might still have
a pointer to network that is no longer valid.

Fixes BMC#24592

dhcpv6: Allow address setting in IPv6 auto mode.

The DHCPv6 is used when doing autoconfiguration so we must allow
address setting/unsetting in auto mode.

dhcpv6: Release message implemented.

dhcpv6: Handle address expiration by restarting the stack.

dhcpv6: Rebind message implemented.

dhcpv6: Renew message implemented.

dhcpv6: Request message implemented.

dhcpv6: Initial stateful DHCPv6 support.

This patch contains solicitation message support.

ipconfig: Return IPv6 privacy status.

inet: Get router advertisement prefix option information.

inet: Return router advertisement packet length in callback.

The length of the RA packet must be returned in callback,
otherwise callback cannot check RA options. The prefix length
RA option is needed in stateful DHCPv6 implementation.

dhcpv6: Support stateless DHCPv6

See relevant parts from these RFCs:
RFC 3315 - DHCP for IPv6
RFC 3646 - DNS configuration options for DHCP for IPv6
RFC 3736 - Stateless DHCP service for IPv6
RFC 4075 - SNTP configuration option for DHCPv6

The patch does not support authenticated information messages.

gdhcp: Generic stateless DHCPv6 support.

The patch adds support for information-request DHCPv6 message.

ofono: Fix network name is null for CDMA network

ofono: Fix no ip settings for CDMA network

When we add cdma network, we alloc the context for the modem, due
to add_network logic needs, then we need extract ip settings even
context is not NULL

ofono: Create device for CDMA modem

For cdma modem, the property change for serial may after interfaces,
then we need to create device for cdma modem when we get serial property

manager: Remove manager 'Technologies' property

Remove 'Technologies' property from Manager API and the
code updating the property.

technology: Implement Manager API GetTechnologies method call

technology: Add 'TechnologyAdded' and 'TechnologyRemoved' signals

service: Return all system defined nameservers when asked

The connman_service_get_nameservers() is changed to return
all system defined nameservers. This means that the function
now returns an allocated array of all nameservers and caller
must deallocate the returned array.

The change is needed so that we can combine the nameservers
that are set by DHCP code and the IPv6 nameservers that are
set by router advertisements.

wispr: Retry online check for IPv6

Because IPv6 RA messages can come at any point when connection is
established, we might do wispr check before possible IPv6 DNS RA
is received so in that case wispr check could fail.
If wispr check fails for IPv6 we try to do the check once (after
waiting one second timeout) in a hope that system is configured
properly during that period.

ipconfig: Have separate callbacks for route changes.

Route changes should not trigger ip_bound or ip_release callbacks
in service.c as that can cause too early transition into IPv6 ready state.
The ip_bound (in __connman_ipconfig_newaddr()) and ip_release (in
__connman_ipconfig_deladdr()) are enough to trigger a transition
in IPv6 state.

This also prevents too many notifier calls in session as we only
notify session when address changes.

ipconfig: Address list for duplicates does not need gateway info.

The ipdevice address list is only used for detecting duplicate
addresses so there is no need to copy the gateway information
into the list. The same gateway data was actually used in every
list element which is not a correct thing to do as there would
be different gateways in IPv4 and IPv6 anyway.

iptables: Small improvements on ipatables_init()

Just returning NULL instead of go to "err:" when
"table" is NULL, also removing a duplicated
 g_free(module).

It's avoiding, at least, a "goto" + "g_free()" +
"table_cleanup()".

wispr: using only the nameservers from requested service

wispr: fixing a possible memory leak if interface index cannot be retrieved

storage: Using the right free func

Fixing a segfault when it fails to store an information,
just using g_error_free instead of g_free.

manager: Remove DefaultTechnology and associated function

manager: Remove ConnectedTechnologies and associated function

manager: Remove EnabledTechnologies and associated function

manager: Remove AvailableTechnologies and associated function

service: Don't send 'wpa' or 'rsn' as alternate values for 'psk'

service: Remove Passphrase property

service: Remove PassphraseRequired property

service: Remove LoginRequired property

Remove LoginRequired property and associated functions

wifi: Set interface to NULL in interface_removed

Currently we set wifi interface to NULL in interface_remove_callback.
commit 80e2e08b4887c4e133d3ca7d42ac844fbb974bb8 avoid to use stale
pointer by get wifi pointer through interface, but interface already
removed and should be NULL, then the interface value in wifi will never
set to NULL and will be a wild pointer. Which may cause connman crash
when we connect wifi service after we disable the wifi. This issue does
not exist in latest connman due to connect-service method is removed.

we can set wifi interface in interface_removed which called in remove_interface
in supplicant.c, because after interface is freed in supplicant, we should not
hold this pointer anymore.

Fixes BMC#24364

gweb: Add null pointer checks to avoid connman unstability

Fix null pointer derefencing in "free_session" and
"process_send_buffer" functions

supplicant: Make create_name() UTF-8 aware

Create proper UTF-8 encoded names from SSIDs. Invalid
sequneces will be replaced by replacement characters.

This function is based on the _g_utf8_make_valid() from glib.

technology: Return technology name Cellular instead 3G

storage: Remove useless comments

No additional information in the comments.

storage: Use technology name Cellular instead 3G

doc: Change bearer name to cellular instead 3G

service: Remove file index check in setup_ipv4/v6config()

This is needed for plugins that haven't yet set their
ipconfig layer, due to not being able to get a network index.

ofono: Create ipconfig layer when creating network

Create the ipconfig layer before trying to connect. Withouth
the ipconfig layer the core is not ready to process errors.

ofono: Discover already online modems

If a modem is already online there will be no updates
on the interfaces and therefore no triggers to do the
complete discovering.

ofono: Set device powered state

ofono: Handle add/remove of API separatly

Simplify the way the interface apperance and disapperance are
handled and write them explicitly out. This is not extremly fast
or elegant but it is much more readable and maintainable.

Also unregister the network object when the modem goes offline.

Fixes BMC#24432