session_policy_local: Use callback helpers

Use the generic callback helpers to encapsulate struct create_data.
In a later patch we will add some more data elemets to struct
create_data. That is the reason why it is not remove here.

session_policy_local: Load policy when a new file is added

When a file is added (not modified) we need to parse it as well

session_policy_local: Do not free policy on load error

We should not unref the policy on parsing errors becase the policy
lifetime is attached to the lifetime of the file. When the file
is removed we remove it from the hash table.

session_policy_local: Empty policy list indicated no match all

Match all is expressed via CONNMAN_SERVICE_TYPE_UNKNOWN. An empty
list means no match.

session_policy_local: Set default policy using common code

Use connman_sessoin_set_default_config() instead of open coded
version.

This prepars the next fix.

session: Empty policy list indicated no match all

Match all is expressed via CONNMAN_SERVICE_TYPE_UNKNOWN. An empty
list means no match.

session: Do not try to access already removed hash

Make sure we never try to cleanup when the hash table has
been destroyed. In this case all resources have been
freed already.

session: Reorder shutdown sequence

By calling __connman_session_cleanup() before __connman_plugin_cleanup()
we make sure all resources allocated can released in the correct order.
The code assumes after an successful allocation, free will always work
and therefore we double free allocated memory.

wifi: improve fix to avoid device double release on disable

Per MEEGO-25999 <https://bugs.meego.com/show_bug.cgi?id=25999>, there
exists a race between scan_callback and wifi_disable such that a care-
fully-timed deassertion of the technology Powered property between
throw_wifi_scan and scan_callback will lead to a device reference
count underflow. A second Powered property false -> true -> false
transition will then deallocate the device and Wi-Fi will no longer
function until connman or the system is restarted.

This patch improves upon and revises the prior patch to address this
issue by recognizing that hidden networks involve a slightly different
code path and timing and that both this and the prior case can be
addressed by tracking the device scanning state and only releasing the
device when the state is asserted.

tools: Rename dnsproxy-unit to dnsproxy-test

Rename the dnsproxy file as it is more of a test tool than a unit test.

tools: Make message buffers static

service: Set state properly after disconnecting the associating service

This is related to fix d7d8f8bdb7c1ddae098893e10608fcb42034a9ff
We did not set the state to idle after disconnecting the
associating service.

Fixes BMC#25981

wifi: avoid device double release on disable

Per MEEGO-25999 <https://bugs.meego.com/show_bug.cgi?id=25999>, there
exists a race between scan_callback and wifi_disable such that a care-
fully-timed deassertion of the technology Powered property between
throw_wifi_scan and scan_callback will lead to a device reference
count underflow. A second Powered property false -> true -> false
transition will then deallocate the device and Wi-Fi will no longer
function until connman or the system is restarted.

This patch addresses that race by tracking and observing the disabling
state such that scan_callback ad wifi_disable can effectively negotiate
which has performed the device release, thereby avoiding the double
release and resulting underflow.

Release 1.13

build: Add dnsproxy-unit to .gitignore

gdbus: Fix not calling property_changed callback

In case a property did not appear by the time proxy_added was called
property_changed has to be called if it appear latter otherwise the
application will be unaware of it.

gdbus: Use gcc builtin instead of g_atomic

g_atomic_* end up using G_STATIC_ASSERT, causing gcc 4.8 to yell due to
-Wunused-local-typedefs.

gdbus/client.c: In function ‘g_dbus_client_ref’:
/usr/include/glib-2.0/glib/gmacros.h:162:53: error: typedef ‘_GStaticAssertCompileTimeAssertion_2’ locally defined but not used [-Werror=unused-local-typedefs]
 #define G_STATIC_ASSERT(expr) typedef char G_PASTE (_GStaticAssertCompileTimeAssertion_, __COUNTER__)[(expr) ? 1 : -1]

vpn: Host IP address was not freed

The host ip address field is only used if user has given vpn
server as a host name instead of host ip address.

vpn: Free ip address before allocating a new one

Possible memory leak here as we might have ip address allocated
already.

dnsproxy: Fix cached message length correctly

We must copy the response buffer before fixing the packet length.
Otherwise the packet length will go wrong if the request contained
EDNS0 data.

client: Add --help, -h options

tools: Add unit test for dnsproxy

dnsproxy: Handle partial TCP messages from client

We were not handling client sent partial TCP messages correctly.
This meant that ConnMan would block if the client using TCP would
not send full DNS request.

When a new TCP client connects in tcp_listener_event(), a new
TCP channel is created to handle a partial client message if
all of the message is not already available. The partial TCP
message is patched together in tcp_client_event(). When all of
the TCP message has been received, the message is processed in
read_tcp_data(). The client has to send the DNS request within two
seconds before the connection is closed by ConnMan.

service: Drop unused argument in preferred_tech_list_get()

client: Fix help text, IPv4 setting uses netmask

dnsproxy: Create cache if it is missing when doing lookup

dnsproxy: Fix memory leak when request timeouts

dnsproxy: Avoid null pointer access

dnsproxy: Do not add or remove ::1 server

dnsproxy: Use ::1 when refreshing because of the address family

dnsproxy: Add or remove ::1 to/from resolv.conf when necessary

We add IPv6 loopback address to resolv.conf if we have created
an IPv6 listening socket to port 53. Also remove ::1 from resolv.conf
when deleting the proxy.

dnsproxy: Listen only on needed addresses

Do not bind to ANY address so that other DNS server applications
can be used on the same host for interfaces that are not managed
by ConnMan. This means that we only create DNS listeners on loopback
and tethering interfaces.

inet: Get an address from a given interface and address family

The returned address is used when we need to have a listening
socket tied to specific interface and address, and do not want to
bind to any address.

client: Move boolean parsing helper function to commands file

The helper function is not used elsewhere, thus move it.

client: Remove now obsolete functions and files

Remove now obsolete files from services. Remove data_manager, dbus and
technology .h and .c files. Update Makefile.am accordingly.

client: Remove now obsolete function

client: Use D-Bus helper functions when setting proxy

Append proxy server and exclude information in the callback functions.

client: Use helper functions for setting domains, nameservers and timeservers

client: Use helper functions for IP, autoconnect and removal

Use D-Bus helper functions for service remove, autoconnect and IP
configuration.

Create a common callback for all configuration properties. Count also
the number of appended items and add it to the current index when done.

client: Use D-Bus helper function to implement services command

Fixes BMC#25953 BMC#25974

client: Use D-Bus helper functions for Technology enabling/disabling

client: Add support functions for setting properties

Add support functions for setting basic, dictionary and array properties.

client: Use D-Bus helpers for Technology Scan method call

client: Use D-Bus helpers for Technology GetTechnologies method call

client: Use D-Bus helper functions for service connect and disconnect

client: Use D-Bus helper functions for state method call

client: Print out help header if non-interactive

client: Add calls to save and redraw input prompt

client: Remove now obsolete client/interactive.[hc] files

client: Remove readline handling from main.c

client: Handle exit and inprogress values

When exiting, return 1, when D-Bus method call is in progress return
-EINPROGRESS. When exiting successfully return 0, when an error is
encountered return the error value.

client: Delete the now obsolete monitor.[hc] files

client: Reimplement monitor command

Use generic D-Bus printing function to print the signals

client: Add input handling

Set up readline command line input handling. Add helper functions to
save and redraw the command line when output needs to be printed to the
screen.

client: Add pretty-printing for ServicesChanged signal

Create a set of helper functions for pretty-printing both the added and
the removed services dictionaries in the ServicesChanged signal.

client: Add connmanctl D-Bus helper functions

Add helper functions for pretty-printing D-Bus messages and making a
method call.

vpn-provider: Send domain name to connman when connection is ready

Fixes BMC#25994

openvpn: Update domain name if received from OpenVPN server

vpn: Update domain name when received from vpnd

ofono: Add the CDMA network when the device is created

There is a race that causes the network not to be added if we get the
CDMA netreg changed signal before the CDMA connection manager added
signal.  In that case the network is not added because the device has
not been created yet.  So we fix this by trying to add the network
whenever the device is created.

ofono: Add CDMA network when modem is registered

Connecting the network requires powering the CDMA connection manager,
which fails with an error if network registration is not complete.  So
we only add the network when registration is complete and remove it when
the modem is no longer registered.

doc: Removed comments about profiles as they are long gone

doc: Ethernet properties 'Speed' and 'Duplex' are not provided

Ethernet properties 'Speed' and 'Duplex' have never been implemented
and are not supported for WiFi. Thus mark them deprecated.

Fixes BMC#25992

vpn-provider: Nameservers were not sent to connmand vpn plugin

We got some nameservers from VPN server but we never sent the
nameserver list to connmand vpn plugin.

Fixes BMC#25966

openvpn: Set the nameservers in correct order

The nameservers that we get from OpenVPN server can be received
in any order. Make sure that we sort them in correct order before
sending them to connmand.

provider: Set nameservers if we receive them from vpnd

If we receive nameservers from vpnd we must set them in provider.
The connman_provider_set_nameservers() function needs changes
because we get the nameservers as an array, it makes no sense to
convert the array to string and then back to array.

wifi: terminate autoscan stop if autoscan is not active

This terminates the body of stop_autoscan if autoscan is
not active. Per MEEGO-25987 <http://bugs.meego.com/show_bug.cgi?id=25987>,
running stop_autoscan when changing connected services can prematurely and
incorrectly terminate a new, in-flight service connection and result in a
failure of that connection with "net.connman.Error.OperationAborted:
Operation aborted".

When a scan is started, all networks are marked unavailable. Should the check
added in this patch not be present, device scanning is set to false and all
not yet found networks are removed. Thus the service will not be able to
connect if its network wasn't already found.

service: Disconnect the connecting service when needed

If we are trying to connect a service and there is another
service connecting, then we disconnect the pending service
and connect the new one.

Fixes BMC#25981

vpn-provider: Fix uninitialized memory read

The immutable field might be left uninitialized without this.

tethering: Fix build with kernel headers 3.8+

Highly inspired by:
    https://git.kernel.org/cgit/linux/kernel/git/shemminger/bridge-utils.git/commit/?id=5eebb7f9288b7881ffb929b1fd494fe3ac3be27d

As Russel puts it in his commit message for bridge-utils:

    Linux 3.8 has a header, include/uapi/linux/if_bridge.h that uses a
    struct in6_addr but doesn't define it. The trivial seeming fix of
    including the header that does define it causes more problems. The
    problem was discussed on mailing lists in January 2013. The final
    suggestion I found was here:
        http://www.redhat.com/archives/libvir-list/2013-January/msg01253.html
    This is intended to implement that suggestion.

This changeset transplants this trivial fix to connman.

service: Send IP config changed signal in disconnect

We did not send the IP config changed signal during disconnect.
This can confuse the dbus signal listeners.

Fixes BMC#25989

service: Only send correct ipconfig changed signal

If we are changing IPv4 config, then send only IPv4 changed signal
and not the IPv6 one. Same is done for IPv6 config when it changes.

config: Allow user to specify how IP address is used

If IPv4 address is missing then DHCPv4 is used. If IPv6 address is missing,
then SLAAC or DHCPv6 is used. This was specified in doc/config-format.txt
but implementation was missing.

We also allow the IP address to contain "off", "dhcp" or "auto" string,
so user can specify how the IP address can be set for the interface.

Fixes BMC#25985

iptables-unit: Add firewall API tests

firewall: Maintain iptables rules in dedicated ConnMan chains

Instead appending ConnMan iptables rules into the builtin chains
we append them into chains managed by ConnMan.

If a rule needs to be inserted into a bultin chain, ConnMan
will create a 'connman-' prefixed builtin chain name and appends
the user rules there. Then ConnMan will insert a unconditional jump
rule in the builtin chain.

Basically,

  iptables -t filter -A INPUT -m mark --mark 1 -j LOG

will be translated to this:

  iptables -t filter -N connman-INPUT
  iptables -t filter -A connman-INPUT -m mark --mark 1 -j LOG
  iptables -t filter -I INPUT -j connman-INPUT

When the last rule in a managed chain is removed, the managed
chain will also be removed.

firewall: Add firewall API

The main idea behind this API is to collect several iptables rules
together and enable or disable in one go.

For this a context is created via __connman_firewall_create() and
the rules added to this context via __connman_firewall_add_rule().

In order to append all rules __connman_firewall_enable() has
to be called. To remove all rules associated with one context
__connman_firewall_disable() has to be used.

If something goes awry the code tries to get back to the initial
state.

firewall: Flush managed chains

ConnMan maintains its own chain per builtin chain. The managed
chain have a prefix 'connman-' and one rule in the corresponding
builtin chain which jumps uncoditional to the managed chain.

In case ConnMan crashed we need to cleanup first.

firewall: Add firewall file

iptables: Add chain iterator

We will implement the ConnMan iptables specific part in a different
file and leave the iptables.c file as small as possible.

Therefore, we move the flushing part out, but we need a way to
find our chains on bootup (left over from a crash). Let's add an
interater which walks over all chains which allows a higher level
to find the chains it is looking for (e.g. connman-INPUT)

session: Add callback helpers

There is a common pattern when writing a callback function. Let's
add a few helper for this.

It is added to session.h because apart from the core also
the session_policy_local.c will make use of it.

This is shamelessly stolen from oFono.

iptables-test: Add insert support

iptables: Add __connman_iptables_insert()

This was wrongly removed with commit 161efbae

iptables: Prepare rule to be inserted or appended

Add a boolean helper to distinguish between insert and append operations.
When chain_head == chain_tail->prev, the builtin chain is empty which makes
an intended append operation equivalent to an insert operation.

dnsproxy: Make sure we are not accessing null hash

If dnsproxy is not in use, like when connman has been started
with -r option, then the listener_table will be NULL which can
cause crash in hash table lookup call.

iptables-unit: Check if rules are inserted/removed

Optionally use iptables-save to check if the rules are installed or
removed on the system instead of relying only on the returned iptables
error code.

Do notice that running tools/iptables-unit will modify and delete existing
iptables firewall rules on your system. Use iptables-unit with caution!

build: Run ippool test during make distcheck

test-ippool is a pure unit test can therefore be part of the
distcheck target.

test-ippool: Update unit test printouts

neard: RequestOOB() method sends empty dictionary

Reported by Ravikumar Veeramally

iptables: Allocated memory blocks are already zerod out

entry_head and entry_return are allocated via g_try_malloc0().

iptables: Factor out duplicated update hook code

After removing one or more rules the builtin hooks need to be updated
accordingly. iptables_flush_chain() and iptables_delete_rule()
share a common code part.

iptables: Fix invalid access to list after removing first rule

The list pointer is invalid after remove_table_entry(). Since
we entering the 'if' body only for the first rule in a builtin
chain we can safely update list to point to the next element.

iptables: Rename pre_load_table() to get_table()

The second argument is not used anymore, let's remove it. The funciton
name doesn't really match to its implementation, so it's also time
to rename it.

iptables: Improve debug log output

We need to see a bit more in detail what happens when
CONNMAN_IPTABLES_DEBUG is not set, for example the removing/flushing
during bootup.

Also remove the DBG() from parse_rule_spec() because all callers
already have a DBG(). So not much additional information here.

iptables: Lookup in table hash before module loading

pre_load_table() is called always with table == NULL, we end up
keep trying to load the kernel modules even though the table
is already loaded. Therefore, move the lookup one level up.

iptables: Use glib function for string operations

Streamline this file with the rest of ConnMan's code base.

iptables: Drop support for xtables < 1.4.11

The API changed between 1.4.10 (version code 5) and 1.4.11 (version code 6)
and we needed to workaround with a bunch of ugly ifdefs. 1.4.11 was
released on 26.05.2011 and even Debian testing ships 1.4.14 these days.

iptables-unit: Add debug option

It is impossible to see the normal unit test output with all
DBG() enabled by default.

iptables-test: Use iptables implementation from core

With the recent changes to iptables.c and the new API iptables-test.c
and iptables.c started to diverge and it is not really possible to
keep those two files in sync. Instead we start using the new API.

Unfortunatly, we need to partially parse argv and concatinate the rest
again together. This is ugly but not much we can do about it.

iptables: Add __connman_iptables_dump()

In order to allow our test tool iptables-tests to dump a table
we need an dump function. The only user will be this tool. That allows
the linker to remove this code, so no additional code size.

build: Ignore iptables-unit and session-test in tools directory