config: Allow user to specify how IP address is used

If IPv4 address is missing then DHCPv4 is used. If IPv6 address is missing,
then SLAAC or DHCPv6 is used. This was specified in doc/config-format.txt
but implementation was missing.

We also allow the IP address to contain "off", "dhcp" or "auto" string,
so user can specify how the IP address can be set for the interface.

Fixes BMC#25985

iptables-unit: Add firewall API tests

firewall: Maintain iptables rules in dedicated ConnMan chains

Instead appending ConnMan iptables rules into the builtin chains
we append them into chains managed by ConnMan.

If a rule needs to be inserted into a bultin chain, ConnMan
will create a 'connman-' prefixed builtin chain name and appends
the user rules there. Then ConnMan will insert a unconditional jump
rule in the builtin chain.

Basically,

  iptables -t filter -A INPUT -m mark --mark 1 -j LOG

will be translated to this:

  iptables -t filter -N connman-INPUT
  iptables -t filter -A connman-INPUT -m mark --mark 1 -j LOG
  iptables -t filter -I INPUT -j connman-INPUT

When the last rule in a managed chain is removed, the managed
chain will also be removed.

firewall: Add firewall API

The main idea behind this API is to collect several iptables rules
together and enable or disable in one go.

For this a context is created via __connman_firewall_create() and
the rules added to this context via __connman_firewall_add_rule().

In order to append all rules __connman_firewall_enable() has
to be called. To remove all rules associated with one context
__connman_firewall_disable() has to be used.

If something goes awry the code tries to get back to the initial
state.

firewall: Flush managed chains

ConnMan maintains its own chain per builtin chain. The managed
chain have a prefix 'connman-' and one rule in the corresponding
builtin chain which jumps uncoditional to the managed chain.

In case ConnMan crashed we need to cleanup first.

firewall: Add firewall file

iptables: Add chain iterator

We will implement the ConnMan iptables specific part in a different
file and leave the iptables.c file as small as possible.

Therefore, we move the flushing part out, but we need a way to
find our chains on bootup (left over from a crash). Let's add an
interater which walks over all chains which allows a higher level
to find the chains it is looking for (e.g. connman-INPUT)

session: Add callback helpers

There is a common pattern when writing a callback function. Let's
add a few helper for this.

It is added to session.h because apart from the core also
the session_policy_local.c will make use of it.

This is shamelessly stolen from oFono.

iptables-test: Add insert support

iptables: Add __connman_iptables_insert()

This was wrongly removed with commit 161efbae

iptables: Prepare rule to be inserted or appended

Add a boolean helper to distinguish between insert and append operations.
When chain_head == chain_tail->prev, the builtin chain is empty which makes
an intended append operation equivalent to an insert operation.

dnsproxy: Make sure we are not accessing null hash

If dnsproxy is not in use, like when connman has been started
with -r option, then the listener_table will be NULL which can
cause crash in hash table lookup call.

iptables-unit: Check if rules are inserted/removed

Optionally use iptables-save to check if the rules are installed or
removed on the system instead of relying only on the returned iptables
error code.

Do notice that running tools/iptables-unit will modify and delete existing
iptables firewall rules on your system. Use iptables-unit with caution!

build: Run ippool test during make distcheck

test-ippool is a pure unit test can therefore be part of the
distcheck target.

test-ippool: Update unit test printouts

neard: RequestOOB() method sends empty dictionary

Reported by Ravikumar Veeramally

iptables: Allocated memory blocks are already zerod out

entry_head and entry_return are allocated via g_try_malloc0().

iptables: Factor out duplicated update hook code

After removing one or more rules the builtin hooks need to be updated
accordingly. iptables_flush_chain() and iptables_delete_rule()
share a common code part.

iptables: Fix invalid access to list after removing first rule

The list pointer is invalid after remove_table_entry(). Since
we entering the 'if' body only for the first rule in a builtin
chain we can safely update list to point to the next element.

iptables: Rename pre_load_table() to get_table()

The second argument is not used anymore, let's remove it. The funciton
name doesn't really match to its implementation, so it's also time
to rename it.

iptables: Improve debug log output

We need to see a bit more in detail what happens when
CONNMAN_IPTABLES_DEBUG is not set, for example the removing/flushing
during bootup.

Also remove the DBG() from parse_rule_spec() because all callers
already have a DBG(). So not much additional information here.

iptables: Lookup in table hash before module loading

pre_load_table() is called always with table == NULL, we end up
keep trying to load the kernel modules even though the table
is already loaded. Therefore, move the lookup one level up.

iptables: Use glib function for string operations

Streamline this file with the rest of ConnMan's code base.

iptables: Drop support for xtables < 1.4.11

The API changed between 1.4.10 (version code 5) and 1.4.11 (version code 6)
and we needed to workaround with a bunch of ugly ifdefs. 1.4.11 was
released on 26.05.2011 and even Debian testing ships 1.4.14 these days.

iptables-unit: Add debug option

It is impossible to see the normal unit test output with all
DBG() enabled by default.

iptables-test: Use iptables implementation from core

With the recent changes to iptables.c and the new API iptables-test.c
and iptables.c started to diverge and it is not really possible to
keep those two files in sync. Instead we start using the new API.

Unfortunatly, we need to partially parse argv and concatinate the rest
again together. This is ugly but not much we can do about it.

iptables: Add __connman_iptables_dump()

In order to allow our test tool iptables-tests to dump a table
we need an dump function. The only user will be this tool. That allows
the linker to remove this code, so no additional code size.

build: Ignore iptables-unit and session-test in tools directory

test-session: Move file to tools and rename it to session-test

These tests depens on ConnMan running and therefore not really a
unit tests. Let's move it to tools.

test-iptables: Move file to tools and rename it to iptables-unit

Unit tests are suppessed to be run during 'make distcheck' but
iptables-unit needs to be run with root rights.

doc: Information about activating debugging in ConnMan

service: User cannot modify immutable service

If the service is provisioned via .config file, then user is only
able to set the AutoConnect status of the service. All the other
settings must be set from the .config file.

Fixes BMC#25984

vpn: Make sure vpn connection really exists before removing it

vpn: Check whether we have already removed the provider

The dbus messages from vpnd might come in different order so make
sure we are not trying to access already removed provider.

vpn: Add debug information when vpn state changes

vpn: Remove VPN provider from service list when destroying it

When provider is destroyed in vpnd, we get a notification about
that. We must then remove the provider which will also unref it
so the provider data will get removed properly.
Old code just unreffed the provider but it was left hanging in
service list.

provider: New provider removal function callable from vpn plugin

provider: Change the name of provider remove function

Following patch will introduce provider remove function that can
be used from vpn plugin so rename the current removal function to
reflect better its usage.

vpn-config: Ignore IN_CREATE as IN_MODIFY is called anyway

Inotify will send modify event after create event when user has
copied the config file into config directory. Because of this
it is useless to act on create event. As a bonus we avoid
create/modify/create loop that was earlier done in the modify event
handling code.

vpn: Clear the data pointer from provider when destroying

If the data pointer is left around, then vpn plugin might
accidentally use it if dbus messages are received after
we have cleared the vpn connection.

vpn-provider: Do not save or load provisioned VPN connections

The vpnd will not read or save provider data from disk. Only
way to provision VPN is by setting necessary data in VPN .config
file.

vpn-provider: SetProperty and ClearProperty do not work if immutable

Immutable VPN connection settings cannot be changed by SetProperty or
ClearProperty dbus API.

vpn-provider: Introduce immutable flag to provider data

vpn-provider: Do not allow changes to settings that are immutable

The immutable settings are those that are read from .config file.

service: Send signal only if immutable flag value changes

vpn: Set immutable flag of the VPN service

provider: Function to set the immutable flag

vpn: Remember the immutable flag from vpnd

test: Pretty print the error when trying to set/unset VPN property

doc: Describe immutable flag for VPN connection

The immutable flag is set if the VPN connection is provisioned
via a .config file. The VPN connection can be removed only by
removing the .config file from /var/lib/connman-vpn directory.

vpn-provider: Do not quit vpnd if there are no VPN configurations

Because we now support provisioning of VPN services via .config file,
we need to keep vpnd running so that it can monitor the connman-vpn
directory for new config files.

doc: Typo fixes in the documentation

Fixes BMC#25978

device: Check positive device filter correctly

The -i or --device command line option contains the device names
that we should use. Unfortunately the check fails if there are
multiple interfaces in that list and we ignore the interfaces instead.

Fixes BMC#25979

iptables: Fix rule appending

Commit ba052f1f "iptables: Add split out iptables commands"
introduced a bug. __connman_iptables_append() should
call iptables_append_rule() instead of iptables_insert_rule().

iptables: Valid policies are only ACCEPT and DROP

iptables: Fix setting policy

The policy is kept at the end of the chain not at the beginning.
Currently, the code assumes that the builtin chain is empty.

iptables: Always update options table

The linked list is tracking all loading modules. Since we do not
unload once they are loaded (xtables does not support this), we
might up leaving prepare_matches() before we update the
option table. Since we carefully reset the global xtable state
after executing one rule, this check is wrong, e.g. if we add
to similar rules (same matches (mark, nfacct)). In this case
the second rule would not be parsed correctly. Nasty nasty iptables parser!

iptables: Do not flush in the wrong order

iptables: Fix and refactor iterate_entries()

Updating the builtin and hook index is more complex then one
would expect. In order to be able to update them correctly
we need also to pass in the underflow table to the iterate
function. To improve the readability the valid_hook magic
has been moved into next_hook_entry_index() which does exactly
as the name says.

iptables: Fix is_fallthrough() check

A fallthrough rule is one which has the default target name,
does not have a verdict and is not a jump rule.

is_fallthrough() is called excluslive from the insert path,
thus the value of verdict will be 0 for a fallthrough rule.

build: vpn-property test script was missing from build

service: Restart wispr on nameserver change

This is needed to make a service go online in the case where it was
already connected and then manual IPv4 & nameservers settings are
applied.  In that case, wispr is restarted with the new IP settings, but
the nameservers have not been set yet, so the wispr test fails and the
service remains in ready state.

wifi: Preliminary fix for autoscanning known hidden SSIDs

Currently, it relies on max_ssids to know how many SSIDs it can provide as
paremeters. However, patch 6af0579c434058536fb40480f40f5e9895cfe863, which
fixes an issue about fast scanning, affects such feature.

Therefore, as a default, it will fallback to 1 if given max_ssids is 0.

There is still the issue that it will autoscan only max_ssid (1 or more)
known hidden SSIDs. This need to be fixed.

Reported by Sameer Naik

vpn-provider: Parse user networks correctly

Check NULL string before passing it to g_strsplit()

neard: Use a timeout instead of DBUS_TIMEOUT_USE_DEFAULT for compatibility

DBUS_TIMEOUT_USE_DEFAULT appeared in dbus-1.4.12, but earlier dbus versions
are still in use in some distributions like Fedora 17.

Release 1.12

doc: Fix the path to VPN config files

The correct default path is /var/lib/connman-vpn

doc: Update overview-api.txt

- Introduce the user to per SSID/Security Wifi networks grouping
- Agent is no longer a future feature and user should be aware of how
  required information can be provided when connecting to a service.

dundee: Increase timeout to 60 seconds

D-Bus method calls to may trigger pairing and/or pop up a dialog
in the remote Bluetooth device to which the user needs to react.

bluetooth_legacy: Increase Bluez 4 plugin timeout to 60 seconds

D-Bus method calls to Bluez 4 may trigger pairing and/or pop up a
dialog in the remote device to which the user needs to react.

gsupplicant: Increase D-Bus timeout to 30 seconds

neard: Add partial support for wifi provisionning via NFC

PushOOB() method implementation. Currently only basic open/psk based
provisioning is supported.

config: Add a function to provision mutable service

The point here is to create a virtual configuration, which does not come
from a real file. This is a handy way for plugins to be able to provision
services without creating any file on the FS.

In case of a wifi configuration type and if connect is requested, it will
trigger a scan, thus leading to a possible service being provisioned by
such virtual configuration. If so and if connect was requested: the service
will be asked to connect.

config: Make load service from each keyfile group as a function

config: Remove superfluous error code

It simplifies the code removing uselesse variable, moreover such variable
has the same name as an existing label in the same function.

neard: Add neard plugin with tethering info sharing support

Implement also RequestOOB() neard Agent method.

technology: Provide a function to get WiFi tethering information

gsupplicant: Remove pointless timeout constant

gdbus: Always unreference the message in g_dbus_send_message()

A quick fix on g_dbus_send_message(), if check_signal() fails it returns
FALSE without unreferencing the message as it should. This patch fixes
it.

config: Run service autoconnect after provisioning the wifi service

We trigger autoconnect request in service after the wifi service
has been provisioned. This is useful in headless systems where
there is no user to trigger the connect to provisioned service,
and it might take some time before system autoconnect is run.

config: Add ethernet provisioning support

config: Support static IP address for wifi service

service: Refactor ipconfig setter

Done so that the function can be called also from config.c
The idea is that if ethernet .config file is removed,
we are able to clear the interface properly.

ipconfig: Add function to set the IPv6 privacy option

service: Add function to set timeservers

service: Add function to manipulate DNS search domains

service: Add function to manipulate ignore flag

doc: Ethernet provisioning support

gsupplicant: Set the scan callback in g_supplicant_interface_scan

The callback is required to properly handle scanning errors reported
by wpa_supplicant through the scan_done signal.

Steps to reproduce:
1. Set a country code to the WiFi card which have more frequencies
   allowed than the world roaming allow.
2. Connect to a WiFi network not available in the world roaming setup.
3. Stop connman.
4. Change the country code to 00, be sure the frequencies use in step 2.
   is no longer allowed. Take care of cfg80211 authorize frequencies when
   beacons are received, I prefer using mac80211_hwsim from here to avoid
   side effects about beacon reception.
5. Start connman again.

Now ConnMan is stuck in scanning state as the scan_fast method of
plugins/wifi.c is called with a forbidden frequency.

wpa_supplicant returns an error received in "gsupplicant/supplicant.c:
signal_scan_done", where the code enters 'if (success == FALSE)' but
unfortunately scan_callback is NULL at this point as the scan_callback is
normally set in interface_scan_result().

iptables: Merge clear_tables_flags() and reset_xtables()

Both function reset the xtables library. So let's do this
at the same place.

iptables: Free table pointer

And also use g_strv_length() to count the number of entries.
Thanks Tomasz!

iptables: Free match rules

We forgot to free the match rules.

iptables: Reset pointer after freeing

The match or the target might be reused in the next invocation
of iptables and then xtables operates on this invalid pointer.
xt_t->t and xt_m->m are keept alive via the global variables
xtables_targets and xtables_matches.

iptables: Reinitialize global parser table

xtables modifies the global parse table and allocates additional
memory. If that happens we need to free it afterwards.

iptables: Free xtables entry when removing one entry from the table

test-iptables: Fix memory leak

test-iptables: Delete all rules in target0

client: Remove the now obsolete command parsing functions

client: Remove unused functions

Remove find_service() as it is no longer used and match_service_name()
which was only used by find_service().

client: Factor out monitor command