build-sys: support for disabling individual plugins, and the console.

build-sys: when warning, also tell how to install git hooks.

cleanup: monsterously huge whitespace cleanup, git pre-commit hook.

From this point on, please configure your editor to
  - use spaces instead of tabs
  - warn about (or colorize) whitespace errors (tabs, trailing
    whitespace, emply line with whitespace, etc.)

Also after having clones/pulled this update, please run a
'make install-git-hooks' at the top level directory. This will
install a custom pre-commit hook that prevents subsequent
commits that would accidentially introduce whitespace errors.

build-sys: added a git hook for WS error checks.

Merge branch 'devel'

debug: semi-automatic infra to resolve debug file:line to function name

Unfortunately starting with 4.x proper support for __FUNCTION__ has
been degenerated to an alias to the C99-compatible func. Since func
is an automatic variable instead of an automatic macro, many of the
interesting stuff (such as constant-string concatenation) you cannot
do with it that were possible with __FUNCTION__.

This is a slight setback for our debug infra because the intention
was to set up the main debugging macro, mrp_debug, in such a way that
it would have autogenerated for every debug site a string table entry
of the format __DEBUG_SITE_function@file:line. Listing the existing
sites would have then simply become finding all matching entries in the
string table and printing them out.

Now with the degenerated >= 4.x gcc, we only get file and line number
information but not function name. To overcome this, support has been
added to the debug infra for registering the necessary information to
do the extra file:line to function name mapping. Moreover, a simple
script and some common boilerplate code has been added to help make
use of all this without having to really understand the details of how
it all works, or having to touch any of your code (other than placing
mrp_debug's wherever appropriate).

You can take a look at src/Makefile.am and check how the common or core
libraries or the dbus plugin is built to see what you need to do to
automatically generate the necessary debug function info.

Merge branch 'master' of github.com:otcshare/murphy

common: fixed clang compile error.

common: add a header include to msg.h.

console: make connection_evt static.

core: ignore plugin start failure for try-loaded plugins.

Hmm... as Ismo pointed out probably the correct semantics for
try-load is to ignore both load-time and start-time errors for
plugins that are loaded with a try-load-plugin directive in
the config file.

Console command infra overhaul, added core commands, debug control.

murphy-console: crash fix.

common: added runtime-controllable debug infra.

common/console: check return-while-busy once, just like with transports.

common/macros: added stringifying macro.

comon/dbus: use MRP_UNUSED and mrp_debug macros where appropriate.

plugins/console: crash fix, remove #if 0'd code.

common: removed old tcp/udp-transport.c.

build: export aptly named globals as well.

meta: added a .gitattributes file to highlight whitespace errors.

common: handle gracefully disconnect requests for NULL transports.

common: added missing dbus-glue.c.

common: added missing murphy-pulse.pc.in.

common/pulse-glue: added libmurphy-pulse, a PulseAudio murphy superloop.

libmurphy-pulse provides the necessary gluing code to enable the murphy
mainloop to be pumped by a PulseAudio mainloop.

common: added support for externally pumped mainloops (superloops).

Murphy mainloop has now an abstraction - called a superloop - for
external mainloops that pump the murphy mainloop. This abstraction
layer defines the set of functions one needs to implement to integrate
the native murphy mainloop to an external mainloop. Practically this
means implementing functios for

  - adding/deleting file descriptor I/O watches,
  - adding/deleting/modifying timers, and
  - adding/deleting/enabling/disabling deferred callbacks

To integrate murphy to any external mainloop one needs to

   - implement these functions using the external mainloop, and
   - register these functions as the superloops API to murphy
     (using mrp_set_superloop)

After this whenever the superloop is iterated/run, the murphy mainloop
will be iterated/run as well.

build: generate dbus lib .pc file, removed extra header typo/cut'n'pasteo.

common/tests: added missing dbus-test.c.

common: DBUS transport sender-based filtering for connected mode.

common: pass also name owner to DBUS name tracking callbacks.

common: (untested) raw transport, small cleanups, stricter decoding checks.

common: don't unref msg mrp_dbus_send did not allocate.

common: added DBUS transport data blob member encodingt.

common: added data blob member default encoding.

common: BLOB encoding/decoding for generic messages in DBUS transport.

daemon: don't crash if a config file starts with a comment.

common: initial version of DBUS low-level and transport abstractions.

common: comparison and a bad hash function for string hashtables.

common: simple refcounting macros.

common: export custom data array size calculation (for DBUS transport).

console: fix blob vs. string inconsistency thinko.

common: {dgram,stream}-transport fixes.

common: fix string array members in mrp_data_free.

common: fix mrp_msg_field_t underallocation for array types.

common: minor transport changes, transport test fixes.

Renamed transport events and requests, the generic messaging versions
recv* and send* are now called recvmsg* and sendmsg*. Changed accept
to not take event callbacks for the new accepted transport, instead
the callbacks need to be given to the listening transport and are
inherited from there.

Added basic event callback checks: connection-oriented transports
require connection, close, and recvmsg*. Connectionless transports
require recvfrom*. For connect (usually sender-filtering) to succeed
on a connectionless transports, it needs to have a recv* callback
specified.

common: removed old transport tests.

common: added (manual) transport-test.

transport: fix type reported by transport address resolution.

transport: added custom data and raw modes to transport/messaging layer.

In addition to generic messages and the default generic message mode,
you can now put a transport into custom data and raw modes. In raw more
the transport acts as a transparent bitpipe ie. basically like a normal
socket. In custom data mode, you first describe and register the data
structures you want to pass over the transport with the messaging layer
and then you can directly pass any of these data structures to the
appropriate sending/receiving routines and the messaging layer will
automatically take care of the encoding/decoding for you.

common: slightly reworked default messaging abstraction

Hmm... I'm not happy with this at all. It's better than the original
quick-hack proto but not by a large enough margin. It probably needs
quite a bit of work still eventually. One thing that needs to be added
is a way to let users use the transport layer without forcing the default
messaging abstraction/encoding/decoding on them. This should preferably
happen by allowing users to send (almost) arbitrary data structures over
a transport by providing a descriptor that describes the layout of the
data structure in terms of offset/MRP_MSG_FIELD_* allowing the transport
or messaging layer to do the encoding/decoding of the data. The sending
part is relatively easy. The trickier part is the receiving side and to
come up with an API that is simple and intuitive enough to be usable yet
allows one to flexibly multiplex any number of structure types over the
same transport connection...

Merge branch 'master' into devel

Merge branch 'master' of github.com:otcshare/murphy

Merge branch 'documentation' into devel

Merge branch 'documentation'

sample-config: minor commenting.

transport: consolidated IP{v4,v6}/unix transports to {stream,dgram}-transpor

The recognized address prefixes are now tcp4, tcp6, udp4, udp6, unxstrm,
and unxdgrm. If you omit the type-specifier prefix, the address resolver
code will try to figure out the type based on the address itself ('[',
']', '@', '/'). However, a prefix specifies both the address family and
the connection-oriented vs. connectionlessness of the transport. The
resolver cannot guess which one you want if you omit the prefix and you
will always end up with connection-oriented transports in this case (as
these are registered before the datagram ones).

If you are careless and try to use prefixless string addresses for datagram
transports, you will get quite difficult to understand errors (as you end
up polling an unconnected, unlistened socket for readability).

One way to get around this would be to change the API so that
  - only the address family is passed to the address resolver
  - the socket type (dgram/stream) is passed to the transport creation

Although, this would be a more natural abstraction... maybe another day.

console: for the sake of testing, a UDP-capable console/console-client.

No, it does not need to always make sense... I just wanted to check how
big chunk of code you need to write in addition to handling the connection-
oriented/connectionless differences.

common/transport: some minor API cleanup, saner address resolving

There's plenty of things to write and clean up in the transport layer.
For a starter,

1) The message API is not sane. Fields should be tagged by integers
   and not strings. It was a quick hack just to test the transports.
   The basic encoder/decoder needs to be changed to an integer-tagged,
   typed, TLV.

2) We also need unix-domain stream and dgram transports, maybe also IPv6
   TCP and UDP transports. Once we have those, it'd make sense to combine
   (or otherwise consolidate) the connection-oriented and connectionless
   transport code as largely they would end up being identical anyway...
   So IOW IPv4/v6 UDP, unix-domain dgram would share a large part of
   their code, and similarly IPv4/v6 TCP and unix-domain stream would
   share a large part of their code.

3) We need to write a DBUS transport to check if the current abstraction
   is generic enough (or rather how far it is from being generic enough
   and fix any remaining diffs).

4) While we're at it, an SHM-based transport wouldn't hurt either...

documentation-tools: eliminating/supressing some garbage prints

documentation-tools: doxygen automatic dependency generation

Some primitive doxygen depency generation added. Based on the doxygen
configuration file we try to guess the .h.c dependencies. However,
doxygen can have directories + patterns in which case we are living
on our wild guesses how doxygen finds the dependencies that are
not in the same directory.

MRP_DOCINIT autoconf macro was also introduced to initiate the
documentation building

documentation: oops, this Makefile.am was forgotten

documentation: plugin-developer-guide content update

documentation-tools: doc-tools finalized + makefiles

* plugin developer guide can be generated
* faking shavings and hiding the flood of doc-toolchain garbage
* manual dependencies (automatic dependency generation will be
  the next big step)

documentation-tools: fixing doxml2db to open the output file for writing

documentation: some doxygen comments were added

some initial doxygen comments were added to be able to test the documentation
toolchain

documentation-tools: doxml2db.py introduced

doxml2db.py is to convert doxml files into docbook fragments
ie. chapters or sections. These chapters or sections in turn can be included
to the main docbook.

tcp-transport: update leftover misleading comment.

sample config: load two instances of test for command testing.

daemon/config: kludge for partial-line comment support.

common,core: support automatic console command registration for plugins

common/transport: address is const for resolve.

common: receive-side buffering fixes, added tcp_resolve.

common: added a UDP transport to check if the abstraction is generic enough.

common: preliminary resolve and bind support for transport layer.

murphy.conf: try-load the console plugin in the sample config file.

plugins-test: added a few commands for console testing.

Added murphy-console, a client for the TCP console (plugin).

plugins: added a TCP-transport based console plugin.

common,core: include msg,transport,console to the convenience headers.

core: added core console infra, a few basic commands for test.

common: added a TCP transport implementation.

common: added generic transport layer.

common: added msg.[hc], a (preliminary) message interface for transports.

daemon: fix stupid array sizing thinko.

common: comment type fix.

build: removed a bunch commented out conditionals.

mainloop: handle more gracefully if fd is closed before delete_io_watch.

EPOLL_CTL_DEL sets errno to ENOENT if w->fd is closed (by the user)
after mrp_del_io_watch is called but before delete_io_watch gets around
to purge the watch and update our epoll bookkeeping. Don't treat this as
an error and avoid printing an error message.

common: changed realloc macro to preserve ptr upon failure akin to reallocz.

daemon: potentially uninitialized var. fix.

common: fix calloc-like macro to set memory to zero.

common: added mrp_datadup.

common: fix copy-paste typo in pkg-config file.

common: fix incorrect include paths in log.[hc].

murphy-db: make pkg-config link also against the base library.

documentation: dblyxfix.py is now filtering <dummy> tags

documentation: fixing some bugs to get the first version work

documentation: make clean will delete the copied svg files

documentation: first version of document generation

* pdf generation
* no doxygen support yet

murphy-db: some cosmetic changes in mql-scanner.l

Some of the regexp's in mql-scanner.l got a facelift in order to produce
prettier ABNF description using abnf.py

murphy: abnf.py script now uses both the flex and bison file to generate ABNF

* flex support added for the automatic document generation, ie. ABNF is
  generated from the regexp's in the definition section
* more correct ABNF description is generated
* the output is directly includable into DocBook xml file