Major rewrite

One of the first big changes in this rewrite is changing the Type
object to have separate target_fundamental and target_giname properties,
rather than just being strings.  Previously in the scanner, it was
awful because we used heuristics around strings.

The ast.py is refactored so that not everything is a Node - that
was a rather useless abstraction.  Now, only things which can have
a GIName are Node.  E.g. Type and Field are no longer Node.

More things were merged from glibast.py into ast.py, since it isn't
a very useful split.

transformer.py gains more intelligence and will e.g. turn GLib.List
into a List() object earlier.  The namespace processing is a lot
cleaner now; since we parse the included .girs, we know the C
prefix for each namespace, and have functions to parse both
C type names (GtkFooBar) and symbols gtk_foo_bar into their
symbols cleanly.  Type resolution is much, much saner because
we know Type(target_giname=Gtk.Foo) maps to the namespace Gtk.

glibtransformer.py now just handles the XML processing from the dump,
and a few miscellaneous things.

The major heavy lifting now lives in primarytransformer.py, which
is a combination of most of annotationparser.py and half of
glibtransformer.py.

annotationparser.py now literally just parses annotations; it's
no longer in the business of e.g. guessing transfer too.

finaltransformer.py is a new file which does post-analysis for
"introspectability" mainly.

girparser.c is fixed for some introspectable=0 processing.

pep8: Update to 99 length lines

69 is just too short for a compiler with long error messages and
nested code.

tests/scanner: Update annotations and tests

First of all, add missing (transfer) annotations that will be
required by the new scanner.

Other changes:
Don't use the (type bitfield) hack; the new scanner will not accept it.
Use shifts in the flag constants instead.

Use typedefs consistently for structures.

Drop scanning of anonymous structure/union members.

Use GLib types consistently

Rather than have the scanner/parser handle both e.g. "glong" and
"long", simply use the GLib types everywhere.

This commit adds TYPE_LONG_LONG and TYPE_LONG_DOUBLE to the
scanner types; however, rather than add them to the typelib,
they're just marked as not-introspectable.

Move alias target to <type>

This makes type parsing more uniform.

Delete the typedef for GSList in foo.h - that's not
supported anymore, or at least for now.

tests: Fix namespacing for BarApp (should be just Bar)

tests: Remove GIMarshallingTests, rename Everything to Regress

GIMarshallingTests will be replaced with automatically
generated code; it was far from comprehensive, and was a pain
to maintain.

The namespacing in Everything was broken; it had an empty C
prefix effectively, because all the symbols just started with
"test".  We do want "test" as part of the symbols, since otherwise
the exported API would be weird.  Fix this by changing the namespace
to Regress (i.e. prefixing all the C code with Regress).  This
makes sense anyways because Everything wasn't really Everything.

We no longer install a pre-built regress.(so,gir,typelib); instead we
install the C code to
$(datadir)/gobject-introspection/tests/regress.[ch].
Bindings should compile this.

gobject-introspection-1.0.pc: Export datadir

This will be used for consumers to find regress.[ch].

.gitignore: Update

scanner: If GI_SCANNER_DEBUG is set, drop into a debugger on error

Useful when debugging build problems for both me, and potentially over
IRC.

Add pre-commit to EXTRA_DIST

Makefile.introspection: Add _EXPORT_PACKAGES variable.

This new variable maps to --pkg-export.

add annotation for g_get_language_names

Add properties to Everything.TestObj for testing more types

Fix warning when using g_irepository_enumerate_version()

The reason for the warning was that g_irepository_get_version() expects
the typelib to be already loaded, but enumerate_version() can be called
on typelibs that are not.

Include the loaded version in g_irepository_enumerate_versions()

Logically speaking, the already loaded version of a namespace is part of
the currently available versions, and can be forgotten if we only
consider the versions available in GI_TYPELIB_PATH, as it could have
been loaded using g_irepository_require_private().

As a side effect, it meant that bindings relying on enumerate_version()
(like pygobject) were not able to require private versions through their
classical requirement scheme.

This patch fixes it by adding the loaded version to the unsorted list of
available versions returned by g_irepository_enumerate_versions()

This patch also uses g_list_prepend() instead of g_list_append() in that
function.

https://bugzilla.gnome.org/show_bug.cgi?id=625983

Add a pre-commit hook and enforce it

[gircompiler] Clean up parsing

We never actually include multiple modules in the compiler,
so just nuke that.  Also rather than passing around GIrModule
consistently pass around a GIrTypelibBuild structure which
has various things.

This lets us maintain a stack there which we can walk for
better error messages.

Also, fix up the node lookup in giroffsets.c; previously
it didn't really handle includes correctly.  We really need to
switch to always using Foo.Bar (i.e. GIName) names internally...

[girepository] Fix up error printing

We didn't show the right error message if we failed to find
the symbol; fix this by removing error printing from the
middle of the dumper, and add it correctly to the toplevel
dump entry point.

[girparser] Cleanly pass through c:include

gir: Import DBus, DBusGLib

These used to live in gir-repository; similarly to how we're presently just holding
random .gir files for the lowlevel bits of the platform, suck these in.

In the future they'll be obsoleted by foreigns.

compiler: Remove --code argument

It can't really work right now because we rely on dumping data at runtime,
which requires the library.  If in the future we support static scanning,
we can reinvestigate embedded typelibs.

Remove tests/invoke

We get better testing through the bindings, having hand-written
.gir files is a maintenance pain, and it uses the --code option
to g-ir-compiler which we also don't want to support.

gir: Drop warn-all from GLib

It isn't going to be fully introspectable anytime soon; we'd need a crap-ton
of (skip).

Delete trailing whitespace

Remove --noclosure argument

It's obsoleted by the introspectable=0 handling.

Add ability to write unindented lines via xmlwriter

Remove uncommitted function from gir/GIMarshallingTests-1.0-expected.gir

[scanner] Also parse C++ files

This is to support cases such as WebKitGTK+, that have C API
implemented in C++ files. Do note this does not mean we support proper
C++ parsing.

https://bugzilla.gnome.org/show_bug.cgi?id=627152

Update gir/GIMarshallingTests-1.0-expected.gir

Add a stub entry for XLib Visual

Add Colormap stub

[man] Mention XDG_DATA_DIRS

Fix giscanner crash with no cache directory

Add g_i_marshalling_tests_gvalue_in_enum

[everything] Remove allow-none for Return value

Bump the version after releasing 0.9.3

Do not leak typelibs with wrong header info.

Previously the typelibs that were loaded but whose header information
weren't right were just leaked.

https://bugzilla.gnome.org/show_bug.cgi?id=625672

Add new API g_typelib_require_private()

This is equivalent to g_typelib_require() but intended for use with
private typelibs, which get loaded from the provided directory.

https://bugzilla.gnome.org/show_bug.cgi?id=625672

Add BLOB_TYPE_FLAGS to BLOB_IS_REGISTERED_TYPE

[dumper] Fix indentation

[Gio] Add missing return-value annotations

[giscanner] Make warnings less dense

Omit ns=, context= and include the function symbol for Functions

[girepository-private] Add ffi declarations

Add declarations for the ffi closure api we're using, this silents
GCC warnings on systems with broken ffi headers.

[girepository] Update documentation

[GIRepository] Rename g_irepository_enumerate

Rename it to g_irepository_enumerate_versions

Add g_info_type_to_string (GIInfoType type)

Append -Wl,-rpath=. to the scanner compile

This is required if we're not using libtool

Add g_irepository_enumerate

This will be used for pygobject to enumerate namespaces.

[giscanner] Calrify missing element-type validation

Avoid using tabs and too long lines as well

Update GIMarshallingTests expected gir

To make the tests pass again

[girepository] Include path to file in typelib load failure error

This makes version conflicts more obvious.

[scanner] Make it compatible with python 2.y

https://bugzilla.gnome.org/show_bug.cgi?id=618562

warn for missing element-type on GSList params and return values

https://bugzilla.gnome.org/show_bug.cgi?id=623070

[GIMarshalingTests] Add underscores to more variable names

These may conflict.

https://bugzilla.gnome.org/show_bug.cgi?id=624191

Fix two compilation warnings

[girepository] Fix ordering in override_search_path

Entries in the GI_TYPELIB_PATH environment variable are added to the
global search path in reverse order - instead, add entries in the
same order in which they are specified.

Add annotation for g_dbus_proxy_new_sync

Add annotations for g_variant_new_strv() and g_variant_get_strv()

[girepository] Actually verify header of loaded typelibs in g_irepository_require

Take a GError * for typelib loading code, validate the header.  This
fixes bizarre errors from gjs where g_irepository_require would happily
load old typelibs.

Bump for unstable series

Release 0.9.2

Don't conditionalize reference/ build on gtk-doc being enabled

gtk-doc already does that for us

Quote url for AC_INIT to pacify autoconf

Don't include machine-dependent integral types in the typelib

Previously we had both e.g. GI_TYPE_TAG_LONG and GI_TYPE_TAG_INT64,
but in fact the typelib is already machine-specific, so it makes sense
to just encode this as a fixed type.  The .gir remains abstract.

We also remove size_t from the typelib; one would never want to treat
it differently than an integer.

time_t is removed as well; while bindings like gjs had special handling
to turn it into e.g. a JS Date object, I don't think we should encourage
people to use these POSIX types in their API.  Use GTimeVal or the like
instead.

Because the typelib is now really machine-specific, we need to remove
the -expected.tgirs from git.  (We could potentially add a check
which wasn't just a literal diff later)

https://bugzilla.gnome.org/show_bug.cgi?id=623774

Bump shared library version, typelib version

https://bugzilla.gnome.org/show_bug.cgi?id=623774

Fix up tests for last commit

Correctly quote printed shell commands

Print the command line instead of a python list

Remove trailing whitespace

Add support for non-GObject fundamental objects

This patch adds support for instantiable fundamental object types,
which are not GObject based. This is mostly interesting for being
able to support GstMiniObject's which are extensivly used in GStreamer.
Includes a big test case to the Everything module (inspired by
GstMiniObject) which should be used by language bindings who wishes to
test this functionallity.

This patch increases the size of the typelib and breaks compatibility
with older typelibs.

https://bugzilla.gnome.org/show_bug.cgi?id=568913

Move doc to toplevel element, write <any> for unknown containers

Moving to <doc> allows us to better preserve whitespace.  XML has no
facility for whitespace-preserving attributes.

Second, for arrays and lists, both types with unknown element_type can
occur in the current scanner; it's least wrong if we write out an
<any> type.

In verbose mode, print out the dump compilation

When debugging the dumper, it's extremely useful to be able
to see the argument it's passing to the compiler/linker.

This patch makes g-ir-scanner work the same way as libtool basically;
we default to printing out stuff, and add a --quiet option.

The Makefile.introspection handles passing --quiet automatically.

https://bugzilla.gnome.org/show_bug.cgi?id=622751

[cairo-1.0] Add cairo_rectangle_int_t

[cairo-1.0.gir] Add cairo_region_t

Post-release version bump

Bump version to 0.9.0

Revert "fix bug#605156 by ordering libtool archives that may pull in system"

This reverts commit e14bdebab725263c3d6f97267090cbf5d06b99d2.  While
that commit fixed things in some cases, it broke others.  I think the
problem people are running into here that we actually need the library
path order to be:

.:$BUILD_ROOT:/usr

Ensure that the middle happens by explicitly calling pkg-config.

https://bugzilla.gnome.org/show_bug.cgi?id=605156

Fix annotations for g_get_system_*

Remove trailing semicolon

fix bug#605156 by ordering libtool archives that may pull in system
paths at the end of the libtool command-line

Move pkg-config calls before --library and --program

We need our just-built library path to override what we have
from pkg-config.

https://bugzilla.gnome.org/show_bug.cgi?id=605156

Initialize value member

Clean up annotation parsing, don't try to parse invalid annotations

The old parser tried to parse:
@foo: some text here (other text)
Reject this.  We strictly require another colon at the end to parse
the text in between as (option) (other option).
Futher ensure we only attempt to do option parse if we find something
that matches the strict regexp ([A-Za-z]+).  This could be tightened
further.

TODO: Have a warning for something that looks like an annotation,
but isn't.

https://bugzilla.gnome.org/show_bug.cgi?id=622659

Allow attributes on parameters and return values

Any annotation where the key has a dot in the name will go into the
attribute list. For example

  * @arg: (foo.bar baz): some arg

the parameter @arg will get the attribute with key foo.bar and value
baz. This also works for.

  * Returns: (foo.bar2 baz2): the return value

Also add tests for this new feature.

See https://bugzilla.gnome.org/show_bug.cgi?id=571548

Signed-off-by: David Zeuthen <davidz@redhat.com>

Attribute bug-fixes

Rectify an assumption that nodes are ordered according to offset
- since this assumption was not true, attributes ended up being not
ordered either and the bsearch() when looking up attributes failed
mysteriously. Instead of making such assumptions, simply sort the
list of nodes we want to extract attributes from.

The total attribute size computation was wrong as we didn't properly
descend into subnodes. This resulted in memory access violations
when writing the typelib (because not enough data was allocated).
Instead of having a separate function for this, just include the
attribute size in the existing function.

See https://bugzilla.gnome.org/show_bug.cgi?id=571548

Signed-off-by: David Zeuthen <davidz@redhat.com>

[girparser] Remove backtrace()

It's not useful; we never got good info from it, and modern operating
systems ship with crash catching systems.

[glibtransformer] Fix typo

Walk GLibBoxed

We need to be processing varargs on these.

[giregisteredinfo] A Boxed is also a registered type

Fix make check broken by Danielle

[GIMarshallingTest] Add GByteArray test API

[annotationparser] Reuse method for determining array type

Merge branch 'gvalue-tests'

Add tests to Everything for items stored in GValues

Merge remote branch 'origin'

GIRepository generation broke by code changes

Include all the Info files, and make sure girepository.h is first in the include order

Fix trailing whitespace

[gir] Pass in --warn-all/error to our libs

Pass in --warn-all/--warn-error to all the libraries that
are under our control so we can dogfood.

Add a .dir-locals file