gimarshallingtests: Add string_ to boxed structure

Co-Authored-By: Martin Pitt <martinpitt@gnome.org>
https://bugzilla.gnome.org/show_bug.cgi?id=678401

girepository: gchar is a signed type

gchar is signed, not unsigned. Add "guchar" alias as unsigned for completeness
(but usually it appears as guint8).

https://bugzilla.gnome.org/show_bug.cgi?id=691524

gimarshallingtests: Add vfunc with an array output

Add vfunc_array_out_param to GIMarshallingTestsObjectClass.

https://bugzilla.gnome.org/show_bug.cgi?id=690851

giscanner: emit a warning when we fail to parse a GTK-Doc comment block

Instead of going down with a for the user inexplicable backtrace,
emit a warning asking said user to file a bug including the
comment block in question.

Thanks to Alexandre Rostovtsev <tetromino@gentoo.org> for
proposing something similar in bug #690850

https://bugzilla.gnome.org/show_bug.cgi?id=690850

tests: add invalid identifier test case

This comment block, as found in the wild via
https://bugzilla.gnome.org/show_bug.cgi?id=690850
has a couple of elements to make it an interesting
test case:
- a colon on the first line
- stuff between parens on the first line
but it still isn't a valid identifier. Add it here
anyway to make sure we don't regress.

giscanner: Don't fail on empty GTK-Doc comment blocks

A completely empty GTK-Doc comment block (/**\n*/) resulted
in an unfriendly backtrace, complaining about an
"AttributeError: 'NoneType' object has no attribute 'comment'"

This fixes the issue and adds a test case.

https://bugzilla.gnome.org/show_bug.cgi?id=690850

mallardwriter: Improve type formatting for Python

Rather than use the glib names like gint/gchar and friends, use the
Python type names. Right now, this is Python 2, but we'll soon be
introducing a special Python 3 formatter.

doc: Put documentation templates into their own directories

Instead of cluttering up the giscanner directory, put templates
into their own files, with each language having its own templates
in its own directory for comfort.

doc: Clean up signature generation a bit more

Use join and a genexp instead of manual comma tracking to make
our lives just a little easier.

doc: Add self to methods in the Python declarations

doc: Make the Python declarations look a tiny bit nicer

Add a colon after the def, and add a comment describing what this
is a wrapper for.

mallardwriter: Use a TemplateLookup for grabbing templates

This removes us from the need to do path manipulation, and also
allows templates to include or import helpers from another with
the <%include/> or <%namespace/> helper control tags.

mallardwriter: Add support for parameters

Support the inline @my_parameter syntax, and translate it to
<code>my_parameter</code>, as Mallard doesn't have anything
more fancy than that. For Python, where we omit the first parameter
of methods like that automatically, force to "self".

mallardwriter: Rearrange definitions to match scanner order

mallardwriter: Pass the parent node around for inline formatting

This will be used for @param detection.

mallardwriter: Consolidate xref building and page naming code

Simple code cleanups.

mallardwriter: Remove the namespace argument from the processors

This can be more accurately retrieved off of the node itself in all cases.

mallardwriter: Put process_other with the rest of the processors

Simple cleanup

mallardwriter: Use the node's namespace

This should now be correct in all cases.

.gitignore: Ignore most .page files

While testing g-ir-doctool, it's common to generate a directory
full of a large number of small .page files inside the source
directory, which slows down git a lot while searching for untracked
files. Ignore the .page files for now, so git doesn't have to look
in its database for every one.

.gitignore: Add WarnLib

build: Fix previous commit

Clean up cairo handling somewhat

I'm building on RHEL6 which doesn't have cairo-gobject.  Now, we
tried to support this in that 'make' would succeed, but 'make check'
would blow up.

This patch allows more of 'make check' to succeed - I just need to
figure out how to make the diff against the -expected.gir work.

What's more important though, is this will allow gjs to also #define
_GI_DISABLE_CAIRO.

build: Properly export g_interface_info_find_signal

It was missing from girepository.symbols.

Update annotations from glib git

Regress: Add signal returning a GArray

https://bugzilla.gnome.org/show_bug.cgi?id=690514

Makefile-gir: Fix indentation

https://bugzilla.gnome.org/show_bug.cgi?id=691030

tests/annotationparser: Drop Python API usage down to 2.6, not 2.7

.iterfind() is new in 2.7, but we claim 2.6 support, as I use on
RHEL6.

gimarshallingtests: Add test for value array of boxed structs

We already have tests for "array of simple structs"
(gi_marshalling_tests_array_simple_struct_in) and "array of pointers to
boxed structs" (gi_marshalling_tests_array_struct_in), but were missing
"array of boxed structs", which reproduces
https://bugzilla.gnome.org/show_bug.cgi?id=656312

Automatically install pre-commit hook

Instead of telling the user to do so and failing, we can just install the hook
ourselves. This saves the user some trouble and more importantly avoids
breaking tests in jhbuild continuous integration setups.

https://bugzilla.gnome.org/show_bug.cgi?id=686388

Release 1.35.3

gimarshallingtests:: Add test for returning a caller-allocated GArray

https://bugzilla.gnome.org/show_bug.cgi?id=690041

repo: Drop deprecated GStaticMutex usage

In favor of GOnce, since we just want initialize-once semantics.

Use python-config instead of assuming include and library paths

Call $PYTHON-config to determine include and library paths and linker flags
instead of making assumptions about them.

Also drop the unused PYTHON_LIB_LOC macro.

https://bugzilla.gnome.org/show_bug.cgi?id=690347

Update annotations from glib git

common.mk: escape $CC in quotes

If CC is defined at "ccache gcc", the expanded command ends up as:
  env PATH=... CC=ccache gcc PYTHONPATH=... ./g-ir-scanner
causing compilation errors.

https://bugzilla.gnome.org/show_bug.cgi?id=690074

scanner: Warn if we're missing (element-type) for GPtrArray

For background,
See https://bugzilla.gnome.org/show_bug.cgi?id=629682
See https://bugzilla.gnome.org/show_bug.cgi?id=689871

Basically we should emit a warning here.

https://bugzilla.gnome.org/show_bug.cgi?id=689998

Update annotations from glib git

build: Include tests/scanner/annotationparser/* to EXTRA_DIST

tests: Fix up WarnLib build, remove accidental additions to regress.c

Previous WarnLib commit was broken.

build: Use -Bsymbolic-functions by default if available

While we have much larger performance problems right now, using
-Bsymbolic-functions to avoid internal PLT indirection is an easy win.

This is the same code that both GLib and GTK+ have.

https://bugzilla.gnome.org/show_bug.cgi?id=689456

tests: don't fake Automake silent mode

https://bugzilla.gnome.org/show_bug.cgi?id=689570

tests: fix incremental build

Running make multiple times caused "mkdir" to complain
that it could not create those directories because they
where already there...

https://bugzilla.gnome.org/show_bug.cgi?id=689570

WarnLib: New library for testing API that emits warnings

Both GIMarshallingTests and Regress right now use --warn-error; but
in some cases (e.g. GErrors without a corresponding enum), we still
want bindings to support the functionality.

So add this new library where we can add C API that emits
introspection warnings.

https://bugzilla.gnome.org/show_bug.cgi?id=689488

scanner: Parse comments with */ not on a new line, but emit a warning

We don't know how many apps do this, but at least ibus had one.

https://bugzilla.gnome.org/show_bug.cgi?id=689354

gimarshallingtests: Add a utf8-in-bytearray test

Will be used by gjs

giscanner: don't continue parsing after multiline descriptions

This doesn't change anything, really, except that you don't have
to read a whole page of code just to realize that nothing else
happens with that line and we go on processing the next.

Putting the continue statements there makes it a bit more readable.

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: fix DocBlock().comment

If there is no comment block description, DocBlock().comment
should be None. This results in the removal of unneeded blank
lines in the output of DocBlock().to_gtk_doc and hence the .c
files generated by misc/update-glib-annotations.py

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: update annotationparser to most recent gtkdoc-mkdb bug fixes.

This patch adds a test for and implements a more generic solution to
GTK-Doc commit 47abcd53b8489ebceec9e394676512a181c1f1f6

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: remove re.MULTILINE usage from annotationparser

These are remnants from the original prototype and are no
longer used.

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: Correctly detect invalid GTK-Doc comment block end markers

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: treat the GTK-Doc Description: tag like any other tag

and add paragraph break tests.

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: construct list of possible tag names for TAG_RE from _ALL_TAGS...

... instead of having a secondary hard-coded list. This results
in the removal of giscanner/annotationpatterns.py to prevent a
circular import.

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: move unit tests from giscanner/annotationpatters.py...

... to tests/scanner/annotationparser/test_patterns.py because the
following patch will remove giscanner/annotationpatters.py

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: add AnnotationParser tests

The tests in giscanner/annotationpatters.py only test the regular
expression programs used when parsing GTK-Doc comment blocks but
do not test the structure of the resulting "parse tree".

This patch adds 193 GTK-Doc comment blocks and the expected
results AnnotationParser should return (with it's current level
of understanding of GTK-Doc comment block syntax). These are
compared by tests/scanner/annotationparser/test_parser.py which
complains with a diff on failure.

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: use re.match() instead of re.search()

From Python's documentation:
Python offers two different primitive operations based on
regular expressions: match checks for a match only at the
beginning of the string, while search checks for a match
anywhere in the string (this is what Perl does by default).

The different behavior between match() and search() doesn't
matter in our case and conceptually we are checking if a
piece of text matches a certain pattern, so match() is a
better fit.

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: drop dead code

DocOptions already has a position attribute, no need to overwrite it
when the position of DocBlock or DocTag is set, hence the
set_position methods are no longer needed.

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: make it clear DocOptions() also has a position attribute

Lost a couple of hours hunting down a failed test case (from the
annotationparser work about to land) due to this not being clear...

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: implement DocOption() in terms of odict instead of dict

The order of the "options" key/value pairs returned by
DocOption().all() should be identical to the order in
which they where stored. Hence replace the dict usage
with odict.

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: remove unused variables

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: remove duplicate "os" import...

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: use collections.OrderedDict when available

Starting with Python 2.7 we can use the batteries included
collections.OrderedDict class. However, configure.ac claims
we still support Python 2.5 and 2.6, so don't remove our
custom odict implementation just yet...

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: use dict.values() in favor of dict.itervalues()

This makes it possible to run the upcoming annotationparser.py
tests with both Python 2 and Python 3.

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: use dict.items()...

... in favor of "for key in dict: value=dict[key]"
and "dict.iteritems()". This makes it possible to
run the upcoming annotationparser.py tests with both
Python 2 and Python 3.

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: use "if in [a, b]" instead of "if == a or if == b"

It simply looks better...

https://bugzilla.gnome.org/show_bug.cgi?id=688897

giscanner: improve wording of inline documentation

https://bugzilla.gnome.org/show_bug.cgi?id=688897

tests: add g-ir-doc-tool generated output to .gitignore

https://bugzilla.gnome.org/show_bug.cgi?id=688897

Update GLib annotations to master

https://bugzilla.gnome.org/show_bug.cgi?id=688897

GIMarshallingTests: Add more virtual methods with out arguments

Add virtuals method which takes both an (in) and and (out) argument, and
variants with both caller and callee allocation.

This came up in https://bugzilla.gnome.org/show_bug.cgi?id=688783

Regress: Update expected gir for previous changes

Changes introduced by 5153efd29e9a813a97d58905340c0ec4af04c5bd

Add more tests for boxed types

gjs needs a boxed type that cannot be trivially allocated but has also
a complex constructor.

https://bugzilla.gnome.org/show_bug.cgi?id=612033

Bump version to 1.35.2

Our configure.ac still said 1.34.0, which is even older than the stable
gnome-3-6 branch. Bump it to 1.35.2 so that pygobject can depend on >= 1.34.2.

docs: add GTK-Doc generated output to .gitignore

https://bugzilla.gnome.org/show_bug.cgi?id=688418

docs: don't mark non GTK-Doc as being a GTK-Doc comment block

This patch silences another gtkdoc-mkdb warning.

https://bugzilla.gnome.org/show_bug.cgi?id=688418

docs: remove reference to object_grouped.sgml.

This most likely sneaked in as a copy paste error from GTK+
reference docs as g-i never had a object_grouped.sgml...

https://bugzilla.gnome.org/show_bug.cgi?id=688418

docs: make gtkdoc-mkdb ignore cmph doxygen comment blocks.

When building g-i reference documentation, girepository/cmph/*
was being scanned for GTK-Doc comment blocks by gtkdoc-mkdb.
Unfortunately, cmph uses doxygen comment blocks which also
start with /**. This patch prevents gtkdoc-mkdb from complaining.

https://bugzilla.gnome.org/show_bug.cgi?id=688418

GIMarshallingTests: Add GVariant property

giscanner: unbreak g-ir-annotationtool...

... and by extension misc/update-glib-annotations.py.

Commit 5c70ef2eb32949f8889e9ae654d50bfbf838951f broke
these by assuming create_source_scanner() is always
called with 'options' and 'args' built by the
OptionParser() defined in scannermain.py's
_get_option_parser().

This is not the case with g-ir-annotationtool, where
annotationmain.py's annotation_main() creates it's
own OptionParser() accepting a different set of
'options' and 'args' as compared to scannermain.py

Update annotations from glib git

gimarshallingtests: Fix return data type

gi_marshalling_tests_genum_returnv() should (and does) return a
GIMarshallingTestsGEnum, not  a GIMarshallingTestsEnum. The latter is already
covered by gi_marshalling_tests_enum_returnv().

gimarshallingtests: Add some GBytes tests

Will be used by gjs for new byte array work.

https://bugzilla.gnome.org/show_bug.cgi?id=687696

scanner: Emit correct type for unsigned integer constants

Otherwise bindings will break.

https://bugzilla.gnome.org/show_bug.cgi?id=685022

Update annotations from glib git

tests: work around make check warning

The tests in tests/repository/ depend on libregress.so
from tests/scanner which cannot be loaded during make check.
Fixing this properly would require migrating to non-recursive
automake for the tests, but for now we can just work around
and set LD_LIBRARY_PATH (for linux) and PATH (for win32).

http://bugzilla.gnome.org/show_bug.cgi?id=675049

tests/offsets: Remove leftover g_type_init() call

cmph: Remove leftover statement-without-effect

Compiler warning introduced from MSVC patches.

scanner: Correctly handle large 64 bit integer constants

In C, positive integer constants are by default unsigned.  This means
an expression like 0x8000000000000000 will be "unsigned long long".

In the actual scanner code, we were parsing them as "gint64", and
storing them as gint64.  This was incorrect; we need to parse them
as guint64, and store the bits we get from that.  This gives us
an equivalent result to what the C compiler does.

However, when we actually return the value as a Python "long"
(arbitrary length integer), we need to treat the value as unsigned if
the result indicated it was.

https://bugzilla.gnome.org/show_bug.cgi?id=685022

Expand on the documentation tests

Add tests for complex function signatures (including arrays and
callbacks), for enumerations and for static methods.
Add JS reference files.

https://bugzilla.gnome.org/show_bug.cgi?id=683046

MallardWriter: support cross-references across namespaces

Look in included namespaces when resolving a cross-reference.

https://bugzilla.gnome.org/show_bug.cgi?id=683046

Add documentation for enumeration members

Enum members were Annotated in the AST, and most code already assumed
they could have docs. What was missing was reading the docs from the
comment blocks and writing them in the XML.

https://bugzilla.gnome.org/show_bug.cgi?id=683046

Ast: Add parent to Fields

Properties have it, there is no reason for Field not to, and in this
way mallard docs can treat a field almost like a property.

https://bugzilla.gnome.org/show_bug.cgi?id=683046

Namespace: fix appending of nodes

Traverse appended nodes for methods, so that namespace.symbols contains
all known symbols and not just global functions.
Also, ensure that all relevant nodes are appended when parsing GIRs.

https://bugzilla.gnome.org/show_bug.cgi?id=683046

regress: Add a test case for skipping a function with an unannotated callback

https://bugzilla.gnome.org/show_bug.cgi?id=685399

gimarshallingtests: Attempt to avoid using reserved words

"int8" apparently blows up on AIX.  It was kind of lame how we would
just ad-hoc append a _.  Since we only have one value for a lot of
these, let's just go with the couldn't-be-any-simpler "v".

https://bugzilla.gnome.org/show_bug.cgi?id=664166

gmarshallingtests: Fix prototype () -> (void)

Dear Python programmers, () doesn't mean what you think it means in C.

girepository: Use girepository.symbols for Unix builds too

Rather than having a regex for both builds, but *also* use a symbol
file for the MSVC build which would bitrot quickly, force us to update
the .symbols file by using it for Unix too.

Add some missing symbols.

g-ir-scanner.1: English fix

Add a Windows .bat to generate typelibs

This will enable one to generate the .gir and .typelib files for GLib,
GModule, GObject, GIO and G-I without using a bash-style shell on Windows.

This is also the .bat that is used during the Visual C++ build process to
generate the .gir and .typelib files

https://bugzilla.gnome.org/show_bug.cgi?id=681820

giscanner/dumper.py: Support Visual C++

-Pass the --msvc-syntax flag to pkg-config when Visual C++ is used.
-Use .obj instead of .o filename extension when running on Visual C++, as
 that is the default object file name extension on visual C++.
-Specify compiler output flags for Visual C++.
-Avoid using -Wl and -rpath on Visual C++, and link to .lib files instead
 when generating a .gir file within the package.
-Avoid unecessary linking under Visual C++ to the .dll files since we
 already linked to the corresponding .lib files.

https://bugzilla.gnome.org/show_bug.cgi?id=681820

Update autotools for Visual C++ projects creation

-Add Makefile-msvcproj.am to fill in the cmph, girepository and
 g-ir-compiler projects
-Add various Makefile.am's under build/ to distribute the
 Visual C++-related files.

https://bugzilla.gnome.org/show_bug.cgi?id=681820