annotationparser: cleanup and add tests for the new warnings we now emit

Including:
- handle things in the logical order encountered (first colon,
  then annotations)
- correctly report column when missing a colon on the identifier part
- small type fixes
- remove no longer useful "parameter/tag expected" warnings

warningtester: make it possible to EXPECT multiple lines of output

Revert "annotationparser: indent _parse_comment_block gtkdoc code"

This reverts commit f41525d54f53edd9b0d665397f7c6c755ee3616b and
adds a more complete solution as the original commit only handled
empty lines between the GTK-Doc comment block start token "/**" and
the identifier.

https://bugzilla.gnome.org/show_bug.cgi?id=673806

update-glib-annotations: Set required environment variables

Assume srcdir=builddir, so users don't have to set this.

annotationparser: indent _parse_comment_block gtkdoc code

The current logic in _parse_comment_block of the annotationparser
check the identifier and use variables that only makes sense if a
result was returned (column_offset, original_line). This patch
indent the logic so it is only triggered if a result is found.
Otherwise it returns None as expected by call chain
"parse >  parse_comment_block > _parse_comment_block":
ie in "parse":
   comment_block = self.parse_comment_block(comment)
   if comment_block is not None:

This still raises a lot of warnings but does not abort while generating
gir for libgnomekbd, mutter or telepathy-glib (those thus have to be
tweaked not to call g-ir-scanner with --warn-error at least until the
parser mask those false positives or the doc from those projects is
fixed to comply with the behaviour expected by giscanner).

https://bugzilla.gnome.org/show_bug.cgi?id=673806

Move libffi and gmodule to Requires.private in .pc files

The intention of the change is to clean up unnecessary linking with
libffi and gmodule in g-i consumers as they typically don't use any
libffi/gmodule symbols.

Listing libffi and gmodule in pkg-config Requires meant that every
consumer that wanted to link with -lgirepository also got -lffi and
-lgmodule-2.0, which caused ld to emit unnecessary DT_NEEDED entries.

Moving the deps to Requires.private removes the internal dependencies
from 'pkg-config --libs', but keeps them in --libs --static output. The
change won't affect --cflags and the include directories necessary for
<ffi.h> will still be listed.

https://bugzilla.gnome.org/show_bug.cgi?id=674065

Don't link with gthread-2.0

Commit 2fff986 removed the use of g_thread_init() and we don't use any
other symbols from gthread-2.0.

https://bugzilla.gnome.org/show_bug.cgi?id=674065

Make introspection compile with -Wall -Werror

Address all gcc warnings, -Werror is not enabled yet but at least
-Wall -Werror passes on my machine.

Compare filenames using g_file_equal()

Makes it work on case-sensitive file systems such as HFS+.

https://bugzilla.gnome.org/show_bug.cgi?id=667405

Pass in LDFLAGS to the dumper

We should honor LDFLAGS environment variable set by the user,
so options such as -Wl,--enable-new-dtags properly get passed to
the linker when creating the dumper binary

https://bugzilla.gnome.org/show_bug.cgi?id=670152

annotationparser: split validate() into sub-methods

Most cases in validate() were already simply calls to _validate_option()
with particular arguments; this extracts the code from the remaining
options to their own methods, making the dispatch table more legible.

https://bugzilla.gnome.org/show_bug.cgi?id=670985

annotationparser: correct "maximium" in error messages

"Maximium" is not an English word. Even if corrected to "maximum" (which
is), "at maximum" is not conventional usage: "at most" is more
idiomatic.

https://bugzilla.gnome.org/show_bug.cgi?id=670985

annotationparser: remove duplication of annotation names

Previously, the validation code compared each option name to a constant
(such as OPT_ALLOW_NONE) which expands to the string used in a source
file, and if they matched it would typically pass that same string to
_validate_option(). But the annotation name was written out longhand
each time, which seemed strange to me.

https://bugzilla.gnome.org/show_bug.cgi?id=670985

giscanner: Don't run pkg-config when there's no packages specified

This prevents a simple error from pkg-config, "Must specify package names
on command line"

https://bugzilla.gnome.org/show_bug.cgi?id=673668

Avoid _get_func() consuming reference from input info

Fix of leak in 4c9424e18d71237f438a99bc5f2d45ae7de60b78 was a bit
overaggressive, stealing also one reference from input 'info'
argument.

Also fixes another bug in that commit - local 'func' shadowing the
return value, causing that function always returned NULL even when
some result was actually found.

https://bugzilla.gnome.org/show_bug.cgi?id=673282

Split parameter and tag storage in annotationparser parse tree

This avoids tags overwriting parameters if they happen to
share the same name. For example, this was triggered by
valid code in libgnome-keyring.

tests/scanner/regress.c and tests/scanner/regress.h test
written by Colin Walters <walters@verbum.org>.

https://bugzilla.gnome.org/show_bug.cgi?id=672254

Don't extract annotations from headers

The headers are already parsed as they are passed
in to g-ir-scanner. This avoids quite a few warnings triggered
with the new annotation parser.

Update annotations from git.

This removes also all the headers as it's the first run
with the updated extraction tool.

Do the filename filtering in scannerlexer

This avoids a bit of python work and reduces the
amount of allocations.

Don't parse doc comments in dependencies

Only parse doc comments for the files we pass in
on the command line to g-ir-scanner, not the included dependencies.

Replace ''' with """, to avoid confusing syntax highlightning in emacs

Fix malformed GTK-Doc comment blocks:

- add missing colons
- invalid annotations
- invalid parameters and tags
- correct parameter name
- preserve description indentation
- no description parts
- comment end marker
- invalid empty lines
- line numbers

AnnotationParser now emits warnings which are considered as
errors by "make check" so fix those warnings...

https://bugzilla.gnome.org/show_bug.cgi?id=672254

Now make AnnotationParser do what gobject-introspection needs it to do.

https://bugzilla.gnome.org/show_bug.cgi?id=672254

Update GLib annotations, using the improved annotation parser.

https://bugzilla.gnome.org/show_bug.cgi?id=672254

update-glib-annotations.py: reduce code duplication

https://bugzilla.gnome.org/show_bug.cgi?id=672254

Make AnnotationParser._parse_comment() do what gtk-doc does.

https://bugzilla.gnome.org/show_bug.cgi?id=672254

Don't munch /* and */ comment start and end markers.

In Sandro Sigala's original c-c++-grammars code, this function
was known as "static void skip_comment(void)". It was built this
way instead of a lex pattern because it didn't need to save the
matched comment in the "yytext" buffer. This is still true as
we directly assign the matched comment to the scanner object.
So simply prepend and append the markers back where they belong.

https://bugzilla.gnome.org/show_bug.cgi?id=672254

Add comment documenting we're ignoring C++ style comments.

https://bugzilla.gnome.org/show_bug.cgi?id=672254

Update glib annotations from git

Add tests for vfuncs with callbacks as arguments

https://bugzilla.gnome.org/show_bug.cgi?id=663052

Signed-off-by: Martin Pitt <martinpitt@gnome.org>

Make g_callable_info_invoke public

So it can be used for invoking callbacks

https://bugzilla.gnome.org/show_bug.cgi?id=663052

Signed-off-by: Martin Pitt <martinpitt@gnome.org>

Add regression tests for GHashTable holding GValue

Add a couple of functions which can be used to test
marshalling/demarshalling of GHashTables having GValue as keys.

This is related to a python-gobject bug:
https://bugzilla.gnome.org/show_bug.cgi?id=668903

Signed-off-by: Martin Pitt <martinpitt@gnome.org>

Release 1.32.0

Release 1.31.22

Update glib annotations to 2.31.22

configure: Comment why doctool is disabled by default for now

g-ir-doc-tool: Fix -o option, use abspath instead of dirname

scanner: Remove array fields from List.clone()

These were apparently copied by mistake.

https://bugzilla.gnome.org/show_bug.cgi?id=667701

repository: Remove extraneous leftover assignment to rvalue.

Signed-off-by: Michel Dänzer <michel@daenzer.net>
https://bugzilla.gnome.org/show_bug.cgi?id=668902

Fix matching of methods named *_get_type()

The code which heuristically turned functions into class methods would always
ignore any function called *_get_type or *_get_gtype. However, the code which
looked for GI metadata functions to execute them was much more comprehensive,
checking not just the name, but also that it had no parameters and that it
returned a GType.

This change abstracts the more comprehensive check into the Function class, and
uses the same check in both places.

https://bugzilla.gnome.org/show_bug.cgi?id=671218

repository: Add new public gi_type_info_extract_ffi_return_value() API

Dealing with FFI and return values is very tricky; this API allows
sharing the bits to do it between gobject-introspection and gjs (and
potentially other FFI binding consumers).

**NOTE** I swapped the order of the arguments, under the premise that
out arguments should generally be last.

https://bugzilla.gnome.org/show_bug.cgi?id=668902

repository: Fix conversion of FFI values on big-endian architectures

Adapted from the fixes for (see bug 665152). It makes sure values are
properly converted between glib and FFI, which is critical for big
endian architectures.

Patch adjusted to use GIArgument instead of custom union types
by Colin Walters <walters@verbum.org>

https://bugzilla.gnome.org/show_bug.cgi?id=668902

Release 2.31.20

Update glib annotations to 2.31.20

introspection.m4: Set enable_introspection to yes/no consistently

Some people want the ability to use it inside their configure scripts.

http://git.gnome.org/browse/totem/commit/?id=e57d75f555eaad98ec3eee31cf94336ba885174c

g-ir-doc-tool: Add missing files

tests: Fix make dist

g-ir-doc-tool: Remove class structs from Python docs

g-ir-doc-tool: Add support for virtual functions

g-ir-doc-tool: Add a method in the tests

g-ir-doc-tool: Update .gitignore

g-ir-doc-tool: Remove constructors from python docs

g-ir-doc-tool: Add class to its own hierarchy tree

g-ir-doc-tool: Add tests for signals

g-ir-doc-tool: Add the first argument of signals to the Python docs

g-ir-doc-tool: Create a GIR file specific for testing doc generation

This will also serve as a reference of the syntax that is currently
supported by g-ir-doc-tool.

build: Add --enable-doctool option

g-ir-doc-tool: Update expected tests

Update annotations for GLib 2.31.18

g-ir-doc-tool: Add enum templates to the Makefile

g-ir-doc-tool: Add missing file: giscanner/mallard-C-enum.tmpl

g-ir-doc-tool: Change the -o option to receive a directory

Merge branch 'mallard-templates'

g-ir-doc-tool: Update expected tests, some whitespace has been removed

Mention g-ir-doc-tool in the README

g-ir-doc-tool: Add some more stuff to Enum pages

g-ir-doc-tool: Display the hierarchy tree for classes

g-ir-doc-tool: Install the Mako template files

g-ir-doc-tool: Add AM_CHECK_PYMOD macro and use it to check for Mako

g-ir-doc-tool: Remove stale DocBook files

g-ir-doc-tool: Properly link to property pages

g-ir-doc-tool: Fix names of xref links

g-ir-doc-tool: Move constructor example to follow the class doc body

g-ir-doc-tool: Properly link to signal pages

g-ir-doc-tool: Fix the id of signal pages for Python

g-ir-doc-tool: Qualify the class name in the constructor with the module name

g-ir-doc-tool: Add links to properties in the constructor

g-ir-doc-tool: Fix link

g-ir-doc-tool: Show how to construct instances in the Class page

g-ir-doc-tool: Add details for properties in Python

g-ir-doc-tool: Add param information to signal pages in Python

g-ir-doc-tool: Implement intra-namespace cross references

g-ir-doc-tool: Use instances of MallardFormatter* instead of class methods

g-ir-doc-tool: Remove some occurrences of empty Returns: lines

g-ir-doc-tool: use True and False instead of %TRUE and %FALSE

g-ir-doc-tool: Remove module and class from the function signature

g-ir-doctool: Use template caching

g-ir-doc-tool: Use None instead of %NULL

g-ir-doc-tool: Use the ctype for the return type in signatures

g-ir-doc-tool: Display Returns: even if there's no args

g-ir-doc-tool: Update expected, some whitespace was removed

g-ir-doc-tool: Add Since: tag to classes

g-ir-doc-tool: Add Since: tag to mallard docs

g-ir-doctool: Add function argument docs to the C template

g-ir-doctool: Add argument docs to the Python template

repository: Ensure error is set if we're parsing a malformed file

https://bugzilla.gnome.org/show_bug.cgi?id=661951

g-ir-doctool: Don't instantiate MallardFormatter for unknown languages

g-ir-doc-tool: Update expected mallard for the doc tests

g-ir-doc-tool: Consolidating the function templates

g-ir-doc-tool: Added MallardFormatter class