Adjust the width of various spaces if font does not cover them

See discussion here:
https://github.com/behdad/harfbuzz/commit/81ef4f407d9c7bd98cf62cef951dc538b13442eb

There's no way to disable this fallback, but I don't think it would
be needed.  Let's hope for the best!

Fixes https://github.com/behdad/harfbuzz/issues/153

Generalize flags types

Normalize various spaces to space if font doesn't support

This resurrects the space fallback feature, after I disabled
the compatibility decomposition.  Now I can release HarfBuzz
again without breaking Pango!

It also remembers which space character it was, such that later
on we can approximate the width of this particular space
character.  That part is not implemented yet.

We normalize all GC=Zs chars except for U+1680 OGHA SPACE MARK,
which is better left alone.

[test] Support recording multiple lines of text in record-test.sh

Protect against possible invalid-memory access after OOM

Fix typo!

Ouch!  Fortunately that function was unused.

Add Unicode space category

Unused so far.

Make top-byte of unicode_props available to be used differently per-GC

Towards using top-byte of unicode-props for more things

Add _hb_glyph_info_is_unicode_mark()

Unused right now.

Tighten ccc-setting a bit and document it

Fix test expectation

[ot-font] Fix hmtx table length checking, *again*

Exactly the same problem that I fixed in
63ef0b41dc48d6112d1918c1b1de9de8ea90adb5

I rewrote the table checking yesterday in
67f8821fb25d9bd55719f5e29a582ae1af4b02b3
and introduced the exact same issue again. :(
Good thing we have ongoing fuzzing going now.  Was discovered
immediately by libFuzzer.  Thanks kcc!

https://github.com/behdad/harfbuzz/issues/139#issuecomment-153449473
Fixes https://github.com/behdad/harfbuzz/issues/156

[util] Fix option-parsing leaks

[util] In --debug mode, duplicate font data

This has the effect that the font data will end up in a memory
section malloc()ed exactly to its size.  This gives us better
valgrind detection of out-of-bounds access.

Previously, the font data was placed in a mmap()ed section or
GString-allocated area, which didn't have proper protections
at the end when running under valgrind.

[perf] Micro-optimize

Remove irrelevant comment

I tried moving the is_default_ignorable() function to an INTERNAL
function.  That made the binary size grow by 5k AND things got a
tad bit slower!

Minor

Combine unicode_props0/1 into a uint16

Slightly faster.  In prep for more changes.

[perf] Only call combining_class() for marks

Saves some time.  Also preparing for reusing the ccc byte for other stuff.

Make max context-length and max nesting level configurable

...at compile time.

[ot] Make bad-hmtx handling match FreeType

Also route fuzzing-related tests through hb-ot-font, to reduce dependency
on FreeType behavior for badly-broken fonts.  Fixes failing test with
FreeType master.

Use templates for making sure expression is constant

Update comments for removal of compat decompositions

Disable compatibility decomposition usage during normalization

Fixes https://github.com/behdad/harfbuzz/issues/152

Fix two more -Wshadow warnings

https://bugzilla.mozilla.org/show_bug.cgi?id=1215894

Fix one more -Wshadow warning

https://bugzilla.mozilla.org/show_bug.cgi?id=1215894

Fix a few more -Wshadow-local warnings

https://bugzilla.mozilla.org/show_bug.cgi?id=1215894

Fix one -Wshadow-compatible-local warning

From https://bugzilla.mozilla.org/show_bug.cgi?id=1215894

Avoid unnecessary cast to 64-bit

Fixes https://github.com/behdad/harfbuzz/issues/146

Or I think it should.

Add HB_FALLTHROUGH

Borrowed from https://bugzilla.mozilla.org/show_bug.cgi?id=1215411

Fix typo

Add BUILD.md to dist

Merge pull request #148 from ebraminio/inst

Add BUILD.md based on harfbuzz.org docs

Merge pull request #147 from ebraminio/dockerci

[ci] change to docker infrastructure

[ci] change to docker infrastructure

Add BUILD.md based on harfbuzz.org docs

1.0.6

[ft] Revert change-of-behavior of hb_ft_font_create() introduced in 1.0.5

The default FreeType load flags where changed from FT_LOAD_NO_HINTING
to FT_LOAD_DEFAULT in 2a9627c5641cd000e2adff0e42a0dc687b53ec70.
This is crashing HarfBuzz-enabled FreeType as I suppose it causes
infinite recursion between HB and FT autohinter...

Revert the behavior change.

Fixes https://github.com/behdad/harfbuzz/issues/143

Add tests for a couple of fixed issues found by libFuzzer

From:
https://github.com/behdad/harfbuzz/issues/139#issuecomment-147616887
https://github.com/behdad/harfbuzz/issues/139#issuecomment-148289957

[ot-font] Fix hmtx wrong table length check

Discovered by libFuzzer.  Ouch!

https://github.com/behdad/harfbuzz/issues/139#issuecomment-148289957

Reduce max nesting level from 8 to 6

We probably should implement better system to catch cyclic lookups.
But for now, this speeds up worst case behavior with broken fonts
considerably without compromising legitimate usecases.

https://github.com/behdad/harfbuzz/issues/139#issuecomment-147788447

1.0.5

[ot-font] Fix leak

https://github.com/behdad/harfbuzz/issues/139#issuecomment-147616887

Add test for previous commit

Fix another memory access issue discovered by libFuzzer

Fixes https://github.com/behdad/harfbuzz/issues/139#issuecomment-146984679

[fuzz] Add fuzzing script from kcc@

https://github.com/behdad/harfbuzz/issues/139

Extern "C" custom-allocator declerations

Add test for ee9b0b6cb5fdb08671ab064f26c299135f828260

Typo

Fix another sanitize bug

Also discovered by "libFuzzer".

Add test for previous fix

Fix return value of sanitize when subformat is not readable

This is a fix on top of the previous issue fixed in
c917965b9e6fe2b21ed6c51559673288fa3af4b7.

This was caught by "libFuzzer" testing.

Add hb_dispatch_context_t

Add hb_font_set_parent()

No reason to not have it.  Makes life easier later.
We (hb-ft, hb-ot-font, etc) can use this API to inject new
parent into a font...

[ft] Add version for new API

[ft] API: Add hb_font_[sg]et_load_flags() API

This changes the default load_flags of fonts created using
hb_ft_font_create() from NO_HINTING to DEFAULT.  Hope that doesn't
break too much client code.

Code calling hb_ft_font_set_funcs() is unaffected.

Minor

Allow compiling with custom allocators

User can define hb_malloc_impl, etc, to name of custom allocator functions
that have the same signature as malloc.

Default font scale to face upem

Makes for a better default and avoids nasty inheritance issues.
See mailing list thread "Default hb_font_t scale".

Make hb_font_create_sub_font() NOT make parent immutable

We don't rely on that.  However, whenever hb_font_make_immutable()
is called, it makes its parenting chain immutable.

Fix hb-ot-shape-normalize with empty buffer

Part of https://github.com/behdad/harfbuzz/issues/136

Replace a couple of malloc()s with calloc()

Fix segfault with empty buffer in hb_shape_plan_execute()

Move the empty-buffer check from hb_shape_full() to hb_shape_plan_execute().

Reported by Simon Cozens.

1.0.4

Define return_trace()

Not functional change (expected!).

Add missing returns

Fixes possible invalid read of two bytes.

Reported by Behzad Najjarpour Jabbari, Secunia Research.

Micro-optimize hb_language_from_string()

As measured / improved by Benson Limketkai.

Handle language tags that indicate phonetic IPA transcription

The BCP-47 registry defines a variant subtag "fonipa" that can be used
in combination with arbitrary other language tags. For example,
"rm-CH-fonipa-sursilv" indicates the Sursilvan dialect of Romansh
as used in Switzerland, transcribed used the International Phonetic
Alphabet.

http://www.iana.org/assignments/language-subtag-registry/language-subtag-registry

Fix Since tags

Fixes https://github.com/behdad/harfbuzz/issues/103

Fix Since: version tags on font and face APIs

A while back we marked every API as version:1.0.  We should fix them all
to reflect real version they were introduced.  This is a start.

Patch from Nikolay Sivov.

1.0.3

[indic] Add comments to merge_clusters calls

[thai] Respect cluster-level > 0

[use] Merge /before/ reordering

[hangul] Merge /before/ reordering

[OT] Merge /before/ reordering

[myanmar] Use buffer->sort() to sort cluster

This can possibly produce more granular clusters.

[OT] Merge clusters when reordering marks for normalization

Fixes https://bugzilla.gnome.org/show_bug.cgi?id=541608
and cluster test.

[tests] Add Hebrew test for normalization under cluster-level=1

Currently fails.
https://bugzilla.gnome.org/show_bug.cgi?id=541608

Minor

Use insertion-sort instead of bubble-sort

Needed for upcoming merge-clusters fix.

Minor

Update git.mk from upstream

[docs] Move docs/reference/ contents into docs/

[docs] Fix out-of-tree build

Merge pull request #131 from simoncozens/docs

Use gtk-doc to build user's manual as well as reference

Combine user / reference information into gtk-doc generated manual.

Correct tag hierarchy, to allow for table-of-contents entries.

Missing tag (oops).

[docs] Fix typo

Merge pull request #129 from simoncozens/docs

First two chapters. More to follow.

[test] Fix test-object

See previous commit.

Poison freed objects such that double-free is detected

Previously we were setting refcount of freed objects to the inert value, which
was harmful because it caused further destroy()s of the freed object to NOT
call free() and hence hide the bug.  Indeed, after eb0bf3ae6688b7 test-object
was double-free'ing objects and this was never caught on Linux.  It only was
caught as crashing on Mac.

Now we poison refcount upon freeing and check that it's valid whenever reading
it.  Makes test-object fail now.

Current state and skeleton outline

[GPOS] Fix cursive connection with mix of RTL and non-RTL lookups

See thread "Issue with cursive attachment" started by Khaled.
Turned out fixing this wasn't as bad as I had assumed.  I like the
new code better; we now have a theoretical model of cursive
connections that is easier to reason about.

[test] Add test for cursive-positioning with mixed directions

Fails now.  Fix coming.  See thread "Issue with cursive attachment"
started by Khaled.  Test fonts were made by modifying test font
from Khaled to add more anchors.

First two chapters. More to follow.

[GPOS] Rewrite cursive attachment slightly differently

In anticipation for upcoming fix for bug reported by
Khaled in thread "Issue with cursive attachment".

Add API/cmdline to show glyph extents when serializing buffer

New API: HB_BUFFER_SERIALIZE_FLAG_GLYPH_EXTENTS

hb-shape now accepts --show-extents.

Patch from Simon Cozens.