Fix blob test to match c3ba49b6fa1865e8318926eaa6c0f2063d1053bb

Always create sub-blobs in MEMORY_MODE_READONLY

This fixes a design bug with sanitize and sub-blobs that can
cause crashes.  Jonathan and I found and debugged this issue
when we tested a corrupt font with the md5sum / filename:
ea395483d37af0cb933f40689ff7b60a.  Two hours of intense
debugging we found out that the font has overlapping GSUB/GPOS
tables, and as such, sanitizing the second table can modify
the first one, which can cause all kinds of undefined behavior.

The correct way to fix this is to make sure sub-blobs are
always created readonly, since we consider the parent blob
to be a shared resource and can't modify it, even if it *is*
writable.

This essentially makes the READONLY_MAY_MAKE_WRITABLE mode
unused...  Maybe we should simply remove / deprecate it.

Minor

Port TrueType-kerning to use skippy iterator

It skips joiners and default ignorables now.  Skips marks too, but only
if there is proper GDEF classes for marks.

Fixup previous commit

Was not decreasing num_items.  Ouch!

Move code around

[OTLayout] Correctly skip Default_Ignorable when match_func not set

When a match_func was not set on the matcher_t object (ie. from GPOS),
then the Default_Ignorables (including joiners) were never skipped.
This meant that they were not skipped as they should during GPOS
matching.  Fix that.

A few Indic numbers have "regressed": BENGALI and DEVANAGARI went
up from 290 and 58 respectively, but in both cases new results are
superior to Uniscribe, as they apply GPOS when we weren't (and
Uniscribe isn't) before.
BENGALI: 353686 out of 354188 tests passed. 502 failed (0.141733%)
DEVANAGARI: 707305 out of 707394 tests passed. 89 failed (0.0125814%)
GUJARATI: 366262 out of 366457 tests passed. 195 failed (0.0532122%)
GURMUKHI: 60706 out of 60747 tests passed. 41 failed (0.067493%)
KANNADA: 950680 out of 951913 tests passed. 1233 failed (0.129529%)
KHMER: 299074 out of 299124 tests passed. 50 failed (0.0167155%)
LAO: 53611 out of 53644 tests passed. 33 failed (0.0615167%)
MALAYALAM: 1047983 out of 1048334 tests passed. 351 failed (0.0334817%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271539 out of 271847 tests passed. 308 failed (0.113299%)
TAMIL: 1091753 out of 1091754 tests passed. 1 failed (9.15957e-05%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)
TIBETAN: 208469 out of 208469 tests passed. 0 failed (0%)

Minor

[tests] Add Myanmar torture tests from Martin Hosken

Minor

Moving files around

[SEA] Fix order of pre-base reordering Ra and left matras

The code was confused because it was expecting left matra to have
POS_PRE_M, like we do in the Myanmar shaper, but that is not what
we were doing in this shaper.  Rewrite to rely on category only.

Test case: U+AA06,U+AA34,U+AA2F

Minor

[OTLayout] Remove unused code

Remove TODO items that don't make sense

The spec says those features need to be disabled by default.

[Arabic] Fix shaping of left-joining 'Phags-Pa U+A872

This is the first character in Unicode to have Arabic left-joining
behavior.  Update the machine to recognize that.

Test case: U+A840,U+A872,U+A840.

[tests] Add Syriac Alaph shaping test cases

Disable automatic segment properties guessing

Before, if one called hb_shape() without setting script, language, and
direction on the buffer, hb_shape() was calling
hb_buffer_guess_segment_properties() on the user's behalf to guess
these.

This is very dangerous, since any serious user of HarfBuzz must set
these properly (specially important is direction).  So now, we don't
guess properties by default.  People not setting direction will get
an abort() now.  If the old behavior is desired (fragile, good for
simple testing only), users can call
hb_buffer_guess_segment_properties() on the buffer just before calling
hb_shape().

Add assertions for a couple programmer errors

Allow disabling of TrueType kerning

Responds to the same feature tag that GPOS kerning does:
'kern' for horizontal and 'vkrn' for vertical.

Fix partial disabling of default-on features

Surprisingly, if user ever tried to turn a default feature off partially
(say, disable liga for a range), the feature was being turned off
globally!  Fixed now.

[OTLayout] Respect syllable boundaries for backtrack/lookahead matching

Originally we meant to match backtrack/lookahead across syllable
boundaries.  But a bug in the code meant that this was NOT done for
backtrack.  We "fixed" that in 2c7d0b6b80d412de3fddd443ed1a485ea1cbb03c,
but that broke Myanmar shaping.

We now believe that for Indic-like shapers (which is where syllables are
used), all basic shaping forms should be fully contained within their
syllables, so now we limit backtrack/lookahead matching to the syllable
too.  Unbreaks Myanmar.

Minor refactoring

[Indic-like] Disable automatic joiner handling for basic shaping features

Not for Arabic, but for Indic-like scripts.  ZWJ/ZWNJ have special
meanings in those scripts, so let font lookups take full control.

This undoes the regression caused by automatic-joiners handling
introduced two commits ago.

We only disable automatic joiner handling for the "basic shaping
features" of Indic, Myanmar, and SEAsian shapers.  The "presentation
forms" and other features are still applied with automatic-joiner
handling.

This change also changes the test suite failure statistics, such that
a few scripts show more "failures".  The most affected is Kannada.
However, upon inspection, we believe that in most, if not all, of the
new failures, we are producing results superior to Uniscribe.  Hard to
count those!

Here's an example of what is fixed by the recent joiner-handling
changes:

  https://bugs.freedesktop.org/show_bug.cgi?id=58714

New numbers, for future reference:

BENGALI: 353892 out of 354188 tests passed. 296 failed (0.0835714%)
DEVANAGARI: 707336 out of 707394 tests passed. 58 failed (0.00819911%)
GUJARATI: 366262 out of 366457 tests passed. 195 failed (0.0532122%)
GURMUKHI: 60706 out of 60747 tests passed. 41 failed (0.067493%)
KANNADA: 950680 out of 951913 tests passed. 1233 failed (0.129529%)
KHMER: 299074 out of 299124 tests passed. 50 failed (0.0167155%)
LAO: 53611 out of 53644 tests passed. 33 failed (0.0615167%)
MALAYALAM: 1047983 out of 1048334 tests passed. 351 failed (0.0334817%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271539 out of 271847 tests passed. 308 failed (0.113299%)
TAMIL: 1091753 out of 1091754 tests passed. 1 failed (9.15957e-05%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)
TIBETAN: 208469 out of 208469 tests passed. 0 failed (0%)

[OTLayout] Add fine-grained control over ZWJ matching

Not used yet.  Next commit...

[OTLayout] Ignore default-ignorables when matching GSUB/GPOS

When matching lookups, be smart about default-ignorable characters.
In particular:

Do nothing specific about ZWNJ, but for the other default-ignorables:

If the lookup in question uses the ignorable character in a sequence,
then match it as we used to do.  However, if the sequence match will
fail because the default-ignorable blocked it, try skipping the
ignorable character and continue.

The most immediate thing it means is that if Lam-Alef forms a ligature,
then Lam-ZWJ-Alef will do to.  Finally!

One exception: when matching for GPOS, or for backtrack/lookahead of
GSUB, we ignore ZWNJ too.  That's the right thing to do.

It certainly is possible to build fonts that this feature will result
in undesirable glyphs, but it's hard to think of a real-world case
that that would happen.

This *does* break Indic shaping right now, since Indic Unicode has
specific rules for what ZWJ/ZWNJ mean, and skipping ZWJ is breaking
those rules.  That will be fixed in upcoming commits.

Add hb_ot_map_feature_flags_t

Code cleanup.  No (intended) functional change.

Clean-up add_bool_feature

Fix compile warnings for ragel-generated machines

[OTLayout] Remove unused function

[OTLayout] Port apply_lookup to skippy_iter

[OTLayout] Port ligate_input to skippy_iter

[OTLayout] Minor fix for apply_lookup()

Should NOT change behavior, since first glyph is a match.

[OTLayout] Make table type known to apply context

[OTLayou] Unbreak backtrack matching

Was introduced by 28b9d502bb69a8045818d5f6113ded9c59a56bd7.

[OTLayout] Minor refactoring

[OTLayout] Remove bogus caching of glyph property

Remember ZWNJ

To be used in upcoming changes.

Indent

[Indic] Improve base finding in final_reordering

Fixes 5 Malayalam failures!

MALAYALAM: 1048016 out of 1048334 tests passed. 318 failed (0.0303338%)

Add more dot-reph tests

[Indic] Track base position when reordering things

Ouch, how did things ever work without this?!  The added test that has a
dot-reph as well as a pre-base reordering Ra perfectly demonstrates the
bug (tested with Nirmala font from Win8 for example).  Testing suggests
that Win8 shaper has the *exact* same bug / behavior that we used to
have.  Odd.

[SEA] Don't zero any mark advances

Keep the logic simple, easier to explain to font developers.

Further adjust mark advance zeroing

This is a followup to 568000274c8edb5f41bc4f876ce21fcc8bdaeed8.
Looks like in the Latin shaper, Uniscribe zeroes all Unicode NSM
advances *after* GPOS, not before.  Match that.

Can be tested using DejaVu Sans Mono, since that font has GPOS
rules to zero the mark advances on its own.

[Indic] Fix Eyelash Ra with old Devanagari spec

[tests] Add tests for Devanagary Eyelash Ra

Currently broken with Sanskrit 2003 font.

[Indic] Apply 'blwf' before 'half'

This reverts 167b625d988b74572d6b2f646c285b666b650d49.  It didn't
matter before, but that's going to change with next commit.

[Indic] Apply 'vatu' before 'cjct'

This essentially reverts 1d6846db9ebf84561bb30a4e48c6c43184914099,
but that commit is from way back when.  We should be better
following the spec order now again.

Didn't mean to push this out

Ouch!

[Myanmar] Use master Indic table for syllable data

[tests] Add Cham sample

Improve checks for setmode()

As reported by Jonathan, OS X has setmode() that is something other
than what setmode() is on Win32.  So, limit invocation to Windows
platforms only.

Improve check for Windows platforms

Instead of checking for compiler, check for platform.

[SEA] Treat Consonant_Final like Consonant_Medial

Rename HB_OT_INDIC_OPTIONS env var to HB_OPTIONS

The Myanmar shaper now respects the uniscribe-bug-compatibility
option too.

Add South-East Asian shaper

Handles Tai Tham, Cham, and New Tai Lue for now.

Minor test reshufflings

[Indic] Make sure New Tai Lue works!

Adjust mark advance-width zeroing logic for Myanmar

Before, we were zeroing advance width of attached marks for
non-Indic scripts, and not doing it for Indic.

We have now three different behaviors, which seem to better
reflect what Uniscribe is doing:

  - For Indic, no explicit zeroing happens whatsoever, which
    is the same as before,

  - For Myanmar, zero advance width of glyphs marked as marks
    *in GDEF*, and do that *before* applying GPOS.  This seems
    to be what the new Win8 Myanmar shaper does,

  - For everything else, zero advance width of glyphs that are
    from General_Category=Mn Unicode characters, and do so
    before applying GPOS.  This seems to be what Uniscribe does
    for Latin at least.

With these changes, positioning of all tests matches for Myanmar,
except for the glitch in Uniscribe not applying 'mark'.  See preivous
commit.

[Myanmar] Add note re Uniscribe NOT applying 'mark'

Minor

[Myanmar] Fix handling of Punctuation and Symbol types

Testing with "clusters" now on par with testing without them.  15
failures both.

[Myanmar] Fixup handling of joiners and GB characters

[Myanmar] Prevent reordering between Asat and Dot below

Implemented as a hack for now.  Myanmar failures down from 23 to 15.

MYANMAR: 1123868 out of 1123883 tests passed. 15 failed (0.00133466%)

The remaining 15 cases are all where the syllable is wrong according to
the OpenType spec.  We insert dottedcircle.  Uniscribe fails to do that,
but it also fails to reorder the prebase-reordering medial-Ra.  So it
gets it wrong.

Shuffle test data around

Add Win8-style Myanmar shaper

Myanmar failures down from 51% to 0.00204648%!

MYANMAR: 1123860 out of 1123883 tests passed. 23 failed (0.00204648%)

Minor

[OTLayout] Respect lookup-flags skipping over non-mark glyphs

Before, when matching ligatures, we never skipping over base / liga
glyphs even if that was what the LookupFlags asked for.

Fixed now.  We carefully reviewed all instances of this, and tested with
Amiri as well as some Indic scripts, and are confident that this should
NOT break anyone's fonts.  It's also how Uniscribe does it, from what
we can tell.

[OTLayout] s/mark_skipping/skipping/

In aticipation of upcoming changes.

[Indic] Fix bug introduced in 8b217f5ac54aa0dcbba2dd6d59aa89dde33e56c2

Was breaking reph formation logic when the Ra is the only consonant.
Devanagari regression fixed.  Down to 57 failures again.  Ouch.

Improve normalization heuristic

Before, for most scripts, we were not trying to recompose two characters
if the second one had ccc=0.  That fails for Myanmar where U+1026
decomposes to U+1025,U+102E, both of which have ccc=0.  However, we do
want to try to recompose those.  We now check whether the second is a
mark, using general category instead.

At the same time, remove optimization that was conflicting with this.

[Let the Ngapi hackfest begin!]

Revert "Include config.h.in in tree"

This reverts commit 01013a0f5c58d5d54a37e5b4d6692e0bbd4baf80.

Conflicts:
config.h.in

Same argument as previous commit.

Revert "[Indic] Import ragel-generated Indic machine in git"

This reverts commit fab7a71f110ed646745d54b23284537c50058c21.

Conflicts:
src/hb-ot-shape-complex-indic-machine.hh

Keeping that generated file in-tree causes problems with processes like
tinderbox  that automatically fetch and build harfbuzz.  It's harder to
bootstrap harfbuzz now (as was previously), but I'm willing to give this
another chance and see how it goes.

Don't use $(ENV)

As reported by Peter Breitenlohner:

I think this is a very bad idea because ENV is used to specify a startup
file to be read by some/all shells.

Add color-tests automake option

Bug 60035 - intermittent make install failure on hb-version.h

Bug 59637 - check-exported-symbols.sh & check-internal-symbols.sh fail on mips/mipsel

Merge check-internal-symbols.sh and check-exported-symbols.sh

Really fix setmode this time

Thanks to Khaled for spotting it.

Fixup previous commit

Now, it looks like this breaks Cygwin again.  Have to figure out what's
going on.

Use setmode() instead of _setmode()

Looks like Cygwin / MSVC declare it that way, and it still works on
MinGW32 cross.

Bug 60053 - hb-common.cc:181:6: warning: ‘void free_langs()’ defined but not used

0.9.12

Minor

Minor

Fix build with Sun compiler

Revert "Minor"

This reverts commit 0a492357016bc9a614d2a726f2006c10af68ca58.

Enables code on more compilers.

Fix linking with non-gcc compilers

Fix residuals from fontconfig changes

0.9.11

Add atomic ops for Solaris

Based on fontconfig patch from Raimund Steger.

Fix crasher during multi-thread shaper data creation

Sample crash:

0  _hb_graphite2_shaper_face_data_destroy (data=0xffffffffffffffff)
    at ../../src/hb-graphite2.cc:129
1  0x00007ffff4271d7d in hb_graphite2_shaper_face_data_ensure (
    face=<optimized out>) at ../../src/hb-shaper-list.hh:35
2  hb_shape_plan_plan (shaper_list=<optimized out>, num_user_features=0,
    user_features=0x0, shape_plan=0xf7b490) at ../../src/hb-shaper-list.hh:35
3  hb_shape_plan_create (face=<optimized out>, props=<optimized out>,
    user_features=0x0, num_user_features=0, shaper_list=<optimized out>)
    at ../../src/hb-shape-plan.cc:108
4  0x00007ffff4272c93 in hb_shape_plan_create_cached (face=0x10cf2b0,
    props=0x11980d8, user_features=0x0, num_user_features=<optimized out>,
    shaper_list=0x0) at ../../src/hb-shape-plan.cc:283

[Indic] In old-spec shaping, don't move viramas around if seq ends with one

For example: u0c9a u0ccd u0c9a u0ccd with Lohit.  See:

https://bugs.freedesktop.org/show_bug.cgi?id=59118

[GPOS] If an Anchor offset is NULL, return false

If in a MarkPos table, a base has no anchor for a particular mark class,
return NULL such that the subsequent subtables get a chance at it.

Test case:
hb-shape ./EBGaramond12-Regular.otf ἂ --features="ss20","smcp"

Bug 58638 - Building fails with ICU due to not passing required flags

Rename hb_buffer_clear() to hb_buffer_clear_contents()

The previous name was clashing with harfbuzz.old.  There are systems
that need to link both...

Clash-free now again.

Remove a few unnecessary const's

Apparently helps with MSVC compilation.

0.9.10

[OTLayout] Always collect default language system in collect_lookups

Not sure if this is the most desired behavior.  It's the most easily
defined though.

[OTLayout] Fix feature iteration in collect_lookups

Previous logic was just wrong.

[OTLayout] Whitespace