Move ot shaper completely to shape_plan

Partially switch ot shaper to shape_plan

Switch old and uniscribe backends to shape_plan

Switch to shape_plan

Not optimized yet.  Eats babies.  And no shaper uses the shape_plan.

Start implementing shape_plan

Minor

Start adding a unified shaper access infrastructure

Add global shape_plan.  Unused so far.

Fix visibility warnings with MinGW32

[CoreText] Ensure cluster indices in output buffer are non-decreasing.

Does not provide Uniscribe-compatible results, but should at least avoid
breaking hb-view due to out-of-order cluster values.

For RTL runs, ensure cluster values are non-increasing (instead of
non-decreasing).

Minor

[hb-old] Fix Arabic cursive positioning

Backporting from upstream:

commit b847f24ce855d24f6822bcd9c0006905e81b94d8
Author: Behdad Esfahbod <behdad@behdad.org>
Date:   Wed Jul 25 19:29:16 2012 -0400

    [arabic] Fix Arabic cursive positioning

    This was clearly broken in testing.  Who knows...  Fixes for me.
    Test with a Nastaleeq font, or with Arabic Typesetting.

    Backporting from Chromium.

[hb-old] Fixup not-enough-space handling

[hb-old] Fix clusters

Unlike its "documentation", hb-old's log_clusters are, well, indeed
logical, not visual.  Fixup.  Adapted / copied from hb-uniscribe.

[GPOS] Fix MarkMarkPos applied to results of MultipleSubst

This was broken as a result of 7b84c536c10ab90ed96a033d88e9ad232d46c5b8.
As Khaled reported, MarkMark positioning was broken with glyphs
resulting from a MultipleSubst.  Fixed.  Test with the ALLAH character
in Amiri.

Minor

[hb-old] Add HarfBuzz.old shaper

Choose using shaper name "old".

[hb-old] Define Unicode funcs in terms of new HarfBuzz

[hb-old] Shovel out the line-breaking / word-segmentation stuff

[hb-old] Add visibility attributes

[hb-old] Remove unused header file

[hb-old] Rename hb_buffer_* to HB_Buffer_*

[hb-old] Start adding HarfBuzz-old as a new backend

Minor

[Mongolian] Remove Mongolian Vowel Separator at the end of shaping

Results match Uniscribe now.

[CoreText] Add basic Core Text backend for comparison with our native shaping

Does not attempt to handle clusters in a Uniscribe- or HarfBuzz-compatible way;
just returns the original string indexes that CT maintains. These may even be
out-of-order in the case of reordrant glyphs.

Make data members of various OpenType structs protected instead of private

Should fix warnings generated when building with -Wunused-private-field.
Based on patch from Jonathan Kew.

Minor const correctness shuffling

[Indic] Reposition Gurmukhi top matras to after post

The font is forming a post-base consonant in some samples, and Uniscribe
positions top matra on the post-base.  Do the same.

Gurmukhi failures down from 59 to 41 (0.0674242%).

[Indic] Ignore Uniscribe output containing two zero-width space glyphs

Uniscribe is buggy and sometimes /eats/ a mark next to a non-joiner.
Most of Malayalam failures where actually hitting this bug.

Ignore test output with two zero-width space glyphs.  This is a hack
until we build up the test suite infrastructure better.

Bengali went down by 9, Devanagari by 2, Kannada by 130, Malayalm down
from 1197 to 307, Sinhala down by 16, Telugu down by 26.  New stats:

BENGALI: 353996 out of 354285 tests passed. 289 failed (0.0815727%)
DEVANAGARI: 693573 out of 693628 tests passed. 55 failed (0.00792932%)
GUJARATI: 366489 out of 366506 tests passed. 17 failed (0.0046384%)
GURMUKHI: 60750 out of 60809 tests passed. 59 failed (0.0970251%)
KANNADA: 951086 out of 951913 tests passed. 827 failed (0.0868777%)
KHMER: 299094 out of 299124 tests passed. 30 failed (0.0100293%)
MALAYALAM: 1048109 out of 1048416 tests passed. 307 failed (0.0292823%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271715 out of 271847 tests passed. 132 failed (0.0485567%)
TAMIL: 1091837 out of 1091837 tests passed. 0 failed (0%)
TELUGU: 970550 out of 970573 tests passed. 23 failed (0.00236973%)

[Indic] Better position left-matra in Malayalam

Just put it before base, which is what's expected.

Malayalam failures down from 1559 to 1197 (0.114172%).

BENGALI: 353988 out of 354285 tests passed. 297 failed (0.0838308%)
DEVANAGARI: 693571 out of 693628 tests passed. 57 failed (0.00821766%)
GUJARATI: 366489 out of 366506 tests passed. 17 failed (0.0046384%)
GURMUKHI: 60750 out of 60809 tests passed. 59 failed (0.0970251%)
KANNADA: 950956 out of 951913 tests passed. 957 failed (0.100534%)
KHMER: 299094 out of 299124 tests passed. 30 failed (0.0100293%)
MALAYALAM: 1047219 out of 1048416 tests passed. 1197 failed (0.114172%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271699 out of 271847 tests passed. 148 failed (0.0544424%)
TAMIL: 1091837 out of 1091837 tests passed. 0 failed (0%)
TELUGU: 970524 out of 970573 tests passed. 49 failed (0.00504856%)

[Indic] Implement Reph+Ya-Phalaa interaction

The sequence Ra,H,Ya in Bengali is ambigious and Unicode encoded that to
get Ya-Phalaa, one would place ZWJ before Halant.  Ie. a ZWJ,H sequence
requests subjoining, while a H,ZWJ requests Half form.  Implement that.

Bengali failures go down from 377 to 297 (0.0838308%).
Gujarati is down by 4 to 17 (0.0046384%).
Kannada is down by 226 to 957 (0.100534%).

Current status:

BENGALI: 353988 out of 354285 tests passed. 297 failed (0.0838308%)
DEVANAGARI: 693571 out of 693628 tests passed. 57 failed (0.00821766%)
GUJARATI: 366489 out of 366506 tests passed. 17 failed (0.0046384%)
GURMUKHI: 60750 out of 60809 tests passed. 59 failed (0.0970251%)
KANNADA: 950956 out of 951913 tests passed. 957 failed (0.100534%)
KHMER: 299094 out of 299124 tests passed. 30 failed (0.0100293%)
MALAYALAM: 1046857 out of 1048416 tests passed. 1559 failed (0.148701%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271699 out of 271847 tests passed. 148 failed (0.0544424%)
TAMIL: 1091837 out of 1091837 tests passed. 0 failed (0%)
TELUGU: 970524 out of 970573 tests passed. 49 failed (0.00504856%)

[Indic] Limit matras to 4 per syllable

Also limit joiners.

This limits our syllable length to a constant, and is
closer to what Uniscribe does anyway.

Two Devanagari tests regressed, but who cares about tests with 20
joiners in a row?!  Devanagari at 57 (0.00821766%) now.

[Indic] Unmark U+17D1 KHMER SIGN VIRIAM to NOT be a Virama

Fixes another 1 Khmer failure.  Down to 30 (0.0100293%) now.

[Indic] Recategorize Khmer various signs as top matras

Khmer failures down from 39 to 31 (0.0103636%).

[Indic] Reposition Khmer prebase-reordering Ra around split matras

In Khmer coeng model, a V,Ra can go *after* matras.  If it goes after a
split matra, it should be reordered to *before* the left part of such matra.

Khmer failures down from 136 to 39 (0.0130381%).

[Indic] Fix minor bug in pre-base Ra positioning

[Indic] Position Khmer U+17CE

Fixes another 6 Khmer failures.  Now at 136 (0.0454661%).

[Indic] Don't reposition Khmer Bindu

Khmer Bindu doesn't like to move to syllable end.  Leave it where it
was.

Brings down Khmer failures from 510 to 142 (0.047572%).

[Indic] In Sinhala, form forced Reph even if no other consonant found

Fixes another 10 Sinhala failures.  Down to 148 (0.0544424%).

[Indic] Further adjust base algorithm for Sinhala

Apparently if there is C,V,ZWJ,C, the first C will be base, but if
it's C,ZWJ,V,C, the second one will be.

Note that Uniscribe implements this differently, by breaking syllable in
the case of C,ZWJ,V,C and putting the first consonant in one syllable
and the rest in the next syllable.

Sinhala failures down from 208 to 158 (0.0581209%).  No changes to
Khmer.

[Indic] End Vowel-based syllable at ZWJ

One Devanagari test regressed, plus 10 Malayalam (at 1545 now).

Fixed 120 Sinhala failures.  Now at 208 (0.0765136%).

[Indic] Improve Sinhala base algorithm and reph positioning

Sinhala does not have half forms.  And most (all?) consonants can be
base, except when preceded by ZWJ, which would request a subjoined form.
Hence switch the base algorithm to categorize with Khmer, start search
at start, and stop at a ZWJ.

Also, mark all pos=base consonants after base to be subjoined.  Mark
base itself to have pos=base.

Finally, adjust Sinhala's reph position to after-main.

Brings down Sinhala failures from 455 to 328 (0.120656%).

[Indic] Change "unknown" position to end of syllable

When removing zero-width marks, don't remove ligatures

If a mark ligated, it probably should NOT be removed.

Minor refactoring

[Indic] Improve check on ligatures

Only skip actual ligatures, not marks in-between ligature components.

[Indic] exclude ligatures when matching on Indic category

If, say, a H,ZWJ,C ligature was formed, we don't want the code to detec
that as a Halant.  So, ignore ligatures when matching category in
final_reordering.

Sinhala failures down from 514 to 455 (0.167374%).

[GSUB/GPOS] Const correctness

[Indic] Minor refactoring

[Indic] Remove syllable length check before sorting

We now limit syllable lengths in the machine.  No need to match here.

[Indic] Limit syllables to at most five consonants

Seems to be about what Uniscribe does.  Not exactly.  But close enough.
More consonants will start a new cluster.

A few scripts went way down in failures.  In particular:

  - Devanagari failures went down from 490 to 56.
  - Telugu went down from 113 to 49.

Other scripts went down slightly or didn't change.  New numbers:

BENGALI: 353908 out of 354285 tests passed. 377 failed (0.106412%)
DEVANAGARI: 693572 out of 693628 tests passed. 56 failed (0.00807349%)
GUJARATI: 366485 out of 366506 tests passed. 21 failed (0.00572978%)
GURMUKHI: 60750 out of 60809 tests passed. 59 failed (0.0970251%)
KANNADA: 950730 out of 951913 tests passed. 1183 failed (0.124276%)
KHMER: 298613 out of 299124 tests passed. 511 failed (0.170832%)
MALAYALAM: 1046881 out of 1048416 tests passed. 1535 failed (0.146411%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271333 out of 271847 tests passed. 514 failed (0.189077%)
TAMIL: 1091837 out of 1091837 tests passed. 0 failed (0%)
TELUGU: 970524 out of 970573 tests passed. 49 failed (0.00504856%)

Some of the remaining Telugu and Devanagari issues seem to be Uniscribe
eating Anusvara when placed before a non-joiner.  Ouch!

[Thai] Fix SARA AM handling

Oops, thinko.

[Thai] Reorder U+0E3A THAI VOWEL SIGN PHINTHU

Uniscribe reorders U+0E3A to be after U+0E38 and U+0E39.  We do that by
modifying the ccc for U+0E3A.

Fixes the two remaining Thai failures (see previous commit).

[Thai] Adjust SARA AM reordering to match Uniscribe

Adjust the list of marks before SARA AM that get the reordering
treatment.  Also adjust cluster formation to match Uniscribe.

With Wikipedia test data, now I see:

  - For Thai, with the Angsana New font from Win7, I see 54 failures out
    of over 4M tests  (0.00129107%).  Of the 54, two are legitimate
    reordering issues (fix coming soon), and the other 52 are simply
    Uniscribe using a zero-width space char instead of an unknown
    character for missing glyphs.  No idea why.  The missing-glyph
    sequences include one that is a Thai character followed by an Arabic
    Sokun.  Someone confused it with Nikhahit I assume!

  - For Lao, with the Dokchampa font from Win7, 33 tests fail out of
    54k (0.0615167%).  All seem to be insignificant mark positioning
    with two marks on a base.  Have to investigate.

[Indic] Fix cluster formation with left-matras and conjunct forms

Test case was: <U+0D15,U+0D4D,U+0D15,U+0D4A>.

[Indic] Further streamline cluster formation

This should address all possible cluster misformations that I had in
mind.

[Indic] Merge clusters before sorting

This should fix any instabilities in cluster formation that we were
speculating may happen with surrounding syllables.  Or most of it
perhaps.

[Indic] Update clusters for left-matra even if matra didn't move

Fixes crashes reported with left matra under
non-uniscribe-bug-compatibilty mode.

[Indic] Merge in Malayalam tests

From:
http://silpa.org.in/pub/tests/hb/ml/ml-harfbuzz-testdata.txt

[Indic] Add extensive Sinhala tests

Generated by:
http://git.savannah.gnu.org/cgit/sinhala.git/plain/utils/gen-unicode-sinhala.py

[Indic] Add Sinhala tests

Merge tests from:
http://git.savannah.gnu.org/cgit/sinhala.git/plain/patches/icu-sinhala-rendering.txt

Add a test case

[Indic] Stop searching for base if a post form is found before below form

Improves Bengali and Gurmukhi.  Malayalam regressed a bit.  We will deal
with that later.

[Indic] Recompose Bengali Ya,Nukta

This is a bunch of hacks for now.

Improves Bengali a bit.

[Uniscribe] Fix script fallback

Gurmukhi failures half now.  Others changed slightly.

[Indic] Allow a ZWNJ after SM's

Malayalam failures go way down.  Other scripts benefitted slightly too.
Sinhala had one or two test regressions, but...

[Indic] Improve Reph AfterMain positioning

Fixes 20 out of 48 failing Oriya tests.  Failure rate down to 0.066% now.

[Indic] Reposition Oriya Candrabindu

Oriya failures down from 0.65% to 0.20%.

[Indic] Fix base search in final_reordering

Fixes most Malayalam failures.  Down from 1.6% to 0.38% now.  Fixes a
few more in other scripts too.

[Indic] Don't attach SM/VD to other characters

Fix compiler warnings

If x is not constant, we cannot ASSERT_STATIC on it.

[Indic] Form Telugu Reph out of Ra,Virama,ZWJ

Apparently this was approved in Feb 2012.  No font yet.

[Indic] Don't split U+0AC9

Althought IndicMatraCategory.txt classifies it as Top_And_Right matra,
it does not have Unicode decomposition, and Uniscribe does not do
anything special about it either.

Gujarati failures down from 0.672% to 0.0130966%.

[Indic] Simplify Uniscribe cluster emulation

Now that we break syllables on Halant,ZWNJ, this code can be simplified.

[Indic] Minor!

[Indic] Break syllables at Halant,ZWNJ

That's really what Uniscribe does, and explains a lot of pecularities of
Halant,ZWNJ before the base.

Sent Telugu from 1% failures to 0.03%.  Improved Kannada and Malayalam
slightly.  Fixed half of Bengali, and did NOT break anything!

[Indic] Better check for applying 'init'

Specifically, don't apply 'init' if previous char is a joiner.

Fixes some more of Bengali.

[GPOS] Don't zero mark advances

Fixes more of Telugu, Kannada, and Oriya.

May break things (outside Indic...), but we cannot think of any font relying
on this immediately.

[Indic] Minor

[Indic] Implement reph positioning step 5

Not tuned, just copied from step 2.  Fixes another 0.5% of Kannada
failures.  1% to go.

[Indic] Don't let ZWNJ at the end of syllable affect base search

Fixes a few Devanagari, half of remaining Kannada failures, quarter for
Telugu, and others slightly improved or unchanged.

[Indic] Apply 'cjct' globally

Fixes 5 Devanagari failures, and no regressions.

[Indic] Unbreak old scriptures

Brings down failures with Lohit-Telugu from 57% to 1.40%.

Minor

[Indic] Recategorize some Kannada right matras

Kannada failures down from 3.5% to 2.93%.

[Indic] Recategorize GURMUKHI ADDAK

It's not in IndicSyllabicCategory.txt.  Fixes most of Gurmukhi failures.
Failures down from 7.7% to 0.222%!

Minor

[buffer] Make sure out_info = info during GPOS

Print line number during return when tracing

[Indic] Unbreak Khmer

For Khmer, all consonants are subjoining.  No need to look in the font.
We were looking in the wrong order anyway.

[Indic] Apply 'akhn' globally

Fixes 1.5% more failures for Telugu, 2% for Kannada.
Breaks one test in Devanagari.

[Indic] Add failing test for Kannada

[Indic] Better position U+0CD5

Fixes another 5% of Kannada failures.

[Indic] Lookup consonant position in the font

Fixes most failures of Oriya, and improves others a bit.

[GSUB] Fix would_apply() for LigatureSubst

[TODO] Minor

Add src/test-would-substitute tool

Refactor / finish would_apply() operation

Untested.

[Indic] Implement per-script matra positioning

Following what the spec says.

Brings down Telugu failures from 40% to 3.75%, and Kannada failures from
44% to 10%.  Does NOT affect other scripts' test results.

[Indic] More refactoring