Update TODO

[util] Add hb-ot-shape-closure tool

Computes all the glyphs that may be generated given a font and
set of Unicode characters.

The order of the Unicode characters is irrelevant.

Sample output:

behdad:util 0$ ./hb-ot-shape-closure Doulos\ SIL\ Regular.ttf f
f f_f

behdad:util 0$ ./hb-ot-shape-closure Doulos\ SIL\ Regular.ttf i
i

behdad:util 0$ ./hb-ot-shape-closure Doulos\ SIL\ Regular.ttf fi
f f_i f_f_i f_f i

behdad:util 0$ ./hb-ot-shape-closure DroidNaskh-Regular.ttf ب
uni0628 uni0628.init uni0628.medi uni0628.fina

behdad:util 0$ ./hb-ot-shape-closure DroidNaskh-Regular.ttf ا
uni0627 uni0627.fina

behdad:util 0$ ./hb-ot-shape-closure DroidNaskh-Regular.ttf با
uni0627 uni0627.fina uni0628 uni0628.init uni0628.medi uni0628.fina

behdad:util 0$ ./hb-ot-shape-closure DroidNaskh-Regular.ttf با --no-glyph-names
5 6 133 134 135 136

[util] Refactor to accommodate for upcoming new tool

[Indic] Apply vatu feature after cjct

Testing with old Deva spec this reduces failures.
Test sequence: U+0915,U+094D,U+0930.

Minor

Refactor

Revert "[Indic] Refactoring"

This reverts commit 0831061efb78983b9c6e1e72574c977e56383c08.

Fix more warnings

Fix more unused-var warnings

Fix hb_face_set_index()

Fix warnings

Minor

Add accessort to buffer for current info, current pos, and prev info

Minor

[GSUB/GPOS] Remove context_length

The spec doesn't say contextual matching should be done this way,
and AOTS doesn't do it either.  It was inherited from old HarfBuzz.
Remove it.

Minor

Remove ioctl checks

Ended up not using terminal size after all.

[util] Set ansi color only on color change

Reduce default margin

[util] Make hb-view print out Unicode art if stdout is a terminal

Minor

[util] Make tools default to stdin if no text is provided

One less argument to type in typical testing workflow!

[util] Change default font size of hb-view to 256

Most common usecase of hb-view is to test rendering of short words for
testing / inspection.  Not having to type "--font-size 150" each time
isn't such a bad idea...

Fix compiler warnings

[test] Make tool usage easier by not requiring "--stdin"

Just default to it.  Added "--help" instead to get usage.

[Indic] Add more Malayalam tests

Fix compiler warnings

[Indic] Unbreak Devanagari

And this, concludes the HarfBuzz Massala Hackfest.

I like to specially thank Jonathan Kew for doing all the decription and
letting me get commit points.

[Indic] Disambiguate sub vs post vs above matras

Bengali is at *just* above 5% now.

[Indic] Position Bengali Reph before matras

[Indic] Start categorizing Reph per script

[Indic] Apply 'init' feature for Bengali

Error down from 20% to 7%.

[Indic] Refactor for the arrival of 'init' feature

Yep, on Bengali now!

[Indic] Add Uniscribe bug feature for dotted circle

For dotted-circle independent clusters, Uniscribe does no Reph shaping
for the exact sequence Ra+Halant+25CC.  Which also is the only possible
sequence with 25CC at the end.

[Indic] Add tests for dottedcircle

[Indic] Refactoring

Minor

[Indic] Allow multiple Consonants in Vowel/NBSP syllables

Uniscribe allows multiple Halant+Consonant after a Vowel.
Tests:
↦       * U+0905,U+094D,U+092B,U+094D,930,94d,930

[Indic] Allow two Nuktas per consonant

Uniscribe allows up to two nuktas per consonant and one per matra. It does so
indepent of whether the consonant already has a nukta in it.  Tests:

        * U+0916,U+093C,U+0941
        * U+0959,U+093C,U+0941
        * U+0916,U+093C,U+093C,U+0941
        * U+0959,U+093C,U+093C,U+0941
        * U+0916,U+093C,U+093C,U+093C,U+0941
        * U+0959,U+093C,U+093C,U+093C,U+0941
        * 915,93c,93c,,94d,U+0916,U+093C,U+093C,U+093e,93c,93c

[Indic] Fix U+0952 and similar classification to match Uniscribe

See comments.

[Indic] Treat U+0951..U+0954 all similar to U+0952

[GSUB/GPOS/Indic] Apply GSUB/GPOS within syllables only

This does not apply to the context matchings.

This regresses tests right now.  And we are not sure whether this is
the right thing to do for GPOS.  But we'll figure out.

[GSUB/GPOS] Fix wrong buffer access in backward skippy mask matching

[Indic] Don't use syllable serial value 0

[Indic] Implement Uniscribe Reph+Matra+Halant bug feature

[Indic] Add example of different Uniscribe behavior

[Indic] Add runtime Uniscribe bug compatibility mode!

Enable by setting envvar:

  HB_OT_INDIC_OPTIONS=uniscribe-bug-compatible

Plus, LeftMatra+Halant "feature".

[Indic] Add #define UNISCRIBE_BUG_COMPATIBLE 1

[Indic] Fix Left Matra + Halant reordering

As can be seen in: U+092B,U+093F,U+094D

Minor

[Indic] Add test for Left Matra with Halant

Uniscribe doesn't move the Halant, we do.  And do a broken job of it now.

[GSUB/GPOS] Check all glyph masks when matching input

[Indic] Apply Reph mask to all POS_REPH glyphs

Needed for upcoming changes to GSUB/GPOS mask matching.

[Indic] Fix state machine to backtrack

[Indic] Move syllable tracking from Indic to generic layer

This is to incorporate it into GSUB/GPOS processing.

[Indic] Disable conjuncts when a ZWJ happens

Not that the code makes any difference since the presence of ZWJ itself
causes the ligature to fail to match anyway.

[Indic] Fix bitops typo!

Another 1000 down!

Make APPLY debug output print current index and codepoint

Yay!

Minor

Some more...

Done.  I promise.

More beauty in debug output!

Finish off debug output beautification

Only print class name in debug output if there's one available

Only printout class name in tracing, if one is available

Makes debug output much more pleasant.

Minor

Add return annotation for APPLY

/Minor/

Annotate SANITIZE return values

More to come, for APPLY, CLOSURE, etc.

Minor

Code reshuffling

Beautify debug output

More massaging trace messaging

Minor

Better trace message support infrastructure

We have varargs in the trace interface now.  To be used soon...

[Indic] Towards better Reph positioning

Fixed for Deva cases with two full-form consonants.  Failures **way** down.
Not much left to go :-).

[Indic] Add Ra back for scripts without Reph

We now check that the 'rphp' table exists before forming Reph, so
we don't need to comment out Ra for those scripts.

[Indic] Add note re Uniscribe clusters

[Indic] Do clustering like Uniscribe does

Hindi Wikipedia failures down to 6639 (0.938381%)!

[Indic] Add test for matra group

The spec says: "[{M}+[N]+[H]]", and that's what Uniscribe implements.
We instead do: "{M+[N]+[H]}", which means we allow Nukta and Halant
after all Matras, not just the last one.  It makes more sense.

[Indic] Reorder Reph to before the Halant after Matras

Uniscribe doesn't do it, but we want to do as it gives the Reph the
opportunity to interact with the Matras.  Test with mangal for example.
Sequence: <0930,094d,0915,094b,094d>
In test suite already.

[Indic] Don't clear the mask for Reph

This was removing the mandatory global 1 bit in the mask and hence
disabling GPOS for Reph!

[Indic] Improve Left Matra repositioning

Move its dependents too.

[Indic] Add tricky reordering test cases

In the case of Consonant,LeftMatra,Halant, Uniscribe leaves the Halant
where it is, but we want to move it with the Matra as that makes more
logical sense.

[Indic] Do Reph repositioning in final reordering like the spec says

This introduced a failure, which we tracked down to a test case like this:

  U+092E,U+094B,U+094D,U+0930

The final character is a Ra that should be put in a syllable of it's
own.  And we do.  But it will interact with the Halant before it.  So
now we finally are convinced that we have to limit features to syllable
boundaries.  That's coming after lunch!

Minor

[Indic] Reorder left matras to be closer to base

[Indic] Treat the standalone cluster case reusing the consonant logic

[Indic] Minor

[Indic] Handle Vowel syllables

Reusing the consonant logic!

[Indic] Simplify Reph logic

[Indic] Don't form Reph is Ra is the only consonant in the syllable

[Indic] Increase max syllable length

20 was way too low, one could hit a syllable with 7ish consonants with it.

[Indic] Adjust base after sorting

[Indic] Don't return for long syllables.  Just not sort.

Fix Uniscribe clusters with multiple items

[Indic] Don't give up syllable parsing upon junk

[Indic] Towards multi-cluster syllables and final reordering

Combine lig_id and lig_comp into one byte, to free up one for Indic

Minor

[Indic] Make room for more reordering positions