[Indic] Handle Reph when determining base consonant

[Indic] Ra is a consonant too

[Indic] Fix reph inhibition logic

[Indic] Support ZWJ/ZWNJ

Brings test-shape-complex failures down from 52 to 10!

I hereby declare harfbuzz-ng supporting Indic!

[Indic] Suppress reph formation upon joiners

Un-Ra U+09F1.  According to the test suite this is correct.

But I'm not sure...  Down from 54 failures to 52.

Minor

Cosmetic

[Indic] For old-style Indic tables, move Halant around

In old-style Indic OT standards, the post-base Halants are moved after
their base.  Emulate that by moving first post-base Halant to
post-last-consonant.

Brings test-shape-complex failures down from 88 to 54.  Getting there!

[OT] Save chosen script tag

Minor

[test] Fix problem with N'ko test direction

Old HarfBuzz test suite always shaped as left-to-right and hence had wrong
0x14db, direction expected glyphstring for N'ko.  Doh!

Failures down from 92 to 88.

[Indic] Handle initial Ra+Halant in scripts that support Reph

Brings test-shape-complex failures down from 104 to 92.  Way to go!

Minor

[Indic] Categorize Ra in scripts that have Reph

Is the categorization correct?  I don't know.

[Indic] Reorder matras

Number of failing shape-complex tests goes from 125 down to 94.

Next: Add Ra handling and it's fair to say we kinda support Indic :).

Bug 39686 - Add '-no-undefined' to libharfbuzz LDFLAGS

Minor

[Indic] Apply Indic features

Find the base consonant and apply basic Indic features accordingly.
Nothing complete, but does something for now.  Specifically:
no Ra handling right now, and no ZWJ/ZWNJ.

Number of failing shape-complex tests goes from 174 down to 125.

Next: reorder matras.

Minor

Minor

Register buffer vars in Indic shaper

Oops.  This should have gone into the previous commit

Formalize buffer var allocations

Move more code around

Buffer var allocation coming into shape

Streamline debugging infrastructure even more

Use variadic macros for debugging

Looks *so* much nicer!

Add sugar syntax for debug messages

Buffer debugging coming soon.

Minor, fix leak from my previous refactorings

Add internal API for buffer var allocation

Start cleaning up buffer var allocation

I've messed up a lot of stuff recently, different parts of the
shaping process are stumbling on eachother's toes because
manually tracking what's in which buffer var is hard.  I'm
going to add some internal API to track those such that mistakes
are discovered as soon as they are introduced.

Move code around

Shrink space used for ligature ids

This frees 16bits in the glyph_info struct during the ot_layout process.
We can use the freed space in the shapers now.

Minor

Keep Unicode props updated as we go so we avoid a scan later

Implement the Unicode Canonical Composition algorithm

Fallback normalization is complete and working now!

Handle singleton decompositions

Implement Unicode Canonical Reordering Algorithm

Decomposition works now!

Move buffer methods into the object

More normalization kick

Fix decompose() implementations to work with non-starter non-composables

Add tests.

Document normalization design

Add prefer_decomposed() complex-shaper callback

This allows the Indic shaper to request decomposed characters.  This will
handle split matra for free.  Other shapers prefer precomposed
characters.

More kicking

Remove intermittent_glyph()

Lets not worry about performance for now...

No need to handle variation-selectors seperately, they are GC=Mn

Only form clusters if we are reversing

This produces more accurate cluster mappings.  Cluster mappings are
minimal now.  Combining marks get their own cluster value most of
the time.

Towards normalization

s/COMBINING_MARK/SPACING_MARK/ here too.  Oops!

Remove stale comment

Form clusters before ensuring native direciton

This is essential as ensure_native_direction uses cluster info that
is set by form_clusters().

Add _hb_buffer_output_glyph() and _hb_buffer_skip_glyph()

Towards normalization

Include variation-selectors in cluster calculation

Fix cluster calculation for non-LTR text

When forming clusters, participate all mark types

Rename HB_UNICODE_GENERAL_CATEGORY_COMBINING_MARK to HB_UNICODE_GENERAL_CATEGORY_SPACING_MARK

Spacing_Mark is the current Unicode long-name for this property value.
The previous name was wrongly carried from glib.

Minor

[icu] Implement compose()/decompose()

Add tests for compose()/decompose()

Adjust glib fallback implementation.

The tests are not hooked up for ICU yet.

Minor

[glib] Use g_unicode_script_to/from_iso15924() if available

[glib] Add compose() and decompose() implementations with fallback

Minor

[test] Work around glib <= 2.30 API

Distribute hb-ot-shape-complex-indic-machine.rl

Let shapers decide when to apply ccmp and locl

Instead of always applying those two features before the complex shaper,
let the complex shaper decide whether they should be applied first.

Also add stub for Indic's final_reordering().

[API] Add compose() and decompose() unicode funcs, rename other ones

Add compose() and decompose() unicode funcs.  These implement
pair-wise canonical composition/decomposition.

The glib/icu implementations are lacking for now.  We are adding
API for this to glib, but I cannot find any useful API in ICU.
May end of implementing these in-house.

Changed all unicode_funcs callback names to remove the "_get" part.
Eg, hb_unicode_get_script_func_t is now hb_unicode_script_func_t,
and hb_unicode_get_script() is hb_unicode_script() now.

More code generation through preprocessor

Humm, undo some shuffling

In preparation for adding more advanced unicode funcs.

More code shuffling

Minor

Shuffle code around, remove shape_plan from complex shapers

Minor, use function typedefs

Update copyright headers

Refactor some code common to GSUB and GPOS

Enable applying GSUB/GPOS features in multiple segments

Fixes https://bugzilla.mozilla.org/show_bug.cgi?id=644184
among others.

Shapers now can request segmented feature application by calling
add_gsub_pause() or add_gpos_pause().  They can also provide a
callback to be called at the pause.  Currently the Arabic shaper
uses pauses to enforce certain feature application.  The Indic
shaper can use the same facility to pause and do reordering in the
callback.

Shuffle code around

Add todo

I'm too lazy to fix the tests now.

Fix reverse_range() position loop

Mozilla Bug 669175 - Slow rendering of text sometimes in this case,
using direction: rtl

Minor

[Indic] Well, at least finding syllables works now :)

Still not much there.

[test-shape-complex] Remove the greek tests

They are outdated with respect to the DejaVu Sans I'm using.
We need to add font version checking to the tests.

[test-shape-complex] Print out expected and actual glyphstrings upon failure

One has to run the test with --verbose to see that right now.

[test] Name tests after their input string

Minor

Towards a better test runner.

Minor

[test] Remove disabled code

We'd add normalization and decomposition tests later.

[test] Restructure shape test data a bit

[Indic] Optimize Indic table storage

[Indic] Generate a single data table instead of multiple ones

[test] Add Indic tests from harfbuzz.old

Needs fonts to be put in test/fonts.  Tests are skipped otherwise.
Run with --verbose for details.  Working on improving the test runner
to make it easier to make sense of what's going on.

[Indic] Define indic_position_t

[Indic] Add a table of consonant positions

Copied form HarfBuzz.old Indic data.  These are below and post
consonants.  This is temporary.  Read the comment in the patch.

[Indic] Some of the basic features are global;  Mark them so

[indic] Add syllable recognition state machine

Using an incredible tool called Ragel.

Better categorize Indic character classes

Matches OT types now.

Minor compiler warning fixes

Change a couple strstr() to strchr()