Implement hb_ot_layout_get_glyphs_in_class()

Implement hb_ot_layout_get_glyph_class()

Implement hb_shape_plan_get_shaper()

Untested.

[Indic] Another try to unbreak Sinhala split matras

Just read the comments...

Unbreak tests

Plumbing to get shape plan and font into complex decompose function

So we can handle Sinhala split matras smartly...  Coming soon.

Rename hb_buffer_guess_properties() to hb_buffer_guess_segment_properties()

Bunch of independent changes (ouch)

API additions:

hb_segment_properties_t
HB_SEGMENT_PROPERTIES_DEFAULT
hb_segment_properties_equal()
hb_segment_properties_hash()

hb_buffer_set_segment_properties()
hb_buffer_get_segment_properties()

hb_ot_layout_glyph_class_t

hb_shape_plan_t
hb_shape_plan_create()
hb_shape_plan_create_cached()
hb_shape_plan_get_empty()
hb_shape_plan_reference()
hb_shape_plan_destroy()
hb_shape_plan_set_user_data()
hb_shape_plan_get_user_data()
hb_shape_plan_execute()

hb_ot_shape_plan_collect_lookups()

API changes:

Rename hb_ot_layout_feature_get_lookup_indexes() to
hb_ot_layout_feature_get_lookups().

New header file:

hb-shape-plan.h

And a bunch of prototyped but not implemented stuff.  Coming soon.
(Tests fail because of the prototypes right now.)

Minor

Add hb_face_[sg]et_glyph_count()

Add / modify set API a bit

Minor

[Thai] Remove U+0E2C from "AC" consonants

WinXP doesn't include it.

Rename hb_ot_layout_would_substitute_lookup() and hb_ot_layout_substitute_closure_lookup()

To match upcoming API.

[util] Make hb-shape err if output-format is not understood

And list supported formats.

Make the OT shaper default, even if CoreText or Uniscribe is enabled

Add hb_buffer_serialize_list_formats()

Add buffer serialization / deserialization API

Two output formats for now: TEXT, and JSON.  For example:

  hb-shape --output-format=json

Deserialization API is added, but not implemented yet.

Avoid C++ undefined behavior

https://bugzilla.mozilla.org/show_bug.cgi?id=810823

Fix undefined behavior in Indic dottedcircle

Chromium Issue 158998: Conditional jump in harfbuzz-ng
http://code.google.com/p/chromium/issues/detail?id=158998

[Thai] Implement PUA-based fallback shaping

As explained here:

  http://linux.thai.net/~thep/th-otf/shaping.html

Our output now matches Uniscribe for old fonts (eg. XP Tahoma) with no
Thai GSUB table.

Improve shaper selection

Add test cases for Thai PUA shaping

Move Thai shaper into a separate file

Add note re 'Phags-pa letter U+A872, which is Joining_Type=L

[Indic] Exchange abort() for assert()

Don't route Kharoshthi through the Indic shaper

It's a simple, right-to-left, script.

[Indic] Handle overstruck matra position

Reposition Lao marks

Lao marks are center-aligned, unlike Thai ones.

Don't do fallback positioning for Indic and Thai shapers

[Indic] If Khmer fonts have a 'liga' feature, use generic shaper

Seems to produce more coherent results than trying the Indic shaper on
them.  I'm looking at you, Kh-* fonts...

Adjust diff rule for the new hb-shape output format

[Indic] Don't move virama with left matra

This is important for the Sinhala U+0DDA split matra since it decomposes
to U+0DD9,U+0DCA where U+0DD9 is a left matra and U+0DCA is the virama.
We don't want to move the virama with the left matra.
TEST: U+0D9A,U+0DDA

Note that we were already doing this in the Uniscribe bug compatibility
mode.  We now do it all the time.

Add Sinhala test case for split matra U+0DDA

Fix test

Minor

API change: Remove "mask" from hb_buffer_add()

I don't expect anybody using hb_buffer_add(), so this shouldn't break
anyone's code.

[util] Add --bot / --eot / --preserve-default-ignorables

Minor

[util] Add --text-before and --text-after to hb-shape / hb-view

Use with Arabic, for example, to see the effect on joining.

Fix UTF-8 backward iteration

Ouch!

[Arabic] Fix post-context handling

Ouch!

Add buffer flags

New API:

hb_buffer_flags_t

HB_BUFFER_FLAGS_DEFAULT
HB_BUFFER_FLAG_BOT
HB_BUFFER_FLAG_EOT
HB_BUFFER_FLAG_PRESERVE_DEFAULT_IGNORABLES

hb_buffer_set_flags()
hb_buffer_get_flags()

We use the BOT flag to decide whether to insert dottedcircle if the
first char in the buffer is a combining mark.

The PRESERVE_DEFAULT_IGNORABLES flag prevents removal of characters like
ZWNJ/ZWJ/...

Minor fix

Ouch

Minor

Add hb_buffer_clear()

Which is like _reset(), but does NOT clear unicode-funcs.

0.9.6

[Indic] Decompose Sinhala split matras the way old HarfBuzz / Pango did

Had to do some refactoring to make this happen...

Under uniscribe bug compatibility mode, we still plit them
Uniscrie-style, but Jonathan and I convinced ourselves that there is no
harm doing this the Unicode way.  This change makes that happen, and
unbreaks free Sinhala fonts.

[hb-shape] Adjust postioning output format

1. If there is any offset (x or y), print out both x and y offsets.

2. Always print out the advance in the major direction of the buffer.
Ie. even for zero-advance glyphs, print a "+0".  This is more intuitive.

[Indic] Update auto-generated Indic machine to reflect previous commit

[Indic] Allow Consonant_Medial's after Consonant's

Mostly affects Myanmar, but also Tai Tham, Javanese, and Cham.  The
latter three are untested (no fonts!).

[Indic] Categorize Myanmar "tone marks" as nuktas

[Indic] Add config for Myanmar

[Indic] Route "new" Myanmar tag through the Indic shaper

Windows 8 adds a Myanmar shaper using the 'mym2' tag.  Route that
through the Indic shaper.  It's still very broken, but at least this
does NOT break old-style Myanmar shaping using the generic shaper.

Choose shaper based on chosen OT script tag

For Arabic and Indic shapers, if the font doesn't have a script system
for the script, use default shaper.

Make an exception for Arabic script since we have fallback logic for
that one.

Make planner available to complex shaper choosing logic

Refactoring ot-map building to make chosen script available earlier

Minor TODO

Add "new" Myanmar OT Script tag

Windows 8 added support for Myanmar shaping using the "mym2" script tag,
even though Windows never supported the old "mymr" tag.

Add Myanmar tests from UTN#11

Break build when ragel is needed and missing

[Indic] Make more room in the table

To be used in upcoming commits.

Typo

[Indic] Port 'pref' logic to look into font tables

...instead of using a hardcoded list of Ra characters.

[Indic] Port reph handling logic to look into font features

...instead of using a hardcoded list of Ra characters.

Route MEETEI_MAYEK through the Indic shaper

Since it has a couple of left-"matras".

Minor

Work around older compilers

As reported on the list:

I am seeing a similar problem building harfbuzz 0.9.5 with Apple gcc
4.0.1 on OS X 10.5 Leopard:

hb-ot-layout-common-private.hh:406: error: 'struct
OT::CoverageFormat1::Iter' is private
hb-ot-layout-common-private.hh:646: error: within this context
hb-ot-layout-common-private.hh:500: error: 'struct
OT::CoverageFormat2::Iter' is private
hb-ot-layout-common-private.hh:647: error: within this context
make[4]: *** [libharfbuzz_la-hb-ot-layout.lo] Error 1

Also reported as happening with MSVC 2005.

[Indic] Don't apply 'liga'

Uniscribe doesn't.  And some fonts abuse this feature to get Indic
shaping working in non-complex applications like Adobe's apps.

No change in numbers:

BENGALI: 353897 out of 354188 tests passed. 291 failed (0.0821598%)
DEVANAGARI: 707337 out of 707394 tests passed. 57 failed (0.00805774%)
GUJARATI: 366440 out of 366457 tests passed. 17 failed (0.00463902%)
GURMUKHI: 60704 out of 60747 tests passed. 43 failed (0.0707854%)
KANNADA: 951046 out of 951913 tests passed. 867 failed (0.0910798%)
KHMER: 299074 out of 299124 tests passed. 50 failed (0.0167155%)
LAO: 53611 out of 53644 tests passed. 33 failed (0.0615167%)
MALAYALAM: 1048011 out of 1048334 tests passed. 323 failed (0.0308108%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271666 out of 271847 tests passed. 181 failed (0.0665816%)
TAMIL: 1091754 out of 1091754 tests passed. 0 failed (0%)
TELUGU: 970557 out of 970573 tests passed. 16 failed (0.00164851%)
TIBETAN: 208469 out of 208469 tests passed. 0 failed (0%)

Fix hb-ft glyph name for broken fonts that return empty glyph names

Minor

U+A872 PHAGS-PA SUPERFIXED LETTER RA is "Right"-Joining

Adjust Mongolian shaping

For U+1880..U+1886 Uniscribe thinks they are non-joining.
For U+1887 Uniscribe thinks it's joining, but looks wrong to me.
For now, match Uniscribe.

Add test for non-joining Mongolian letters

For U+1880..U+1886 Uniscribe thinks they are non-joining.
For U+1887 Uniscribe thinks it's joining, but looks wrong to me.

Minor

Minor

Add Tifinagh test data

Minor

Add Mongolian and 'Phags-pa joining test cases

Implement 'Phags-pa shaping

Through the Arabic shaper.  It's similar to Mongolian.

Minor build fix

Don't clear buffer pre-context if no new context is being provided

Patch from Jonathan Kew.

Part of fixing:

Mozilla Bug 801410 - avoid inserting dotted-circle for run-initial
Unicode combining characters in "simple" scripts such as Latin

https://bugzilla.mozilla.org/show_bug.cgi?id=801410

[OT] Fix ReverseChainingSubst

We should make it clear that we don't want output buffer in this case,
otherwise buffer->backtrack_len() would be wrong.

More tracing fixups

[Arabic] Enable dlig and mset for Arabic

That's what the spec says, and what Uniscribe does.

Ignore gid0 in test results

Add missing TRACE_RETURN

Add Ethiopic test case

This sequence: U+120B,U+135F,U+120B with the Nyala font from Win7
exposes a GPOS bug in Uniscribe, in that the positioned mark is wrongly
moved as a result a following kern.

This is the one "failure" in the Ethiopic test suite :-).

ETHIOPIC: 118900 out of 118901 tests passed. 1 failed (0.000841036%)

[Indic] Position pre-base reordering Ra after Chillus in Malayalam

The logic for pre-base reordering follows the left matra logic.
We had an exception for Malayalam/Tamil in the left matra repositioning
which was not reflected in pre-base reordering.

Malayalam failures down from 337 to 323.

BENGALI: 353996 out of 354285 tests passed. 289 failed (0.0815727%)
DEVANAGARI: 707339 out of 707394 tests passed. 55 failed (0.00777502%)
GUJARATI: 366489 out of 366506 tests passed. 17 failed (0.0046384%)
GURMUKHI: 60769 out of 60809 tests passed. 40 failed (0.0657797%)
KANNADA: 951086 out of 951913 tests passed. 827 failed (0.0868777%)
KHMER: 299106 out of 299124 tests passed. 18 failed (0.00601757%)
LAO: 53611 out of 53644 tests passed. 33 failed (0.0615167%)
MALAYALAM: 1048011 out of 1048334 tests passed. 323 failed (0.0308108%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271726 out of 271847 tests passed. 121 failed (0.0445103%)
TAMIL: 1091837 out of 1091837 tests passed. 0 failed (0%)
TELUGU: 970558 out of 970573 tests passed. 15 failed (0.00154548%)
TIBETAN: 208469 out of 208469 tests passed. 0 failed (0%)

Add missed file

Include config.h.in in tree

I typically don't like including generating files in tree.  But like to
make an exception for this, since this forms the canonical list of
options one would need to go through when building with alternative
build systems.

Improve license information

Minor

Fix hb_buffer_set_length(buffer, 0)

Was causing invalid realloc()s.

Add XXX

Port to ICU LayoutEngine C API

Incidentally, this makes it not crash with icu-le-hb anymore...
I'm not smart / stupid enough to spend two more days debugging C++
linking issues, and this is ABI-stable at least.

Remove unused members

Rename and revamp is_zero_width() to be is_default_ignorable()

That's really the logic desired.  Except that MONGOLIAN VOWEL SEPARATOR
is not default_ignorable but it really should be.  Reported to Unicode.

Based on suggestion from Konstantin Ritt.

Update TODO

0.9.5