Better glyph offset support

Don't fail when language is not set

Make DirectWrite backend to work with different font sizes

Actually copyedited same logic from Uniscribe to make it just work

1.2.4

Synthesize GDEF glyph class for any glyph that does not have one in GDEF

Previously we only synthesized GDEF glyph classes if the glyphClassDef
array in GDEF was null.  This worked well enough, and is indeed what
OpenType requires: "If the font does not include a GlyphClassDef table,
the client must define and maintain this information when using the
GSUB and GPOS tables."  That sentence does not quite make sense since
one needs Unicode properties as well, but is close enough.

However, looks like Arial Unicode as shipped on WinXP, does have GDEF
glyph class array, but defines no classes for Hebrew.  This results
in Hebrew marks not getting their widths zeroed.  So, with this change,
we synthesize glyph class for any glyph that is not specified in the
GDEF glyph class table.  Since, from our point of view, a glyph not
being listed in that table is a font bug, any unwanted consequence of
this change is a font bug :).

Note that we still don't get the same rendering as Uniscribe, since
Uniscribe seems to do fallback positioning as well, even though the
font does have a GPOS table (which does NOT cover Hebrew!).  We are
not going to try to match that though.

Test string for Arial Unicode:

U+05E9,U+05B8,U+05C1,U+05DC

Before: [gid1166=3+991|gid1142=0+737|gid5798=0+1434]
After: [gid1166=3+991|gid1142=0+0|gid5798=0+1434]
Uniscribe: [gid1166=3+991|gid1142=0@348,0+0|gid5798=0+1434]

Note that our new output matches what we were generating until July
2014, because the Hebrew shaper used to zero mark advances based on
Unicode, NOT GDEF.  That's 9e834e29e0b657f0555df1ab9cea79ff7abcf08d.

Reported by Greg Douglas.

Merge pull request #232 from c0nk/wip-icu

Add --with-icu=builtin option; fix compile error

[build] Use tar-ustar instead of tar-pax

The default tar-v7 is not good enough for us (99 char filename
limit), so I have had bumped to tar-pax.  We got one complaint
that someone's tar couldn't handle tar-pax.  Set to tar-ustar
which is ~13 years earlier than tar-pax and is good enough for us.

Minor comment

Remove default clause in minor switch statements

Bending to clang warnings...
https://bugs.chromium.org/p/chromium/issues/detail?id=593057

Merge pull request #231 from KonstantinRitt/post123buildfix

Fix build with HB_DISABLE_DEPRECATED

Fix requiredFeature stage handling logic

Originally the way Jonathan had written this was correct in
"continue"ing:

https://github.com/jfkthame/harfbuzz/commit/35e28c7a733eaffcd9f062b18d7db9fbb3d990fc#diff-ead86a33a5cc9ad7f6e6381031a0baddR199

When I rewrote his patch, I messed it up:

https://github.com/behdad/harfbuzz/commit/da132937989acb4d8ca9bd41c79f98750e7dda30#diff-ead86a33a5cc9ad7f6e6381031a0baddR209

the intended behavior was NOT to set found=TRUE and NOT to continue.
This was resulting in feature_index[table_index] being left unset.
Oops!

Add F2DOT14 type

Use FWORD and UFWORD when it makes sense

I had forgotten about those types.

Fix missing ICU #include

Fix compile error in hb-icu.cc when ICU configured with
U_NO_DEFAULT_INCLUDE_UTF_HEADERS=1

Add --with-icu=builtin configure option

Fix build with HB_DISABLE_DEPRECATED

When HB_DISABLE_DEPRECATED is defined, no code from hb-deprecated.h
should be used, even from within HB itself.

Speed up buffer variable allocation sanity check

This makes defining HB_NDEBUG much less relevant, to the
point of irrelevance.  Sorry about all the fuss in previous
release!

Add HB_NDEBUG

API changes:
- If NDEBUG is defined, define HB_NDEBUG
- Disable costlier sanity checks if HB_NDEBUG is defined.

In 1.2.3 introduced some code to disable costly sanity checks if
NDEBUG is defined.  NDEBUG, however, disables all assert()s as
well.  With HB_NDEBUG, one can disable costlier checks but keep
assert()s.

I'll probably add a way to define HB_NDEBUG automatically in
release tarballs.  But for now, production systems that do NOT
define NDEBUG, are encouraged to define HB_NDEBUG for our build.

1.2.3

Disable internal buffer variable bookkeeping in NDEBUG builds

Saves some sweet time and binary size!

Add blacklist signature for Times New Roman (Bold) Italic on OS X

[test] Pass closure to hb_font_set_glyph_func()

Exercises fix in c335fd7986fe360ab8e1c032c9b988d0d30511eb

Blacklist GDEF table of timesi.ttf and timesbi.ttf on Win 7

See discussion:
https://lists.freedesktop.org/archives/harfbuzz/2016-February/005489.html

In trampoline implementation of get_glyph(), don't destroy user data twice!

[ot-font] Accelerate cmap format4 get_glyph

[ot-font] Towards accelerating get_glyph()

[ot-font] Remove level of indirection in get_glyph_variant

[TODO] Update

This file is rather obsolete.  Still, give it a refresh.

Add get_nominal_glyph() and get_variation_glyph() instead of get_glyph()

New API:
- hb_font_get_nominal_glyph_func_t
- hb_font_get_variation_glyph_func_t
- hb_font_funcs_set_nominal_glyph_func()
- hb_font_funcs_set_variation_glyph_func()
- hb_font_get_nominal_glyph()
- hb_font_get_variation_glyph()

Deprecated API:
- hb_font_get_glyph_func_t
- hb_font_funcs_set_glyph_func()

Clients that implement their own font-funcs are encouraged to replace
their get_glyph() implementation with a get_nominal_glyph() and
get_variation_glyph() pair.  The variation version can assume that
variation_selector argument is not zero.

1.2.2

Fix recent test

Not sure why the FT functions were returning advance 1024.  This
caused failure on drone.io.  Switch to hb-ot-font and disable
glyph names.

[tests] Fix for multiple options in test runner scripts

Partially revert 86c68c7a2c971efe8e35b1f1bd99401dc8b688d2

That commit moved the advance adjustment for mark positioning to
be applied immediately, instead of doing late before.  This breaks
if mark advances are zeroed late, like in Arabic.  Also, easier to
hit it in RTL scripts since a single mark with non-zero advance is
enough to hit the bug, whereas in LTR, at least two marks are needed.

This reopens https://github.com/behdad/harfbuzz/issues/211
The cursive+mark interaction is broken again.  To be fixed in a
different way.

Add test for mark positioning in rtl with non-zero mark advance

Apparently I broke this 86c68c7a2c971efe8e35b1f1bd99401dc8b688d2.
Fix coming.

[tests] Allow commenting out tests to be skipped

[Android.mk] Update with warning flags

1.2.1

Add note re only adding tests with Free Software fonts

[test] Add README about how to add shaping tests

Remove MANIFEST files

They are unused currently.  We can add later if we hook them up
to anything useful.

In cluster-level=0, group ZWJ/ZWNJ with previous cluster

This better emulates Unicode grapheme clusters.

Note that Uniscribe does NOT do this, but should be harmless with most clients,
and improve fallback with clients that use HarfBuzz cluster as unit of fallback.

Fixes https://github.com/behdad/harfbuzz/issues/217

Minor

[coretext] Move CTFont construction to face_data

[coretext] Move code around

[coretext] Move code around

[build] git.mk fix for m4/gtk-doc.m4

[win32] Install git.mk

Make FixedVersion a template

[coretext] Fix leak!

[coretext] Move code around

[coretext] Ignore PPEM in font size selection

[coretext] Limit grapheme-cluster forming to cluster-level=0

[coretext] Fix shaping with varying font size

Fixes https://github.com/libass/libass/issues/212

1.2.0

[fuzzing] Add test for recent fix

Test from https://github.com/behdad/harfbuzz/issues/223

I forgot that we do run hb-fuzzer on tests in shaping/tests/fuzzed.tests.

[fuzzing] Make test runner actually work

[fuzzing] Add TODO item

Avoid buffer->move_to() in case of buffer error

Fixes https://github.com/behdad/harfbuzz/issues/223

Right now we cannot test this because it has to be tested using hb-fuzzer.
We should move all fuzzing tests from test/shaping/tests/fuzzed.tests to
test/fuzzing/ and have its own test runner.  At that point, should add
test from this issue as well.

[fuzzing] Make "make hb-fuzzer" build lib dependency

Not going to do with util/, but is convenient here.

Remove pointless overflow check in pointer math

Fixes https://github.com/behdad/harfbuzz/issues/227

Emoji skin tone modifiers need to be treated as combining marks

Fixes https://github.com/behdad/harfbuzz/issues/169

[USE] Zero mark advances by GDEF early

This is what Microsoft's implementation does.  Marks that need advance
need to add it back using 'dist' or other feature in GPOS.  Update tests to
match.

[GPOS] Fix interaction of mark attachments and cursive chaining

Fixes https://github.com/behdad/harfbuzz/issues/211

What happens in that bug is that a mark is attached to base first,
then a second mark is cursive-chained to the first mark.  This only
"works" because it's in the Indic shaper where mark advances are
not zeroed.

Before, we didn't allow cursive to run on marks at all.  Fix that.
We also where updating mark major offsets at the end of GPOS, such
that changes in advance of base will not change the mark attachment
position.  That was superior to the alternative (which is what Uniscribe
does BTW), but made it hard to apply cursive to the mark after it
was positioned.  We could track major-direction offset changes and
apply that to cursive in the post process, but that's a much trickier
thing to do than the fix here, which is to immediately apply the
major-direction advance-width offsets...  Ie.:

https://github.com/behdad/harfbuzz/issues/211#issuecomment-183194739

If this breaks any fonts, the font should be fixed to do mark attachment
after all the advances are set up first (kerning, etc).

Finally, this, still doesn't make us match Uniscribe, for I explained
in that bug.  Looks like Uniscribe applies minor-direction cursive
adjustment immediate as well.  We don't, and we like it our way, at
least for now.  Eg. the sequence in the test case does this:

- The first subscript attaches with mark-to-base, moving in x only,
- The second subscript attaches with cursive attachment to first subscript
  moving in x only,
- A final context rule moves the first subscript up by 104 units.

The way we do, the final shift-up, also shifts up the second subscript
mark because it's cursively-attached.  Uniscribe doesn't.  We get:

[ttaorya=0+1307|casubscriptorya=0@-242,104+-231|casubscriptnarroworya=0@20,104+507]

while Uniscribe gets:

[ttaorya=0+1307|casubscriptorya=0@-242,104+-211|casubscriptnarroworya=0+487]

note the different y-offset of the last glyph.  In our view, after cursive,
things move together, period.

Minor

[GPOS] Minor

No effect.

[GPOS] Merge fixing of offsets for cursive and mark attachments

Part of fixing https://github.com/behdad/harfbuzz/issues/211

[GPOS] Divide position_finish() into two phases, for advances and offsets

Right now the position_finish_advances() is empty.  To be used for
spacing attachments proposal later.

[ot] Minor shuffling code around

[GPOS] Add harmless recursion in fix_mark_attachment()

Will do nothing.  Just useful for merging two functions.

[GPOS] Merge attach_chain() and cursive_chain()

Differentiate, using new attach_type().

[GPOS] Minor shuffling

[GPOS] Negate sign of attach_lookback(), and rename it to attach_chain()

No behavior change.  Preparing to unify how cursive and mark attachments
work.

[tests] Add test for advance zeroing of an ASCII letter marked as mark in GDEF

Remove font-dependent ASCII-only perf hack

Is confusing.  I already hit it myself.  Remove.  We can optimize
ASCII based on Unicode properties.  But should not do based on
assumptions on the font.

Fix previous commit!

[tests] Fix fonts in cc4a78bf22c4a735b84c89b04be3bb531f42135e

They had an invalid LookupFlag (32).

Remove now-unused mark zeroing BY_UNICODE

[tests] Add tests for Latin mark zeroing

[tests] Add tests for Thai mark zeroing

Change default mark advance zeroing behavior from Unicode to GDEF

See thread at:
https://lists.freedesktop.org/archives/harfbuzz/2016-February/005462.html

Minor

Merge pull request #164 from fanc999/msvc.build

Enable Build of HarfBuzz under Visual Studio using NMake Makefiles

[README] Add ABI Tracker link

MSVC builds: Add support to build DirectWrite shaping backend

Add into the NMake Makefiles to build the DirectWrite shaping backend,
but as PR #134 mentions, this is considered to be in an experimental state,
so don't include this in the build by default for now.  This is most probably
going to replace the Uniscribe backend eventually, since DirectWrite is meant
to be Uniscribe's replacement, and is needed for Windows Store apps if a
system shaping API is to be used.

build: Build the DirectWrite sources if requested

This adds to the autotools build system so that the (experimental)
DirectWrite support for HarfBuzz is built (and dist'ed).

build: Support Visual Studio builds using NMake

This adds a set of NMake Makefiles that can be used to build HarfBuzz, from
the standard basic build building the minimal HarfBuzz DLL (consisting
of OpenType, fallback and Uniscribe support only), to a full fledged build
consisting of GLib and FreeType support, as well as building the utilities,
the test programs in src/ and test/api, and HarfBuzz-ICU and
HarfBuzz-GObject, and up to building the introspection files.  This means a
flexible build mechanism is supported here, so anything that is supported
for a Windows build (code-wise), should all be supported by this build
system.

As in an earlier commit, the source listings are shared with the autotools
builds with the various Makefile.sources in src/, src/hb-ucdn and util/, and
this set of NMake Makefiles will transform these lists into the form they
want.

In the current form, all the test programs in test/api pass, and this has
been checked successfully with 'make -j8 distcheck'.

MSVC builds: Add a pre-configured config.h(.win32) template

This adds a pre-configured config.h template that can be used for Visual
Studio builds, where autotools is not normally available.  This has the
configs that are suitable for Visual Studio builds, as well as all the
features used for Windows builds enabled (HAVE_OT, HAVE_FALLBACK and
HAVE_UNISCRIBE).

Note that the optional features are not enabled here, they are enabled by
/D's (or -D's) in the NMake Makefiles as requested.

build: Move source listings into separate Makefile snippets

This moves all the source listings in src/Makefile.am,
src/hb-ucdn/Makefile.am and util/Makefile.am into separate Makefile
snippets, so that they may be shared between different Makefile-based
build systems, such as NMake for Visual Studio.

Fix more hangs in case of buffer allocation errors

Hopefully
fixes https://github.com/behdad/harfbuzz/issues/214

Merge pull request #222 from n8willis/master

Add usermanual chapter on cluster levels

Update Makefile.am

Added initial usermanual chapter on cluster levels.

Merge pull request #216 from mhosken/master

Refactor graphite2 to make ovleraps into negative width spaces

Refactor graphite2 to make ovleraps into negative width spaces

Fix compiler warning

Fixes https://github.com/behdad/harfbuzz/issues/212

Minor

[fuzzing] Fuzz input text

Very rudimentary right now, but will get kcc's bot going.

From
https://github.com/behdad/harfbuzz/issues/139#issuecomment-163580783

[OT] Get list of lookup subtables once and loop through them

This speeds up shaping the Amiri font by over 15%.

This was primarily needed for my work on OpenType GX, since
we will be collecting only sublookups that are "active" for
current font instance; but it's a nice boost in general as
well.

We might, in the future, collect subtables in the lookup_accel.
That would also allow us to do a per-subtbale set-digest, which
should speed things up some more, specially for ContextChainFormat3
lookups...  Amiri, for example, contains one lookup with 53
subtables!

1.1.3

[docs] Minor fixes.