[GPOS] Fix interaction of mark attachments and cursive chaining

Fixes https://github.com/behdad/harfbuzz/issues/211

What happens in that bug is that a mark is attached to base first,
then a second mark is cursive-chained to the first mark.  This only
"works" because it's in the Indic shaper where mark advances are
not zeroed.

Before, we didn't allow cursive to run on marks at all.  Fix that.
We also where updating mark major offsets at the end of GPOS, such
that changes in advance of base will not change the mark attachment
position.  That was superior to the alternative (which is what Uniscribe
does BTW), but made it hard to apply cursive to the mark after it
was positioned.  We could track major-direction offset changes and
apply that to cursive in the post process, but that's a much trickier
thing to do than the fix here, which is to immediately apply the
major-direction advance-width offsets...  Ie.:

https://github.com/behdad/harfbuzz/issues/211#issuecomment-183194739

If this breaks any fonts, the font should be fixed to do mark attachment
after all the advances are set up first (kerning, etc).

Finally, this, still doesn't make us match Uniscribe, for I explained
in that bug.  Looks like Uniscribe applies minor-direction cursive
adjustment immediate as well.  We don't, and we like it our way, at
least for now.  Eg. the sequence in the test case does this:

- The first subscript attaches with mark-to-base, moving in x only,
- The second subscript attaches with cursive attachment to first subscript
  moving in x only,
- A final context rule moves the first subscript up by 104 units.

The way we do, the final shift-up, also shifts up the second subscript
mark because it's cursively-attached.  Uniscribe doesn't.  We get:

[ttaorya=0+1307|casubscriptorya=0@-242,104+-231|casubscriptnarroworya=0@20,104+507]

while Uniscribe gets:

[ttaorya=0+1307|casubscriptorya=0@-242,104+-211|casubscriptnarroworya=0+487]

note the different y-offset of the last glyph.  In our view, after cursive,
things move together, period.

Minor

[GPOS] Minor

No effect.

[GPOS] Merge fixing of offsets for cursive and mark attachments

Part of fixing https://github.com/behdad/harfbuzz/issues/211

[GPOS] Divide position_finish() into two phases, for advances and offsets

Right now the position_finish_advances() is empty.  To be used for
spacing attachments proposal later.

[ot] Minor shuffling code around

[GPOS] Add harmless recursion in fix_mark_attachment()

Will do nothing.  Just useful for merging two functions.

[GPOS] Merge attach_chain() and cursive_chain()

Differentiate, using new attach_type().

[GPOS] Minor shuffling

[GPOS] Negate sign of attach_lookback(), and rename it to attach_chain()

No behavior change.  Preparing to unify how cursive and mark attachments
work.

[tests] Add test for advance zeroing of an ASCII letter marked as mark in GDEF

Remove font-dependent ASCII-only perf hack

Is confusing.  I already hit it myself.  Remove.  We can optimize
ASCII based on Unicode properties.  But should not do based on
assumptions on the font.

Fix previous commit!

[tests] Fix fonts in cc4a78bf22c4a735b84c89b04be3bb531f42135e

They had an invalid LookupFlag (32).

Remove now-unused mark zeroing BY_UNICODE

[tests] Add tests for Latin mark zeroing

[tests] Add tests for Thai mark zeroing

Change default mark advance zeroing behavior from Unicode to GDEF

See thread at:
https://lists.freedesktop.org/archives/harfbuzz/2016-February/005462.html

Minor

Merge pull request #164 from fanc999/msvc.build

Enable Build of HarfBuzz under Visual Studio using NMake Makefiles

[README] Add ABI Tracker link

MSVC builds: Add support to build DirectWrite shaping backend

Add into the NMake Makefiles to build the DirectWrite shaping backend,
but as PR #134 mentions, this is considered to be in an experimental state,
so don't include this in the build by default for now.  This is most probably
going to replace the Uniscribe backend eventually, since DirectWrite is meant
to be Uniscribe's replacement, and is needed for Windows Store apps if a
system shaping API is to be used.

build: Build the DirectWrite sources if requested

This adds to the autotools build system so that the (experimental)
DirectWrite support for HarfBuzz is built (and dist'ed).

build: Support Visual Studio builds using NMake

This adds a set of NMake Makefiles that can be used to build HarfBuzz, from
the standard basic build building the minimal HarfBuzz DLL (consisting
of OpenType, fallback and Uniscribe support only), to a full fledged build
consisting of GLib and FreeType support, as well as building the utilities,
the test programs in src/ and test/api, and HarfBuzz-ICU and
HarfBuzz-GObject, and up to building the introspection files.  This means a
flexible build mechanism is supported here, so anything that is supported
for a Windows build (code-wise), should all be supported by this build
system.

As in an earlier commit, the source listings are shared with the autotools
builds with the various Makefile.sources in src/, src/hb-ucdn and util/, and
this set of NMake Makefiles will transform these lists into the form they
want.

In the current form, all the test programs in test/api pass, and this has
been checked successfully with 'make -j8 distcheck'.

MSVC builds: Add a pre-configured config.h(.win32) template

This adds a pre-configured config.h template that can be used for Visual
Studio builds, where autotools is not normally available.  This has the
configs that are suitable for Visual Studio builds, as well as all the
features used for Windows builds enabled (HAVE_OT, HAVE_FALLBACK and
HAVE_UNISCRIBE).

Note that the optional features are not enabled here, they are enabled by
/D's (or -D's) in the NMake Makefiles as requested.

build: Move source listings into separate Makefile snippets

This moves all the source listings in src/Makefile.am,
src/hb-ucdn/Makefile.am and util/Makefile.am into separate Makefile
snippets, so that they may be shared between different Makefile-based
build systems, such as NMake for Visual Studio.

Fix more hangs in case of buffer allocation errors

Hopefully
fixes https://github.com/behdad/harfbuzz/issues/214

Merge pull request #222 from n8willis/master

Add usermanual chapter on cluster levels

Update Makefile.am

Added initial usermanual chapter on cluster levels.

Merge pull request #216 from mhosken/master

Refactor graphite2 to make ovleraps into negative width spaces

Refactor graphite2 to make ovleraps into negative width spaces

Fix compiler warning

Fixes https://github.com/behdad/harfbuzz/issues/212

Minor

[fuzzing] Fuzz input text

Very rudimentary right now, but will get kcc's bot going.

From
https://github.com/behdad/harfbuzz/issues/139#issuecomment-163580783

[OT] Get list of lookup subtables once and loop through them

This speeds up shaping the Amiri font by over 15%.

This was primarily needed for my work on OpenType GX, since
we will be collecting only sublookups that are "active" for
current font instance; but it's a nice boost in general as
well.

We might, in the future, collect subtables in the lookup_accel.
That would also allow us to do a per-subtbale set-digest, which
should speed things up some more, specially for ContextChainFormat3
lookups...  Amiri, for example, contains one lookup with 53
subtables!

1.1.3

[docs] Minor fixes.

[coretext] Speed up CoreText font fallback

Fixes https://code.google.com/p/chromium/issues/detail?id=547912

Add Homebrew build instructions

Don't build hb-fuzzer in "make", only "make check"

Add 9 reserved entries to hb_font_extents_t

Might add italic-angle, underline/strikethrough-position/thickness
in the future.  Do this before new struct goes into a release.

[uniscribe] Fix negative advance

This happens with at least one test font I have.

[test] Add test text for Kaithi

Increase sanitize edit count from 8 to 32

See previous commit.

Don't count fixing-up FeatureParams offset as error

The font Garamond Premier Pro Caption (and possibly many other
Adobe fonts), have many FeatureParamsSize tables with the old
wrong offset.  We handle fixing those up, but they were still
contributing to edit_count, and when I reduced HB_SANITIZE_MAX_EDIT
from 100 to 8 in 14c2de321826c36037adde859ccca3e2011325a9, these
fonts were now getting GPOS dropped and hence kerning disabled.

Fix, by not counting edits made towareds offset fix-up.  I'll
also increase edit count again, in the next commit.

Check magicNumber in head table during sanitize

Merge pull request #208 from khaledhosny/travis-trusty

[travis] Try building on Trusty

[travis] Try building on Trusty

Trusty has gtk-doc 1.20 which has better markdown support which should
fix some of the brokenness in the newly added documentation. The build
seems to be as fast as the current container-based build on Precise.

[travis] Only run coveralls if testing behdad/harfbuzz

Fixes failures in others' forks, like:
https://travis-ci.org/khaledhosny/harfbuzz/jobs/99719710#L3912

Merge pull request #207 from khaledhosny/docs-4

[docs] More buffers documentation

[docs] More buffers documentation

Merge pull request #205 from khaledhosny/more-docs

More docs

Merge pull request #206 from nico/patch-3

Remove unused HB_SHAPER_DATA_ENSURE_DECLARE lines.

Remove unused HB_SHAPER_DATA_ENSURE_DECLARE lines.

The coretext_aat shaper delegates to the regular coretext_..._ensure() functions, so coretext_aat_..._ensure() functions defined by these macros are unused. The compiler warns about them, which in turn can confuse people to think that the coretext_aat_..._ensure() functions weren't called by accident.

[docs] Reduce gtkdoc-check errors

Now it is just reporting one error about “503 undocumented or incomplete
symbols”, that will be the easy part I guess.

[docs] Typo

Merge pull request #203 from nico/patch-1

Remove unused `retry:` label.

[docs] Minor

[docs] Fix up build, really

[docs] Turn bash tracing on

[docs] Another try, not sure why the bot isn't building

[docs] Shuffling code around in deploy-docs.sh

Temporarily makes it rebuild docs on every change again.

Merge pull request #202 from khaledhosny/doc-fixes

Doc fixes

[docs] A bit more buffers documentation

[docs] A bit more buffers documentation

[docs] Some documentation on buffers

Some of it (create, reference, destroy) are adapted from Cairo docs.

[docs] Fix comment syntax

To lower the number of gtk-doc warnings.

Remove unused `retry:` label.

Fixes a -Wunused-label warning when building harfbuzz with clang -Wall.

[docs] Ignore the new HB_EXTERN decoration

Otherwise, almost all API functions are not extracted.

Fix previous commit

[travis] Build docs only on tagged revisions

Lets see if it works…

[travis] Remove secure var

I've set up a secure var for behdad/harfbuzz through Travis web interface, no need
to set the var here.

Merge pull request #199 from behdad/travis-docs

Deploy docs to gh-pages branch from Travis builds

Fix flaky test

This test font had a upem of 769, which results in rounding-related errors with
the FreeType font funcs.  Change the upem to 1024 to fix that.

Fixes https://github.com/behdad/harfbuzz/issues/201

[tests] Add --reference, for re-recording tests

Move more docs from FreeDesktop page

Rename user manual files

Use chapter ids instead of numbers, so that we can reorder them,
introduce new ones etc. without the numbers becoming out of date.

Intro from freedesktop.org/wiki/Software/HarfBuzz/

Deploy docs to gh-pages branch from Travis builds

Build docs in Travis and push them to the gh-pages branch, which makes
them available at http://behdad.github.io/harfbuzz/

[layout] Collect coverage glyphs in PairPos

Apparently class=0 is used for ClassDef1.  See:
https://github.com/adobe-type-tools/afdko/issues/90

[python] Hook up sample debugger

[buffer] Add debugging, aka, message, API

Currently just announces lookup applications.  Message-API *will* change.
hb-shape / hb-view are updated to print-out messages to stder if --debug
is specified.

Don't deserialize positions if buffer has no positions

[use] Only set syllable-based topographical features if not Arabic-joining

[indic] Followup fix for Malayalam context matching

We regeressed Malayalam in 508cc3d3cfcfb0383df0fe795cc28db4e0fd5729
This brings down the failures to 198 (from 750).

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707307 out of 707394 tests passed. 87 failed (0.0122987%)
GUJARATI: 366349 out of 366457 tests passed. 108 failed (0.0294714%)
GURMUKHI: 60732 out of 60747 tests passed. 15 failed (0.0246926%)
KANNADA: 951190 out of 951913 tests passed. 723 failed (0.0759523%)
KHMER: 299070 out of 299124 tests passed. 54 failed (0.0180527%)
MALAYALAM: 1048136 out of 1048334 tests passed. 198 failed (0.0188871%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271662 out of 271847 tests passed. 185 failed (0.068053%)
TAMIL: 1091753 out of 1091754 tests passed. 1 failed (9.15957e-05%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)
MYANMAR: 1123865 out of 1123883 tests passed. 18 failed (0.00160159%)

[indic] Update data tables to Unicode 8.0

Test stats remain unchanged, except for Malayalam, which we investigate:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707307 out of 707394 tests passed. 87 failed (0.0122987%)
GUJARATI: 366349 out of 366457 tests passed. 108 failed (0.0294714%)
GURMUKHI: 60732 out of 60747 tests passed. 15 failed (0.0246926%)
KANNADA: 951190 out of 951913 tests passed. 723 failed (0.0759523%)
KHMER: 299070 out of 299124 tests passed. 54 failed (0.0180527%)
MALAYALAM: 1047584 out of 1048334 tests passed. 750 failed (0.0715421%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271662 out of 271847 tests passed. 185 failed (0.068053%)
TAMIL: 1091753 out of 1091754 tests passed. 1 failed (9.15957e-05%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

Myanmar, compared to Windows 10 mmrtext.ttf:

MYANMAR: 1123865 out of 1123883 tests passed. 18 failed (0.00160159%)

Remove HB_OT_SHAPE_ZERO_WIDTH_MARKS_DEFAULT

The DEFAULT naming wasn't helpful, so just remove it.

[indic] Allow context when matching for Malayalam new-spec

Test sequence:
U+0995,U+09CD,U+09B0

With Nirmala shipped on Windows 10, this failed to form the below form.
Works now.

Reported by Sairus.

[uniscribe] Handle E_NOT_SUFFICIENT_BUFFER as well as E_OUTOFMEMORY

On Windows 10 we are seeing that other error message...

Test sequence: U+0995,U+-9CD,U+09B0
With Nirmala shipped on Windows 10, this failed to form the below form.
Works now.

Reported by Sairus.

[util] Use O_BINARY instead of _O_BINARY

The latter doesn't seem to be available in Cygwin.  I'm surprised it
compiled before...

Fix ligature component of a mark happening after a ligature within a ligature!

Say, if we are ligating "A B_C m D", then previously 'm' was being
attached to 'B' in the combined A_B_C_D ligature.  Now we attach it
to 'C'.  No test for this though :(.

Improve ligature-component handling

We use three bits for lig_id these days, so we finally got a report of
two separate ligatures with the same lig_id happening adjacent to each
other, and then the component-handling code was breaking things.
Protect against that by ignoring same-lig-id but lig-comp=0 glyphs after
a new ligature.

Fixes https://github.com/behdad/harfbuzz/issues/198

[use] Fix halant detection

Before, we were just checking the use_category().  This detects as
halant a ligature that had the halant as first glyph (as seen in
NotoSansBalinese.)  Change that to use the is_ligated() glyph prop
bit.  The font is forming this ligature in ccmp, which is before
the rphf / pref tests.  So we need to make sure the "ligated" bit
survives those tests.  Since those only check the "substituted" bit,
we now only clear that bit for them and "ligated" survives.

Fixes https://github.com/behdad/harfbuzz/issues/180

[arabic] Use glyph advance width in apply_stch() instead of extents

That seems to be what Windows is doing, and makes more sense.

Fix Since: tags for new API

https://github.com/behdad/harfbuzz/commit/e1d4d0f1dbd8518b5672245c05d73f22a9ed03ea#commitcomment-15006653

Merge pull request #196 from srl295/aix

AIX fixes

AIX fixes

- use '-w' instead of '\<...\>' for check-header-guards
  grep manpage says these are the same

- put '-q' first in the grep options

- move VAR into hb-private.hh

- hb-font-private.hh - use [VAR] instead of [] for variable array

Limit use of AIX intrinsics to IBM's compiler

Merge branch 'font-extents'

Fixes https://github.com/behdad/harfbuzz/pull/165