Tweak input matching some more

Followup to 8b2c94c43fd335b944d5e5487265706b8e0f9041

Allow matching sequences of marks attached to different ligatures,
as supposedly the base of the subsequent marks were already jumped
over.

Add test for U+0A51

New Indic numbers are:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707307 out of 707394 tests passed. 87 failed (0.0122987%)
GUJARATI: 366355 out of 366457 tests passed. 102 failed (0.0278341%)
GURMUKHI: 60729 out of 60747 tests passed. 18 failed (0.0296311%)
KANNADA: 951201 out of 951913 tests passed. 712 failed (0.0747968%)
KHMER: 299071 out of 299124 tests passed. 53 failed (0.0177184%)
MALAYALAM: 1048136 out of 1048334 tests passed. 198 failed (0.0188871%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271662 out of 271847 tests passed. 185 failed (0.068053%)
TAMIL: 1091754 out of 1091754 tests passed. 0 failed (0%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

Before 71c0a1429db7c7e7e32507be248c9457e1cbfc7d GURMUKHI used to be at 15,
because Uniscribe seems to allow this character standalone, but that looks
wrong.

Tweak ligature component matching for ligature formation

If two marks want to ligate and they belong to different components of the
same ligature glyph, and said ligature glyph is to be ignored according to
mark-filtering rules, then allow.

Example Burmese senquence:

  U+1004,U+103A,U+1039,U+101B,U+103D,U+102D

Test font provided by Norbert Lindenberg.

Fixes https://github.com/behdad/harfbuzz/issues/545

[indic] Fix shaping of U+0A51

Mark it as matra below to allow the sequence U+0A15, U+0A51, U+0A47.
Oh well...

Fixes https://github.com/behdad/harfbuzz/issues/524

[ucdn] Oops!

Remove some really old cruft

[ucdn] Update README

[ot] Improve shaper selection heuristic

[use] Hack to fix shaping of U+1A7F

Fixes https://github.com/behdad/harfbuzz/issues/525

[ucdn] Update to Unicode 10

Update to commit c000ebf79c095a7d58cf90090bde5715592c4834
plus this bug-fix: https://github.com/grigorig/ucdn/issues/18

[use] Update to Unicode 10

Minor

Add Unicode 10 scripts

[indic] Update table to Unicode 10

[indic] Add test for 1a0a356a0f2b2932581e4fd0437c01c058f4f6d1

https://github.com/behdad/harfbuzz/issues/538

[indic] Move manual code out of generated table

[arabic] Update table to Unicode 10 data

[indic] Categorize U+0980 BENGALI ANJI as placeholder

Fixes https://github.com/behdad/harfbuzz/issues/538

[shape-plan] Don't look for a cached plan if variation coords are specified. Fixes #549. (#550)

This is a temporary hack just to avoid incorrect shaping results, pending proper support
for caching shape-plans with variation coordinates.

Add RELEASING.md to dist

Add release checklist (#529)

Fix missing xscale in rtl graphite unpacking (#541)

* Fix missing xscale in rtl graphite unpacking

* Oops didn't need to mess with yscale

Use strtod_l() to correctly parse decimal numbers in French & other locales

Test with, eg.:
$ LC_ALL=fr_FR.utf-8 ./hb-view NotoSansArabic-VF.ttf بهداد --variations wght=1.2

[util] Add a few shorthand forms for commandline options

-o, -O, -u, -v, -V

1.5.1

Fix buffer_diff for empty buffers

If buffers are empty, content type should be ignored.

This fixes last of the failing tests: fuzzed.tests.  Green again!

[unsafe-to-break] Fix unsafe-to-break for cluster-level=1

Fixes tests/shaping/tests/cluster.tests

Minor

[util] Add --unicodes to hb-view / hb-shape

Fixes https://github.com/behdad/harfbuzz/issues/154

Minor

Minor

Add test accidentally removed in previous commit

[indic] Treat Consonant_With_Stacker as consonant

Fixes https://github.com/behdad/harfbuzz/issues/528
"Kannada JIHVAMULIYA and UPADHMANIYA insert dotted circles"

[unsafe-to-break] Mark during fraction-slash formation

Fixes tests/automatic-fractions.tests

[util] Fix cluster sweeping during --verify

If *I* get this wrong in 2017, I have no idea how others get their head around
cluster math...

Fixes tests/arabic-fallback-shaping.tests

[util] When --verify fails, return reconstructed shape results

hb_buffer_diff() tweak

I like to have a mode where CONTAINS_NOTDEF and CONTAINS_DOTTEDCIRCLE are not
returned.  Abused a value of -1 for that.  hb-shape now uses it.  Fixes two
of the six tests failing with --verify in test/shaping/run-tests.sh.

1.5.0

[docs] Minor

[test] Add --verify to hb-shape

Disabled for now.  Will enable and fix failures after next release.

Add hb_glyph_info_get_glyph_flags()

New API.

Rename HB_BUFFER_DIFF_FLAG_MASK_MISMATCH to HB_BUFFER_DIFF_FLAG_GLYPH_FLAGS_MISMATCH

[util] Prefix trace lines with "trace:", and error lines with "error:"

[util] Respect eot/bot in safe-to-break test; hook up hb_buffer_diff()

Fix warning about "may be used uninitialized"

Fix signed/unsigned warning (#522)

Change hb_buffer_diff to explicitly cast result of abs to unsigned when
comparing with position_fuzz to avoid unsafe signed/unsigned comparions
warnings on windows.

Minor

[util] Fix leaks

Fix typo

Add function to compare two buffers

Based on patch from Jonathan Kew.

Needs more cleaning up and documentation.

New API:
hb_buffer_diff_flags_t
hb_buffer_diff()

[graphite2] Fix warning

[unsafe-to-break] Mark all positions as unsafe in alternative shapers

[unsafe-to-break] Towards verifying unsafe-to-break in --verify

We break and shape fragments and reconstruct shape result from them.
Remains to compare to original buffer.  Going to add some buffer
comparison API and use here, instead of open-coding.

Fix hb_buffer_append()

Ouch!

[unsafe-to-break] Copy flag to all glyphs in a cluster

Makes consumption easier.

[unsafe-to-break] Mark unsafe is cluster merging is disabled

We were relying on cluster merges not requiring unsafe flagging because
they get merged.  If cluster level requests no merging, then we flag
unsafe when merge would have happened.

New API: hb_buffer_append()

[util] Add --verify to hb-shape / hb-view that verifies shape results

Right now it checks for monotone cluster values.  Other checks to be added.

[unsafe-to-break] Fix Use-of-uninitialized-value in unsafe_to_break_set_mask

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3011

[unsafe-to-break] Flag in Thai PUA shaping

[unsafe-to-break] Flag in Hangul shaper

[unsafe-to-break] Flag during mark attachment

Fix test

[unsafe-to-break] Flag during cursive positioning

[unsafe-to-break] Flag during kerning

[unsafe-to-break] Flag during fallback positioning

[unsafe-to-break] Be careful with flag propagation when merging clusters

Set mask to 0, instead of 1, by default

This shouldn't matter.

[unsafe-to-break] Mark Indic-like clusters as unsafe-to-break

[unsafe-to-break] Allocate public bits from 0

[safe-to-break] Fix logic when there is no out-buffer

[unsafe-to-break] Simplify logic

Always use the algorithm for non-monotone case.  It's more robust.

[unsafe-to-break] Add UNSAFE_TO_BREAK flag

Not all shapers code is updated to set this properly.
GSUB and Arabic shaper are updated.
GPOS and other shapers are NOT.

Fixes https://github.com/behdad/harfbuzz/issues/224

[util] Fix two other Coverity warnings

[util] Fix warning

[ft] Fix theoretical leak

Treat HAMZA ABOVE similar to SHADD for sorting purposes

Part of https://github.com/behdad/harfbuzz/issues/509

Protect against div-by-zero in CBDT extent code

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=1452#c5

CC https://github.com/behdad/harfbuzz/issues/139

Add tests for 'avar' fix 5dc30451b80f6bb0079424a130875c10486e4d34

1.4.8

Two fixes to avar mapping

1. Handle segment with two entries correctly,

2. Fix rounding math.  Ouch!

Fixes https://github.com/behdad/harfbuzz/issues/521

[check-defs/symbols.sh] Drop empty-symbol lines

Fixes https://github.com/behdad/harfbuzz/issues/510

[hb-shape] Rename --show-messages to --trace

https://github.com/behdad/harfbuzz/issues/506

[hb-shape] Improve shaping-debug output

Before, that was printed using --debug (and in both hb-shape and hb-view).
Changed it, now hb-shape has a new command-line argument called --show-messages.
When invoked, it also respects other output formatting options.  The messages
are better formatted and printed to te same place that hb-shape output is
directed to.  Previously they were written to stderr.

Fixes https://github.com/behdad/harfbuzz/issues/506

Unbreak arm-none-eabi build again (#514)

1.4.7

[arabic] Adjust feature order again

Fixes https://github.com/behdad/harfbuzz/issues/505

[coretext] Allow to disable kern (#508)

* Minor

* [coretext] Fix leak

* [coretext] Do not reset num_features

* [coretext] allow to disable kern; re-enabling doesn't seem to be working

[use] Allow up to two medial-below letters

Fixes https://github.com/behdad/harfbuzz/issues/376

[use] Fix shaping of U+AA29 CHAM VOWEL SIGN AA

Part of https://github.com/behdad/harfbuzz/issues/376
Also see https://github.com/roozbehp/unicode-data/issues/6

Test added, using NotoSansCham built from Noto Phase III sources.

[indic] Add github URL

[indic] Fix https://github.com/behdad/harfbuzz/issues/478

[indic] Disable automatic ZWNJ handling for Indic features

Fixes https://github.com/behdad/harfbuzz/issues/294

Also fixes a bunch of other Indic issues.  Test results after:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707307 out of 707394 tests passed. 87 failed (0.0122987%)
GUJARATI: 366355 out of 366457 tests passed. 102 failed (0.0278341%)
GURMUKHI: 60732 out of 60747 tests passed. 15 failed (0.0246926%)
KANNADA: 951201 out of 951913 tests passed. 712 failed (0.0747968%)
KHMER: 299071 out of 299124 tests passed. 53 failed (0.0177184%)
MALAYALAM: 1048136 out of 1048334 tests passed. 198 failed (0.0188871%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271662 out of 271847 tests passed. 185 failed (0.068053%)
TAMIL: 1091754 out of 1091754 tests passed. 0 failed (0%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

Before:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707307 out of 707394 tests passed. 87 failed (0.0122987%)
GUJARATI: 366349 out of 366457 tests passed. 108 failed (0.0294714%)
GURMUKHI: 60732 out of 60747 tests passed. 15 failed (0.0246926%)
KANNADA: 951190 out of 951913 tests passed. 723 failed (0.0759523%)
KHMER: 299070 out of 299124 tests passed. 54 failed (0.0180527%)
MALAYALAM: 1048136 out of 1048334 tests passed. 198 failed (0.0188871%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271662 out of 271847 tests passed. 185 failed (0.068053%)
TAMIL: 1091753 out of 1091754 tests passed. 1 failed (9.15957e-05%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

[indic] Add infrastructure to disable ZWNJ-skipping in context-matching

Not used yet.

Shaping tests for Tibetan vowels (#446)

* Shaping tests for Tibetan vowels

* Test-cases for the Dzongkha contractions with multiple vowel-signs added.

* going to be removed

* Extended contraction-test-cases to all test cases in contractions.txt that actually use multiple-vowels (113 cases)

Fix for reordering of Tibetan vowel u (#443)

* Undone change for Tibetan vowel u

* removed comment on reordering that became invalid with roll-back

* Support for Dzongkha contractions with multiple vowel-signs

* Removed non-functional and unnecessary defines for HB_MODIFIED_COMBINING_CLASS_CCC138,140

Win32/NMake builds: Support builds from GIT (#498)

Add Python scripts to generate the full win32/config.h.win32 and
src/hb-version.h which can be used to build directly from a GIT
checkout.  Since the scripts are currently intended for building from a
GIT checkout, these are not distributed in the release tarballs.

Also, support the re-build of Ragel-generated .hh headers using the NMake
build system, and allow one to specify the path of the Ragel executable
if a suitable one cannot be found in the PATH.

Update the Win32/NMake build documentation to let people know about how
these mechanisms can be utilized.

Fix arm-none-eabi build (fixes #451) (#496)

Support branch prediction helpers on clang compiles (#491)

Handle allocation failure in hb-language code