Adjust normalizer for out-of-order marks

We are going to implement Unicode Arabic Mark Ordering Algorithm:

  http://www.unicode.org/reports/tr53/tr53-1.pdf

which will reorder marks out of their sorted ccc order.  Adjust
normalizer to stop combining as soon as dangerous ordering is
detected.

Minor

Revert "Treat HAMZA ABOVE similar to SHADD for sorting purposes"

This reverts commit 5a330575768f5a213072230b9ec8faabac9c5737.

Proper fix coming soon.

Shorthand format controls should not be ignored

Fixes https://github.com/behdad/harfbuzz/issues/503

Add Chinantec language tags

Fixes https://github.com/behdad/harfbuzz/issues/516

Fix GPOS v_origin ordering

This should affect mark attachment in vertical text.  I have no font to test,
but this sounds the right order.

Noticed while debugging https://github.com/behdad/harfbuzz/issues/532

[indic] Fix shaping of U+0AFB GUJARATI SIGN SHADDA

Fixes https://github.com/behdad/harfbuzz/issues/552

[indic] Implement Consonent_With_Stacker

Fixes https://github.com/behdad/harfbuzz/issues/528

[use] Implement Consonant_With_Stacker

Related to https://github.com/behdad/harfbuzz/issues/528

Test Consonant_With_Stacker in Kannada (#530)

Tweak mark-base attachment

Apparently a base glyph can also become an attached component of a
ligature if the ligature-forming lookup used IgnoreBase.  This was
being confused with a non-first component of a MultipleSubst and
hence not matched for mark-attachment.  Tweak test to fix.

Fixes https://github.com/behdad/harfbuzz/issues/543

Merge commit 'c44657a05d565ec5f2c32ac15d4ecfbee00ac5f7'

Minor

Make bots happy

Fixes https://github.com/behdad/harfbuzz/issues/551

Tweak input matching some more

Followup to 8b2c94c43fd335b944d5e5487265706b8e0f9041

Allow matching sequences of marks attached to different ligatures,
as supposedly the base of the subsequent marks were already jumped
over.

Print test-suite.log when CI builds fail

Add test for U+0A51

New Indic numbers are:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707307 out of 707394 tests passed. 87 failed (0.0122987%)
GUJARATI: 366355 out of 366457 tests passed. 102 failed (0.0278341%)
GURMUKHI: 60729 out of 60747 tests passed. 18 failed (0.0296311%)
KANNADA: 951201 out of 951913 tests passed. 712 failed (0.0747968%)
KHMER: 299071 out of 299124 tests passed. 53 failed (0.0177184%)
MALAYALAM: 1048136 out of 1048334 tests passed. 198 failed (0.0188871%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271662 out of 271847 tests passed. 185 failed (0.068053%)
TAMIL: 1091754 out of 1091754 tests passed. 0 failed (0%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

Before 71c0a1429db7c7e7e32507be248c9457e1cbfc7d GURMUKHI used to be at 15,
because Uniscribe seems to allow this character standalone, but that looks
wrong.

Tweak ligature component matching for ligature formation

If two marks want to ligate and they belong to different components of the
same ligature glyph, and said ligature glyph is to be ignored according to
mark-filtering rules, then allow.

Example Burmese senquence:

  U+1004,U+103A,U+1039,U+101B,U+103D,U+102D

Test font provided by Norbert Lindenberg.

Fixes https://github.com/behdad/harfbuzz/issues/545

[indic] Fix shaping of U+0A51

Mark it as matra below to allow the sequence U+0A15, U+0A51, U+0A47.
Oh well...

Fixes https://github.com/behdad/harfbuzz/issues/524

[ucdn] Oops!

Remove some really old cruft

[ucdn] Update README

[ot] Improve shaper selection heuristic

[use] Hack to fix shaping of U+1A7F

Fixes https://github.com/behdad/harfbuzz/issues/525

[ucdn] Update to Unicode 10

Update to commit c000ebf79c095a7d58cf90090bde5715592c4834
plus this bug-fix: https://github.com/grigorig/ucdn/issues/18

[use] Update to Unicode 10

Minor

Add Unicode 10 scripts

[indic] Update table to Unicode 10

[indic] Add test for 1a0a356a0f2b2932581e4fd0437c01c058f4f6d1

https://github.com/behdad/harfbuzz/issues/538

[indic] Move manual code out of generated table

[arabic] Update table to Unicode 10 data

[indic] Categorize U+0980 BENGALI ANJI as placeholder

Fixes https://github.com/behdad/harfbuzz/issues/538

[shape-plan] Don't look for a cached plan if variation coords are specified. Fixes #549. (#550)

This is a temporary hack just to avoid incorrect shaping results, pending proper support
for caching shape-plans with variation coordinates.

Add RELEASING.md to dist

Add release checklist (#529)

Fix missing xscale in rtl graphite unpacking (#541)

* Fix missing xscale in rtl graphite unpacking

* Oops didn't need to mess with yscale

Use strtod_l() to correctly parse decimal numbers in French & other locales

Test with, eg.:
$ LC_ALL=fr_FR.utf-8 ./hb-view NotoSansArabic-VF.ttf بهداد --variations wght=1.2

[util] Add a few shorthand forms for commandline options

-o, -O, -u, -v, -V

1.5.1

Fix buffer_diff for empty buffers

If buffers are empty, content type should be ignored.

This fixes last of the failing tests: fuzzed.tests.  Green again!

[unsafe-to-break] Fix unsafe-to-break for cluster-level=1

Fixes tests/shaping/tests/cluster.tests

Minor

[util] Add --unicodes to hb-view / hb-shape

Fixes https://github.com/behdad/harfbuzz/issues/154

Minor

Minor

Add test accidentally removed in previous commit

[indic] Treat Consonant_With_Stacker as consonant

Fixes https://github.com/behdad/harfbuzz/issues/528
"Kannada JIHVAMULIYA and UPADHMANIYA insert dotted circles"

[unsafe-to-break] Mark during fraction-slash formation

Fixes tests/automatic-fractions.tests

[util] Fix cluster sweeping during --verify

If *I* get this wrong in 2017, I have no idea how others get their head around
cluster math...

Fixes tests/arabic-fallback-shaping.tests

[util] When --verify fails, return reconstructed shape results

hb_buffer_diff() tweak

I like to have a mode where CONTAINS_NOTDEF and CONTAINS_DOTTEDCIRCLE are not
returned.  Abused a value of -1 for that.  hb-shape now uses it.  Fixes two
of the six tests failing with --verify in test/shaping/run-tests.sh.

1.5.0

[docs] Minor

[test] Add --verify to hb-shape

Disabled for now.  Will enable and fix failures after next release.

Add hb_glyph_info_get_glyph_flags()

New API.

Rename HB_BUFFER_DIFF_FLAG_MASK_MISMATCH to HB_BUFFER_DIFF_FLAG_GLYPH_FLAGS_MISMATCH

[util] Prefix trace lines with "trace:", and error lines with "error:"

[util] Respect eot/bot in safe-to-break test; hook up hb_buffer_diff()

Fix warning about "may be used uninitialized"

Fix signed/unsigned warning (#522)

Change hb_buffer_diff to explicitly cast result of abs to unsigned when
comparing with position_fuzz to avoid unsafe signed/unsigned comparions
warnings on windows.

Minor

[util] Fix leaks

Fix typo

Add function to compare two buffers

Based on patch from Jonathan Kew.

Needs more cleaning up and documentation.

New API:
hb_buffer_diff_flags_t
hb_buffer_diff()

[graphite2] Fix warning

[unsafe-to-break] Mark all positions as unsafe in alternative shapers

[unsafe-to-break] Towards verifying unsafe-to-break in --verify

We break and shape fragments and reconstruct shape result from them.
Remains to compare to original buffer.  Going to add some buffer
comparison API and use here, instead of open-coding.

Fix hb_buffer_append()

Ouch!

[unsafe-to-break] Copy flag to all glyphs in a cluster

Makes consumption easier.

[unsafe-to-break] Mark unsafe is cluster merging is disabled

We were relying on cluster merges not requiring unsafe flagging because
they get merged.  If cluster level requests no merging, then we flag
unsafe when merge would have happened.

New API: hb_buffer_append()

[util] Add --verify to hb-shape / hb-view that verifies shape results

Right now it checks for monotone cluster values.  Other checks to be added.

[unsafe-to-break] Fix Use-of-uninitialized-value in unsafe_to_break_set_mask

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3011

[unsafe-to-break] Flag in Thai PUA shaping

[unsafe-to-break] Flag in Hangul shaper

[unsafe-to-break] Flag during mark attachment

Fix test

[unsafe-to-break] Flag during cursive positioning

[unsafe-to-break] Flag during kerning

[unsafe-to-break] Flag during fallback positioning

[unsafe-to-break] Be careful with flag propagation when merging clusters

Set mask to 0, instead of 1, by default

This shouldn't matter.

[unsafe-to-break] Mark Indic-like clusters as unsafe-to-break

[unsafe-to-break] Allocate public bits from 0

[safe-to-break] Fix logic when there is no out-buffer

[unsafe-to-break] Simplify logic

Always use the algorithm for non-monotone case.  It's more robust.

[unsafe-to-break] Add UNSAFE_TO_BREAK flag

Not all shapers code is updated to set this properly.
GSUB and Arabic shaper are updated.
GPOS and other shapers are NOT.

Fixes https://github.com/behdad/harfbuzz/issues/224

[util] Fix two other Coverity warnings

[util] Fix warning

[ft] Fix theoretical leak

Treat HAMZA ABOVE similar to SHADD for sorting purposes

Part of https://github.com/behdad/harfbuzz/issues/509

Protect against div-by-zero in CBDT extent code

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=1452#c5

CC https://github.com/behdad/harfbuzz/issues/139

Add tests for 'avar' fix 5dc30451b80f6bb0079424a130875c10486e4d34

1.4.8

Two fixes to avar mapping

1. Handle segment with two entries correctly,

2. Fix rounding math.  Ouch!

Fixes https://github.com/behdad/harfbuzz/issues/521

[check-defs/symbols.sh] Drop empty-symbol lines

Fixes https://github.com/behdad/harfbuzz/issues/510

[hb-shape] Rename --show-messages to --trace

https://github.com/behdad/harfbuzz/issues/506

[hb-shape] Improve shaping-debug output

Before, that was printed using --debug (and in both hb-shape and hb-view).
Changed it, now hb-shape has a new command-line argument called --show-messages.
When invoked, it also respects other output formatting options.  The messages
are better formatted and printed to te same place that hb-shape output is
directed to.  Previously they were written to stderr.

Fixes https://github.com/behdad/harfbuzz/issues/506

Unbreak arm-none-eabi build again (#514)