[util] Add --unicodes to hb-view / hb-shape

Fixes https://github.com/behdad/harfbuzz/issues/154

Minor

Minor

Add test accidentally removed in previous commit

[indic] Treat Consonant_With_Stacker as consonant

Fixes https://github.com/behdad/harfbuzz/issues/528
"Kannada JIHVAMULIYA and UPADHMANIYA insert dotted circles"

[unsafe-to-break] Mark during fraction-slash formation

Fixes tests/automatic-fractions.tests

[util] Fix cluster sweeping during --verify

If *I* get this wrong in 2017, I have no idea how others get their head around
cluster math...

Fixes tests/arabic-fallback-shaping.tests

[util] When --verify fails, return reconstructed shape results

hb_buffer_diff() tweak

I like to have a mode where CONTAINS_NOTDEF and CONTAINS_DOTTEDCIRCLE are not
returned.  Abused a value of -1 for that.  hb-shape now uses it.  Fixes two
of the six tests failing with --verify in test/shaping/run-tests.sh.

1.5.0

[docs] Minor

[test] Add --verify to hb-shape

Disabled for now.  Will enable and fix failures after next release.

Add hb_glyph_info_get_glyph_flags()

New API.

Rename HB_BUFFER_DIFF_FLAG_MASK_MISMATCH to HB_BUFFER_DIFF_FLAG_GLYPH_FLAGS_MISMATCH

[util] Prefix trace lines with "trace:", and error lines with "error:"

[util] Respect eot/bot in safe-to-break test; hook up hb_buffer_diff()

Fix warning about "may be used uninitialized"

Fix signed/unsigned warning (#522)

Change hb_buffer_diff to explicitly cast result of abs to unsigned when
comparing with position_fuzz to avoid unsafe signed/unsigned comparions
warnings on windows.

Minor

[util] Fix leaks

Fix typo

Add function to compare two buffers

Based on patch from Jonathan Kew.

Needs more cleaning up and documentation.

New API:
hb_buffer_diff_flags_t
hb_buffer_diff()

[graphite2] Fix warning

[unsafe-to-break] Mark all positions as unsafe in alternative shapers

[unsafe-to-break] Towards verifying unsafe-to-break in --verify

We break and shape fragments and reconstruct shape result from them.
Remains to compare to original buffer.  Going to add some buffer
comparison API and use here, instead of open-coding.

Fix hb_buffer_append()

Ouch!

[unsafe-to-break] Copy flag to all glyphs in a cluster

Makes consumption easier.

[unsafe-to-break] Mark unsafe is cluster merging is disabled

We were relying on cluster merges not requiring unsafe flagging because
they get merged.  If cluster level requests no merging, then we flag
unsafe when merge would have happened.

New API: hb_buffer_append()

[util] Add --verify to hb-shape / hb-view that verifies shape results

Right now it checks for monotone cluster values.  Other checks to be added.

[unsafe-to-break] Fix Use-of-uninitialized-value in unsafe_to_break_set_mask

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3011

[unsafe-to-break] Flag in Thai PUA shaping

[unsafe-to-break] Flag in Hangul shaper

[unsafe-to-break] Flag during mark attachment

Fix test

[unsafe-to-break] Flag during cursive positioning

[unsafe-to-break] Flag during kerning

[unsafe-to-break] Flag during fallback positioning

[unsafe-to-break] Be careful with flag propagation when merging clusters

Set mask to 0, instead of 1, by default

This shouldn't matter.

[unsafe-to-break] Mark Indic-like clusters as unsafe-to-break

[unsafe-to-break] Allocate public bits from 0

[safe-to-break] Fix logic when there is no out-buffer

[unsafe-to-break] Simplify logic

Always use the algorithm for non-monotone case.  It's more robust.

[unsafe-to-break] Add UNSAFE_TO_BREAK flag

Not all shapers code is updated to set this properly.
GSUB and Arabic shaper are updated.
GPOS and other shapers are NOT.

Fixes https://github.com/behdad/harfbuzz/issues/224

[util] Fix two other Coverity warnings

[util] Fix warning

[ft] Fix theoretical leak

Treat HAMZA ABOVE similar to SHADD for sorting purposes

Part of https://github.com/behdad/harfbuzz/issues/509

Protect against div-by-zero in CBDT extent code

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=1452#c5

CC https://github.com/behdad/harfbuzz/issues/139

Add tests for 'avar' fix 5dc30451b80f6bb0079424a130875c10486e4d34

1.4.8

Two fixes to avar mapping

1. Handle segment with two entries correctly,

2. Fix rounding math.  Ouch!

Fixes https://github.com/behdad/harfbuzz/issues/521

[check-defs/symbols.sh] Drop empty-symbol lines

Fixes https://github.com/behdad/harfbuzz/issues/510

[hb-shape] Rename --show-messages to --trace

https://github.com/behdad/harfbuzz/issues/506

[hb-shape] Improve shaping-debug output

Before, that was printed using --debug (and in both hb-shape and hb-view).
Changed it, now hb-shape has a new command-line argument called --show-messages.
When invoked, it also respects other output formatting options.  The messages
are better formatted and printed to te same place that hb-shape output is
directed to.  Previously they were written to stderr.

Fixes https://github.com/behdad/harfbuzz/issues/506

Unbreak arm-none-eabi build again (#514)

1.4.7

[arabic] Adjust feature order again

Fixes https://github.com/behdad/harfbuzz/issues/505

[coretext] Allow to disable kern (#508)

* Minor

* [coretext] Fix leak

* [coretext] Do not reset num_features

* [coretext] allow to disable kern; re-enabling doesn't seem to be working

[use] Allow up to two medial-below letters

Fixes https://github.com/behdad/harfbuzz/issues/376

[use] Fix shaping of U+AA29 CHAM VOWEL SIGN AA

Part of https://github.com/behdad/harfbuzz/issues/376
Also see https://github.com/roozbehp/unicode-data/issues/6

Test added, using NotoSansCham built from Noto Phase III sources.

[indic] Add github URL

[indic] Fix https://github.com/behdad/harfbuzz/issues/478

[indic] Disable automatic ZWNJ handling for Indic features

Fixes https://github.com/behdad/harfbuzz/issues/294

Also fixes a bunch of other Indic issues.  Test results after:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707307 out of 707394 tests passed. 87 failed (0.0122987%)
GUJARATI: 366355 out of 366457 tests passed. 102 failed (0.0278341%)
GURMUKHI: 60732 out of 60747 tests passed. 15 failed (0.0246926%)
KANNADA: 951201 out of 951913 tests passed. 712 failed (0.0747968%)
KHMER: 299071 out of 299124 tests passed. 53 failed (0.0177184%)
MALAYALAM: 1048136 out of 1048334 tests passed. 198 failed (0.0188871%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271662 out of 271847 tests passed. 185 failed (0.068053%)
TAMIL: 1091754 out of 1091754 tests passed. 0 failed (0%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

Before:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707307 out of 707394 tests passed. 87 failed (0.0122987%)
GUJARATI: 366349 out of 366457 tests passed. 108 failed (0.0294714%)
GURMUKHI: 60732 out of 60747 tests passed. 15 failed (0.0246926%)
KANNADA: 951190 out of 951913 tests passed. 723 failed (0.0759523%)
KHMER: 299070 out of 299124 tests passed. 54 failed (0.0180527%)
MALAYALAM: 1048136 out of 1048334 tests passed. 198 failed (0.0188871%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271662 out of 271847 tests passed. 185 failed (0.068053%)
TAMIL: 1091753 out of 1091754 tests passed. 1 failed (9.15957e-05%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

[indic] Add infrastructure to disable ZWNJ-skipping in context-matching

Not used yet.

Shaping tests for Tibetan vowels (#446)

* Shaping tests for Tibetan vowels

* Test-cases for the Dzongkha contractions with multiple vowel-signs added.

* going to be removed

* Extended contraction-test-cases to all test cases in contractions.txt that actually use multiple-vowels (113 cases)

Fix for reordering of Tibetan vowel u (#443)

* Undone change for Tibetan vowel u

* removed comment on reordering that became invalid with roll-back

* Support for Dzongkha contractions with multiple vowel-signs

* Removed non-functional and unnecessary defines for HB_MODIFIED_COMBINING_CLASS_CCC138,140

Win32/NMake builds: Support builds from GIT (#498)

Add Python scripts to generate the full win32/config.h.win32 and
src/hb-version.h which can be used to build directly from a GIT
checkout.  Since the scripts are currently intended for building from a
GIT checkout, these are not distributed in the release tarballs.

Also, support the re-build of Ragel-generated .hh headers using the NMake
build system, and allow one to specify the path of the Ragel executable
if a suitable one cannot be found in the PATH.

Update the Win32/NMake build documentation to let people know about how
these mechanisms can be utilized.

Fix arm-none-eabi build (fixes #451) (#496)

Support branch prediction helpers on clang compiles (#491)

Handle allocation failure in hb-language code

Avoid using strdup inside library. (#488)

If an application provides a malloc replacement through
hb_malloc_impl() it is important that it is used to allocate
everything, but the use of strdup() circumvents this and
causes system malloc() to be called instead. This pairs
badly with the custom hb_free_impl() being called later.

Do not skip TAG characters in glyph substitution (#487)

Hide them like Mongolian Free Variation Selectors instead.

Fixes https://github.com/behdad/harfbuzz/issues/463

Minor

[cmake] Add framework build support (#484)

[cmake] minor (#482)

1.4.6

Fix graphite2 rtl conversion (#475)

[cmake] Final touches (#473)

Fix clang -Wcomma warnings (#471) (#472)

clang's new -Wcomma compiler option warns about possible misuse of the
comma operator such as between two statements.

hb-common.cc:190:9 [-Wcomma] possible misuse of comma operator here
hb-ot-layout-gsubgpos-private.hh:345:30 [-Wcomma] possible misuse of
comma operator here
hb-shape-plan.cc:438:26 [-Wcomma] possible misuse of comma operator here

[cmake] Remove HB_DISABLE_DEPRECATED as it seems needed for pango build (#470)

Use absolute paths of ragel generated headers (#467)

https://github.com/behdad/harfbuzz/issues/455

Small doc fix: `make check` runs the tests (#469)

[cmake] Fix try compile link issues (#466)

[cmake] typo (#465)

[cmake] Add atomic ops availability detection (#464)

[cmake] Remove NO_MT flag (#462)

Blacklist GDEF table in additional Tahoma versions. (#459)

There are more broken versions of Tahoma out there on various Windows releases,
so we need to add them to our blacklist to avoid broken rendering.
See https://bugzilla.mozilla.org/show_bug.cgi?id=1279925 for details.

[cmake] Improve third party libraries support (#461)

[cmake] Add utils build support (#460)

NMake Makefiles: Fix ICU builds

Fix the check conditions in config-msvc.mak and info-msvc.mak so that
the ICU items does indeed get built into the HarfBuzz main DLL, and that
the correct configuration info is displayed.

Also update the checks in detectenv-msvc.mak so that we can detect that
we are using Visual Studio 2017 (although the 2015-built binaries use
the same CRT DLL as the 2017 ones).

Move list of ragel sources to Makefile.sources as well

Split ragel generated files lists and remove hardcoded rl files lists (#453)

Add CMake build support (#444)

avoid UBSan warning in get_stage_lookups (#450)

See https://bugzilla.mozilla.org/show_bug.cgi?id=1336600

Current fonttools (3.9.1) generate subset-file called font.subset.ttf instead of older font.ttf.subset

Updated samples: record-it.sh is now record-test.sh

[tools] Make hb-unicode-code work with Python 3

Related to https://github.com/behdad/harfbuzz/pull/445

Blacklist more versions of Padauk

Patch from Phil Race.