Merge branch 'master' into cff-subset

Minor, fix double-promotion warnings (#1221)

State our graphite2 dependency no-deprecated compile flag (#1220)

Update Graphite API to latest (#1215)

Add emoji test for recent work

[ci] Delete azure-pipelines

End of experiment, we might get back to it later

Clean Fitzpatrick hack

Unbreak Fitzpatrick

Fixes https://github.com/harfbuzz/harfbuzz/issues/1159

Rewrite grapheme-formation in terms of new work

Also, don't attach ZWNJ to previous cluster.  Closer to Unicode graphemes.

Minor

[test] Split a test

Update azure-pipelines.yml

Fix distcheck

[thai] Set continuation on decomposed nikhahit

[indic] Reset continuation on inserted dottedcircle

[buffer] Inline some more

Add code

[indic] Simplify dottedcircle

[emoji] Mark emoji contination sequences as continuation

This adds a new grapheme bit.  Not used yet.

Part of https://github.com/harfbuzz/harfbuzz/issues/1159

Dotted-circle all marks, not just non-spacing, at text beginning

[test] Use an in-repo font for test-multithread (#1218)

As Khaled's suggestion, hard-coded font paths was only for my own testing.

[ci] Add a test Azure Pipelines Linux bot

Related #1219

Fix build

[indic] Fix clang everything

Minor

[emoji] Add emoji Extended_Pictographic table and function

Part of https://github.com/harfbuzz/harfbuzz/issues/1159

.

[os2] Minor rename/shuffle

Fix test-multithread build on FreeBSD (#1217)

Add the default font path used by FreeBSD ports.

[indic] Disallow vowel mark combinations that spoof other vowel marks

Fixes https://github.com/harfbuzz/harfbuzz/issues/1019

New numbers:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707261 out of 707394 tests passed. 133 failed (0.0188014%)
GUJARATI: 366353 out of 366457 tests passed. 104 failed (0.0283799%)
GURMUKHI: 60729 out of 60747 tests passed. 18 failed (0.0296311%)
KANNADA: 951300 out of 951913 tests passed. 613 failed (0.0643966%)
MALAYALAM: 1048136 out of 1048334 tests passed. 198 failed (0.0188871%)
ORIYA: 42327 out of 42329 tests passed. 2 failed (0.00472489%)
SINHALA: 271596 out of 271847 tests passed. 251 failed (0.0923313%)
TAMIL: 1091754 out of 1091754 tests passed. 0 failed (0%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

Devanagari regressed because Uniscribe doesn't enforce the full set.

Tests added with the *-vowel-letters.txt files in tree and Noto fonts.

[thai] Minor

Typo

Minor

Minor

Missing colon for gobject annotation

There should be a colon separating "(transfer full)" and the rest. Warned by g-ir-scanner.

[use] Add Halant_Or_Vowel_Modifier category

Fixes https://github.com/harfbuzz/harfbuzz/issues/1102

silence warning ^3

silence warning ^2

rm build files

silence warnings

silence & fix new warnings

redefine OpCodes as define instead of enum

in order to eradicate duplicate enum warnings

Merge branch 'master' into cff-subset

[circleci] Fix some of warnings from clang-everything bot (#1211)

* -Wshift-sign-overflow
* -Wmissing-prototypes

[tests] Allow test-runner to ignore shaping output

Fixes https://github.com/harfbuzz/harfbuzz/issues/1212

[tibetan] Remove unused Tibetan shaper

[tibetan] Route Tibetan through USE

Fixes https://github.com/harfbuzz/harfbuzz/pull/933
https://github.com/harfbuzz/harfbuzz/issues/1012

Tibetan failures go from 0 to 2:

TIBETAN: 208467 out of 208469 tests passed. 2 failed (0.000959375%)

[khmer] Remove unused khmer_position()

[indic/use] Factor common expressions in ragel machine

No machine change.

[indic] Minor flip grammar around

No behavior change.

[indic] Add some confusable sequences from Unicode Standard

[ragel] Use ts/te (token-start / token-end) instead of manual tracking

Treat a base+mark... ligature as base, not ligature

Fixes https://github.com/harfbuzz/harfbuzz/issues/746

Move code around

Minor

Minor

Disable joiner-skipping when looking back for base to attach mark to

Fixes https://github.com/harfbuzz/harfbuzz/issues/1189

[arabic] Use manual-zwj instead of flipping joiners

Minor

Minor

Move things

Rename

Minor include cleanup

Shuffle code around

Minor, fix -Weverthing bot warnings (#1210)

Skip BOM in the Python sample file

Fixes https://github.com/harfbuzz/harfbuzz/issues/1208

Missing "out" indicator (#1209)

Missing "out" indicator. Affect gobject introspection.

[circleci] Remove some of the not needed flags

[circleci] Fix "msan" and "everything" bots (#1205)

[indic] Remove Consonant_Medial from grammar and code

The only Indic CM is U+0A75 GURMUKHI SIGN YAKASH, which Uniscribe doesn't treat
specially, and font designers design for that.  So, do the same.

[khmer] Add mark-ordering tests

Fixes https://github.com/harfbuzz/harfbuzz/issues/667

[khmer] Rewrite grammar completely

Based on experimenting with Uniscribe to extract grammar and categories.

Failures down from 44 to 35:

KHMER: 299089 out of 299124 tests passed. 35 failed (0.0117008%)

We still don't enforce the one-matra rule pre-decomposition, but enforce
an order and one-matra-per-position post-decomposition.

https://github.com/harfbuzz/harfbuzz/issues/667

Merge branch 'master' into cff-subset

[khmer] Remove unused code

[test] Try import unicodedata2 as unicodedata

[use] Disable automatic ZWJ for 'akhn' feature

Fixes https://github.com/harfbuzz/harfbuzz/issues/746

[use] Change categories for Left_And_* matras

These are only relevant to Sinhala, because they decompose in other
cases.  The USE spec categorizes them all as VPst.  No idea why we
weren't following that before.

Unbreak bots

[morx] Break out if buffer gets into error

Was getting stuck not making progress somehow.

[cache] Fix cache coherency corner-case

If key_bits+value_bits-cache_bits==32 then -1 is ambiguous...

[circleci] Couple of fixes (#1200)

* Raise error on warnings on -everything
* Enable fontconfig to two bots
* Fix msan bot now that all of its real complain are gone

[msan] Disable icu explicitly

[msan] Remove uninstrumented libraries

Correct fix for glib-mkenum warning

Revert "Fix glib-mkenum warning"

This reverts commit 247756a7d89008ee6a7d1171dc07ba22454c6034.

Was wrong.  Right fix coming.

Move _POSIX_SOURCE to hb.hh

Change _HB_SCRIPT_MAX_VALUE from 0xFFFFFFFF to 0x7FFFFFFF

Fixes https://github.com/harfbuzz/harfbuzz/issues/504

[test] Fix -Wunused-parameter warnings

More warning fixes

Fix bug introduced in 9b0b40b3c1ac8155c80ed5dc976228f4d3ec7e1f

Also discovered by msan bot.

Fix glib-mkenum warning

  GEN      hb-gobject-enums.h
WARNING: Failed to parse "/*< private >*/" in ../../src/hb-buffer.h

[circleci] Pass ‌freetype compile flags to right place

[circleci] Use an instrumented freetype on msan bot

[circleci] Another on fixing msan

[circleci] minor

[circleci] Try to fix msan bot

[util] Remove unneeded virtual

clang warning:

../../util/options.hh:72:13: warning: destination for this 'memset' call is a pointer to dynamic class
      'option_parser_t'; vtable pointer will be overwritten [-Wdynamic-class-memaccess]
    memset (this, 0, sizeof (*this));
    ~~~~~~  ^
../../util/options.hh:72:13: note: explicitly cast the pointer to silence this warning
    memset (this, 0, sizeof (*this));
            ^
            (void*)

[util] Fix more non-virtual-destructor warnings

Minor

[util] Use HB_FALLTHROUGH

Sure, gcc knows to warn about this as well:

../../util/options.cc:175:17: warning: this statement may fall through [-Wimplicit-fallthrough=]
     case 1: m.r = m.t;
             ~~~~^~~~~
../../util/options.cc:176:5: note: here
     case 2: m.b = m.t;
     ^~~~

But HOLY SMOKES, look at clang -Weverything bot message:

options.cc:176:5: warning: unannotated fall-through between switch labels [-Wimplicit-fallthrough]
    case 2: m.b = m.t;
    ^
options.cc:176:5: note: insert 'HB_FALLTHROUGH;' to silence this warning
    case 2: m.b = m.t;
    ^
    HB_FALLTHROUGH;

Right, it's telling me to insert "HB_FALLTHROUGH;" there!!!!!!!!!

[util] Mark var static

From clang -Weverything bot:

options.cc:39:3: warning: no previous extern declaration for non-static variable 'supported_font_funcs' [-Wmissing-variable-declarations]