[test] Split a test

Update azure-pipelines.yml

Fix distcheck

[thai] Set continuation on decomposed nikhahit

[indic] Reset continuation on inserted dottedcircle

[buffer] Inline some more

Add code

[indic] Simplify dottedcircle

[emoji] Mark emoji contination sequences as continuation

This adds a new grapheme bit.  Not used yet.

Part of https://github.com/harfbuzz/harfbuzz/issues/1159

Dotted-circle all marks, not just non-spacing, at text beginning

[test] Use an in-repo font for test-multithread (#1218)

As Khaled's suggestion, hard-coded font paths was only for my own testing.

[ci] Add a test Azure Pipelines Linux bot

Related #1219

Fix build

[indic] Fix clang everything

Minor

[emoji] Add emoji Extended_Pictographic table and function

Part of https://github.com/harfbuzz/harfbuzz/issues/1159

.

[os2] Minor rename/shuffle

Fix test-multithread build on FreeBSD (#1217)

Add the default font path used by FreeBSD ports.

[indic] Disallow vowel mark combinations that spoof other vowel marks

Fixes https://github.com/harfbuzz/harfbuzz/issues/1019

New numbers:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707261 out of 707394 tests passed. 133 failed (0.0188014%)
GUJARATI: 366353 out of 366457 tests passed. 104 failed (0.0283799%)
GURMUKHI: 60729 out of 60747 tests passed. 18 failed (0.0296311%)
KANNADA: 951300 out of 951913 tests passed. 613 failed (0.0643966%)
MALAYALAM: 1048136 out of 1048334 tests passed. 198 failed (0.0188871%)
ORIYA: 42327 out of 42329 tests passed. 2 failed (0.00472489%)
SINHALA: 271596 out of 271847 tests passed. 251 failed (0.0923313%)
TAMIL: 1091754 out of 1091754 tests passed. 0 failed (0%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

Devanagari regressed because Uniscribe doesn't enforce the full set.

Tests added with the *-vowel-letters.txt files in tree and Noto fonts.

[thai] Minor

Typo

Minor

Minor

Missing colon for gobject annotation

There should be a colon separating "(transfer full)" and the rest. Warned by g-ir-scanner.

[use] Add Halant_Or_Vowel_Modifier category

Fixes https://github.com/harfbuzz/harfbuzz/issues/1102

[circleci] Fix some of warnings from clang-everything bot (#1211)

* -Wshift-sign-overflow
* -Wmissing-prototypes

[tests] Allow test-runner to ignore shaping output

Fixes https://github.com/harfbuzz/harfbuzz/issues/1212

[tibetan] Remove unused Tibetan shaper

[tibetan] Route Tibetan through USE

Fixes https://github.com/harfbuzz/harfbuzz/pull/933
https://github.com/harfbuzz/harfbuzz/issues/1012

Tibetan failures go from 0 to 2:

TIBETAN: 208467 out of 208469 tests passed. 2 failed (0.000959375%)

[khmer] Remove unused khmer_position()

[indic/use] Factor common expressions in ragel machine

No machine change.

[indic] Minor flip grammar around

No behavior change.

[indic] Add some confusable sequences from Unicode Standard

[ragel] Use ts/te (token-start / token-end) instead of manual tracking

Treat a base+mark... ligature as base, not ligature

Fixes https://github.com/harfbuzz/harfbuzz/issues/746

Move code around

Minor

Minor

Disable joiner-skipping when looking back for base to attach mark to

Fixes https://github.com/harfbuzz/harfbuzz/issues/1189

[arabic] Use manual-zwj instead of flipping joiners

Minor

Minor

Move things

Rename

Minor include cleanup

Shuffle code around

Minor, fix -Weverthing bot warnings (#1210)

Skip BOM in the Python sample file

Fixes https://github.com/harfbuzz/harfbuzz/issues/1208

Missing "out" indicator (#1209)

Missing "out" indicator. Affect gobject introspection.

[circleci] Remove some of the not needed flags

[circleci] Fix "msan" and "everything" bots (#1205)

[indic] Remove Consonant_Medial from grammar and code

The only Indic CM is U+0A75 GURMUKHI SIGN YAKASH, which Uniscribe doesn't treat
specially, and font designers design for that.  So, do the same.

[khmer] Add mark-ordering tests

Fixes https://github.com/harfbuzz/harfbuzz/issues/667

[khmer] Rewrite grammar completely

Based on experimenting with Uniscribe to extract grammar and categories.

Failures down from 44 to 35:

KHMER: 299089 out of 299124 tests passed. 35 failed (0.0117008%)

We still don't enforce the one-matra rule pre-decomposition, but enforce
an order and one-matra-per-position post-decomposition.

https://github.com/harfbuzz/harfbuzz/issues/667

[khmer] Remove unused code

[test] Try import unicodedata2 as unicodedata

[use] Disable automatic ZWJ for 'akhn' feature

Fixes https://github.com/harfbuzz/harfbuzz/issues/746

[use] Change categories for Left_And_* matras

These are only relevant to Sinhala, because they decompose in other
cases.  The USE spec categorizes them all as VPst.  No idea why we
weren't following that before.

Unbreak bots

[morx] Break out if buffer gets into error

Was getting stuck not making progress somehow.

[cache] Fix cache coherency corner-case

If key_bits+value_bits-cache_bits==32 then -1 is ambiguous...

[circleci] Couple of fixes (#1200)

* Raise error on warnings on -everything
* Enable fontconfig to two bots
* Fix msan bot now that all of its real complain are gone

[msan] Disable icu explicitly

[msan] Remove uninstrumented libraries

Correct fix for glib-mkenum warning

Revert "Fix glib-mkenum warning"

This reverts commit 247756a7d89008ee6a7d1171dc07ba22454c6034.

Was wrong.  Right fix coming.

Move _POSIX_SOURCE to hb.hh

Change _HB_SCRIPT_MAX_VALUE from 0xFFFFFFFF to 0x7FFFFFFF

Fixes https://github.com/harfbuzz/harfbuzz/issues/504

[test] Fix -Wunused-parameter warnings

More warning fixes

Fix bug introduced in 9b0b40b3c1ac8155c80ed5dc976228f4d3ec7e1f

Also discovered by msan bot.

Fix glib-mkenum warning

  GEN      hb-gobject-enums.h
WARNING: Failed to parse "/*< private >*/" in ../../src/hb-buffer.h

[circleci] Pass ‌freetype compile flags to right place

[circleci] Use an instrumented freetype on msan bot

[circleci] Another on fixing msan

[circleci] minor

[circleci] Try to fix msan bot

[util] Remove unneeded virtual

clang warning:

../../util/options.hh:72:13: warning: destination for this 'memset' call is a pointer to dynamic class
      'option_parser_t'; vtable pointer will be overwritten [-Wdynamic-class-memaccess]
    memset (this, 0, sizeof (*this));
    ~~~~~~  ^
../../util/options.hh:72:13: note: explicitly cast the pointer to silence this warning
    memset (this, 0, sizeof (*this));
            ^
            (void*)

[util] Fix more non-virtual-destructor warnings

Minor

[util] Use HB_FALLTHROUGH

Sure, gcc knows to warn about this as well:

../../util/options.cc:175:17: warning: this statement may fall through [-Wimplicit-fallthrough=]
     case 1: m.r = m.t;
             ~~~~^~~~~
../../util/options.cc:176:5: note: here
     case 2: m.b = m.t;
     ^~~~

But HOLY SMOKES, look at clang -Weverything bot message:

options.cc:176:5: warning: unannotated fall-through between switch labels [-Wimplicit-fallthrough]
    case 2: m.b = m.t;
    ^
options.cc:176:5: note: insert 'HB_FALLTHROUGH;' to silence this warning
    case 2: m.b = m.t;
    ^
    HB_FALLTHROUGH;

Right, it's telling me to insert "HB_FALLTHROUGH;" there!!!!!!!!!

[util] Mark var static

From clang -Weverything bot:

options.cc:39:3: warning: no previous extern declaration for non-static variable 'supported_font_funcs' [-Wmissing-variable-declarations]

[util] Add empty virtual destructor to option_group_t

From clang -Weverything bot:

./options.hh:57:8: warning: 'option_group_t' has virtual functions but non-virtual destructor [-Wnon-virtual-dtor]
struct option_group_t
       ^

[indic/khmer] Remove use of global constructors

Alternative woul have been to resurrect F_COMBINE that I removed in
70136a78cb9eda244767f8e8a3d30d0f3c569d01

But this does it for now.  I'm not sure why check-static-inits.sh didn't
catch this before.  Clang -Weverything bot did:

  CXX      libharfbuzz_la-hb-ot-shape-complex-indic.lo
hb-ot-shape-complex-indic.cc:99:1: warning: declaration requires a global constructor [-Wglobal-constructors]
indic_features[] =
^
1 warning generated.
  CXX      libharfbuzz_la-hb-ot-shape-complex-khmer.lo
hb-ot-shape-complex-khmer.cc:36:1: warning: declaration requires a global constructor [-Wglobal-constructors]
khmer_features[] =
^
1 warning generated.

Tweak HB_TAG and HB_UNTAG

uint32_t was getting promoted to signed int, which is not what we wanted...

Wow, clang has become good at generating warnings...

../../src/hb-common.h:349:29: warning: signed shift result (0xFF000000) sets the sign bit of the shift expression's type ('int') and becomes negative [-Wshift-sign-overflow]
  _HB_SCRIPT_MAX_VALUE                          = HB_TAG_MAX, /*< skip >*/
                                                  ^~~~~~~~~~
../../src/hb-common.h:93:20: note: expanded from macro 'HB_TAG_MAX'
 define HB_TAG_MAX HB_TAG(0xff,0xff,0xff,0xff)
                   ^~~~~~~~~~~~~~~~~~~~~~~~~~~
../../src/hb-common.h:89:57: note: expanded from macro 'HB_TAG'
 define HB_TAG(c1,c2,c3,c4) ((hb_tag_t)((((uint8_t)(c1))<<24)|(((uint8_t)(c2))<<16)|(((uint8_t)(c3))<<8)|((uint8_t)(c4))))
                                         ~~~~~~~~~~~~~~~^ ~~
../../src/hb-common.h:349:3: warning: ISO C restricts enumerator values to range of 'int' (4294967295 is too large) [-Wpedantic]
  _HB_SCRIPT_MAX_VALUE                          = HB_TAG_MAX, /*< skip >*/
  ^                                               ~~~~~~~~~~

[font] Make *_advance() fallback to *_advances

And remove redundant implementations.

Use buffer scratch_flags to remember if we had any joiners

Document setlocale() threadsafety issue

"Fixes" //github.com/harfbuzz/harfbuzz/issues/1191

[ci] Build glib and freetype and enable msan bot (#1198)

Minor on test-multithread, align the actual and expected results

[circleci] Add -Wno-reserved-id-macro to clang-everything

[test-multithread] Disable FreeType funcs

Fix fallback kerning to check for current glyph's mask

[circleci] Improve clang-everything bot log, more to come

#1196

[ci] Another try on mingw bot

[ci] Another try on fixing mingw bots

Per https://github.com/Alexpux/MSYS2-packages/issues/163#issuecomment-73555971

[tests] Don't try to get glyph names on failures

As it may cause a race unrelated to the issue actually happened

[ci] Trying to fix mingw bot

As https://github.com/Alexpux/MSYS2-packages/issues/702

Fix pthread fail for real

Using a hack...

Fix bot fails