[circleci] Fix "msan" and "everything" bots (#1205)

[indic] Remove Consonant_Medial from grammar and code

The only Indic CM is U+0A75 GURMUKHI SIGN YAKASH, which Uniscribe doesn't treat
specially, and font designers design for that.  So, do the same.

[khmer] Add mark-ordering tests

Fixes https://github.com/harfbuzz/harfbuzz/issues/667

[khmer] Rewrite grammar completely

Based on experimenting with Uniscribe to extract grammar and categories.

Failures down from 44 to 35:

KHMER: 299089 out of 299124 tests passed. 35 failed (0.0117008%)

We still don't enforce the one-matra rule pre-decomposition, but enforce
an order and one-matra-per-position post-decomposition.

https://github.com/harfbuzz/harfbuzz/issues/667

[khmer] Remove unused code

[test] Try import unicodedata2 as unicodedata

[use] Disable automatic ZWJ for 'akhn' feature

Fixes https://github.com/harfbuzz/harfbuzz/issues/746

[use] Change categories for Left_And_* matras

These are only relevant to Sinhala, because they decompose in other
cases.  The USE spec categorizes them all as VPst.  No idea why we
weren't following that before.

Unbreak bots

[morx] Break out if buffer gets into error

Was getting stuck not making progress somehow.

[cache] Fix cache coherency corner-case

If key_bits+value_bits-cache_bits==32 then -1 is ambiguous...

[circleci] Couple of fixes (#1200)

* Raise error on warnings on -everything
* Enable fontconfig to two bots
* Fix msan bot now that all of its real complain are gone

[msan] Disable icu explicitly

[msan] Remove uninstrumented libraries

Correct fix for glib-mkenum warning

Revert "Fix glib-mkenum warning"

This reverts commit 247756a7d89008ee6a7d1171dc07ba22454c6034.

Was wrong.  Right fix coming.

Move _POSIX_SOURCE to hb.hh

Change _HB_SCRIPT_MAX_VALUE from 0xFFFFFFFF to 0x7FFFFFFF

Fixes https://github.com/harfbuzz/harfbuzz/issues/504

[test] Fix -Wunused-parameter warnings

More warning fixes

Fix bug introduced in 9b0b40b3c1ac8155c80ed5dc976228f4d3ec7e1f

Also discovered by msan bot.

Fix glib-mkenum warning

  GEN      hb-gobject-enums.h
WARNING: Failed to parse "/*< private >*/" in ../../src/hb-buffer.h

[circleci] Pass ‌freetype compile flags to right place

[circleci] Use an instrumented freetype on msan bot

[circleci] Another on fixing msan

[circleci] minor

[circleci] Try to fix msan bot

[util] Remove unneeded virtual

clang warning:

../../util/options.hh:72:13: warning: destination for this 'memset' call is a pointer to dynamic class
      'option_parser_t'; vtable pointer will be overwritten [-Wdynamic-class-memaccess]
    memset (this, 0, sizeof (*this));
    ~~~~~~  ^
../../util/options.hh:72:13: note: explicitly cast the pointer to silence this warning
    memset (this, 0, sizeof (*this));
            ^
            (void*)

[util] Fix more non-virtual-destructor warnings

Minor

[util] Use HB_FALLTHROUGH

Sure, gcc knows to warn about this as well:

../../util/options.cc:175:17: warning: this statement may fall through [-Wimplicit-fallthrough=]
     case 1: m.r = m.t;
             ~~~~^~~~~
../../util/options.cc:176:5: note: here
     case 2: m.b = m.t;
     ^~~~

But HOLY SMOKES, look at clang -Weverything bot message:

options.cc:176:5: warning: unannotated fall-through between switch labels [-Wimplicit-fallthrough]
    case 2: m.b = m.t;
    ^
options.cc:176:5: note: insert 'HB_FALLTHROUGH;' to silence this warning
    case 2: m.b = m.t;
    ^
    HB_FALLTHROUGH;

Right, it's telling me to insert "HB_FALLTHROUGH;" there!!!!!!!!!

[util] Mark var static

From clang -Weverything bot:

options.cc:39:3: warning: no previous extern declaration for non-static variable 'supported_font_funcs' [-Wmissing-variable-declarations]

[util] Add empty virtual destructor to option_group_t

From clang -Weverything bot:

./options.hh:57:8: warning: 'option_group_t' has virtual functions but non-virtual destructor [-Wnon-virtual-dtor]
struct option_group_t
       ^

[indic/khmer] Remove use of global constructors

Alternative woul have been to resurrect F_COMBINE that I removed in
70136a78cb9eda244767f8e8a3d30d0f3c569d01

But this does it for now.  I'm not sure why check-static-inits.sh didn't
catch this before.  Clang -Weverything bot did:

  CXX      libharfbuzz_la-hb-ot-shape-complex-indic.lo
hb-ot-shape-complex-indic.cc:99:1: warning: declaration requires a global constructor [-Wglobal-constructors]
indic_features[] =
^
1 warning generated.
  CXX      libharfbuzz_la-hb-ot-shape-complex-khmer.lo
hb-ot-shape-complex-khmer.cc:36:1: warning: declaration requires a global constructor [-Wglobal-constructors]
khmer_features[] =
^
1 warning generated.

Tweak HB_TAG and HB_UNTAG

uint32_t was getting promoted to signed int, which is not what we wanted...

Wow, clang has become good at generating warnings...

../../src/hb-common.h:349:29: warning: signed shift result (0xFF000000) sets the sign bit of the shift expression's type ('int') and becomes negative [-Wshift-sign-overflow]
  _HB_SCRIPT_MAX_VALUE                          = HB_TAG_MAX, /*< skip >*/
                                                  ^~~~~~~~~~
../../src/hb-common.h:93:20: note: expanded from macro 'HB_TAG_MAX'
 define HB_TAG_MAX HB_TAG(0xff,0xff,0xff,0xff)
                   ^~~~~~~~~~~~~~~~~~~~~~~~~~~
../../src/hb-common.h:89:57: note: expanded from macro 'HB_TAG'
 define HB_TAG(c1,c2,c3,c4) ((hb_tag_t)((((uint8_t)(c1))<<24)|(((uint8_t)(c2))<<16)|(((uint8_t)(c3))<<8)|((uint8_t)(c4))))
                                         ~~~~~~~~~~~~~~~^ ~~
../../src/hb-common.h:349:3: warning: ISO C restricts enumerator values to range of 'int' (4294967295 is too large) [-Wpedantic]
  _HB_SCRIPT_MAX_VALUE                          = HB_TAG_MAX, /*< skip >*/
  ^                                               ~~~~~~~~~~

[font] Make *_advance() fallback to *_advances

And remove redundant implementations.

Use buffer scratch_flags to remember if we had any joiners

Document setlocale() threadsafety issue

"Fixes" //github.com/harfbuzz/harfbuzz/issues/1191

[ci] Build glib and freetype and enable msan bot (#1198)

Minor on test-multithread, align the actual and expected results

[circleci] Add -Wno-reserved-id-macro to clang-everything

[test-multithread] Disable FreeType funcs

Fix fallback kerning to check for current glyph's mask

[circleci] Improve clang-everything bot log, more to come

#1196

[ci] Another try on mingw bot

[ci] Another try on fixing mingw bots

Per https://github.com/Alexpux/MSYS2-packages/issues/163#issuecomment-73555971

[tests] Don't try to get glyph names on failures

As it may cause a race unrelated to the issue actually happened

[ci] Trying to fix mingw bot

As https://github.com/Alexpux/MSYS2-packages/issues/702

Fix pthread fail for real

Using a hack...

Fix bot fails

[morx] Remove mark_set from Insertion

text-rendering-tests test MORX-32 shows that for Insertion, an unset mark is treated
as mark set at 0.  This is unlike the Reordering lookup where un unset mark performs
nothing.

Fixes MORX-32.

[morx] unsafe-to-break in Insertion

Makes MORX-29, MORX-30, MORX-31 pass.

[test/text-rendering-tests] Update from upstream

Fix ubsan bot

More atomic tuneup

[test-multithread] Install ot funcs before filling ref buffer

[test-multithread] Take num-threads and num-iters from command-line

Minor

test-multithread, check the results on every iteration (#1194)

Make test-multithread pass the tsan bot test (#1193)

More atomic fixup

Fixup atomics from recent change

[cache] Use atomic writes in clear()

To help TSan.

Fix infinite loop when walking up the directory hierarchy (#1183)

A single find_package(harfbuzz) line in user code resulted in this loop
getting stuck when _harfbuzz_libdir_iter became "/".

Use clang for compiling freetype for tsan bot

[arabic] Do the joiner-flipping only for rlig feature

See comment.

[ft] Make TSan happy

Add more atomic intrinsics

Rename test

[ci] Compile freetype on tsan and put sanitizer flags on correct places (#1188)

Test freetype funcs on test-multithread (#1187)

Minor, remove the no longer needed comment on test-multithread

Make TSan happy with make_immutable()

Fix test-multithread and increase num_threads to 30

What were you thinking? ;)

Add a multithreaded test (#1184)

[hb-view] Change subpixel bits from 8 to 6

To match FreeType units, such that FreeType gets correct size from us.
This matters more now that we allow setting --ft-load-flags.

Fix iOS build

Fixes https://github.com/harfbuzz/harfbuzz/pull/1179

[circle] Add an obsessive clang bot (#1178)

Disable msan bot again

Fixes https://github.com/harfbuzz/harfbuzz/issues/1175

Minor

More iter inits

Minor

Remove F_COMBINE

Now I wonder if any bots will be unhappy we calling | in static const initializations...
Or would that cost runtime init?  Our tests don't detect any..

Some more

Minor refactoring

[circleci] Update sanitizer bots with newer clang and Ubuntu version (#1176)

[msan] Enable again to get a build log, and try to play with suppressions

[ubsan] Re-enable now that it passes locally

[check-static-inits.sh] Allow some if ubsan is in effect

[check-symbols.sh] Allow weak objects "V"

ubsan generates these.

Link API test programs with C++ linker

Needed to make ubsan work.

Fixes https://github.com/harfbuzz/harfbuzz/issues/1174

[msan] Add MSAN_OPTIONS=exitcode=42

Default exit value is 77, which causes autotools to "skip" test.

[circleci] Disable msan and ubsan builds

https://github.com/harfbuzz/harfbuzz/issues/1174
https://github.com/harfbuzz/harfbuzz/issues/1175

Ignore weak symbols in check-symbols.sh

Some clang versions leave a std::round(float) weak symbol around...

[docs] A few improvements

If we wrote just this much every day...

Readjust Hebrew composition again

Revert change that would decompose text if GPOS mark feature is available

https://github.com/harfbuzz/harfbuzz/issues/653#issuecomment-423905920

Fix normalization

https://github.com/harfbuzz/harfbuzz/commit/62d1e0852a5549a1b510ad46a4b89f12730bb708#commitcomment-30613091

Simplify ZWJ-skipping a bit

Towards disabling ZWJ-skipping in certain GPOS contexts.

Part of https://github.com/flutter/flutter/issues/16886

Reinit skippy iters when auto_zwj / auto_zwnj change

Ouch.  How did we not hit this bug before...