[circleci] Fix some of warnings from clang-everything bot (#1211)

* -Wshift-sign-overflow
* -Wmissing-prototypes

[tests] Allow test-runner to ignore shaping output

Fixes https://github.com/harfbuzz/harfbuzz/issues/1212

[tibetan] Remove unused Tibetan shaper

[tibetan] Route Tibetan through USE

Fixes https://github.com/harfbuzz/harfbuzz/pull/933
https://github.com/harfbuzz/harfbuzz/issues/1012

Tibetan failures go from 0 to 2:

TIBETAN: 208467 out of 208469 tests passed. 2 failed (0.000959375%)

[khmer] Remove unused khmer_position()

[indic/use] Factor common expressions in ragel machine

No machine change.

[indic] Minor flip grammar around

No behavior change.

[indic] Add some confusable sequences from Unicode Standard

[ragel] Use ts/te (token-start / token-end) instead of manual tracking

Treat a base+mark... ligature as base, not ligature

Fixes https://github.com/harfbuzz/harfbuzz/issues/746

Move code around

Minor

Minor

Disable joiner-skipping when looking back for base to attach mark to

Fixes https://github.com/harfbuzz/harfbuzz/issues/1189

[arabic] Use manual-zwj instead of flipping joiners

Minor

Minor

Move things

Rename

Minor include cleanup

Shuffle code around

Minor, fix -Weverthing bot warnings (#1210)

Skip BOM in the Python sample file

Fixes https://github.com/harfbuzz/harfbuzz/issues/1208

Missing "out" indicator (#1209)

Missing "out" indicator. Affect gobject introspection.

[circleci] Remove some of the not needed flags

[circleci] Fix "msan" and "everything" bots (#1205)

[indic] Remove Consonant_Medial from grammar and code

The only Indic CM is U+0A75 GURMUKHI SIGN YAKASH, which Uniscribe doesn't treat
specially, and font designers design for that.  So, do the same.

[khmer] Add mark-ordering tests

Fixes https://github.com/harfbuzz/harfbuzz/issues/667

[khmer] Rewrite grammar completely

Based on experimenting with Uniscribe to extract grammar and categories.

Failures down from 44 to 35:

KHMER: 299089 out of 299124 tests passed. 35 failed (0.0117008%)

We still don't enforce the one-matra rule pre-decomposition, but enforce
an order and one-matra-per-position post-decomposition.

https://github.com/harfbuzz/harfbuzz/issues/667

[khmer] Remove unused code

[test] Try import unicodedata2 as unicodedata

[use] Disable automatic ZWJ for 'akhn' feature

Fixes https://github.com/harfbuzz/harfbuzz/issues/746

[use] Change categories for Left_And_* matras

These are only relevant to Sinhala, because they decompose in other
cases.  The USE spec categorizes them all as VPst.  No idea why we
weren't following that before.

Unbreak bots

[morx] Break out if buffer gets into error

Was getting stuck not making progress somehow.

[cache] Fix cache coherency corner-case

If key_bits+value_bits-cache_bits==32 then -1 is ambiguous...

[circleci] Couple of fixes (#1200)

* Raise error on warnings on -everything
* Enable fontconfig to two bots
* Fix msan bot now that all of its real complain are gone

[msan] Disable icu explicitly

[msan] Remove uninstrumented libraries

Correct fix for glib-mkenum warning

Revert "Fix glib-mkenum warning"

This reverts commit 247756a7d89008ee6a7d1171dc07ba22454c6034.

Was wrong.  Right fix coming.

Move _POSIX_SOURCE to hb.hh

Change _HB_SCRIPT_MAX_VALUE from 0xFFFFFFFF to 0x7FFFFFFF

Fixes https://github.com/harfbuzz/harfbuzz/issues/504

[test] Fix -Wunused-parameter warnings

More warning fixes

Fix bug introduced in 9b0b40b3c1ac8155c80ed5dc976228f4d3ec7e1f

Also discovered by msan bot.

Fix glib-mkenum warning

  GEN      hb-gobject-enums.h
WARNING: Failed to parse "/*< private >*/" in ../../src/hb-buffer.h

[circleci] Pass ‌freetype compile flags to right place

[circleci] Use an instrumented freetype on msan bot

[circleci] Another on fixing msan

[circleci] minor

[circleci] Try to fix msan bot

[util] Remove unneeded virtual

clang warning:

../../util/options.hh:72:13: warning: destination for this 'memset' call is a pointer to dynamic class
      'option_parser_t'; vtable pointer will be overwritten [-Wdynamic-class-memaccess]
    memset (this, 0, sizeof (*this));
    ~~~~~~  ^
../../util/options.hh:72:13: note: explicitly cast the pointer to silence this warning
    memset (this, 0, sizeof (*this));
            ^
            (void*)

[util] Fix more non-virtual-destructor warnings

Minor

[util] Use HB_FALLTHROUGH

Sure, gcc knows to warn about this as well:

../../util/options.cc:175:17: warning: this statement may fall through [-Wimplicit-fallthrough=]
     case 1: m.r = m.t;
             ~~~~^~~~~
../../util/options.cc:176:5: note: here
     case 2: m.b = m.t;
     ^~~~

But HOLY SMOKES, look at clang -Weverything bot message:

options.cc:176:5: warning: unannotated fall-through between switch labels [-Wimplicit-fallthrough]
    case 2: m.b = m.t;
    ^
options.cc:176:5: note: insert 'HB_FALLTHROUGH;' to silence this warning
    case 2: m.b = m.t;
    ^
    HB_FALLTHROUGH;

Right, it's telling me to insert "HB_FALLTHROUGH;" there!!!!!!!!!

[util] Mark var static

From clang -Weverything bot:

options.cc:39:3: warning: no previous extern declaration for non-static variable 'supported_font_funcs' [-Wmissing-variable-declarations]

[util] Add empty virtual destructor to option_group_t

From clang -Weverything bot:

./options.hh:57:8: warning: 'option_group_t' has virtual functions but non-virtual destructor [-Wnon-virtual-dtor]
struct option_group_t
       ^

[indic/khmer] Remove use of global constructors

Alternative woul have been to resurrect F_COMBINE that I removed in
70136a78cb9eda244767f8e8a3d30d0f3c569d01

But this does it for now.  I'm not sure why check-static-inits.sh didn't
catch this before.  Clang -Weverything bot did:

  CXX      libharfbuzz_la-hb-ot-shape-complex-indic.lo
hb-ot-shape-complex-indic.cc:99:1: warning: declaration requires a global constructor [-Wglobal-constructors]
indic_features[] =
^
1 warning generated.
  CXX      libharfbuzz_la-hb-ot-shape-complex-khmer.lo
hb-ot-shape-complex-khmer.cc:36:1: warning: declaration requires a global constructor [-Wglobal-constructors]
khmer_features[] =
^
1 warning generated.

Tweak HB_TAG and HB_UNTAG

uint32_t was getting promoted to signed int, which is not what we wanted...

Wow, clang has become good at generating warnings...

../../src/hb-common.h:349:29: warning: signed shift result (0xFF000000) sets the sign bit of the shift expression's type ('int') and becomes negative [-Wshift-sign-overflow]
  _HB_SCRIPT_MAX_VALUE                          = HB_TAG_MAX, /*< skip >*/
                                                  ^~~~~~~~~~
../../src/hb-common.h:93:20: note: expanded from macro 'HB_TAG_MAX'
 define HB_TAG_MAX HB_TAG(0xff,0xff,0xff,0xff)
                   ^~~~~~~~~~~~~~~~~~~~~~~~~~~
../../src/hb-common.h:89:57: note: expanded from macro 'HB_TAG'
 define HB_TAG(c1,c2,c3,c4) ((hb_tag_t)((((uint8_t)(c1))<<24)|(((uint8_t)(c2))<<16)|(((uint8_t)(c3))<<8)|((uint8_t)(c4))))
                                         ~~~~~~~~~~~~~~~^ ~~
../../src/hb-common.h:349:3: warning: ISO C restricts enumerator values to range of 'int' (4294967295 is too large) [-Wpedantic]
  _HB_SCRIPT_MAX_VALUE                          = HB_TAG_MAX, /*< skip >*/
  ^                                               ~~~~~~~~~~

[font] Make *_advance() fallback to *_advances

And remove redundant implementations.

Use buffer scratch_flags to remember if we had any joiners

Document setlocale() threadsafety issue

"Fixes" //github.com/harfbuzz/harfbuzz/issues/1191

[ci] Build glib and freetype and enable msan bot (#1198)

Minor on test-multithread, align the actual and expected results

[circleci] Add -Wno-reserved-id-macro to clang-everything

[test-multithread] Disable FreeType funcs

Fix fallback kerning to check for current glyph's mask

[circleci] Improve clang-everything bot log, more to come

#1196

[ci] Another try on mingw bot

[ci] Another try on fixing mingw bots

Per https://github.com/Alexpux/MSYS2-packages/issues/163#issuecomment-73555971

[tests] Don't try to get glyph names on failures

As it may cause a race unrelated to the issue actually happened

[ci] Trying to fix mingw bot

As https://github.com/Alexpux/MSYS2-packages/issues/702

Fix pthread fail for real

Using a hack...

Fix bot fails

[morx] Remove mark_set from Insertion

text-rendering-tests test MORX-32 shows that for Insertion, an unset mark is treated
as mark set at 0.  This is unlike the Reordering lookup where un unset mark performs
nothing.

Fixes MORX-32.

[morx] unsafe-to-break in Insertion

Makes MORX-29, MORX-30, MORX-31 pass.

[test/text-rendering-tests] Update from upstream

Fix ubsan bot

More atomic tuneup

[test-multithread] Install ot funcs before filling ref buffer

[test-multithread] Take num-threads and num-iters from command-line

Minor

test-multithread, check the results on every iteration (#1194)

Make test-multithread pass the tsan bot test (#1193)

More atomic fixup

Fixup atomics from recent change

[cache] Use atomic writes in clear()

To help TSan.

Fix infinite loop when walking up the directory hierarchy (#1183)

A single find_package(harfbuzz) line in user code resulted in this loop
getting stuck when _harfbuzz_libdir_iter became "/".

Use clang for compiling freetype for tsan bot

[arabic] Do the joiner-flipping only for rlig feature

See comment.

[ft] Make TSan happy

Add more atomic intrinsics

Rename test

[ci] Compile freetype on tsan and put sanitizer flags on correct places (#1188)

Test freetype funcs on test-multithread (#1187)

Minor, remove the no longer needed comment on test-multithread

Make TSan happy with make_immutable()

Fix test-multithread and increase num_threads to 30

What were you thinking? ;)

Add a multithreaded test (#1184)