Merge commit 'bfe0faf1a2d39302129a7202994456afd96694ca'

[docs] Deprecate hb_set_invert()

Merge pull request #572 from fanc999/master.msvc

builds: Support HarfBuzz-GObject and introspection in CMake builds

Another try at fixing build bots

hb-ot-shape.cc:287:18: error: comparison of constant 32 with expression of type 'hb_unicode_general_category_t' is always true [-Werror,-Wtautological-constant-out-of-range-compare]

Remove FLAG_SAFE()

No flag is safe, over time... See previous commit.

[myanmar] Fix unsafe usage of FLAG_SAFE()

The commit f559c633073f63b9d87cb2440048b4413cfa1c05 caused
"undefined-shift" errors in Myanmar shaper as we changed the
numeric value of type D from 19 to 32 there, making the
"FLAG_SAFE (info.myanmar_category())" wrong.

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=3546

CMake builds: Support introspection builds

This adds support for introspection builds on Windows that is enabled by
the HB_HAVE_INTROSPECTION option, which will also enable HB_HAVE_GOBJECT
(and so HB_HAVE_GLIB) as they are required for introspection.

In order for this to work one must ensure that the Python installation
listed in PYTHON_EXECUTABLE is the same Python release series that was
used to build _giscanner.pyd (the Python module that is used by
g-ir-scanner), with the same architecture.  PKG_CONFIG_PATH and PATH
must be set correctly if $(PREFIX)\bin and/or $(PREFIX)\lib\pkgconfig
are not in the standard PATH and PKG_CONFIG_PATH, which is actually
in-line with the *NIX builds.

CMake: Support building HarfBuzz-GObject

This adds support to the CMake build files to support building
HarfBuzz-GObject, which is actually a little bit complicated,
as we need to:

-Run glib-mkenums, which is a Python (for newer GLib/GObject) or PERL
 (for older, pre 2.53.4, GLib/GObject) script.  This matters more for
 Visual Studio builds as shebang lines are not supported, so we need to
 test-run it with PERL or Python to determine which is the correct
 interpretor to use.

-Next, we need to replace strings in the sources that we obtain from
 running glib-mkenums.  So, the solution here is to use a small utility
 CMake script for our purposes here, to maintain maximum compatibility.

-Ensure that things do work in the Visual Studio IDE builds.

CMake builds: Fix builds

Include the fallback sources in the build, and update
src/Makefile.sources so that it can be read by the CMake build files.

Fix a typo in the DirectWrite configure option so that we can properly
enable DirectWrite builds.

Also, when building the utility program, install them as well.

[bsearch] Micro-optimization

Switch from ICU deprecated unorm_normalize to unorm2_normalize. (#569)

The new unorm2_normalize has been public API since ICU 4.4, while
the old unorm_normalize has been deprecated since ICU 56.

Now, beginning with ICU 60, unorm_normalize will also be annotated
U_DEPRECATED and trigger the compiler -Wdeprecated-declarations warning.

Update docs symbols

Try fixing build on VC

c:\projects\harfbuzz\src\hb-set-private.hh(151): error C2327: 'hb_set_t::page_t::v': is not a type name, static, or enumerator [C:\projects\harfbuzz\build\harfbuzz.vcxproj]

[coretext] Fix build

error: static_assert expression is not an integral constant expression

[set] Fix merge logic

Ouch.

[set] Disable vectorization

Fixes clang "non-const reference cannot bind to vector element" error.

Fix bots

[set] Remove TODO items not worth pursuing

[set] Speed up intersects()

Simplify hb_prealloced_array_t initialization

Properly detect vector_size attribute and use fallback otherwise

[set] Add fallback implementation of int-vector type

Faster hb_set_t

Fixes https://github.com/behdad/harfbuzz/pull/23

Deprecate hb_set_invert()

Add bfind() to prealloaced_array_t

Inline another bsearch()

Add popcount for 64bit ints

Remove unused hb_cache_t

Remove unused hb_frozen_set_t

Move set-digests into their own header file

Try fixing AppVeyor bots

Fix warnings

Use C++11

Use nullptr instead of NULL

Don't use NULL in public headers

Use static_assert instead of custom ASSERT_STATIC

Add polyfill for static_assert and nullptr

Also fix hb_assert_constant_t.

[util] Include hb-private.hh

Simplifies compatibility issues by centralizing all boilerplate code
in hb-private.hh.

Never skip over CGJ

We might want to tweak this some more.  For now, never skipping over
it is better behavior than always skipping.

Part of https://github.com/behdad/harfbuzz/issues/554

1.6.0

[ucdn] Fix compiler warnings

[coretext] Fix build

[coretext] Pass correct font size to CoreText

CoreText "point"s are not typographic points, but CSS pixels.  Ie.
they are 96 per inch, not 72 per inch.

Merge remote-tracking branch 'origin/master'

[indic] Special-case Kannada Ra,H,ZWJ sequence

Fixes https://github.com/behdad/harfbuzz/issues/435

Replacing 'cluster' with 'syllable' when comments describe certain Indic shaping behavior (#563)

* Clarified wording of syllable/cluster behavior in Uniscribe in final_reordering; changed one other probable typo.

* Additional syllable/cluster swap in comments for final reordering and for initial-reordering matra decomposition.

Minor BUILD.md fix (#565)

[coretext] Use fabs() to silence compiler warning

[coretext] Activate tracking for system fonts

Another attempt at fully fixing
https://github.com/behdad/harfbuzz/issues/360

CMakelists.txt fix for Freetype builds (#564)

Instead of searching for freetype using pkg-config, use the FindFreetype
feature of CMake. This allows for better integration with other projects
that make use of CMake.

Fixes https://github.com/behdad/harfbuzz/issues/518

[coretext] Use fabsf() instead of abs()

Fixes bots.

Link libharfbuzz.so with -lm.  Surprising that we survived without
it so far!

Remove nmake port of harfbuzz (#562)

[ft] Add hb_ft_font_changed()

When the font size or variations settings on underlying FT_Face change,
one can call hb_ft_font_changed() and continue using hb_font created using
hb_ft_font_create().

Fixes https://github.com/behdad/harfbuzz/issues/559

New API:
hb_ft_font_changed()

Add hb_face_get_table_tags()

New API:
hb_face_get_table_tags()

Fixes https://github.com/behdad/harfbuzz/issues/560

Remove cast of functions to (hb_destroy_func_t)

Fixes https://github.com/behdad/harfbuzz/issues/474

[coretext] Minor

Change ptem API to make 0 mean unset

[coretext] Minor

[coretext] Adjust font size check for 0

Correctly initialize ptem

[coretext-aat] Also pass through CoreText if font has kerx table

SFNSText has kerx table which apparently is applied.

[coretext] Change default point size to 12

Merge branch 'coretext-optical-sizing'

Should fix https://github.com/behdad/harfbuzz/issues/360

[coretext] Recreate CTFont if pt size changed

Attempt at fixing #360

[coretext] Fix build

[coretext] Another try

[coretext] Move CT_Font to font data

Towards implementing optical sizing.  Untested; won't compile.

https://github.com/behdad/harfbuzz/issues/360

[coretext] Move font size to a macro

Infrastructure for creating CTFont with correct font size

https://github.com/behdad/harfbuzz/issues/360

[coretext] Change default font size from 36 to 18

Remove dirty tracking

Turns out I don't need this to resolve CoreText optical sizing
issue after all.

https://github.com/behdad/harfbuzz/issues/360

Add hb_font_[sg]et_ptem() to set/get point size on font

New API:
hb_font_set_ptem()
hb_font_get_ptem()

Needed for hb-coretext optical sizing:
https://github.com/behdad/harfbuzz/issues/360

Fix TODO item

[arabic] Fix cluster merging

Add check for HB_EXTERNs

https://github.com/behdad/harfbuzz/pull/555

Fix build of HarfBuzz tools and HarfBuzz-GObject on Visual Studio (#555)

* hb-buffer.h: Mark hb_buffer_diff() for export

This will fix the tools builds on Visual Studio, as the symbol is used
by the tools.

* build: Adapt NMake Makefiles for GLib 2.53.4 or later

glib-mkenums was ported from a PERL script to a Python script, so we
need to update how we generate the enum sources for HarfBuzz-GObject in
the NMake builds.  Let this be known in the build documentation for MSVC
builds.

One of the problems with the underlying cmd.exe that the NMake Makefiles
run on is that shebang lines are not recognized, so we need to to test
run the script with Python and see whether it succeeded by outputing a
source file that is larger than 0 in file size (since running the PERL
version of the script will clearly fail and cause an empty file to be
created).

If it succeeds, we then run a small Python utility script that makes the
necessary string replacements, and we are done.  If that fails, then we
run the glib-mkenums script with PERL, and do the replacements with the
PERL one-liners as we did before.

We need to make replace.py use latin-1 encoding when using Python 3.x to
cope with the copyright sign that is in the generated enum sources.

[ot] Remove 'mal' and 'gle' lang tags

Fixes https://github.com/behdad/harfbuzz/issues/477

Improve performance of ligature component matching

This O(N^2) was introduced in 8b2c94c43fd335b944d5e5487265706b8e0f9041.
Make it O(N).

[arabic] Implement Unicode Arabic Mark Ordering Algorithm UTR#53

Fixes https://github.com/behdad/harfbuzz/issues/509

Add info_cc() convenience macro

Adjust normalizer for out-of-order marks

We are going to implement Unicode Arabic Mark Ordering Algorithm:

  http://www.unicode.org/reports/tr53/tr53-1.pdf

which will reorder marks out of their sorted ccc order.  Adjust
normalizer to stop combining as soon as dangerous ordering is
detected.

Minor

Revert "Treat HAMZA ABOVE similar to SHADD for sorting purposes"

This reverts commit 5a330575768f5a213072230b9ec8faabac9c5737.

Proper fix coming soon.

Shorthand format controls should not be ignored

Fixes https://github.com/behdad/harfbuzz/issues/503

Add Chinantec language tags

Fixes https://github.com/behdad/harfbuzz/issues/516

Fix GPOS v_origin ordering

This should affect mark attachment in vertical text.  I have no font to test,
but this sounds the right order.

Noticed while debugging https://github.com/behdad/harfbuzz/issues/532

[indic] Fix shaping of U+0AFB GUJARATI SIGN SHADDA

Fixes https://github.com/behdad/harfbuzz/issues/552

[indic] Implement Consonent_With_Stacker

Fixes https://github.com/behdad/harfbuzz/issues/528

[use] Implement Consonant_With_Stacker

Related to https://github.com/behdad/harfbuzz/issues/528

Test Consonant_With_Stacker in Kannada (#530)

Tweak mark-base attachment

Apparently a base glyph can also become an attached component of a
ligature if the ligature-forming lookup used IgnoreBase.  This was
being confused with a non-first component of a MultipleSubst and
hence not matched for mark-attachment.  Tweak test to fix.

Fixes https://github.com/behdad/harfbuzz/issues/543

Merge commit 'c44657a05d565ec5f2c32ac15d4ecfbee00ac5f7'

Minor

Make bots happy

Fixes https://github.com/behdad/harfbuzz/issues/551

Tweak input matching some more

Followup to 8b2c94c43fd335b944d5e5487265706b8e0f9041

Allow matching sequences of marks attached to different ligatures,
as supposedly the base of the subsequent marks were already jumped
over.

Print test-suite.log when CI builds fail

Add test for U+0A51

New Indic numbers are:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707307 out of 707394 tests passed. 87 failed (0.0122987%)
GUJARATI: 366355 out of 366457 tests passed. 102 failed (0.0278341%)
GURMUKHI: 60729 out of 60747 tests passed. 18 failed (0.0296311%)
KANNADA: 951201 out of 951913 tests passed. 712 failed (0.0747968%)
KHMER: 299071 out of 299124 tests passed. 53 failed (0.0177184%)
MALAYALAM: 1048136 out of 1048334 tests passed. 198 failed (0.0188871%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271662 out of 271847 tests passed. 185 failed (0.068053%)
TAMIL: 1091754 out of 1091754 tests passed. 0 failed (0%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

Before 71c0a1429db7c7e7e32507be248c9457e1cbfc7d GURMUKHI used to be at 15,
because Uniscribe seems to allow this character standalone, but that looks
wrong.

Tweak ligature component matching for ligature formation

If two marks want to ligate and they belong to different components of the
same ligature glyph, and said ligature glyph is to be ignored according to
mark-filtering rules, then allow.

Example Burmese senquence:

  U+1004,U+103A,U+1039,U+101B,U+103D,U+102D

Test font provided by Norbert Lindenberg.

Fixes https://github.com/behdad/harfbuzz/issues/545

[indic] Fix shaping of U+0A51

Mark it as matra below to allow the sequence U+0A15, U+0A51, U+0A47.
Oh well...

Fixes https://github.com/behdad/harfbuzz/issues/524