[CBDT] Simplify sanitize

[morx] Handle end-of-text conditions in Insertion

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=10955

[buffer] Fix output_glyph at end of buffer

Part of https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=10955

[aat] More protection against buffer fail

[hmtx] Whitespace

Ignore signed-integer-overflow while kerning

Fixes https://github.com/harfbuzz/harfbuzz/issues/1247

[kerx] Fix Format1 sanitize

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=10948

[aat] Whitespace

[aat] Finish off massaging table

[aat] WIP remove feature mapping here from hb-coretext

Need to map enum values to numerics since we don't have CoreText headers.

[coretext] Prepare AAT feature mapping to be moved

[kerx] Sanitize more

[kerx] Fix-up previous commit

A "&" was missing.  Go back to using pointers that are less error-prone.

[kerx] Use sanitizer instead of handcoded runtime sanitization

[kerx] Wire up context down to get_kerning

[kerx] Use sanitizer.get_num_glyphs() instead of face->get_num_glyphs()

[kerx] Protext against overflows

[hangul] Fix use-after-free issue

out_info might have moved since we copied it's position into local
info var.

Fixes https://bugs.chromium.org/p/chromium/issues/detail?id=894937

Cosmetic and minor changes

Touch up new API

New API:
+hb_ot_layout_feature_get_name_ids()
+hb_ot_layout_feature_get_characters()

Add hb-ot-name.h

Actual name-fetching API to come later.

New API:
hb_name_id_t
HB_NAME_ID_INVALID

Add two APIs for getting stylistic set labels

* hb_ot_layout_feature_get_characters
* hb_ot_layout_feature_get_name_ids

However HarfBuzz currently doesn't expose an API for retrieving the actual
information associated with NameId from the `name` table and that should be
done separately.

[sanitize] Reorder condition to silence bogus gcc warning

Was givin a dozen of:

../../src/hb-machinery.hh: In member function ‘bool AAT::ankr::sanitize(hb_sanitize_context_t*) const’:
../../src/hb-machinery.hh:307:23: warning: missed loop optimization, the loop counter may overflow [-Wunsafe-loop-optimizations]
     bool ok = --this->max_ops > 0 &&
               ~~~~~~~~~~~~~~~~~~~~~~
        this->start <= p &&
        ~~~~~~~~~~~~~~~~~~~
        p <= this->end &&
        ~~~~~~~~~~~~~~~^~
        (unsigned int) (this->end - p) >= len;
        ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

I believe those are bogus, but this silences them and does not introduce
logic issues I believe.

Add HB_DEPRECATED_FOR and mark relevant symbols

[graphite] Add HB_DEPRECATED annotation

Always compile deprecated symbols

We haven't been keeping this updated.  So, while we don't expose the
symbols in the headers if HB_DISABLE_DEPRECATED is defined, we still
always build them.

Add missing colons to GObject annotations

Fix Indic script tags in Graphite

Attach CursivePositioning backwards, not forward

This is how Uniscribe does it.  So, adjust.  This is only relevant
to fonts that apply cursive positioning from a contextual lookup.

Fixes https://github.com/harfbuzz/harfbuzz/issues/1181

[myanmar] Implement Zawgyi shaper

Enabled if script tag 'Qaag' is passed to HarfBuzz.  Disables mark
advance-zeroing and fallback mark-positioning.

Fixes https://github.com/harfbuzz/harfbuzz/issues/1162

[myanmar] Shuffle

[graphite] Remove assert

Minor

[test] Add test for USE indic3

Minor

Pass indic3 tags to USE shaper

Fixes https://github.com/harfbuzz/harfbuzz/issues/539

Parse Indic3 tags

Remove remains of get-codepoint-fuzzer

[fuzzing] Fold get-codepoints-fuzzer into subset-fuzzer

[aat] Fix two wrongs that made a right before!

Unfortunately our static asserts (DEFINE_SIZE_STATIC) don't actually
fail when used in templates, thanks to SFINAE.  Le sighs.

Probably fixes https://oss-fuzz.com/v2/testcase-detail/5740171484463104

[aat] Fix mul overflow

Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=10897

Minor

[arabic] Update to latest UTR#53

From Lorna Evans: "That was a new character added to Unicode 11.0"

[test] Fix use of deprecated symbols

[graphite] Remove deprecated symbol use

Whitespace

[graphite] Fix deva/dev2 resolution

See https://github.com/harfbuzz/harfbuzz/pull/730#issuecomment-428277800

Add doc stubs for recently added API

Thanks to David Corbett who revamped our script and language processing
and implemented full BCP 47 support.

https://github.com/harfbuzz/harfbuzz/pull/730

New API:
+hb_ot_layout_table_select_script()
+hb_ot_layout_script_select_language()
+HB_OT_MAX_TAGS_PER_SCRIPT
+HB_OT_MAX_TAGS_PER_LANGUAGE
+hb_ot_tags_from_script_and_language()
+hb_ot_tags_to_script_and_language()

Deprecated API:
-hb_ot_layout_table_choose_script()
-hb_ot_layout_script_find_language()
-hb_ot_tags_from_script()
-hb_ot_tag_from_language()

Remove use of deprecated function

Increase HB_OT_MAX_TAGS_PER_SCRIPT to 3

No script has 3 tags yet, but the plan is for the Indic scripts to each
get a third tag someday.

Update language system tag registry to OT 1.8.3

Add hb_ot_tags_to_script_and_language

Switch on the first char of a complex language tag

This results in a tenfold speed-up for the common case of tags that are
not complex, in the sense of `hb_ot_tags_from_complex_language`.

Map Quechua languages to closest ones with tags

OpenType only officially maps four ISO 639 codes to Quechua languages,
but prior versions of HarfBuzz also mapped qu to 'QUZ '. Because qu is a
macrolanguage, the mapping now applies to all individual Quechua
languages. OpenType calls 'QUZ ' "Quechua", but it really corresponds to
Cusco Quechua, so the individual Quechua languages should not all
necessarily be mapped to it.

Test deprecated tag fallback in a font

The font supports the deprecated tag 'DHV ' instead of 'DIV '. dv is
mapped to 'DIV ' and 'DHV ', in that order. The test specifies
`--language=dv`, demonstrating that if a font does not support the first
OpenType tag mapped to a BCP 47 tag, it will fall back to the next tag.

Match extlang subtags

If the second subtag of a BCP 47 tag is three letters long, it denotes
an extended language. The tag converter ignores the language subtag and
uses the extended language instead.

There are some grandfathered exceptions, which are handled earlier.

Autogenerate the BCP 47 to OpenType mappings

The new script, gen-tag-table.py, generates `ot_languages` automatically
from the [OpenType language system tag registry][ot] and the [IANA
Language Subtag Registry][bcp47] with some manual modifications. If an
OpenType tag maps to a BCP 47 macrolanguage, all the macrolanguage's
individual languages are mapped to the same OpenType tag, except for
individual languages with their own OpenType mappings. Deprecated
BCP 47 tags are canonicalized.

[ot]: https://docs.microsoft.com/en-us/typography/opentype/spec/languagetags
[bcp47]: https://www.iana.org/assignments/language-subtag-registry/language-subtag-registry

Some OpenType tags correspond to multiple ISO 639 codes. The mapping
from ISO 639 codes lists OpenType tags in priority order, such that more
specific or more likely tags appear first.

Some OpenType tags have no corresponding ISO 639 code in the registry so
their mappings use BCP 47 subtags besides the language. For example, any
BCP 47 tag with a fonipa variant subtag is mapped to 'IPPH', and 'IPPH'
is mapped back to und-fonipa.

Other OpenType tags have no corresponding ISO 639 code because it is not
clear what they are for. HarfBuzz just ignores these tags.

One such ignored tag is 'ZHP ' (Chinese Phonetic). It probably means
zh-Latn. However, it is used in Microsoft JhengHei and Microsoft YaHei
with the script tag 'hani', implying that it is not a romanization
scheme after all. It would be simple enough to add this mapping to
gen-tag-table.py once a definitive mapping is determined.

The manual modifications are mainly either obvious mappings that the
OpenType registry omits or mappings for compatibility with previous
versions of HarfBuzz. Some of the old mappings were discarded, though,
for homophonous language names. For example, OpenType maps 'KUI ' to
kxu; previous versions of HarfBuzz also mapped it to kvd, because kvd
and kxu both happen to be called "Kui".

gen-tag-table.py also generates a function to convert multi-subtag tags
like el-polyton and zh-HK to OpenType tags, replacing `ot_languages_zh`
and the hard-coded list of special cases in `hb_ot_tags_from_language`.
It also generates a function to convert OpenType tags to BCP 47,
replacing the hard-coded list of special cases in
`hb_ot_tag_to_language`.

Deprecate obsolete functions

`hb_ot_tags` replaces `hb_ot_tags_from_script` and
`hb_ot_tag_from_language`.

`hb_ot_layout_table_select_script` replaces
`hb_ot_layout_table_choose_script`.

`hb_ot_layout_script_select_language` replaces
`hb_ot_layout_script_find_language`.

Refactor the selection of script and language tags

The old hb-ot-tag.cc functions, `hb_ot_tags_from_script` and
`hb_ot_tag_from_language`, are now wrappers around a new function:
`hb_ot_tags`. It converts a script and a language to arrays of script
tags and language tags. This will make it easier to add new script tags
to scripts, like 'dev3'. It also allows for language fallback chains;
nothing produces more than one language yet though.

Where the old functions return the default tags 'DFLT' and 'dflt',
`hb_ot_tags` returns an empty array. The caller is responsible for
using the default tag in that case.

The new function also adds a new private use subtag syntax for script
overrides: "x-hbscabcd" requests a script tag of 'abcd'.

The old hb-ot-layout.cc functions,`hb_ot_layout_table_choose_script` and
`hb_ot_layout_script_find_language` are now wrappers around the new
functions `hb_ot_layout_table_select_script` and
`hb_ot_layout_script_select_language`. They are essentially the same as
the old ones plus a tag count parameter.

Closes #495.

Replace "ISO 639" with "BCP 47"

`hb_language_from_string` accepts not only ISO 639 but also BCP 47. Not
all ISO 639 codes are valid BCP 47 tags but the function does not accept
overlong language subtags anyway.

[aat] Apply kerx if GPOS kern was not applied

Ned tells me this is what Apple does.

Minor

[trak] Add tests

[trak] Implement extrapolation

This concludes trak, as well as AAT shaping support!

[trak] Fix, and hook up

Works beautifully!  Test coming.

[trak] Handle nSizes=0 and 1

[trak] Fix counting

[trak] More

[trak] Only adjust around first glyph

Assumes graphemes only have one base glyph.

[trak] Clean up

[kerx] Implement Format4 action_type=1 contour-point-based attachment

Untested.

This concludes kerx table support!

[kerx] Implement Format4 action_type=2 coordinate-based attachment

Untested.

[kerx] Implement Format4 'ankr'-based mark attachment

Tested with Kannada MN:

$ HB_OPTIONS=aat ./hb-shape Kannada\ MN.ttc -u 0CCD,0C95,0CD6
[kn_ka.vattu=0+230|kn_ai_length_mark=1@326,0+607]

[aat] Wire up 'ankr' table to apply context

[kerx] Flesh out Format4

Doesn't apply actions yet.

[ankr] Implement table access

[ankr] Start fixing

Ugh. Re-enable accidentally disabled GPOS

[kerx] Allow granularly disabling kerning

[kerx] Comment

[kerx] Make Format1 work

Tested using Kannada MN:

$ HB_OPTIONS=aat ./hb-shape Kannada\ MN.ttc -u 0C95,0CCd,C95,CCD
[kn_ka.virama=0+1299|kn_ka.vattu=0+115|_blank=0@-115,0+385]

$ HB_OPTIONS=aat ./hb-shape Kannada\ MN.ttc -u 0C95,0CCd,C95,CCD --features=-kern
[kn_ka.virama=0+1799|kn_ka.vattu=0+230|_blank=0+0]

I don't see the GPOS table in the font do the same.  ¯\_(ツ)_/¯

Disable mark advance zeroing as well as mark fallback positioning if doing kerx

[kerx] Implement Format1

Untested.

[kerx] More UnsizedArrayOf<>

[kerx] Fix bound-checking error introduced a couple commits past

[kerx] Start fleshing out Format1

[kerx] Implement Format6

Untested.  The only Apple font shipping with this format is San Francisco fonts
that use this for their kerx variation tables, which we don't support.

[kerx] Move bounds-checking to subtable length itself

[kerx] Start fleshing out Format6

[kerx] When rejecting variable kerning, also check for tupleCount

[kerx] No-op

Tested that Format0 works with Kannada MN font:

$ make -j5 lib -s && HB_OPTIONS=aat ./hb-shape Kannada\ MN.ttc -u 0C95,0CC2
[kn_ka=0+1000|kn_matra_uu=0@-30,0+1345]

$ make -j5 lib -s && HB_OPTIONS=aat ./hb-shape Kannada\ MN.ttc -u 0C95,0CC2 --features=-kern
[kn_ka=0+1030|kn_matra_uu=0+1375]

Note that GPOS does the same with 'dist' feature, and applies the whole difference to the
same glyph:

$ make -j5 lib -s && ./hb-shape Kannada\ MN.ttc -u 0C95,0CC2
[kn_ka=0+970|kn_matra_uu=0+1375]

$ make -j5 lib -s && ./hb-shape Kannada\ MN.ttc -u 0C95,0CC2 --features=-dist
[kn_ka=0+1030|kn_matra_uu=0+1375]

Comment

Fix option string matching

[kern/kerx] Fix offset base

Disable kern Format2.

Fix kerx Format2.  Manually tested this with Tamil MN font and it works:

$ HB_OPTIONS=aat ./hb-shape Tamil\ MN.ttc -u 0B94,0B95
[tgv_au=0+3435|tgc_ka=1@-75,0+1517]

 HB_OPTIONS=aat ./hb-shape Tamil\ MN.ttc -u 0B94,0B95 --features=-kern
[tgv_au=0+3510|tgc_ka=1+1592]

[kerx] Don't loop over kerning subtables if kerning disabled

Allow HB_OPTIONS=aat to prefer AAT tables over OT

Fixes https://github.com/harfbuzz/harfbuzz/issues/322

[kerx] Skip variation subtables

Remove HAVE_OT

We never tested compiling without it.  Just kill it.  We always build
our own shaper.

[kerx] Actually hook up, and fix crash

Add per-subtable set-digests

This speeds up Roboto shaping by ~10%.  I was hoping for more.
Still, good defense against lookups with many subtables.