[indic] Update data tables to Unicode 8.0

Test stats remain unchanged, except for Malayalam, which we investigate:

BENGALI: 353725 out of 354188 tests passed. 463 failed (0.130722%)
DEVANAGARI: 707307 out of 707394 tests passed. 87 failed (0.0122987%)
GUJARATI: 366349 out of 366457 tests passed. 108 failed (0.0294714%)
GURMUKHI: 60732 out of 60747 tests passed. 15 failed (0.0246926%)
KANNADA: 951190 out of 951913 tests passed. 723 failed (0.0759523%)
KHMER: 299070 out of 299124 tests passed. 54 failed (0.0180527%)
MALAYALAM: 1047584 out of 1048334 tests passed. 750 failed (0.0715421%)
ORIYA: 42320 out of 42329 tests passed. 9 failed (0.021262%)
SINHALA: 271662 out of 271847 tests passed. 185 failed (0.068053%)
TAMIL: 1091753 out of 1091754 tests passed. 1 failed (9.15957e-05%)
TELUGU: 970555 out of 970573 tests passed. 18 failed (0.00185457%)

Myanmar, compared to Windows 10 mmrtext.ttf:

MYANMAR: 1123865 out of 1123883 tests passed. 18 failed (0.00160159%)

Remove HB_OT_SHAPE_ZERO_WIDTH_MARKS_DEFAULT

The DEFAULT naming wasn't helpful, so just remove it.

[indic] Allow context when matching for Malayalam new-spec

Test sequence:
U+0995,U+09CD,U+09B0

With Nirmala shipped on Windows 10, this failed to form the below form.
Works now.

Reported by Sairus.

[uniscribe] Handle E_NOT_SUFFICIENT_BUFFER as well as E_OUTOFMEMORY

On Windows 10 we are seeing that other error message...

Test sequence: U+0995,U+-9CD,U+09B0
With Nirmala shipped on Windows 10, this failed to form the below form.
Works now.

Reported by Sairus.

[util] Use O_BINARY instead of _O_BINARY

The latter doesn't seem to be available in Cygwin.  I'm surprised it
compiled before...

Fix ligature component of a mark happening after a ligature within a ligature!

Say, if we are ligating "A B_C m D", then previously 'm' was being
attached to 'B' in the combined A_B_C_D ligature.  Now we attach it
to 'C'.  No test for this though :(.

Improve ligature-component handling

We use three bits for lig_id these days, so we finally got a report of
two separate ligatures with the same lig_id happening adjacent to each
other, and then the component-handling code was breaking things.
Protect against that by ignoring same-lig-id but lig-comp=0 glyphs after
a new ligature.

Fixes https://github.com/behdad/harfbuzz/issues/198

[use] Fix halant detection

Before, we were just checking the use_category().  This detects as
halant a ligature that had the halant as first glyph (as seen in
NotoSansBalinese.)  Change that to use the is_ligated() glyph prop
bit.  The font is forming this ligature in ccmp, which is before
the rphf / pref tests.  So we need to make sure the "ligated" bit
survives those tests.  Since those only check the "substituted" bit,
we now only clear that bit for them and "ligated" survives.

Fixes https://github.com/behdad/harfbuzz/issues/180

[arabic] Use glyph advance width in apply_stch() instead of extents

That seems to be what Windows is doing, and makes more sense.

Fix Since: tags for new API

https://github.com/behdad/harfbuzz/commit/e1d4d0f1dbd8518b5672245c05d73f22a9ed03ea#commitcomment-15006653

Merge pull request #196 from srl295/aix

AIX fixes

AIX fixes

- use '-w' instead of '\<...\>' for check-header-guards
  grep manpage says these are the same

- put '-q' first in the grep options

- move VAR into hb-private.hh

- hb-font-private.hh - use [VAR] instead of [] for variable array

Limit use of AIX intrinsics to IBM's compiler

Merge branch 'font-extents'

Fixes https://github.com/behdad/harfbuzz/pull/165

[util] Port hb-view to use font metrics from HarfBuzz instead of cairo

[ft] Use ftface->size->metrics for font extent info

[ot-font] Respect OS/2 fsSelection USE_TYPO_METRICS bit

Add atomic ops for AIX

Patch from Volker Simonis.

Remove final pause from Arabic shaper

Back in the old days, we used to apply 'calt' and 'cswh' in Arabic shaper,
with a pause in between.  Then we disabled the 'cswh' because Microsoft
disabled it, but forgot to remove the unnecessary pause.  Do that now.

This has the benefit that it fixes shaping with monbaiti from Windows 10.
In that version of that font, the lookups from 'calt' are duplicated in
'rclt', and Mongolian was changed to go through Universal Shaping Engine.
We still use the Arabic shaper for Mongolian.  With a pause after 'calt',
we were applying the duplicate lookups from 'calt' and 'rclt' twice.  It
happened to be the case that these lookups were NOT idempotent.  So we
were getting wrong shaping.  See thread "Windows 10 monbaiti.ttf upgrade
(5.01 -> 5.51) caused loss of diacritical marks when shaped with harfbuz"
on the mailing list.  This fixes that.

Merge pull request #192 from behdad/jfkthame-stch

[issue 191] Make apply_stch() give a more precise fit

Fix undefined behavior in cmp function

Fixes https://bugs.freedesktop.org/show_bug.cgi?id=93274

Fix sorting order of ot_languages array

Looks like the original sort was wrongly done.
Fixes: https://bugs.freedesktop.org/show_bug.cgi?id=93275

Add test to make sure ot-languages array is sorted

Currently fails.  Part of
https://bugs.freedesktop.org/show_bug.cgi?id=93275

Merge pull request #134 from ebraminio/dwrite

Add working but less prefect DirectWrite backend

Make apply_stch() give a more precise fit

This aims to make Syriac Abbr Mark sizing more accurate when repeating segments are used, by adding an extra repeat and tightening up the spacing slightly rather than leaving a shortfall corresponding to a partial repeat-width.

src/test.cc: wrong field printed

Fixes https://github.com/behdad/harfbuzz/issues/188
Fixes https://bugs.freedesktop.org/show_bug.cgi?id=93182

Get font ascender and descender metrics from OS/2 table.

Parse the OS/2 table.

1.1.2

Fix a few docs blocks

[introspection] Make scanner happy with HB_EXTERN

Use C-style casts instead of compare to 0, to convert hb_bool_t to bool

Fix vertical GPOS

This was brorken earlier, though, it's really hard to notice it.
Unlike the glyph_h_origin(), an unset glyph_v_origin() does NOT
mean that the vertical origin is at 0,0.

Related to https://github.com/behdad/harfbuzz/issues/187

Add tests for previous commit

Make nil glyph_h_origin() function return true

Fixes https://github.com/behdad/harfbuzz/issues/187

Funcs implementations that have a non-zero horizontal origin must
implement the glyph_h_origin() callback, nothing new here.

Other implementations (all I know of!) can simply not set
glyph_h_origin() now.  I did that for hb-ot and hb-ft in
44f82750807475aa5b16099ccccd917d488df703, though that broke the
fallback shaper because the default was returning false...

Merge pull request #114 from ThePhD/vc++-fixes

Fix all VC++ warnings and errors

Merge pull request #177 from fanc999/exporting

Enable use of compiler directives to export symbols

Merge pull request #181 from mhosken/master

Fix y_scale problems in hb-gr

1.1.1

Merge pull request #185 from khaledhosny/travis-osx

[travis] Enable Mac OS X support

[travis] Enable Mac OS X support

Fixes https://github.com/behdad/harfbuzz/issues/182

[travis] Remove coverity scan

I never could get it to work, and it's a proprietary platform.

Fix y_scale problems in hb-gr

Public headers: Decorate public symbols with HB_EXTERN

This prepares the headers for exporting symbols using visibility
attributes or __declspec(dllexport), so that we do not need to maintain
symbols listing files, as this is what was and is done in GLib and GTK+.

c-style cast

Merge pull request #176 from behdad/missing-braces

Add braces for subobject initializer in _hb_font_funcs_nil

Whitespace

Define HB_MARK_AS_FLAG_T as a macro instead of using templates

The generic template operator overloading was causing more problems than it
solved.  Eg:

https://github.com/behdad/harfbuzz/pull/163
https://github.com/behdad/harfbuzz/issues/175

So, just use macros.

Fixes https://github.com/behdad/harfbuzz/issues/175
Fixes https://github.com/behdad/harfbuzz/pull/178

Add braces for subobject initializer in _hb_font_funcs_nil

To avoid triggering -Wmissing-braces; see https://bugzilla.mozilla.org/show_bug.cgi?id=1226175#c8

Do not allow recursiving to same position and same lookup

This is just to make it harder to be extremely slow.  There definitely
are ways still, just harder.  Oh well... how do we tame this problem
without solving halting problem?!

Fixes https://github.com/behdad/harfbuzz/issues/174

[fuzzing] Run fuzzing tests using hb-fuzzer as well

Revert "Fix hang in OOM situations"

This reverts commit f0599db761d7fc2d585d86e757a797f75ebc7499.

Commit abadc1717d997b69f987fdf1be9e12156d2d13d6 provides a better
fix for this.

Revert "Make sure we make progress in OOM situations"

This reverts commit 68b507a3c3c62c28c38e13fee733702bb703b6ca.

Commit abadc1717d997b69f987fdf1be9e12156d2d13d6 provides a better
fix for this.

1.1.0

Fix make distcheck

[travis] Only coverity-scan the coverity_scan branch

This essentially disables coverity-scan right now, until we find
a pattern to continuously submit branches there.

For background reasoning, see:
Fixes https://github.com/behdad/harfbuzz/issues/171

Add tests for previous two commits

To fully test what these are supposed to test, they should be run
against libharfbuzz-fuzzing.la instead of libharfbuzz.la, but for
now just record the files.

Fix another move_to assertion failure

If buf->idx is at end, don't set end past it...

Fixes https://github.com/behdad/harfbuzz/issues/173

Try to better handle OOM situations

Fixes assert fail in https://github.com/behdad/harfbuzz/issues/161
with libharfbuzz-fuzzing.

Try to fix gnome-continuous build fail

Enable building a bounded version of the library for fuzzing

test/fuzzing/hb-fuzzer links against libharfbuzz-fuzzing.so now.

Move things around

Merge pull request #163 from fanc999/msvc.src

Update the sources so they will compile under Visual Studio

Fix build on MSVC >= 2012

Use the DEFINE_ENUM_FLAG_OPERATORS macro in winnt.h on Visual Studio,
which defines the bitwise operators for the enumerations that we want to
mark as hb_mark_as_flags_t, which will take care of the situation on newer
Visual Studio (>= 2012), where the build breaks with C2057 errors as the
underlying types of the enumerations is not clear to the compiler when we
do a bitwise op within the declaration of the enumerations themselves.

Also disable the C4200 (nonstandard extension used : zero-sized array in
struct/union) and C4800 ('type' : forcing value to bool 'true' or 'false'
(performance warning)) warnings as the C4200 is the intended scenario and
C4800 is harmless but is so far an unavoidable side effect of using
DEFINE_ENUM_FLAG_OPERATORS.

hb-ot-shape-complex-arabic.cc: Fix build on Visual Studio

Visual Studio does not like declaring a enum variable within a for
statement, so fix the build by declaring the enum before doing the for
loop.

MSVC builds: Add fallback implementation for pre-2013 MSVC

Pre-2013 MSVC does not have scalbn() and scalbnf(), which are used in the
utility programs.  Add  fallback implementations for these, which can be
used when necessary.

util: Fix build on Visual Studio

Use the fallback implementation for lround() only on pre-2013 Visual
Studio, and ensure we are clear about the types of the parameters for
lround() and scalbnf(), since Visual Studio can be quite picky on
ambiguous parameter types.  Also, use g_ascii_strcasecmp() rather than
strcasecmp() as we are already using GLib for this code and we are
assured that g_ascii_strcasemp() is available.

For scalbnf() on pre-2013 Visaul Studio, a fallback implementation is
needed, but use another forced-included header for those compilers, which
will be added later.

Also use (char)27 on Visual Studio builds as '\e' is not a recognized
escape sequence, which will do the same thing.

[util] Fix crash when --output-file is specified but not --output-format

Merge pull request #167 from KonstantinRitt/unicode_cp_opt

Micro optimizations to UTF-16 and UTF-32 codecs

[arabic] Improve stretch length calculation

Err on the side of being too short, than too wide.  Reduces chance
of overlaps with neighboring glyphs.

[arabic] Don't stretch over cased letters

Addresses
https://github.com/behdad/harfbuzz/commit/6e6f82b6f3dde0fc6c3c7d991d9ec6cfff57823d#commitcomment-14248516

Revert "Don't process lookups if buffer is in error"

This reverts commit f92bd86cc8c11d262d1830c631cb7c63fc9d4bc8.

We don't want to be like cairo, where as soon as there's an error,
nothing works anymore.  So, lets process lookups as long as there's
no new memory needed.  That's also a model that hides fewer bugs.

Micro optimization to hb_utf16_t and hb_utf32_t ::prev()

Implement reverse lookup instead of re-using next()

Nano optimization to hb_utf16_t and hb_utf32_t ::next()

[fuzzing] Cap max buffer len at 128

Fix typo

Make sure we make progress in OOM situations

[fuzzing] Add test case for OOM

From https://github.com/behdad/harfbuzz/issues/161

Fix hang in OOM situations

Fixes https://github.com/behdad/harfbuzz/issues/161

Don't process lookups if buffer is in error

Limit buffer max size growth

https://github.com/behdad/harfbuzz/issues/161

[fuzzing] Add build system

[fuzzer] Add README

https://github.com/behdad/harfbuzz/issues/139#issuecomment-154202645

Implement SYRIAC ABBREVIATION MARK with 'stch' feature

The feature is enabled for any character in the Arabic shaper.
We should experiment with using it for Arabic subtending marks.
Though, that has a directionality problem as well, since those
are used with digits...

Fixes https://github.com/behdad/harfbuzz/issues/141

[ft] Fix extents with negative scales

Fixes https://github.com/behdad/harfbuzz/issues/162

Reserve a few scratch-flags bits for complex shapers

Add new shaper method postprocess_glyphs()

Unused currently.  To be used for Syriac stretch implementation.

https://github.com/behdad/harfbuzz/issues/141

[util] If font has color, generate PNG with color

Don't try zeroing marks by GDEF if there are no non-ASCII

This one is a hack, but should be ok.

Don't try zeroing mark attachments by Unicode if there's no non-ASCII

Actually commit changes for previous commit

Skip GPOS cursive / attachment adjustmnent if none happened

I'm starting to really like how free these new scratch_flags are.

Minor

Skip forming clusters if text is all ASCII

Move variable-sized struct member to end

Hopefully makes clang build happy

Optimize positioning for when h_origin is nil

Add font->has_...() to check for individual nil font funcs

Hopefully this wouldn't break any compiler.  There was some magic
moments to getting this to compile...

Minor reshaping of hb_font_funcs_t implementation

In anticipation of further changes.  No functional changes.

Comments

[ot] Remove font funcs that do nothing