src/hb-unicode-private.hh

   1 /*
   2  * Copyright © 2009  Red Hat, Inc.
   3  * Copyright © 2011  Codethink Limited
   4  * Copyright © 2010,2011,2012  Google, Inc.
   5  *
   6  *  This is part of HarfBuzz, a text shaping library.
   7  *
   8  * Permission is hereby granted, without written agreement and without
   9  * license or royalty fees, to use, copy, modify, and distribute this
  10  * software and its documentation for any purpose, provided that the
  11  * above copyright notice and the following two paragraphs appear in
  12  * all copies of this software.
  13  *
  14  * IN NO EVENT SHALL THE COPYRIGHT HOLDER BE LIABLE TO ANY PARTY FOR
  15  * DIRECT, INDIRECT, SPECIAL, INCIDENTAL, OR CONSEQUENTIAL DAMAGES
  16  * ARISING OUT OF THE USE OF THIS SOFTWARE AND ITS DOCUMENTATION, EVEN
  17  * IF THE COPYRIGHT HOLDER HAS BEEN ADVISED OF THE POSSIBILITY OF SUCH
  18  * DAMAGE.
  19  *
  20  * THE COPYRIGHT HOLDER SPECIFICALLY DISCLAIMS ANY WARRANTIES, INCLUDING,
  21  * BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND
  22  * FITNESS FOR A PARTICULAR PURPOSE.  THE SOFTWARE PROVIDED HEREUNDER IS
  23  * ON AN "AS IS" BASIS, AND THE COPYRIGHT HOLDER HAS NO OBLIGATION TO
  24  * PROVIDE MAINTENANCE, SUPPORT, UPDATES, ENHANCEMENTS, OR MODIFICATIONS.
  25  *
  26  * Red Hat Author(s): Behdad Esfahbod
  27  * Codethink Author(s): Ryan Lortie
  28  * Google Author(s): Behdad Esfahbod
  29  */
  30
  31 #ifndef HB_UNICODE_PRIVATE_HH
  32 #define HB_UNICODE_PRIVATE_HH
  33
  34 #include "hb-private.hh"
  35
  36 #include "hb-unicode.h"
  37 #include "hb-object-private.hh"
  38
  39
  40 extern HB_INTERNAL const uint8_t _hb_modified_combining_class[256];
  41
  42 /*
  43  * hb_unicode_funcs_t
  44  */
  45
  46 #define HB_UNICODE_FUNCS_IMPLEMENT_CALLBACKS \
  47   HB_UNICODE_FUNC_IMPLEMENT (combining_class) \
  48   HB_UNICODE_FUNC_IMPLEMENT (eastasian_width) \
  49   HB_UNICODE_FUNC_IMPLEMENT (general_category) \
  50   HB_UNICODE_FUNC_IMPLEMENT (mirroring) \
  51   HB_UNICODE_FUNC_IMPLEMENT (script) \
  52   HB_UNICODE_FUNC_IMPLEMENT (compose) \
  53   HB_UNICODE_FUNC_IMPLEMENT (decompose) \
  54   HB_UNICODE_FUNC_IMPLEMENT (decompose_compatibility) \
  55   /* ^--- Add new callbacks here */
  56
  57 /* Simple callbacks are those taking a hb_codepoint_t and returning a hb_codepoint_t */
  58 #define HB_UNICODE_FUNCS_IMPLEMENT_CALLBACKS_SIMPLE \
  59   HB_UNICODE_FUNC_IMPLEMENT (hb_unicode_combining_class_t, combining_class) \
  60   HB_UNICODE_FUNC_IMPLEMENT (unsigned int, eastasian_width) \
  61   HB_UNICODE_FUNC_IMPLEMENT (hb_unicode_general_category_t, general_category) \
  62   HB_UNICODE_FUNC_IMPLEMENT (hb_codepoint_t, mirroring) \
  63   HB_UNICODE_FUNC_IMPLEMENT (hb_script_t, script) \
  64   /* ^--- Add new simple callbacks here */
  65
  66 struct hb_unicode_funcs_t {
  67   hb_object_header_t header;
  68   ASSERT_POD ();
  69
  70   hb_unicode_funcs_t *parent;
  71
  72   bool immutable;
  73
  74 #define HB_UNICODE_FUNC_IMPLEMENT(return_type, name) \
  75   inline return_type name (hb_codepoint_t unicode) { return func.name (this, unicode, user_data.name); }
  76 HB_UNICODE_FUNCS_IMPLEMENT_CALLBACKS_SIMPLE
  77 #undef HB_UNICODE_FUNC_IMPLEMENT
  78
  79   inline hb_bool_t compose (hb_codepoint_t a, hb_codepoint_t b,
  80                             hb_codepoint_t *ab)
  81   {
  82     *ab = 0;
  83     if (unlikely (!a || !b)) return false;
  84     return func.compose (this, a, b, ab, user_data.compose);
  85   }
  86
  87   inline hb_bool_t decompose (hb_codepoint_t ab,
  88                               hb_codepoint_t *a, hb_codepoint_t *b)
  89   {
  90     *a = ab; *b = 0;
  91     return func.decompose (this, ab, a, b, user_data.decompose);
  92   }
  93
  94   inline unsigned int decompose_compatibility (hb_codepoint_t  u,
  95                                                hb_codepoint_t *decomposed)
  96   {
  97     unsigned int ret = func.decompose_compatibility (this, u, decomposed, user_data.decompose_compatibility);
  98     if (ret == 1 && u == decomposed[0]) {
  99       decomposed[0] = 0;
 100       return 0;
 101     }
 102     decomposed[ret] = 0;
 103     return ret;
 104   }
 105
 106
 107   unsigned int
 108   modified_combining_class (hb_codepoint_t unicode)
 109   {
 110     return _hb_modified_combining_class[combining_class (unicode)];
 111   }
 112
 113   inline hb_bool_t
 114   is_variation_selector (hb_codepoint_t unicode)
 115   {
 116     return unlikely (hb_in_ranges<hb_codepoint_t> (unicode,
 117                                                    0x180B, 0x180D, /* MONGOLIAN FREE VARIATION SELECTOR ONE..THREE */
 118                                                    0xFE00, 0xFE0F, /* VARIATION SELECTOR-1..16 */
 119                                                    0xE0100, 0xE01EF));  /* VARIATION SELECTOR-17..256 */
 120   }
 121
 122   /* Default_Ignorable codepoints:
 123    *
 124    * Note that as of Oct 2012 (Unicode 6.2), U+180E MONGOLIAN VOWEL SEPARATOR
 125    * is NOT Default_Ignorable, but it really behaves in a way that it should
 126    * be.  That has been reported to the Unicode Technical Committee for
 127    * consideration.  As such, we include it here, since Uniscribe removes it.
 128    *
 129    * Gathered from:
 130    * http://unicode.org/cldr/utility/list-unicodeset.jsp?a=[:DI:]&abb=on&ucd=on&esc=on
 131    *
 132    * Last updated to the page with the following versions:
 133    * Version 3.6; ICU version: 50.0.1.0; Unicode version: 6.1.0.0
 134    *
 135    * 4,167 Code Points
 136    *
 137    * [\u00AD\u034F\u115F\u1160\u17B4\u17B5\u180B-\u180D\u200B-\u200F\u202A-\u202E\u2060-\u206F\u3164\uFE00-\uFE0F\uFEFF\uFFA0\uFFF0-\uFFF8\U0001D173-\U0001D17A\U000E0000-\U000E0FFF]
 138    *
 139    * 00AD ;SOFT HYPHEN
 140    * 034F ;COMBINING GRAPHEME JOINER
 141    * 115F ;HANGUL CHOSEONG FILLER
 142    * 1160 ;HANGUL JUNGSEONG FILLER
 143    * 17B4 ;KHMER VOWEL INHERENT AQ
 144    * 17B5 ;KHMER VOWEL INHERENT AA
 145    * 180B..180D ;MONGOLIAN FREE VARIATION SELECTOR THREE
 146    * 200B..200F ;RIGHT-TO-LEFT MARK
 147    * 202A..202E ;RIGHT-TO-LEFT OVERRIDE
 148    * 2060..206F ;NOMINAL DIGIT SHAPES
 149    * 3164 ;HANGUL FILLER
 150    * FE00..FE0F ;VARIATION SELECTOR-16
 151    * FEFF ;ZERO WIDTH NO-BREAK SPACE
 152    * FFA0 ;HALFWIDTH HANGUL FILLER
 153    * FFF0..FFF8 ;<unassigned-FFF8>
 154    * 1D173..1D17A ;MUSICAL SYMBOL END PHRASE
 155    * E0000..E0FFF ;<unassigned-E0FFF>
 156    */
 157   inline hb_bool_t
 158   is_default_ignorable (hb_codepoint_t ch)
 159   {
 160     hb_codepoint_t plane = ch >> 16;
 161     if (likely (plane == 0))
 162     {
 163       /* BMP */
 164       hb_codepoint_t page = ch >> 8;
 165       switch (page) {
 166         case 0x00: return unlikely (ch == 0x00AD);
 167         case 0x03: return unlikely (ch == 0x034F);
 168         case 0x11: return hb_in_range<hb_codepoint_t> (ch, 0x115F, 0x1160);
 169         case 0x17: return hb_in_range<hb_codepoint_t> (ch, 0x17B4, 0x17B5);
 170         case 0x18: return hb_in_range<hb_codepoint_t> (ch, 0x180B, 0x180E);
 171         case 0x20: return hb_in_ranges<hb_codepoint_t> (ch, 0x200B, 0x200F,
 172                                                             0x202A, 0x202E,
 173                                                             0x2060, 0x206F);
 174         case 0x31: return unlikely (ch == 0x3164);
 175         case 0xFE: return hb_in_range<hb_codepoint_t> (ch, 0xFE00, 0xFE0F) || ch == 0xFEFF;
 176         case 0xFF: return hb_in_range<hb_codepoint_t> (ch, 0xFFF0, 0xFFF8) || ch == 0xFFA0;
 177         default: return false;
 178       }
 179     }
 180     else
 181     {
 182       /* Other planes */
 183       switch (plane) {
 184         case 0x01: return hb_in_range<hb_codepoint_t> (ch, 0x0001D173, 0x0001D17A);
 185         case 0x0E: return hb_in_range<hb_codepoint_t> (ch, 0x000E0000, 0x000E0FFF);
 186         default: return false;
 187       }
 188     }
 189   }
 190
 191
 192   struct {
 193 #define HB_UNICODE_FUNC_IMPLEMENT(name) hb_unicode_##name##_func_t name;
 194     HB_UNICODE_FUNCS_IMPLEMENT_CALLBACKS
 195 #undef HB_UNICODE_FUNC_IMPLEMENT
 196   } func;
 197
 198   struct {
 199 #define HB_UNICODE_FUNC_IMPLEMENT(name) void *name;
 200     HB_UNICODE_FUNCS_IMPLEMENT_CALLBACKS
 201 #undef HB_UNICODE_FUNC_IMPLEMENT
 202   } user_data;
 203
 204   struct {
 205 #define HB_UNICODE_FUNC_IMPLEMENT(name) hb_destroy_func_t name;
 206     HB_UNICODE_FUNCS_IMPLEMENT_CALLBACKS
 207 #undef HB_UNICODE_FUNC_IMPLEMENT
 208   } destroy;
 209 };
 210
 211
 212 extern HB_INTERNAL const hb_unicode_funcs_t _hb_unicode_funcs_nil;
 213
 214
 215 /* Modified combining marks */
 216
 217 /* Hebrew
 218  *
 219  * We permute the "fixed-position" classes 10-26 into the order
 220  * described in the SBL Hebrew manual:
 221  *
 222  * http://www.sbl-site.org/Fonts/SBLHebrewUserManual1.5x.pdf
 223  *
 224  * (as recommended by:
 225  *  http://forum.fontlab.com/archive-old-microsoft-volt-group/vista-and-diacritic-ordering-t6751.0.html)
 226  *
 227  * More details here:
 228  * https://bugzilla.mozilla.org/show_bug.cgi?id=662055
 229  */
 230 #define HB_MODIFIED_COMBINING_CLASS_CCC10 22 /* sheva */
 231 #define HB_MODIFIED_COMBINING_CLASS_CCC11 15 /* hataf segol */
 232 #define HB_MODIFIED_COMBINING_CLASS_CCC12 16 /* hataf patah */
 233 #define HB_MODIFIED_COMBINING_CLASS_CCC13 17 /* hataf qamats */
 234 #define HB_MODIFIED_COMBINING_CLASS_CCC14 23 /* hiriq */
 235 #define HB_MODIFIED_COMBINING_CLASS_CCC15 18 /* tsere */
 236 #define HB_MODIFIED_COMBINING_CLASS_CCC16 19 /* segol */
 237 #define HB_MODIFIED_COMBINING_CLASS_CCC17 20 /* patah */
 238 #define HB_MODIFIED_COMBINING_CLASS_CCC18 21 /* qamats */
 239 #define HB_MODIFIED_COMBINING_CLASS_CCC19 14 /* holam */
 240 #define HB_MODIFIED_COMBINING_CLASS_CCC20 24 /* qubuts */
 241 #define HB_MODIFIED_COMBINING_CLASS_CCC21 12 /* dagesh */
 242 #define HB_MODIFIED_COMBINING_CLASS_CCC22 25 /* meteg */
 243 #define HB_MODIFIED_COMBINING_CLASS_CCC23 13 /* rafe */
 244 #define HB_MODIFIED_COMBINING_CLASS_CCC24 10 /* shin dot */
 245 #define HB_MODIFIED_COMBINING_CLASS_CCC25 11 /* sin dot */
 246 #define HB_MODIFIED_COMBINING_CLASS_CCC26 26 /* point varika */
 247
 248 /*
 249  * Arabic
 250  *
 251  * Modify to move Shadda (ccc=33) before other marks.  See:
 252  * http://unicode.org/faq/normalization.html#8
 253  * http://unicode.org/faq/normalization.html#9
 254  */
 255 #define HB_MODIFIED_COMBINING_CLASS_CCC27 28 /* fathatan */
 256 #define HB_MODIFIED_COMBINING_CLASS_CCC28 29 /* dammatan */
 257 #define HB_MODIFIED_COMBINING_CLASS_CCC29 30 /* kasratan */
 258 #define HB_MODIFIED_COMBINING_CLASS_CCC30 31 /* fatha */
 259 #define HB_MODIFIED_COMBINING_CLASS_CCC31 32 /* damma */
 260 #define HB_MODIFIED_COMBINING_CLASS_CCC32 33 /* kasra */
 261 #define HB_MODIFIED_COMBINING_CLASS_CCC33 27 /* shadda */
 262 #define HB_MODIFIED_COMBINING_CLASS_CCC34 34 /* sukun */
 263 #define HB_MODIFIED_COMBINING_CLASS_CCC35 35 /* superscript alef */
 264
 265 /* Syriac */
 266 #define HB_MODIFIED_COMBINING_CLASS_CCC36 36 /* superscript alaph */
 267
 268 /* Telugu
 269  *
 270  * Modify Telugu length marks (ccc=84, ccc=91).
 271  * These are the only matras in the main Indic scripts range that have
 272  * a non-zero ccc.  That makes them reorder with the Halant that is
 273  * ccc=9.  Just zero them, we don't need them in our Indic shaper.
 274  */
 275 #define HB_MODIFIED_COMBINING_CLASS_CCC84 0 /* length mark */
 276 #define HB_MODIFIED_COMBINING_CLASS_CCC91 0 /* ai length mark */
 277
 278 /* Thai
 279  *
 280  * Modify U+0E38 and U+0E39 (ccc=103) to be reordered before U+0E3A (ccc=9).
 281  * Assign 3, which is unassigned otherwise.
 282  * Uniscribe does this reordering too.
 283  */
 284 #define HB_MODIFIED_COMBINING_CLASS_CCC103 3 /* sara u / sara uu */
 285 #define HB_MODIFIED_COMBINING_CLASS_CCC107 107 /* mai * */
 286
 287 /* Lao */
 288 #define HB_MODIFIED_COMBINING_CLASS_CCC118 118 /* sign u / sign uu */
 289 #define HB_MODIFIED_COMBINING_CLASS_CCC122 122 /* mai * */
 290
 291 /* Tibetan */
 292 #define HB_MODIFIED_COMBINING_CLASS_CCC129 129 /* sign aa */
 293 #define HB_MODIFIED_COMBINING_CLASS_CCC130 130 /* sign i */
 294 #define HB_MODIFIED_COMBINING_CLASS_CCC132 132 /* sign u */
 295
 296
 297 /* Misc */
 298
 299 #define HB_UNICODE_GENERAL_CATEGORY_IS_MARK(gen_cat) \
 300         (FLAG (gen_cat) & \
 301          (FLAG (HB_UNICODE_GENERAL_CATEGORY_SPACING_MARK) | \
 302           FLAG (HB_UNICODE_GENERAL_CATEGORY_ENCLOSING_MARK) | \
 303           FLAG (HB_UNICODE_GENERAL_CATEGORY_NON_SPACING_MARK)))
 304
 305
 306 #endif /* HB_UNICODE_PRIVATE_HH */