src/hb-ot-shape-complex-indic.hh

   1 /*
   2  * Copyright © 2012  Google, Inc.
   3  *
   4  *  This is part of HarfBuzz, a text shaping library.
   5  *
   6  * Permission is hereby granted, without written agreement and without
   7  * license or royalty fees, to use, copy, modify, and distribute this
   8  * software and its documentation for any purpose, provided that the
   9  * above copyright notice and the following two paragraphs appear in
  10  * all copies of this software.
  11  *
  12  * IN NO EVENT SHALL THE COPYRIGHT HOLDER BE LIABLE TO ANY PARTY FOR
  13  * DIRECT, INDIRECT, SPECIAL, INCIDENTAL, OR CONSEQUENTIAL DAMAGES
  14  * ARISING OUT OF THE USE OF THIS SOFTWARE AND ITS DOCUMENTATION, EVEN
  15  * IF THE COPYRIGHT HOLDER HAS BEEN ADVISED OF THE POSSIBILITY OF SUCH
  16  * DAMAGE.
  17  *
  18  * THE COPYRIGHT HOLDER SPECIFICALLY DISCLAIMS ANY WARRANTIES, INCLUDING,
  19  * BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND
  20  * FITNESS FOR A PARTICULAR PURPOSE.  THE SOFTWARE PROVIDED HEREUNDER IS
  21  * ON AN "AS IS" BASIS, AND THE COPYRIGHT HOLDER HAS NO OBLIGATION TO
  22  * PROVIDE MAINTENANCE, SUPPORT, UPDATES, ENHANCEMENTS, OR MODIFICATIONS.
  23  *
  24  * Google Author(s): Behdad Esfahbod
  25  */
  26
  27 #ifndef HB_OT_SHAPE_COMPLEX_INDIC_HH
  28 #define HB_OT_SHAPE_COMPLEX_INDIC_HH
  29
  30 #include "hb.hh"
  31
  32 #include "hb-ot-shape-complex-syllabic.hh"
  33
  34
  35 /* buffer var allocations */
  36 #define indic_category() complex_var_u8_category() /* indic_category_t */
  37 #define indic_position() complex_var_u8_auxiliary() /* indic_position_t */
  38
  39
  40 /* Cateories used in the OpenType spec:
  41  * https://docs.microsoft.com/en-us/typography/script-development/devanagari
  42  */
  43 /* Note: This enum is duplicated in the -machine.rl source file.
  44  * Not sure how to avoid duplication. */
  45 enum indic_category_t {
  46   OT_X = 0,
  47   OT_C = 1,
  48   OT_V = 2,
  49   OT_N = 3,
  50   OT_H = 4,
  51   OT_ZWNJ = 5,
  52   OT_ZWJ = 6,
  53   OT_M = 7,
  54   OT_SM = 8,
  55   /* OT_VD = 9, UNUSED; we use OT_A instead. */
  56   OT_A = 10,
  57   OT_PLACEHOLDER = 11,
  58   OT_DOTTEDCIRCLE = 12,
  59   OT_RS = 13, /* Register Shifter, used in Khmer OT spec. */
  60   OT_Coeng = 14, /* Khmer-style Virama. */
  61   OT_Repha = 15, /* Atomically-encoded logical or visual repha. */
  62   OT_Ra = 16,
  63   OT_CM = 17,  /* Consonant-Medial. */
  64   OT_Symbol = 18, /* Avagraha, etc that take marks (SM,A,VD). */
  65   OT_CS = 19,
  66
  67   /* The following are used by Khmer & Myanmar shapers.  Defined
  68    * here for them to share. */
  69   OT_VAbv    = 26,
  70   OT_VBlw    = 27,
  71   OT_VPre    = 28,
  72   OT_VPst    = 29,
  73 };
  74
  75 #define MEDIAL_FLAGS (FLAG (OT_CM))
  76
  77 /* Note:
  78  *
  79  * We treat Vowels and placeholders as if they were consonants.  This is safe because Vowels
  80  * cannot happen in a consonant syllable.  The plus side however is, we can call the
  81  * consonant syllable logic from the vowel syllable function and get it all right! */
  82 #define CONSONANT_FLAGS (FLAG (OT_C) | FLAG (OT_CS) | FLAG (OT_Ra) | MEDIAL_FLAGS | FLAG (OT_V) | FLAG (OT_PLACEHOLDER) | FLAG (OT_DOTTEDCIRCLE))
  83 #define JOINER_FLAGS (FLAG (OT_ZWJ) | FLAG (OT_ZWNJ))
  84
  85
  86 /* Visual positions in a syllable from left to right. */
  87 enum indic_position_t {
  88   POS_START = 0,
  89
  90   POS_RA_TO_BECOME_REPH = 1,
  91   POS_PRE_M = 2,
  92   POS_PRE_C = 3,
  93
  94   POS_BASE_C = 4,
  95   POS_AFTER_MAIN = 5,
  96
  97   POS_ABOVE_C = 6,
  98
  99   POS_BEFORE_SUB = 7,
 100   POS_BELOW_C = 8,
 101   POS_AFTER_SUB = 9,
 102
 103   POS_BEFORE_POST = 10,
 104   POS_POST_C = 11,
 105   POS_AFTER_POST = 12,
 106
 107   POS_FINAL_C = 13,
 108   POS_SMVD = 14,
 109
 110   POS_END = 15
 111 };
 112
 113 /* Categories used in IndicSyllabicCategory.txt from UCD. */
 114 enum indic_syllabic_category_t {
 115   INDIC_SYLLABIC_CATEGORY_OTHER                         = OT_X,
 116
 117   INDIC_SYLLABIC_CATEGORY_AVAGRAHA                      = OT_Symbol,
 118   INDIC_SYLLABIC_CATEGORY_BINDU                         = OT_SM,
 119   INDIC_SYLLABIC_CATEGORY_BRAHMI_JOINING_NUMBER         = OT_PLACEHOLDER, /* Don't care. */
 120   INDIC_SYLLABIC_CATEGORY_CANTILLATION_MARK             = OT_A,
 121   INDIC_SYLLABIC_CATEGORY_CONSONANT                     = OT_C,
 122   INDIC_SYLLABIC_CATEGORY_CONSONANT_DEAD                = OT_C,
 123   INDIC_SYLLABIC_CATEGORY_CONSONANT_FINAL               = OT_CM,
 124   INDIC_SYLLABIC_CATEGORY_CONSONANT_HEAD_LETTER         = OT_C,
 125   INDIC_SYLLABIC_CATEGORY_CONSONANT_KILLER              = OT_M, /* U+17CD only. */
 126   INDIC_SYLLABIC_CATEGORY_CONSONANT_MEDIAL              = OT_CM,
 127   INDIC_SYLLABIC_CATEGORY_CONSONANT_PLACEHOLDER         = OT_PLACEHOLDER,
 128   INDIC_SYLLABIC_CATEGORY_CONSONANT_PRECEDING_REPHA     = OT_Repha,
 129   INDIC_SYLLABIC_CATEGORY_CONSONANT_PREFIXED            = OT_X, /* Don't care. */
 130   INDIC_SYLLABIC_CATEGORY_CONSONANT_SUBJOINED           = OT_CM,
 131   INDIC_SYLLABIC_CATEGORY_CONSONANT_SUCCEEDING_REPHA    = OT_CM,
 132   INDIC_SYLLABIC_CATEGORY_CONSONANT_WITH_STACKER        = OT_CS,
 133   INDIC_SYLLABIC_CATEGORY_GEMINATION_MARK               = OT_SM, /* https://github.com/harfbuzz/harfbuzz/issues/552 */
 134   INDIC_SYLLABIC_CATEGORY_INVISIBLE_STACKER             = OT_Coeng,
 135   INDIC_SYLLABIC_CATEGORY_JOINER                        = OT_ZWJ,
 136   INDIC_SYLLABIC_CATEGORY_MODIFYING_LETTER              = OT_X,
 137   INDIC_SYLLABIC_CATEGORY_NON_JOINER                    = OT_ZWNJ,
 138   INDIC_SYLLABIC_CATEGORY_NUKTA                         = OT_N,
 139   INDIC_SYLLABIC_CATEGORY_NUMBER                        = OT_PLACEHOLDER,
 140   INDIC_SYLLABIC_CATEGORY_NUMBER_JOINER                 = OT_PLACEHOLDER, /* Don't care. */
 141   INDIC_SYLLABIC_CATEGORY_PURE_KILLER                   = OT_M, /* Is like a vowel matra. */
 142   INDIC_SYLLABIC_CATEGORY_REGISTER_SHIFTER              = OT_RS,
 143   INDIC_SYLLABIC_CATEGORY_SYLLABLE_MODIFIER             = OT_SM,
 144   INDIC_SYLLABIC_CATEGORY_TONE_LETTER                   = OT_X,
 145   INDIC_SYLLABIC_CATEGORY_TONE_MARK                     = OT_N,
 146   INDIC_SYLLABIC_CATEGORY_VIRAMA                        = OT_H,
 147   INDIC_SYLLABIC_CATEGORY_VISARGA                       = OT_SM,
 148   INDIC_SYLLABIC_CATEGORY_VOWEL                         = OT_V,
 149   INDIC_SYLLABIC_CATEGORY_VOWEL_DEPENDENT               = OT_M,
 150   INDIC_SYLLABIC_CATEGORY_VOWEL_INDEPENDENT             = OT_V
 151 };
 152
 153 /* Categories used in IndicSMatraCategory.txt from UCD */
 154 enum indic_matra_category_t {
 155   INDIC_MATRA_CATEGORY_NOT_APPLICABLE                   = POS_END,
 156
 157   INDIC_MATRA_CATEGORY_LEFT                             = POS_PRE_C,
 158   INDIC_MATRA_CATEGORY_TOP                              = POS_ABOVE_C,
 159   INDIC_MATRA_CATEGORY_BOTTOM                           = POS_BELOW_C,
 160   INDIC_MATRA_CATEGORY_RIGHT                            = POS_POST_C,
 161
 162   /* These should resolve to the position of the last part of the split sequence. */
 163   INDIC_MATRA_CATEGORY_BOTTOM_AND_RIGHT                 = INDIC_MATRA_CATEGORY_RIGHT,
 164   INDIC_MATRA_CATEGORY_LEFT_AND_RIGHT                   = INDIC_MATRA_CATEGORY_RIGHT,
 165   INDIC_MATRA_CATEGORY_TOP_AND_BOTTOM                   = INDIC_MATRA_CATEGORY_BOTTOM,
 166   INDIC_MATRA_CATEGORY_TOP_AND_BOTTOM_AND_LEFT          = INDIC_MATRA_CATEGORY_BOTTOM,
 167   INDIC_MATRA_CATEGORY_TOP_AND_BOTTOM_AND_RIGHT         = INDIC_MATRA_CATEGORY_RIGHT,
 168   INDIC_MATRA_CATEGORY_TOP_AND_LEFT                     = INDIC_MATRA_CATEGORY_TOP,
 169   INDIC_MATRA_CATEGORY_TOP_AND_LEFT_AND_RIGHT           = INDIC_MATRA_CATEGORY_RIGHT,
 170   INDIC_MATRA_CATEGORY_TOP_AND_RIGHT                    = INDIC_MATRA_CATEGORY_RIGHT,
 171
 172   INDIC_MATRA_CATEGORY_OVERSTRUCK                       = POS_AFTER_MAIN,
 173   INDIC_MATRA_CATEGORY_VISUAL_ORDER_LEFT                = POS_PRE_M
 174 };
 175
 176 #define INDIC_COMBINE_CATEGORIES(S,M) \
 177   ( \
 178     static_assert_expr (S < 255 && M < 255) + \
 179     ( S | \
 180      ( \
 181       ( \
 182        S == INDIC_SYLLABIC_CATEGORY_CONSONANT_MEDIAL || \
 183        S == INDIC_SYLLABIC_CATEGORY_GEMINATION_MARK || \
 184        S == INDIC_SYLLABIC_CATEGORY_REGISTER_SHIFTER || \
 185        S == INDIC_SYLLABIC_CATEGORY_CONSONANT_SUCCEEDING_REPHA || \
 186        S == INDIC_SYLLABIC_CATEGORY_VIRAMA || \
 187        S == INDIC_SYLLABIC_CATEGORY_VOWEL_DEPENDENT || \
 188        false \
 189        ? M : INDIC_MATRA_CATEGORY_NOT_APPLICABLE \
 190       ) << 8 \
 191      ) \
 192     ) \
 193    )
 194
 195 HB_INTERNAL uint16_t
 196 hb_indic_get_categories (hb_codepoint_t u);
 197
 198
 199 static inline bool
 200 is_one_of (const hb_glyph_info_t &info, unsigned int flags)
 201 {
 202   /* If it ligated, all bets are off. */
 203   if (_hb_glyph_info_ligated (&info)) return false;
 204   return !!(FLAG_UNSAFE (info.indic_category()) & flags);
 205 }
 206
 207 static inline bool
 208 is_joiner (const hb_glyph_info_t &info)
 209 {
 210   return is_one_of (info, JOINER_FLAGS);
 211 }
 212
 213 static inline bool
 214 is_consonant (const hb_glyph_info_t &info)
 215 {
 216   return is_one_of (info, CONSONANT_FLAGS);
 217 }
 218
 219 static inline bool
 220 is_halant (const hb_glyph_info_t &info)
 221 {
 222   return is_one_of (info, FLAG (OT_H));
 223 }
 224
 225 #define IN_HALF_BLOCK(u, Base) (((u) & ~0x7Fu) == (Base))
 226
 227 #define IS_DEVA(u) (IN_HALF_BLOCK (u, 0x0900u))
 228 #define IS_BENG(u) (IN_HALF_BLOCK (u, 0x0980u))
 229 #define IS_GURU(u) (IN_HALF_BLOCK (u, 0x0A00u))
 230 #define IS_GUJR(u) (IN_HALF_BLOCK (u, 0x0A80u))
 231 #define IS_ORYA(u) (IN_HALF_BLOCK (u, 0x0B00u))
 232 #define IS_TAML(u) (IN_HALF_BLOCK (u, 0x0B80u))
 233 #define IS_TELU(u) (IN_HALF_BLOCK (u, 0x0C00u))
 234 #define IS_KNDA(u) (IN_HALF_BLOCK (u, 0x0C80u))
 235 #define IS_MLYM(u) (IN_HALF_BLOCK (u, 0x0D00u))
 236 #define IS_SINH(u) (IN_HALF_BLOCK (u, 0x0D80u))
 237
 238
 239 #define MATRA_POS_LEFT(u)       POS_PRE_M
 240 #define MATRA_POS_RIGHT(u)      ( \
 241                                   IS_DEVA(u) ? POS_AFTER_SUB  : \
 242                                   IS_BENG(u) ? POS_AFTER_POST : \
 243                                   IS_GURU(u) ? POS_AFTER_POST : \
 244                                   IS_GUJR(u) ? POS_AFTER_POST : \
 245                                   IS_ORYA(u) ? POS_AFTER_POST : \
 246                                   IS_TAML(u) ? POS_AFTER_POST : \
 247                                   IS_TELU(u) ? (u <= 0x0C42u ? POS_BEFORE_SUB : POS_AFTER_SUB) : \
 248                                   IS_KNDA(u) ? (u < 0x0CC3u || u > 0xCD6u ? POS_BEFORE_SUB : POS_AFTER_SUB) : \
 249                                   IS_MLYM(u) ? POS_AFTER_POST : \
 250                                   IS_SINH(u) ? POS_AFTER_SUB  : \
 251                                   /*default*/  POS_AFTER_SUB    \
 252                                 )
 253 #define MATRA_POS_TOP(u)        ( /* BENG and MLYM don't have top matras. */ \
 254                                   IS_DEVA(u) ? POS_AFTER_SUB  : \
 255                                   IS_GURU(u) ? POS_AFTER_POST : /* Deviate from spec */ \
 256                                   IS_GUJR(u) ? POS_AFTER_SUB  : \
 257                                   IS_ORYA(u) ? POS_AFTER_MAIN : \
 258                                   IS_TAML(u) ? POS_AFTER_SUB  : \
 259                                   IS_TELU(u) ? POS_BEFORE_SUB : \
 260                                   IS_KNDA(u) ? POS_BEFORE_SUB : \
 261                                   IS_SINH(u) ? POS_AFTER_SUB  : \
 262                                   /*default*/  POS_AFTER_SUB    \
 263                                 )
 264 #define MATRA_POS_BOTTOM(u)     ( \
 265                                   IS_DEVA(u) ? POS_AFTER_SUB  : \
 266                                   IS_BENG(u) ? POS_AFTER_SUB  : \
 267                                   IS_GURU(u) ? POS_AFTER_POST : \
 268                                   IS_GUJR(u) ? POS_AFTER_POST : \
 269                                   IS_ORYA(u) ? POS_AFTER_SUB  : \
 270                                   IS_TAML(u) ? POS_AFTER_POST : \
 271                                   IS_TELU(u) ? POS_BEFORE_SUB : \
 272                                   IS_KNDA(u) ? POS_BEFORE_SUB : \
 273                                   IS_MLYM(u) ? POS_AFTER_POST : \
 274                                   IS_SINH(u) ? POS_AFTER_SUB  : \
 275                                   /*default*/  POS_AFTER_SUB    \
 276                                 )
 277
 278 static inline indic_position_t
 279 matra_position_indic (hb_codepoint_t u, indic_position_t side)
 280 {
 281   switch ((int) side)
 282   {
 283     case POS_PRE_C:     return MATRA_POS_LEFT (u);
 284     case POS_POST_C:    return MATRA_POS_RIGHT (u);
 285     case POS_ABOVE_C:   return MATRA_POS_TOP (u);
 286     case POS_BELOW_C:   return MATRA_POS_BOTTOM (u);
 287   }
 288   return side;
 289 }
 290
 291 /* XXX
 292  * This is a hack for now.  We should move this data into the main Indic table.
 293  * Or completely remove it and just check in the tables.
 294  */
 295 static const hb_codepoint_t ra_chars[] = {
 296   0x0930u, /* Devanagari */
 297   0x09B0u, /* Bengali */
 298   0x09F0u, /* Bengali */
 299   0x0A30u, /* Gurmukhi */       /* No Reph */
 300   0x0AB0u, /* Gujarati */
 301   0x0B30u, /* Oriya */
 302   0x0BB0u, /* Tamil */          /* No Reph */
 303   0x0C30u, /* Telugu */         /* Reph formed only with ZWJ */
 304   0x0CB0u, /* Kannada */
 305   0x0D30u, /* Malayalam */      /* No Reph, Logical Repha */
 306
 307   0x0DBBu, /* Sinhala */        /* Reph formed only with ZWJ */
 308 };
 309
 310 static inline bool
 311 is_ra (hb_codepoint_t u)
 312 {
 313   return hb_array (ra_chars).lfind (u);
 314 }
 315
 316 static inline void
 317 set_indic_properties (hb_glyph_info_t &info)
 318 {
 319   hb_codepoint_t u = info.codepoint;
 320   unsigned int type = hb_indic_get_categories (u);
 321   indic_category_t cat = (indic_category_t) (type & 0xFFu);
 322   indic_position_t pos = (indic_position_t) (type >> 8);
 323
 324
 325   /*
 326    * Re-assign category
 327    */
 328
 329   /* The following act more like the Bindus. */
 330   if (unlikely (hb_in_range<hb_codepoint_t> (u, 0x0953u, 0x0954u)))
 331     cat = OT_SM;
 332   /* The following act like consonants. */
 333   else if (unlikely (hb_in_ranges<hb_codepoint_t> (u, 0x0A72u, 0x0A73u,
 334                                       0x1CF5u, 0x1CF6u)))
 335     cat = OT_C;
 336   /* TODO: The following should only be allowed after a Visarga.
 337    * For now, just treat them like regular tone marks. */
 338   else if (unlikely (hb_in_range<hb_codepoint_t> (u, 0x1CE2u, 0x1CE8u)))
 339     cat = OT_A;
 340   /* TODO: The following should only be allowed after some of
 341    * the nasalization marks, maybe only for U+1CE9..U+1CF1.
 342    * For now, just treat them like tone marks. */
 343   else if (unlikely (u == 0x1CEDu))
 344     cat = OT_A;
 345   /* The following take marks in standalone clusters, similar to Avagraha. */
 346   else if (unlikely (hb_in_ranges<hb_codepoint_t> (u, 0xA8F2u, 0xA8F7u,
 347                                       0x1CE9u, 0x1CECu,
 348                                       0x1CEEu, 0x1CF1u)))
 349   {
 350     cat = OT_Symbol;
 351     static_assert (((int) INDIC_SYLLABIC_CATEGORY_AVAGRAHA == OT_Symbol), "");
 352   }
 353   else if (unlikely (u == 0x0A51u))
 354   {
 355     /* https://github.com/harfbuzz/harfbuzz/issues/524 */
 356     cat = OT_M;
 357     pos = POS_BELOW_C;
 358   }
 359
 360   /* According to ScriptExtensions.txt, these Grantha marks may also be used in Tamil,
 361    * so the Indic shaper needs to know their categories. */
 362   else if (unlikely (u == 0x11301u || u == 0x11303u)) cat = OT_SM;
 363   else if (unlikely (u == 0x1133Bu || u == 0x1133Cu)) cat = OT_N;
 364
 365   else if (unlikely (u == 0x0AFBu)) cat = OT_N; /* https://github.com/harfbuzz/harfbuzz/issues/552 */
 366   else if (unlikely (u == 0x0B55u)) cat = OT_N; /* https://github.com/harfbuzz/harfbuzz/issues/2849 */
 367
 368   else if (unlikely (u == 0x0980u)) cat = OT_PLACEHOLDER; /* https://github.com/harfbuzz/harfbuzz/issues/538 */
 369   else if (unlikely (u == 0x09FCu)) cat = OT_PLACEHOLDER; /* https://github.com/harfbuzz/harfbuzz/pull/1613 */
 370   else if (unlikely (u == 0x0C80u)) cat = OT_PLACEHOLDER; /* https://github.com/harfbuzz/harfbuzz/pull/623 */
 371   else if (unlikely (hb_in_range<hb_codepoint_t> (u, 0x2010u, 0x2011u)))
 372                                     cat = OT_PLACEHOLDER;
 373   else if (unlikely (u == 0x25CCu)) cat = OT_DOTTEDCIRCLE;
 374
 375
 376   /*
 377    * Re-assign position.
 378    */
 379
 380   if ((FLAG_UNSAFE (cat) & CONSONANT_FLAGS))
 381   {
 382     pos = POS_BASE_C;
 383     if (is_ra (u))
 384       cat = OT_Ra;
 385   }
 386   else if (cat == OT_M)
 387   {
 388     pos = matra_position_indic (u, pos);
 389   }
 390   else if ((FLAG_UNSAFE (cat) & (FLAG (OT_SM) /* | FLAG (OT_VD) */ | FLAG (OT_A) | FLAG (OT_Symbol))))
 391   {
 392     pos = POS_SMVD;
 393   }
 394
 395   if (unlikely (u == 0x0B01u)) pos = POS_BEFORE_SUB; /* Oriya Bindu is BeforeSub in the spec. */
 396
 397
 398
 399   info.indic_category() = cat;
 400   info.indic_position() = pos;
 401 }
 402
 403 struct hb_indic_would_substitute_feature_t
 404 {
 405   void init (const hb_ot_map_t *map, hb_tag_t feature_tag, bool zero_context_)
 406   {
 407     zero_context = zero_context_;
 408     map->get_stage_lookups (0/*GSUB*/,
 409                             map->get_feature_stage (0/*GSUB*/, feature_tag),
 410                             &lookups, &count);
 411   }
 412
 413   bool would_substitute (const hb_codepoint_t *glyphs,
 414                          unsigned int          glyphs_count,
 415                          hb_face_t            *face) const
 416   {
 417     for (unsigned int i = 0; i < count; i++)
 418       if (hb_ot_layout_lookup_would_substitute (face, lookups[i].index, glyphs, glyphs_count, zero_context))
 419         return true;
 420     return false;
 421   }
 422
 423   private:
 424   const hb_ot_map_t::lookup_map_t *lookups;
 425   unsigned int count;
 426   bool zero_context;
 427 };
 428
 429
 430 #endif /* HB_OT_SHAPE_COMPLEX_INDIC_HH */