src/hb-ot-shape-complex-indic.hh

   1 /*
   2  * Copyright © 2012  Google, Inc.
   3  *
   4  *  This is part of HarfBuzz, a text shaping library.
   5  *
   6  * Permission is hereby granted, without written agreement and without
   7  * license or royalty fees, to use, copy, modify, and distribute this
   8  * software and its documentation for any purpose, provided that the
   9  * above copyright notice and the following two paragraphs appear in
  10  * all copies of this software.
  11  *
  12  * IN NO EVENT SHALL THE COPYRIGHT HOLDER BE LIABLE TO ANY PARTY FOR
  13  * DIRECT, INDIRECT, SPECIAL, INCIDENTAL, OR CONSEQUENTIAL DAMAGES
  14  * ARISING OUT OF THE USE OF THIS SOFTWARE AND ITS DOCUMENTATION, EVEN
  15  * IF THE COPYRIGHT HOLDER HAS BEEN ADVISED OF THE POSSIBILITY OF SUCH
  16  * DAMAGE.
  17  *
  18  * THE COPYRIGHT HOLDER SPECIFICALLY DISCLAIMS ANY WARRANTIES, INCLUDING,
  19  * BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND
  20  * FITNESS FOR A PARTICULAR PURPOSE.  THE SOFTWARE PROVIDED HEREUNDER IS
  21  * ON AN "AS IS" BASIS, AND THE COPYRIGHT HOLDER HAS NO OBLIGATION TO
  22  * PROVIDE MAINTENANCE, SUPPORT, UPDATES, ENHANCEMENTS, OR MODIFICATIONS.
  23  *
  24  * Google Author(s): Behdad Esfahbod
  25  */
  26
  27 #ifndef HB_OT_SHAPE_COMPLEX_INDIC_HH
  28 #define HB_OT_SHAPE_COMPLEX_INDIC_HH
  29
  30 #include "hb.hh"
  31
  32 #include "hb-ot-shape-complex.hh"
  33
  34
  35 /* buffer var allocations */
  36 #define indic_category() complex_var_u8_0() /* indic_category_t */
  37 #define indic_position() complex_var_u8_1() /* indic_position_t */
  38
  39
  40 #define INDIC_TABLE_ELEMENT_TYPE uint16_t
  41
  42 /* Cateories used in the OpenType spec:
  43  * https://docs.microsoft.com/en-us/typography/script-development/devanagari
  44  */
  45 /* Note: This enum is duplicated in the -machine.rl source file.
  46  * Not sure how to avoid duplication. */
  47 enum indic_category_t {
  48   OT_X = 0,
  49   OT_C = 1,
  50   OT_V = 2,
  51   OT_N = 3,
  52   OT_H = 4,
  53   OT_ZWNJ = 5,
  54   OT_ZWJ = 6,
  55   OT_M = 7,
  56   OT_SM = 8,
  57   /* OT_VD = 9, UNUSED; we use OT_A instead. */
  58   OT_A = 10,
  59   OT_PLACEHOLDER = 11,
  60   OT_DOTTEDCIRCLE = 12,
  61   OT_RS = 13, /* Register Shifter, used in Khmer OT spec. */
  62   OT_Coeng = 14, /* Khmer-style Virama. */
  63   OT_Repha = 15, /* Atomically-encoded logical or visual repha. */
  64   OT_Ra = 16,
  65   OT_CM = 17,  /* Consonant-Medial. */
  66   OT_Symbol = 18, /* Avagraha, etc that take marks (SM,A,VD). */
  67   OT_CS = 19
  68 };
  69
  70 #define MEDIAL_FLAGS (FLAG (OT_CM))
  71
  72 /* Note:
  73  *
  74  * We treat Vowels and placeholders as if they were consonants.  This is safe because Vowels
  75  * cannot happen in a consonant syllable.  The plus side however is, we can call the
  76  * consonant syllable logic from the vowel syllable function and get it all right! */
  77 #define CONSONANT_FLAGS (FLAG (OT_C) | FLAG (OT_CS) | FLAG (OT_Ra) | MEDIAL_FLAGS | FLAG (OT_V) | FLAG (OT_PLACEHOLDER) | FLAG (OT_DOTTEDCIRCLE))
  78 #define JOINER_FLAGS (FLAG (OT_ZWJ) | FLAG (OT_ZWNJ))
  79
  80
  81 /* Visual positions in a syllable from left to right. */
  82 enum indic_position_t {
  83   POS_START = 0,
  84
  85   POS_RA_TO_BECOME_REPH = 1,
  86   POS_PRE_M = 2,
  87   POS_PRE_C = 3,
  88
  89   POS_BASE_C = 4,
  90   POS_AFTER_MAIN = 5,
  91
  92   POS_ABOVE_C = 6,
  93
  94   POS_BEFORE_SUB = 7,
  95   POS_BELOW_C = 8,
  96   POS_AFTER_SUB = 9,
  97
  98   POS_BEFORE_POST = 10,
  99   POS_POST_C = 11,
 100   POS_AFTER_POST = 12,
 101
 102   POS_FINAL_C = 13,
 103   POS_SMVD = 14,
 104
 105   POS_END = 15
 106 };
 107
 108 /* Categories used in IndicSyllabicCategory.txt from UCD. */
 109 enum indic_syllabic_category_t {
 110   INDIC_SYLLABIC_CATEGORY_OTHER                         = OT_X,
 111
 112   INDIC_SYLLABIC_CATEGORY_AVAGRAHA                      = OT_Symbol,
 113   INDIC_SYLLABIC_CATEGORY_BINDU                         = OT_SM,
 114   INDIC_SYLLABIC_CATEGORY_BRAHMI_JOINING_NUMBER         = OT_PLACEHOLDER, /* Don't care. */
 115   INDIC_SYLLABIC_CATEGORY_CANTILLATION_MARK             = OT_A,
 116   INDIC_SYLLABIC_CATEGORY_CONSONANT                     = OT_C,
 117   INDIC_SYLLABIC_CATEGORY_CONSONANT_DEAD                = OT_C,
 118   INDIC_SYLLABIC_CATEGORY_CONSONANT_FINAL               = OT_CM,
 119   INDIC_SYLLABIC_CATEGORY_CONSONANT_HEAD_LETTER         = OT_C,
 120   INDIC_SYLLABIC_CATEGORY_CONSONANT_KILLER              = OT_M, /* U+17CD only. */
 121   INDIC_SYLLABIC_CATEGORY_CONSONANT_MEDIAL              = OT_CM,
 122   INDIC_SYLLABIC_CATEGORY_CONSONANT_PLACEHOLDER         = OT_PLACEHOLDER,
 123   INDIC_SYLLABIC_CATEGORY_CONSONANT_PRECEDING_REPHA     = OT_Repha,
 124   INDIC_SYLLABIC_CATEGORY_CONSONANT_PREFIXED            = OT_X, /* Don't care. */
 125   INDIC_SYLLABIC_CATEGORY_CONSONANT_SUBJOINED           = OT_CM,
 126   INDIC_SYLLABIC_CATEGORY_CONSONANT_SUCCEEDING_REPHA    = OT_CM,
 127   INDIC_SYLLABIC_CATEGORY_CONSONANT_WITH_STACKER        = OT_CS,
 128   INDIC_SYLLABIC_CATEGORY_GEMINATION_MARK               = OT_SM, /* https://github.com/harfbuzz/harfbuzz/issues/552 */
 129   INDIC_SYLLABIC_CATEGORY_INVISIBLE_STACKER             = OT_Coeng,
 130   INDIC_SYLLABIC_CATEGORY_JOINER                        = OT_ZWJ,
 131   INDIC_SYLLABIC_CATEGORY_MODIFYING_LETTER              = OT_X,
 132   INDIC_SYLLABIC_CATEGORY_NON_JOINER                    = OT_ZWNJ,
 133   INDIC_SYLLABIC_CATEGORY_NUKTA                         = OT_N,
 134   INDIC_SYLLABIC_CATEGORY_NUMBER                        = OT_PLACEHOLDER,
 135   INDIC_SYLLABIC_CATEGORY_NUMBER_JOINER                 = OT_PLACEHOLDER, /* Don't care. */
 136   INDIC_SYLLABIC_CATEGORY_PURE_KILLER                   = OT_M, /* Is like a vowel matra. */
 137   INDIC_SYLLABIC_CATEGORY_REGISTER_SHIFTER              = OT_RS,
 138   INDIC_SYLLABIC_CATEGORY_SYLLABLE_MODIFIER             = OT_SM,
 139   INDIC_SYLLABIC_CATEGORY_TONE_LETTER                   = OT_X,
 140   INDIC_SYLLABIC_CATEGORY_TONE_MARK                     = OT_N,
 141   INDIC_SYLLABIC_CATEGORY_VIRAMA                        = OT_H,
 142   INDIC_SYLLABIC_CATEGORY_VISARGA                       = OT_SM,
 143   INDIC_SYLLABIC_CATEGORY_VOWEL                         = OT_V,
 144   INDIC_SYLLABIC_CATEGORY_VOWEL_DEPENDENT               = OT_M,
 145   INDIC_SYLLABIC_CATEGORY_VOWEL_INDEPENDENT             = OT_V
 146 };
 147
 148 /* Categories used in IndicSMatraCategory.txt from UCD */
 149 enum indic_matra_category_t {
 150   INDIC_MATRA_CATEGORY_NOT_APPLICABLE                   = POS_END,
 151
 152   INDIC_MATRA_CATEGORY_LEFT                             = POS_PRE_C,
 153   INDIC_MATRA_CATEGORY_TOP                              = POS_ABOVE_C,
 154   INDIC_MATRA_CATEGORY_BOTTOM                           = POS_BELOW_C,
 155   INDIC_MATRA_CATEGORY_RIGHT                            = POS_POST_C,
 156
 157   /* These should resolve to the position of the last part of the split sequence. */
 158   INDIC_MATRA_CATEGORY_BOTTOM_AND_RIGHT                 = INDIC_MATRA_CATEGORY_RIGHT,
 159   INDIC_MATRA_CATEGORY_LEFT_AND_RIGHT                   = INDIC_MATRA_CATEGORY_RIGHT,
 160   INDIC_MATRA_CATEGORY_TOP_AND_BOTTOM                   = INDIC_MATRA_CATEGORY_BOTTOM,
 161   INDIC_MATRA_CATEGORY_TOP_AND_BOTTOM_AND_RIGHT         = INDIC_MATRA_CATEGORY_RIGHT,
 162   INDIC_MATRA_CATEGORY_TOP_AND_LEFT                     = INDIC_MATRA_CATEGORY_TOP,
 163   INDIC_MATRA_CATEGORY_TOP_AND_LEFT_AND_RIGHT           = INDIC_MATRA_CATEGORY_RIGHT,
 164   INDIC_MATRA_CATEGORY_TOP_AND_RIGHT                    = INDIC_MATRA_CATEGORY_RIGHT,
 165
 166   INDIC_MATRA_CATEGORY_OVERSTRUCK                       = POS_AFTER_MAIN,
 167   INDIC_MATRA_CATEGORY_VISUAL_ORDER_LEFT                = POS_PRE_M
 168 };
 169
 170 #define INDIC_COMBINE_CATEGORIES(S,M) \
 171   ( \
 172     ASSERT_STATIC_EXPR_ZERO (S < 255 && M < 255) + \
 173     ( S | \
 174      ( \
 175       ( \
 176        S == INDIC_SYLLABIC_CATEGORY_CONSONANT_MEDIAL || \
 177        S == INDIC_SYLLABIC_CATEGORY_GEMINATION_MARK || \
 178        S == INDIC_SYLLABIC_CATEGORY_REGISTER_SHIFTER || \
 179        S == INDIC_SYLLABIC_CATEGORY_CONSONANT_SUCCEEDING_REPHA || \
 180        S == INDIC_SYLLABIC_CATEGORY_VIRAMA || \
 181        S == INDIC_SYLLABIC_CATEGORY_VOWEL_DEPENDENT || \
 182        false \
 183        ? M : INDIC_MATRA_CATEGORY_NOT_APPLICABLE \
 184       ) << 8 \
 185      ) \
 186     ) \
 187    )
 188
 189 HB_INTERNAL INDIC_TABLE_ELEMENT_TYPE
 190 hb_indic_get_categories (hb_codepoint_t u);
 191
 192
 193 static inline bool
 194 is_one_of (const hb_glyph_info_t &info, unsigned int flags)
 195 {
 196   /* If it ligated, all bets are off. */
 197   if (_hb_glyph_info_ligated (&info)) return false;
 198   return !!(FLAG_UNSAFE (info.indic_category()) & flags);
 199 }
 200
 201 static inline bool
 202 is_joiner (const hb_glyph_info_t &info)
 203 {
 204   return is_one_of (info, JOINER_FLAGS);
 205 }
 206
 207 static inline bool
 208 is_consonant (const hb_glyph_info_t &info)
 209 {
 210   return is_one_of (info, CONSONANT_FLAGS);
 211 }
 212
 213 static inline bool
 214 is_halant (const hb_glyph_info_t &info)
 215 {
 216   return is_one_of (info, FLAG (OT_H));
 217 }
 218
 219 #define IN_HALF_BLOCK(u, Base) (((u) & ~0x7Fu) == (Base))
 220
 221 #define IS_DEVA(u) (IN_HALF_BLOCK (u, 0x0900u))
 222 #define IS_BENG(u) (IN_HALF_BLOCK (u, 0x0980u))
 223 #define IS_GURU(u) (IN_HALF_BLOCK (u, 0x0A00u))
 224 #define IS_GUJR(u) (IN_HALF_BLOCK (u, 0x0A80u))
 225 #define IS_ORYA(u) (IN_HALF_BLOCK (u, 0x0B00u))
 226 #define IS_TAML(u) (IN_HALF_BLOCK (u, 0x0B80u))
 227 #define IS_TELU(u) (IN_HALF_BLOCK (u, 0x0C00u))
 228 #define IS_KNDA(u) (IN_HALF_BLOCK (u, 0x0C80u))
 229 #define IS_MLYM(u) (IN_HALF_BLOCK (u, 0x0D00u))
 230 #define IS_SINH(u) (IN_HALF_BLOCK (u, 0x0D80u))
 231
 232
 233 #define MATRA_POS_LEFT(u)       POS_PRE_M
 234 #define MATRA_POS_RIGHT(u)      ( \
 235                                   IS_DEVA(u) ? POS_AFTER_SUB  : \
 236                                   IS_BENG(u) ? POS_AFTER_POST : \
 237                                   IS_GURU(u) ? POS_AFTER_POST : \
 238                                   IS_GUJR(u) ? POS_AFTER_POST : \
 239                                   IS_ORYA(u) ? POS_AFTER_POST : \
 240                                   IS_TAML(u) ? POS_AFTER_POST : \
 241                                   IS_TELU(u) ? (u <= 0x0C42u ? POS_BEFORE_SUB : POS_AFTER_SUB) : \
 242                                   IS_KNDA(u) ? (u < 0x0CC3u || u > 0xCD6u ? POS_BEFORE_SUB : POS_AFTER_SUB) : \
 243                                   IS_MLYM(u) ? POS_AFTER_POST : \
 244                                   IS_SINH(u) ? POS_AFTER_SUB  : \
 245                                   /*default*/  POS_AFTER_SUB    \
 246                                 )
 247 #define MATRA_POS_TOP(u)        ( /* BENG and MLYM don't have top matras. */ \
 248                                   IS_DEVA(u) ? POS_AFTER_SUB  : \
 249                                   IS_GURU(u) ? POS_AFTER_POST : /* Deviate from spec */ \
 250                                   IS_GUJR(u) ? POS_AFTER_SUB  : \
 251                                   IS_ORYA(u) ? POS_AFTER_MAIN : \
 252                                   IS_TAML(u) ? POS_AFTER_SUB  : \
 253                                   IS_TELU(u) ? POS_BEFORE_SUB : \
 254                                   IS_KNDA(u) ? POS_BEFORE_SUB : \
 255                                   IS_SINH(u) ? POS_AFTER_SUB  : \
 256                                   /*default*/  POS_AFTER_SUB    \
 257                                 )
 258 #define MATRA_POS_BOTTOM(u)     ( \
 259                                   IS_DEVA(u) ? POS_AFTER_SUB  : \
 260                                   IS_BENG(u) ? POS_AFTER_SUB  : \
 261                                   IS_GURU(u) ? POS_AFTER_POST : \
 262                                   IS_GUJR(u) ? POS_AFTER_POST : \
 263                                   IS_ORYA(u) ? POS_AFTER_SUB  : \
 264                                   IS_TAML(u) ? POS_AFTER_POST : \
 265                                   IS_TELU(u) ? POS_BEFORE_SUB : \
 266                                   IS_KNDA(u) ? POS_BEFORE_SUB : \
 267                                   IS_MLYM(u) ? POS_AFTER_POST : \
 268                                   IS_SINH(u) ? POS_AFTER_SUB  : \
 269                                   /*default*/  POS_AFTER_SUB    \
 270                                 )
 271
 272 static inline indic_position_t
 273 matra_position_indic (hb_codepoint_t u, indic_position_t side)
 274 {
 275   switch ((int) side)
 276   {
 277     case POS_PRE_C:     return MATRA_POS_LEFT (u);
 278     case POS_POST_C:    return MATRA_POS_RIGHT (u);
 279     case POS_ABOVE_C:   return MATRA_POS_TOP (u);
 280     case POS_BELOW_C:   return MATRA_POS_BOTTOM (u);
 281   };
 282   return side;
 283 }
 284
 285 /* XXX
 286  * This is a hack for now.  We should move this data into the main Indic table.
 287  * Or completely remove it and just check in the tables.
 288  */
 289 static const hb_codepoint_t ra_chars[] = {
 290   0x0930u, /* Devanagari */
 291   0x09B0u, /* Bengali */
 292   0x09F0u, /* Bengali */
 293   0x0A30u, /* Gurmukhi */       /* No Reph */
 294   0x0AB0u, /* Gujarati */
 295   0x0B30u, /* Oriya */
 296   0x0BB0u, /* Tamil */          /* No Reph */
 297   0x0C30u, /* Telugu */         /* Reph formed only with ZWJ */
 298   0x0CB0u, /* Kannada */
 299   0x0D30u, /* Malayalam */      /* No Reph, Logical Repha */
 300
 301   0x0DBBu, /* Sinhala */        /* Reph formed only with ZWJ */
 302
 303   0x179Au, /* Khmer */
 304 };
 305
 306 static inline bool
 307 is_ra (hb_codepoint_t u)
 308 {
 309   for (unsigned int i = 0; i < ARRAY_LENGTH (ra_chars); i++)
 310     if (u == ra_chars[i])
 311       return true;
 312   return false;
 313 }
 314
 315 static inline void
 316 set_indic_properties (hb_glyph_info_t &info)
 317 {
 318   hb_codepoint_t u = info.codepoint;
 319   unsigned int type = hb_indic_get_categories (u);
 320   indic_category_t cat = (indic_category_t) (type & 0x7Fu);
 321   indic_position_t pos = (indic_position_t) (type >> 8);
 322
 323
 324   /*
 325    * Re-assign category
 326    */
 327
 328   /* The following act more like the Bindus. */
 329   if (unlikely (hb_in_range<hb_codepoint_t> (u, 0x0953u, 0x0954u)))
 330     cat = OT_SM;
 331   /* The following act like consonants. */
 332   else if (unlikely (hb_in_ranges<hb_codepoint_t> (u, 0x0A72u, 0x0A73u,
 333                                       0x1CF5u, 0x1CF6u)))
 334     cat = OT_C;
 335   /* TODO: The following should only be allowed after a Visarga.
 336    * For now, just treat them like regular tone marks. */
 337   else if (unlikely (hb_in_range<hb_codepoint_t> (u, 0x1CE2u, 0x1CE8u)))
 338     cat = OT_A;
 339   /* TODO: The following should only be allowed after some of
 340    * the nasalization marks, maybe only for U+1CE9..U+1CF1.
 341    * For now, just treat them like tone marks. */
 342   else if (unlikely (u == 0x1CEDu))
 343     cat = OT_A;
 344   /* The following take marks in standalone clusters, similar to Avagraha. */
 345   else if (unlikely (hb_in_ranges<hb_codepoint_t> (u, 0xA8F2u, 0xA8F7u,
 346                                       0x1CE9u, 0x1CECu,
 347                                       0x1CEEu, 0x1CF1u)))
 348   {
 349     cat = OT_Symbol;
 350     static_assert (((int) INDIC_SYLLABIC_CATEGORY_AVAGRAHA == OT_Symbol), "");
 351   }
 352   else if (unlikely (u == 0x0A51u))
 353   {
 354     /* https://github.com/harfbuzz/harfbuzz/issues/524 */
 355     cat = OT_M;
 356     pos = POS_BELOW_C;
 357   }
 358
 359   /* According to ScriptExtensions.txt, these Grantha marks may also be used in Tamil,
 360    * so the Indic shaper needs to know their categories. */
 361   else if (unlikely (u == 0x11301u || u == 0x11303u)) cat = OT_SM;
 362   else if (unlikely (u == 0x1133cu)) cat = OT_N;
 363
 364   else if (unlikely (u == 0x0AFBu)) cat = OT_N; /* https://github.com/harfbuzz/harfbuzz/issues/552 */
 365
 366   else if (unlikely (u == 0x0980u)) cat = OT_PLACEHOLDER; /* https://github.com/harfbuzz/harfbuzz/issues/538 */
 367   else if (unlikely (u == 0x09FCu)) cat = OT_PLACEHOLDER; /* https://github.com/harfbuzz/harfbuzz/pull/1613 */
 368   else if (unlikely (u == 0x0C80u)) cat = OT_PLACEHOLDER; /* https://github.com/harfbuzz/harfbuzz/pull/623 */
 369   else if (unlikely (hb_in_range<hb_codepoint_t> (u, 0x2010u, 0x2011u)))
 370                                     cat = OT_PLACEHOLDER;
 371   else if (unlikely (u == 0x25CCu)) cat = OT_DOTTEDCIRCLE;
 372
 373
 374   /*
 375    * Re-assign position.
 376    */
 377
 378   if ((FLAG_UNSAFE (cat) & CONSONANT_FLAGS))
 379   {
 380     pos = POS_BASE_C;
 381     if (is_ra (u))
 382       cat = OT_Ra;
 383   }
 384   else if (cat == OT_M)
 385   {
 386     pos = matra_position_indic (u, pos);
 387   }
 388   else if ((FLAG_UNSAFE (cat) & (FLAG (OT_SM) /* | FLAG (OT_VD) */ | FLAG (OT_A) | FLAG (OT_Symbol))))
 389   {
 390     pos = POS_SMVD;
 391   }
 392
 393   if (unlikely (u == 0x0B01u)) pos = POS_BEFORE_SUB; /* Oriya Bindu is BeforeSub in the spec. */
 394
 395
 396
 397   info.indic_category() = cat;
 398   info.indic_position() = pos;
 399 }
 400
 401
 402 #endif /* HB_OT_SHAPE_COMPLEX_INDIC_HH */