Merge remote branch 'gvdb/master'
[platform/upstream/glib.git] / glib / guniprop.c
1 /* guniprop.c - Unicode character properties.
2  *
3  * Copyright (C) 1999 Tom Tromey
4  * Copyright (C) 2000 Red Hat, Inc.
5  *
6  * This library is free software; you can redistribute it and/or
7  * modify it under the terms of the GNU Lesser General Public
8  * License as published by the Free Software Foundation; either
9  * version 2 of the License, or (at your option) any later version.
10  *
11  * This library is distributed in the hope that it will be useful,
12  * but WITHOUT ANY WARRANTY; without even the implied warranty of
13  * MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
14  * Lesser General Public License for more details.
15  *
16  * You should have received a copy of the GNU Lesser General Public
17  * License along with this library; if not, write to the
18  * Free Software Foundation, Inc., 59 Temple Place - Suite 330,
19  * Boston, MA 02111-1307, USA.
20  */
21
22 #include "config.h"
23
24 #include <stdlib.h>
25 #include <stddef.h>
26 #include <string.h>
27 #include <locale.h>
28
29 #include "gmem.h"
30 #include "gstring.h"
31 #include "gtestutils.h"
32 #include "gtypes.h"
33 #include "gunicode.h"
34 #include "gunichartables.h"
35 #include "gmirroringtable.h"
36 #include "gscripttable.h"
37 #include "gunicodeprivate.h"
38 #ifdef G_OS_WIN32
39 #include "gwin32.h"
40 #endif
41
42 #define ATTR_TABLE(Page) (((Page) <= G_UNICODE_LAST_PAGE_PART1) \
43                           ? attr_table_part1[Page] \
44                           : attr_table_part2[(Page) - 0xe00])
45
46 #define ATTTABLE(Page, Char) \
47   ((ATTR_TABLE(Page) == G_UNICODE_MAX_TABLE_INDEX) ? 0 : (attr_data[ATTR_TABLE(Page)][Char]))
48
49 #define TTYPE_PART1(Page, Char) \
50   ((type_table_part1[Page] >= G_UNICODE_MAX_TABLE_INDEX) \
51    ? (type_table_part1[Page] - G_UNICODE_MAX_TABLE_INDEX) \
52    : (type_data[type_table_part1[Page]][Char]))
53
54 #define TTYPE_PART2(Page, Char) \
55   ((type_table_part2[Page] >= G_UNICODE_MAX_TABLE_INDEX) \
56    ? (type_table_part2[Page] - G_UNICODE_MAX_TABLE_INDEX) \
57    : (type_data[type_table_part2[Page]][Char]))
58
59 #define TYPE(Char) \
60   (((Char) <= G_UNICODE_LAST_CHAR_PART1) \
61    ? TTYPE_PART1 ((Char) >> 8, (Char) & 0xff) \
62    : (((Char) >= 0xe0000 && (Char) <= G_UNICODE_LAST_CHAR) \
63       ? TTYPE_PART2 (((Char) - 0xe0000) >> 8, (Char) & 0xff) \
64       : G_UNICODE_UNASSIGNED))
65
66
67 #define IS(Type, Class) (((guint)1 << (Type)) & (Class))
68 #define OR(Type, Rest)  (((guint)1 << (Type)) | (Rest))
69
70
71
72 #define ISALPHA(Type)   IS ((Type),                             \
73                             OR (G_UNICODE_LOWERCASE_LETTER,     \
74                             OR (G_UNICODE_UPPERCASE_LETTER,     \
75                             OR (G_UNICODE_TITLECASE_LETTER,     \
76                             OR (G_UNICODE_MODIFIER_LETTER,      \
77                             OR (G_UNICODE_OTHER_LETTER,         0))))))
78
79 #define ISALDIGIT(Type) IS ((Type),                             \
80                             OR (G_UNICODE_DECIMAL_NUMBER,       \
81                             OR (G_UNICODE_LETTER_NUMBER,        \
82                             OR (G_UNICODE_OTHER_NUMBER,         \
83                             OR (G_UNICODE_LOWERCASE_LETTER,     \
84                             OR (G_UNICODE_UPPERCASE_LETTER,     \
85                             OR (G_UNICODE_TITLECASE_LETTER,     \
86                             OR (G_UNICODE_MODIFIER_LETTER,      \
87                             OR (G_UNICODE_OTHER_LETTER,         0)))))))))
88
89 #define ISMARK(Type)    IS ((Type),                             \
90                             OR (G_UNICODE_NON_SPACING_MARK,     \
91                             OR (G_UNICODE_COMBINING_MARK,       \
92                             OR (G_UNICODE_ENCLOSING_MARK,       0))))
93
94 #define ISZEROWIDTHTYPE(Type)   IS ((Type),                     \
95                             OR (G_UNICODE_NON_SPACING_MARK,     \
96                             OR (G_UNICODE_ENCLOSING_MARK,       \
97                             OR (G_UNICODE_FORMAT,               0))))
98
99 /**
100  * g_unichar_isalnum:
101  * @c: a Unicode character
102  * 
103  * Determines whether a character is alphanumeric.
104  * Given some UTF-8 text, obtain a character value
105  * with g_utf8_get_char().
106  * 
107  * Return value: %TRUE if @c is an alphanumeric character
108  **/
109 gboolean
110 g_unichar_isalnum (gunichar c)
111 {
112   return ISALDIGIT (TYPE (c)) ? TRUE : FALSE;
113 }
114
115 /**
116  * g_unichar_isalpha:
117  * @c: a Unicode character
118  * 
119  * Determines whether a character is alphabetic (i.e. a letter).
120  * Given some UTF-8 text, obtain a character value with
121  * g_utf8_get_char().
122  * 
123  * Return value: %TRUE if @c is an alphabetic character
124  **/
125 gboolean
126 g_unichar_isalpha (gunichar c)
127 {
128   return ISALPHA (TYPE (c)) ? TRUE : FALSE;
129 }
130
131
132 /**
133  * g_unichar_iscntrl:
134  * @c: a Unicode character
135  * 
136  * Determines whether a character is a control character.
137  * Given some UTF-8 text, obtain a character value with
138  * g_utf8_get_char().
139  * 
140  * Return value: %TRUE if @c is a control character
141  **/
142 gboolean
143 g_unichar_iscntrl (gunichar c)
144 {
145   return TYPE (c) == G_UNICODE_CONTROL;
146 }
147
148 /**
149  * g_unichar_isdigit:
150  * @c: a Unicode character
151  * 
152  * Determines whether a character is numeric (i.e. a digit).  This
153  * covers ASCII 0-9 and also digits in other languages/scripts.  Given
154  * some UTF-8 text, obtain a character value with g_utf8_get_char().
155  * 
156  * Return value: %TRUE if @c is a digit
157  **/
158 gboolean
159 g_unichar_isdigit (gunichar c)
160 {
161   return TYPE (c) == G_UNICODE_DECIMAL_NUMBER;
162 }
163
164
165 /**
166  * g_unichar_isgraph:
167  * @c: a Unicode character
168  * 
169  * Determines whether a character is printable and not a space
170  * (returns %FALSE for control characters, format characters, and
171  * spaces). g_unichar_isprint() is similar, but returns %TRUE for
172  * spaces. Given some UTF-8 text, obtain a character value with
173  * g_utf8_get_char().
174  * 
175  * Return value: %TRUE if @c is printable unless it's a space
176  **/
177 gboolean
178 g_unichar_isgraph (gunichar c)
179 {
180   return !IS (TYPE(c),
181               OR (G_UNICODE_CONTROL,
182               OR (G_UNICODE_FORMAT,
183               OR (G_UNICODE_UNASSIGNED,
184               OR (G_UNICODE_SURROGATE,
185               OR (G_UNICODE_SPACE_SEPARATOR,
186              0))))));
187 }
188
189 /**
190  * g_unichar_islower:
191  * @c: a Unicode character
192  * 
193  * Determines whether a character is a lowercase letter.
194  * Given some UTF-8 text, obtain a character value with
195  * g_utf8_get_char().
196  * 
197  * Return value: %TRUE if @c is a lowercase letter
198  **/
199 gboolean
200 g_unichar_islower (gunichar c)
201 {
202   return TYPE (c) == G_UNICODE_LOWERCASE_LETTER;
203 }
204
205
206 /**
207  * g_unichar_isprint:
208  * @c: a Unicode character
209  * 
210  * Determines whether a character is printable.
211  * Unlike g_unichar_isgraph(), returns %TRUE for spaces.
212  * Given some UTF-8 text, obtain a character value with
213  * g_utf8_get_char().
214  * 
215  * Return value: %TRUE if @c is printable
216  **/
217 gboolean
218 g_unichar_isprint (gunichar c)
219 {
220   return !IS (TYPE(c),
221               OR (G_UNICODE_CONTROL,
222               OR (G_UNICODE_FORMAT,
223               OR (G_UNICODE_UNASSIGNED,
224               OR (G_UNICODE_SURROGATE,
225              0)))));
226 }
227
228 /**
229  * g_unichar_ispunct:
230  * @c: a Unicode character
231  * 
232  * Determines whether a character is punctuation or a symbol.
233  * Given some UTF-8 text, obtain a character value with
234  * g_utf8_get_char().
235  * 
236  * Return value: %TRUE if @c is a punctuation or symbol character
237  **/
238 gboolean
239 g_unichar_ispunct (gunichar c)
240 {
241   return IS (TYPE(c),
242              OR (G_UNICODE_CONNECT_PUNCTUATION,
243              OR (G_UNICODE_DASH_PUNCTUATION,
244              OR (G_UNICODE_CLOSE_PUNCTUATION,
245              OR (G_UNICODE_FINAL_PUNCTUATION,
246              OR (G_UNICODE_INITIAL_PUNCTUATION,
247              OR (G_UNICODE_OTHER_PUNCTUATION,
248              OR (G_UNICODE_OPEN_PUNCTUATION,
249              OR (G_UNICODE_CURRENCY_SYMBOL,
250              OR (G_UNICODE_MODIFIER_SYMBOL,
251              OR (G_UNICODE_MATH_SYMBOL,
252              OR (G_UNICODE_OTHER_SYMBOL,
253             0)))))))))))) ? TRUE : FALSE;
254 }
255
256 /**
257  * g_unichar_isspace:
258  * @c: a Unicode character
259  * 
260  * Determines whether a character is a space, tab, or line separator
261  * (newline, carriage return, etc.).  Given some UTF-8 text, obtain a
262  * character value with g_utf8_get_char().
263  *
264  * (Note: don't use this to do word breaking; you have to use
265  * Pango or equivalent to get word breaking right, the algorithm
266  * is fairly complex.)
267  *  
268  * Return value: %TRUE if @c is a space character
269  **/
270 gboolean
271 g_unichar_isspace (gunichar c)
272 {
273   switch (c)
274     {
275       /* special-case these since Unicode thinks they are not spaces */
276     case '\t':
277     case '\n':
278     case '\r':
279     case '\f':
280       return TRUE;
281       break;
282       
283     default:
284       {
285         return IS (TYPE(c),
286                    OR (G_UNICODE_SPACE_SEPARATOR,
287                    OR (G_UNICODE_LINE_SEPARATOR,
288                    OR (G_UNICODE_PARAGRAPH_SEPARATOR,
289                   0)))) ? TRUE : FALSE;
290       }
291       break;
292     }
293 }
294
295 /**
296  * g_unichar_ismark:
297  * @c: a Unicode character
298  *
299  * Determines whether a character is a mark (non-spacing mark,
300  * combining mark, or enclosing mark in Unicode speak).
301  * Given some UTF-8 text, obtain a character value
302  * with g_utf8_get_char().
303  *
304  * Note: in most cases where isalpha characters are allowed,
305  * ismark characters should be allowed to as they are essential
306  * for writing most European languages as well as many non-Latin
307  * scripts.
308  *
309  * Return value: %TRUE if @c is a mark character
310  *
311  * Since: 2.14
312  **/
313 gboolean
314 g_unichar_ismark (gunichar c)
315 {
316   return ISMARK (TYPE (c));
317 }
318
319 /**
320  * g_unichar_isupper:
321  * @c: a Unicode character
322  * 
323  * Determines if a character is uppercase.
324  * 
325  * Return value: %TRUE if @c is an uppercase character
326  **/
327 gboolean
328 g_unichar_isupper (gunichar c)
329 {
330   return TYPE (c) == G_UNICODE_UPPERCASE_LETTER;
331 }
332
333 /**
334  * g_unichar_istitle:
335  * @c: a Unicode character
336  * 
337  * Determines if a character is titlecase. Some characters in
338  * Unicode which are composites, such as the DZ digraph
339  * have three case variants instead of just two. The titlecase
340  * form is used at the beginning of a word where only the
341  * first letter is capitalized. The titlecase form of the DZ
342  * digraph is U+01F2 LATIN CAPITAL LETTTER D WITH SMALL LETTER Z.
343  * 
344  * Return value: %TRUE if the character is titlecase
345  **/
346 gboolean
347 g_unichar_istitle (gunichar c)
348 {
349   unsigned int i;
350   for (i = 0; i < G_N_ELEMENTS (title_table); ++i)
351     if (title_table[i][0] == c)
352       return TRUE;
353   return FALSE;
354 }
355
356 /**
357  * g_unichar_isxdigit:
358  * @c: a Unicode character.
359  * 
360  * Determines if a character is a hexidecimal digit.
361  * 
362  * Return value: %TRUE if the character is a hexadecimal digit
363  **/
364 gboolean
365 g_unichar_isxdigit (gunichar c)
366 {
367   return ((c >= 'a' && c <= 'f')
368           || (c >= 'A' && c <= 'F')
369           || (TYPE (c) == G_UNICODE_DECIMAL_NUMBER));
370 }
371
372 /**
373  * g_unichar_isdefined:
374  * @c: a Unicode character
375  * 
376  * Determines if a given character is assigned in the Unicode
377  * standard.
378  *
379  * Return value: %TRUE if the character has an assigned value
380  **/
381 gboolean
382 g_unichar_isdefined (gunichar c)
383 {
384   return !IS (TYPE(c),
385               OR (G_UNICODE_UNASSIGNED,
386               OR (G_UNICODE_SURROGATE,
387              0)));
388 }
389
390 /**
391  * g_unichar_iszerowidth:
392  * @c: a Unicode character
393  * 
394  * Determines if a given character typically takes zero width when rendered.
395  * The return value is %TRUE for all non-spacing and enclosing marks
396  * (e.g., combining accents), format characters, zero-width
397  * space, but not U+00AD SOFT HYPHEN.
398  *
399  * A typical use of this function is with one of g_unichar_iswide() or
400  * g_unichar_iswide_cjk() to determine the number of cells a string occupies
401  * when displayed on a grid display (terminals).  However, note that not all
402  * terminals support zero-width rendering of zero-width marks.
403  *
404  * Return value: %TRUE if the character has zero width
405  *
406  * Since: 2.14
407  **/
408 gboolean
409 g_unichar_iszerowidth (gunichar c)
410 {
411   if (G_UNLIKELY (c == 0x00AD))
412     return FALSE;
413
414   if (G_UNLIKELY (ISZEROWIDTHTYPE (TYPE (c))))
415     return TRUE;
416
417   if (G_UNLIKELY ((c >= 0x1160 && c < 0x1200) ||
418                   c == 0x200B))
419     return TRUE;
420
421   return FALSE;
422 }
423
424 struct Interval
425 {
426   gunichar start, end;
427 };
428
429 static int
430 interval_compare (const void *key, const void *elt)
431 {
432   gunichar c = GPOINTER_TO_UINT (key);
433   struct Interval *interval = (struct Interval *)elt;
434
435   if (c < interval->start)
436     return -1;
437   if (c > interval->end)
438     return +1;
439
440   return 0;
441 }
442
443 /**
444  * g_unichar_iswide:
445  * @c: a Unicode character
446  * 
447  * Determines if a character is typically rendered in a double-width
448  * cell.
449  * 
450  * Return value: %TRUE if the character is wide
451  **/
452 gboolean
453 g_unichar_iswide (gunichar c)
454 {
455   /* sorted list of intervals of East_Asian_Width = W and F characters
456    * from Unicode 5.1.0.  produced by mungling output of:
457    * grep ';[FW]\>' EastAsianWidth.txt */
458   static const struct Interval wide[] = {
459     {0x1100, 0x1159}, {0x115F, 0x115F}, {0x2329, 0x232A}, {0x2E80, 0x2E99},
460     {0x2E9B, 0x2EF3}, {0x2F00, 0x2FD5}, {0x2FF0, 0x2FFB}, {0x3000, 0x303E},
461     {0x3041, 0x3096}, {0x3099, 0x30FF}, {0x3105, 0x312D}, {0x3131, 0x318E},
462     {0x3190, 0x31B7}, {0x31C0, 0x31E3}, {0x31F0, 0x321E}, {0x3220, 0x3243},
463     {0x3250, 0x32FE}, {0x3300, 0x4DB5}, {0x4E00, 0x9FC3}, {0xA000, 0xA48C},
464     {0xA490, 0xA4C6}, {0xAC00, 0xD7A3}, {0xF900, 0xFA2D}, {0xFA30, 0xFA6A},
465     {0xFA70, 0xFAD9}, {0xFE10, 0xFE19}, {0xFE30, 0xFE52}, {0xFE54, 0xFE66},
466     {0xFE68, 0xFE6B}, {0xFF01, 0xFF60}, {0xFFE0, 0xFFE6}, {0x20000, 0x2FFFD},
467     {0x30000, 0x3FFFD}
468   };
469
470   if (bsearch (GUINT_TO_POINTER (c), wide, G_N_ELEMENTS (wide), sizeof wide[0],
471                interval_compare))
472     return TRUE;
473
474   return FALSE;
475 }
476
477
478 /**
479  * g_unichar_iswide_cjk:
480  * @c: a Unicode character
481  * 
482  * Determines if a character is typically rendered in a double-width
483  * cell under legacy East Asian locales.  If a character is wide according to
484  * g_unichar_iswide(), then it is also reported wide with this function, but
485  * the converse is not necessarily true.  See the
486  * <ulink url="http://www.unicode.org/reports/tr11/">Unicode Standard
487  * Annex #11</ulink> for details.
488  *
489  * If a character passes the g_unichar_iswide() test then it will also pass
490  * this test, but not the other way around.  Note that some characters may
491  * pas both this test and g_unichar_iszerowidth().
492  * 
493  * Return value: %TRUE if the character is wide in legacy East Asian locales
494  *
495  * Since: 2.12
496  */
497 gboolean
498 g_unichar_iswide_cjk (gunichar c)
499 {
500   /* sorted list of intervals of East_Asian_Width = A and F characters
501    * from Unicode 5.1.0.  produced by mungling output of:
502    * grep ';[A]\>' EastAsianWidth.txt */
503   static const struct Interval ambiguous[] = {
504     {0x00A1, 0x00A1}, {0x00A4, 0x00A4}, {0x00A7, 0x00A8}, {0x00AA, 0x00AA},
505     {0x00AD, 0x00AE}, {0x00B0, 0x00B4}, {0x00B6, 0x00BA}, {0x00BC, 0x00BF},
506     {0x00C6, 0x00C6}, {0x00D0, 0x00D0}, {0x00D7, 0x00D8}, {0x00DE, 0x00E1},
507     {0x00E6, 0x00E6}, {0x00E8, 0x00EA}, {0x00EC, 0x00ED}, {0x00F0, 0x00F0},
508     {0x00F2, 0x00F3}, {0x00F7, 0x00FA}, {0x00FC, 0x00FC}, {0x00FE, 0x00FE},
509     {0x0101, 0x0101}, {0x0111, 0x0111}, {0x0113, 0x0113}, {0x011B, 0x011B},
510     {0x0126, 0x0127}, {0x012B, 0x012B}, {0x0131, 0x0133}, {0x0138, 0x0138},
511     {0x013F, 0x0142}, {0x0144, 0x0144}, {0x0148, 0x014B}, {0x014D, 0x014D},
512     {0x0152, 0x0153}, {0x0166, 0x0167}, {0x016B, 0x016B}, {0x01CE, 0x01CE},
513     {0x01D0, 0x01D0}, {0x01D2, 0x01D2}, {0x01D4, 0x01D4}, {0x01D6, 0x01D6},
514     {0x01D8, 0x01D8}, {0x01DA, 0x01DA}, {0x01DC, 0x01DC}, {0x0251, 0x0251},
515     {0x0261, 0x0261}, {0x02C4, 0x02C4}, {0x02C7, 0x02C7}, {0x02C9, 0x02CB},
516     {0x02CD, 0x02CD}, {0x02D0, 0x02D0}, {0x02D8, 0x02DB}, {0x02DD, 0x02DD},
517     {0x02DF, 0x02DF}, {0x0300, 0x036F}, {0x0391, 0x03A1}, {0x03A3, 0x03A9},
518     {0x03B1, 0x03C1}, {0x03C3, 0x03C9}, {0x0401, 0x0401}, {0x0410, 0x044F},
519     {0x0451, 0x0451}, {0x2010, 0x2010}, {0x2013, 0x2016}, {0x2018, 0x2019},
520     {0x201C, 0x201D}, {0x2020, 0x2022}, {0x2024, 0x2027}, {0x2030, 0x2030},
521     {0x2032, 0x2033}, {0x2035, 0x2035}, {0x203B, 0x203B}, {0x203E, 0x203E},
522     {0x2074, 0x2074}, {0x207F, 0x207F}, {0x2081, 0x2084}, {0x20AC, 0x20AC},
523     {0x2103, 0x2103}, {0x2105, 0x2105}, {0x2109, 0x2109}, {0x2113, 0x2113},
524     {0x2116, 0x2116}, {0x2121, 0x2122}, {0x2126, 0x2126}, {0x212B, 0x212B},
525     {0x2153, 0x2154}, {0x215B, 0x215E}, {0x2160, 0x216B}, {0x2170, 0x2179},
526     {0x2190, 0x2199}, {0x21B8, 0x21B9}, {0x21D2, 0x21D2}, {0x21D4, 0x21D4},
527     {0x21E7, 0x21E7}, {0x2200, 0x2200}, {0x2202, 0x2203}, {0x2207, 0x2208},
528     {0x220B, 0x220B}, {0x220F, 0x220F}, {0x2211, 0x2211}, {0x2215, 0x2215},
529     {0x221A, 0x221A}, {0x221D, 0x2220}, {0x2223, 0x2223}, {0x2225, 0x2225},
530     {0x2227, 0x222C}, {0x222E, 0x222E}, {0x2234, 0x2237}, {0x223C, 0x223D},
531     {0x2248, 0x2248}, {0x224C, 0x224C}, {0x2252, 0x2252}, {0x2260, 0x2261},
532     {0x2264, 0x2267}, {0x226A, 0x226B}, {0x226E, 0x226F}, {0x2282, 0x2283},
533     {0x2286, 0x2287}, {0x2295, 0x2295}, {0x2299, 0x2299}, {0x22A5, 0x22A5},
534     {0x22BF, 0x22BF}, {0x2312, 0x2312}, {0x2460, 0x24E9}, {0x24EB, 0x254B},
535     {0x2550, 0x2573}, {0x2580, 0x258F}, {0x2592, 0x2595}, {0x25A0, 0x25A1},
536     {0x25A3, 0x25A9}, {0x25B2, 0x25B3}, {0x25B6, 0x25B7}, {0x25BC, 0x25BD},
537     {0x25C0, 0x25C1}, {0x25C6, 0x25C8}, {0x25CB, 0x25CB}, {0x25CE, 0x25D1},
538     {0x25E2, 0x25E5}, {0x25EF, 0x25EF}, {0x2605, 0x2606}, {0x2609, 0x2609},
539     {0x260E, 0x260F}, {0x2614, 0x2615}, {0x261C, 0x261C}, {0x261E, 0x261E},
540     {0x2640, 0x2640}, {0x2642, 0x2642}, {0x2660, 0x2661}, {0x2663, 0x2665},
541     {0x2667, 0x266A}, {0x266C, 0x266D}, {0x266F, 0x266F}, {0x273D, 0x273D},
542     {0x2776, 0x277F}, {0xE000, 0xF8FF}, {0xFE00, 0xFE0F}, {0xFFFD, 0xFFFD},
543     {0xE0100, 0xE01EF}, {0xF0000, 0xFFFFD}, {0x100000, 0x10FFFD}
544   };
545
546   if (g_unichar_iswide (c))
547     return TRUE;
548
549   if (bsearch (GUINT_TO_POINTER (c), ambiguous, G_N_ELEMENTS (ambiguous), sizeof ambiguous[0],
550                interval_compare))
551     return TRUE;
552
553   return FALSE;
554 }
555
556
557 /**
558  * g_unichar_toupper:
559  * @c: a Unicode character
560  * 
561  * Converts a character to uppercase.
562  * 
563  * Return value: the result of converting @c to uppercase.
564  *               If @c is not an lowercase or titlecase character,
565  *               or has no upper case equivalent @c is returned unchanged.
566  **/
567 gunichar
568 g_unichar_toupper (gunichar c)
569 {
570   int t = TYPE (c);
571   if (t == G_UNICODE_LOWERCASE_LETTER)
572     {
573       gunichar val = ATTTABLE (c >> 8, c & 0xff);
574       if (val >= 0x1000000)
575         {
576           const gchar *p = special_case_table + val - 0x1000000;
577           val = g_utf8_get_char (p);
578         }
579       /* Some lowercase letters, e.g., U+000AA, FEMININE ORDINAL INDICATOR,
580        * do not have an uppercase equivalent, in which case val will be
581        * zero. 
582        */
583       return val ? val : c;
584     }
585   else if (t == G_UNICODE_TITLECASE_LETTER)
586     {
587       unsigned int i;
588       for (i = 0; i < G_N_ELEMENTS (title_table); ++i)
589         {
590           if (title_table[i][0] == c)
591             return title_table[i][1];
592         }
593     }
594   return c;
595 }
596
597 /**
598  * g_unichar_tolower:
599  * @c: a Unicode character.
600  * 
601  * Converts a character to lower case.
602  * 
603  * Return value: the result of converting @c to lower case.
604  *               If @c is not an upperlower or titlecase character,
605  *               or has no lowercase equivalent @c is returned unchanged.
606  **/
607 gunichar
608 g_unichar_tolower (gunichar c)
609 {
610   int t = TYPE (c);
611   if (t == G_UNICODE_UPPERCASE_LETTER)
612     {
613       gunichar val = ATTTABLE (c >> 8, c & 0xff);
614       if (val >= 0x1000000)
615         {
616           const gchar *p = special_case_table + val - 0x1000000;
617           return g_utf8_get_char (p);
618         }
619       else
620         {
621           /* Not all uppercase letters are guaranteed to have a lowercase
622            * equivalent.  If this is the case, val will be zero. */
623           return val ? val : c;
624         }
625     }
626   else if (t == G_UNICODE_TITLECASE_LETTER)
627     {
628       unsigned int i;
629       for (i = 0; i < G_N_ELEMENTS (title_table); ++i)
630         {
631           if (title_table[i][0] == c)
632             return title_table[i][2];
633         }
634     }
635   return c;
636 }
637
638 /**
639  * g_unichar_totitle:
640  * @c: a Unicode character
641  * 
642  * Converts a character to the titlecase.
643  * 
644  * Return value: the result of converting @c to titlecase.
645  *               If @c is not an uppercase or lowercase character,
646  *               @c is returned unchanged.
647  **/
648 gunichar
649 g_unichar_totitle (gunichar c)
650 {
651   unsigned int i;
652   for (i = 0; i < G_N_ELEMENTS (title_table); ++i)
653     {
654       if (title_table[i][0] == c || title_table[i][1] == c
655           || title_table[i][2] == c)
656         return title_table[i][0];
657     }
658     
659   if (TYPE (c) == G_UNICODE_LOWERCASE_LETTER)
660     return g_unichar_toupper (c);
661
662   return c;
663 }
664
665 /**
666  * g_unichar_digit_value:
667  * @c: a Unicode character
668  *
669  * Determines the numeric value of a character as a decimal
670  * digit.
671  *
672  * Return value: If @c is a decimal digit (according to
673  * g_unichar_isdigit()), its numeric value. Otherwise, -1.
674  **/
675 int
676 g_unichar_digit_value (gunichar c)
677 {
678   if (TYPE (c) == G_UNICODE_DECIMAL_NUMBER)
679     return ATTTABLE (c >> 8, c & 0xff);
680   return -1;
681 }
682
683 /**
684  * g_unichar_xdigit_value:
685  * @c: a Unicode character
686  *
687  * Determines the numeric value of a character as a hexidecimal
688  * digit.
689  *
690  * Return value: If @c is a hex digit (according to
691  * g_unichar_isxdigit()), its numeric value. Otherwise, -1.
692  **/
693 int
694 g_unichar_xdigit_value (gunichar c)
695 {
696   if (c >= 'A' && c <= 'F')
697     return c - 'A' + 10;
698   if (c >= 'a' && c <= 'f')
699     return c - 'a' + 10;
700   if (TYPE (c) == G_UNICODE_DECIMAL_NUMBER)
701     return ATTTABLE (c >> 8, c & 0xff);
702   return -1;
703 }
704
705 /**
706  * g_unichar_type:
707  * @c: a Unicode character
708  * 
709  * Classifies a Unicode character by type.
710  * 
711  * Return value: the type of the character.
712  **/
713 GUnicodeType
714 g_unichar_type (gunichar c)
715 {
716   return TYPE (c);
717 }
718
719 /*
720  * Case mapping functions
721  */
722
723 typedef enum {
724   LOCALE_NORMAL,
725   LOCALE_TURKIC,
726   LOCALE_LITHUANIAN
727 } LocaleType;
728
729 static LocaleType
730 get_locale_type (void)
731 {
732 #ifdef G_OS_WIN32
733   char *tem = g_win32_getlocale ();
734   char locale[2];
735
736   locale[0] = tem[0];
737   locale[1] = tem[1];
738   g_free (tem);
739 #else
740   const char *locale = setlocale (LC_CTYPE, NULL);
741 #endif
742
743   switch (locale[0])
744     {
745    case 'a':
746       if (locale[1] == 'z')
747         return LOCALE_TURKIC;
748       break;
749     case 'l':
750       if (locale[1] == 't')
751         return LOCALE_LITHUANIAN;
752       break;
753     case 't':
754       if (locale[1] == 'r')
755         return LOCALE_TURKIC;
756       break;
757     }
758
759   return LOCALE_NORMAL;
760 }
761
762 static gint
763 output_marks (const char **p_inout,
764               char        *out_buffer,
765               gboolean     remove_dot)
766 {
767   const char *p = *p_inout;
768   gint len = 0;
769   
770   while (*p)
771     {
772       gunichar c = g_utf8_get_char (p);
773       
774       if (ISMARK (TYPE (c)))
775         {
776           if (!remove_dot || c != 0x307 /* COMBINING DOT ABOVE */)
777             len += g_unichar_to_utf8 (c, out_buffer ? out_buffer + len : NULL);
778           p = g_utf8_next_char (p);
779         }
780       else
781         break;
782     }
783
784   *p_inout = p;
785   return len;
786 }
787
788 static gint
789 output_special_case (gchar *out_buffer,
790                      int    offset,
791                      int    type,
792                      int    which)
793 {
794   const gchar *p = special_case_table + offset;
795   gint len;
796
797   if (type != G_UNICODE_TITLECASE_LETTER)
798     p = g_utf8_next_char (p);
799
800   if (which == 1)
801     p += strlen (p) + 1;
802
803   len = strlen (p);
804   if (out_buffer)
805     memcpy (out_buffer, p, len);
806
807   return len;
808 }
809
810 static gsize
811 real_toupper (const gchar *str,
812               gssize       max_len,
813               gchar       *out_buffer,
814               LocaleType   locale_type)
815 {
816   const gchar *p = str;
817   const char *last = NULL;
818   gsize len = 0;
819   gboolean last_was_i = FALSE;
820
821   while ((max_len < 0 || p < str + max_len) && *p)
822     {
823       gunichar c = g_utf8_get_char (p);
824       int t = TYPE (c);
825       gunichar val;
826
827       last = p;
828       p = g_utf8_next_char (p);
829
830       if (locale_type == LOCALE_LITHUANIAN)
831         {
832           if (c == 'i')
833             last_was_i = TRUE;
834           else 
835             {
836               if (last_was_i)
837                 {
838                   /* Nasty, need to remove any dot above. Though
839                    * I think only E WITH DOT ABOVE occurs in practice
840                    * which could simplify this considerably.
841                    */
842                   gsize decomp_len, i;
843                   gunichar *decomp;
844
845                   decomp = g_unicode_canonical_decomposition (c, &decomp_len);
846                   for (i=0; i < decomp_len; i++)
847                     {
848                       if (decomp[i] != 0x307 /* COMBINING DOT ABOVE */)
849                         len += g_unichar_to_utf8 (g_unichar_toupper (decomp[i]), out_buffer ? out_buffer + len : NULL);
850                     }
851                   g_free (decomp);
852                   
853                   len += output_marks (&p, out_buffer ? out_buffer + len : NULL, TRUE);
854
855                   continue;
856                 }
857
858               if (!ISMARK (t))
859                 last_was_i = FALSE;
860             }
861         }
862       
863       if (locale_type == LOCALE_TURKIC && c == 'i')
864         {
865           /* i => LATIN CAPITAL LETTER I WITH DOT ABOVE */
866           len += g_unichar_to_utf8 (0x130, out_buffer ? out_buffer + len : NULL); 
867         }
868       else if (c == 0x0345)     /* COMBINING GREEK YPOGEGRAMMENI */
869         {
870           /* Nasty, need to move it after other combining marks .. this would go away if
871            * we normalized first.
872            */
873           len += output_marks (&p, out_buffer ? out_buffer + len : NULL, FALSE);
874
875           /* And output as GREEK CAPITAL LETTER IOTA */
876           len += g_unichar_to_utf8 (0x399, out_buffer ? out_buffer + len : NULL);         
877         }
878       else if (IS (t,
879                    OR (G_UNICODE_LOWERCASE_LETTER,
880                    OR (G_UNICODE_TITLECASE_LETTER,
881                   0))))
882         {
883           val = ATTTABLE (c >> 8, c & 0xff);
884
885           if (val >= 0x1000000)
886             {
887               len += output_special_case (out_buffer ? out_buffer + len : NULL, val - 0x1000000, t,
888                                           t == G_UNICODE_LOWERCASE_LETTER ? 0 : 1);
889             }
890           else
891             {
892               if (t == G_UNICODE_TITLECASE_LETTER)
893                 {
894                   unsigned int i;
895                   for (i = 0; i < G_N_ELEMENTS (title_table); ++i)
896                     {
897                       if (title_table[i][0] == c)
898                         {
899                           val = title_table[i][1];
900                           break;
901                         }
902                     }
903                 }
904
905               /* Some lowercase letters, e.g., U+000AA, FEMININE ORDINAL INDICATOR,
906                * do not have an uppercase equivalent, in which case val will be
907                * zero. */
908               len += g_unichar_to_utf8 (val ? val : c, out_buffer ? out_buffer + len : NULL);
909             }
910         }
911       else
912         {
913           gsize char_len = g_utf8_skip[*(guchar *)last];
914
915           if (out_buffer)
916             memcpy (out_buffer + len, last, char_len);
917
918           len += char_len;
919         }
920
921     }
922
923   return len;
924 }
925
926 /**
927  * g_utf8_strup:
928  * @str: a UTF-8 encoded string
929  * @len: length of @str, in bytes, or -1 if @str is nul-terminated.
930  * 
931  * Converts all Unicode characters in the string that have a case
932  * to uppercase. The exact manner that this is done depends
933  * on the current locale, and may result in the number of
934  * characters in the string increasing. (For instance, the
935  * German ess-zet will be changed to SS.)
936  * 
937  * Return value: a newly allocated string, with all characters
938  *    converted to uppercase.  
939  **/
940 gchar *
941 g_utf8_strup (const gchar *str,
942               gssize       len)
943 {
944   gsize result_len;
945   LocaleType locale_type;
946   gchar *result;
947
948   g_return_val_if_fail (str != NULL, NULL);
949
950   locale_type = get_locale_type ();
951   
952   /*
953    * We use a two pass approach to keep memory management simple
954    */
955   result_len = real_toupper (str, len, NULL, locale_type);
956   result = g_malloc (result_len + 1);
957   real_toupper (str, len, result, locale_type);
958   result[result_len] = '\0';
959
960   return result;
961 }
962
963 /* traverses the string checking for characters with combining class == 230
964  * until a base character is found */
965 static gboolean
966 has_more_above (const gchar *str)
967 {
968   const gchar *p = str;
969   gint combining_class;
970
971   while (*p)
972     {
973       combining_class = g_unichar_combining_class (g_utf8_get_char (p));
974       if (combining_class == 230)
975         return TRUE;
976       else if (combining_class == 0)
977         break;
978
979       p = g_utf8_next_char (p);
980     }
981
982   return FALSE;
983 }
984
985 static gsize
986 real_tolower (const gchar *str,
987               gssize       max_len,
988               gchar       *out_buffer,
989               LocaleType   locale_type)
990 {
991   const gchar *p = str;
992   const char *last = NULL;
993   gsize len = 0;
994
995   while ((max_len < 0 || p < str + max_len) && *p)
996     {
997       gunichar c = g_utf8_get_char (p);
998       int t = TYPE (c);
999       gunichar val;
1000
1001       last = p;
1002       p = g_utf8_next_char (p);
1003
1004       if (locale_type == LOCALE_TURKIC && c == 'I')
1005         {
1006           if (g_utf8_get_char (p) == 0x0307)
1007             {
1008               /* I + COMBINING DOT ABOVE => i (U+0069) */
1009               len += g_unichar_to_utf8 (0x0069, out_buffer ? out_buffer + len : NULL); 
1010               p = g_utf8_next_char (p);
1011             }
1012           else
1013             {
1014               /* I => LATIN SMALL LETTER DOTLESS I */
1015               len += g_unichar_to_utf8 (0x131, out_buffer ? out_buffer + len : NULL); 
1016             }
1017         }
1018       /* Introduce an explicit dot above when lowercasing capital I's and J's
1019        * whenever there are more accents above. [SpecialCasing.txt] */
1020       else if (locale_type == LOCALE_LITHUANIAN && 
1021                (c == 0x00cc || c == 0x00cd || c == 0x0128))
1022         {
1023           len += g_unichar_to_utf8 (0x0069, out_buffer ? out_buffer + len : NULL); 
1024           len += g_unichar_to_utf8 (0x0307, out_buffer ? out_buffer + len : NULL); 
1025
1026           switch (c)
1027             {
1028             case 0x00cc: 
1029               len += g_unichar_to_utf8 (0x0300, out_buffer ? out_buffer + len : NULL); 
1030               break;
1031             case 0x00cd: 
1032               len += g_unichar_to_utf8 (0x0301, out_buffer ? out_buffer + len : NULL); 
1033               break;
1034             case 0x0128: 
1035               len += g_unichar_to_utf8 (0x0303, out_buffer ? out_buffer + len : NULL); 
1036               break;
1037             }
1038         }
1039       else if (locale_type == LOCALE_LITHUANIAN && 
1040                (c == 'I' || c == 'J' || c == 0x012e) && 
1041                has_more_above (p))
1042         {
1043           len += g_unichar_to_utf8 (g_unichar_tolower (c), out_buffer ? out_buffer + len : NULL); 
1044           len += g_unichar_to_utf8 (0x0307, out_buffer ? out_buffer + len : NULL); 
1045         }
1046       else if (c == 0x03A3)     /* GREEK CAPITAL LETTER SIGMA */
1047         {
1048           if ((max_len < 0 || p < str + max_len) && *p)
1049             {
1050               gunichar next_c = g_utf8_get_char (p);
1051               int next_type = TYPE(next_c);
1052
1053               /* SIGMA mapps differently depending on whether it is
1054                * final or not. The following simplified test would
1055                * fail in the case of combining marks following the
1056                * sigma, but I don't think that occurs in real text.
1057                * The test here matches that in ICU.
1058                */
1059               if (ISALPHA (next_type)) /* Lu,Ll,Lt,Lm,Lo */
1060                 val = 0x3c3;    /* GREEK SMALL SIGMA */
1061               else
1062                 val = 0x3c2;    /* GREEK SMALL FINAL SIGMA */
1063             }
1064           else
1065             val = 0x3c2;        /* GREEK SMALL FINAL SIGMA */
1066
1067           len += g_unichar_to_utf8 (val, out_buffer ? out_buffer + len : NULL);
1068         }
1069       else if (IS (t,
1070                    OR (G_UNICODE_UPPERCASE_LETTER,
1071                    OR (G_UNICODE_TITLECASE_LETTER,
1072                   0))))
1073         {
1074           val = ATTTABLE (c >> 8, c & 0xff);
1075
1076           if (val >= 0x1000000)
1077             {
1078               len += output_special_case (out_buffer ? out_buffer + len : NULL, val - 0x1000000, t, 0);
1079             }
1080           else
1081             {
1082               if (t == G_UNICODE_TITLECASE_LETTER)
1083                 {
1084                   unsigned int i;
1085                   for (i = 0; i < G_N_ELEMENTS (title_table); ++i)
1086                     {
1087                       if (title_table[i][0] == c)
1088                         {
1089                           val = title_table[i][2];
1090                           break;
1091                         }
1092                     }
1093                 }
1094
1095               /* Not all uppercase letters are guaranteed to have a lowercase
1096                * equivalent.  If this is the case, val will be zero. */
1097               len += g_unichar_to_utf8 (val ? val : c, out_buffer ? out_buffer + len : NULL);
1098             }
1099         }
1100       else
1101         {
1102           gsize char_len = g_utf8_skip[*(guchar *)last];
1103
1104           if (out_buffer)
1105             memcpy (out_buffer + len, last, char_len);
1106
1107           len += char_len;
1108         }
1109
1110     }
1111
1112   return len;
1113 }
1114
1115 /**
1116  * g_utf8_strdown:
1117  * @str: a UTF-8 encoded string
1118  * @len: length of @str, in bytes, or -1 if @str is nul-terminated.
1119  * 
1120  * Converts all Unicode characters in the string that have a case
1121  * to lowercase. The exact manner that this is done depends
1122  * on the current locale, and may result in the number of
1123  * characters in the string changing.
1124  * 
1125  * Return value: a newly allocated string, with all characters
1126  *    converted to lowercase.  
1127  **/
1128 gchar *
1129 g_utf8_strdown (const gchar *str,
1130                 gssize       len)
1131 {
1132   gsize result_len;
1133   LocaleType locale_type;
1134   gchar *result;
1135
1136   g_return_val_if_fail (str != NULL, NULL);
1137
1138   locale_type = get_locale_type ();
1139   
1140   /*
1141    * We use a two pass approach to keep memory management simple
1142    */
1143   result_len = real_tolower (str, len, NULL, locale_type);
1144   result = g_malloc (result_len + 1);
1145   real_tolower (str, len, result, locale_type);
1146   result[result_len] = '\0';
1147
1148   return result;
1149 }
1150
1151 /**
1152  * g_utf8_casefold:
1153  * @str: a UTF-8 encoded string
1154  * @len: length of @str, in bytes, or -1 if @str is nul-terminated.
1155  * 
1156  * Converts a string into a form that is independent of case. The
1157  * result will not correspond to any particular case, but can be
1158  * compared for equality or ordered with the results of calling
1159  * g_utf8_casefold() on other strings.
1160  * 
1161  * Note that calling g_utf8_casefold() followed by g_utf8_collate() is
1162  * only an approximation to the correct linguistic case insensitive
1163  * ordering, though it is a fairly good one. Getting this exactly
1164  * right would require a more sophisticated collation function that
1165  * takes case sensitivity into account. GLib does not currently
1166  * provide such a function.
1167  * 
1168  * Return value: a newly allocated string, that is a
1169  *   case independent form of @str.
1170  **/
1171 gchar *
1172 g_utf8_casefold (const gchar *str,
1173                  gssize       len)
1174 {
1175   GString *result;
1176   const char *p;
1177
1178   g_return_val_if_fail (str != NULL, NULL);
1179
1180   result = g_string_new (NULL);
1181   p = str;
1182   while ((len < 0 || p < str + len) && *p)
1183     {
1184       gunichar ch = g_utf8_get_char (p);
1185
1186       int start = 0;
1187       int end = G_N_ELEMENTS (casefold_table);
1188
1189       if (ch >= casefold_table[start].ch &&
1190           ch <= casefold_table[end - 1].ch)
1191         {
1192           while (TRUE)
1193             {
1194               int half = (start + end) / 2;
1195               if (ch == casefold_table[half].ch)
1196                 {
1197                   g_string_append (result, casefold_table[half].data);
1198                   goto next;
1199                 }
1200               else if (half == start)
1201                 break;
1202               else if (ch > casefold_table[half].ch)
1203                 start = half;
1204               else
1205                 end = half;
1206             }
1207         }
1208
1209       g_string_append_unichar (result, g_unichar_tolower (ch));
1210       
1211     next:
1212       p = g_utf8_next_char (p);
1213     }
1214
1215   return g_string_free (result, FALSE); 
1216 }
1217
1218 /**
1219  * g_unichar_get_mirror_char:
1220  * @ch: a Unicode character
1221  * @mirrored_ch: location to store the mirrored character
1222  * 
1223  * In Unicode, some characters are <firstterm>mirrored</firstterm>. This
1224  * means that their images are mirrored horizontally in text that is laid
1225  * out from right to left. For instance, "(" would become its mirror image,
1226  * ")", in right-to-left text.
1227  *
1228  * If @ch has the Unicode mirrored property and there is another unicode
1229  * character that typically has a glyph that is the mirror image of @ch's
1230  * glyph and @mirrored_ch is set, it puts that character in the address
1231  * pointed to by @mirrored_ch.  Otherwise the original character is put.
1232  *
1233  * Return value: %TRUE if @ch has a mirrored character, %FALSE otherwise
1234  *
1235  * Since: 2.4
1236  **/
1237 gboolean
1238 g_unichar_get_mirror_char (gunichar ch,
1239                            gunichar *mirrored_ch)
1240 {
1241   gboolean found;
1242   gunichar mirrored;
1243
1244   mirrored = GLIB_GET_MIRRORING(ch);
1245
1246   found = ch != mirrored;
1247   if (mirrored_ch)
1248     *mirrored_ch = mirrored;
1249
1250   return found;
1251
1252 }
1253
1254 #define G_SCRIPT_TABLE_MIDPOINT (G_N_ELEMENTS (g_script_table) / 2)
1255
1256 static inline GUnicodeScript
1257 g_unichar_get_script_bsearch (gunichar ch)
1258 {
1259   int lower = 0;
1260   int upper = G_N_ELEMENTS (g_script_table) - 1;
1261   static int saved_mid = G_SCRIPT_TABLE_MIDPOINT;
1262   int mid = saved_mid;
1263
1264
1265   do 
1266     {
1267       if (ch < g_script_table[mid].start)
1268         upper = mid - 1;
1269       else if (ch >= g_script_table[mid].start + g_script_table[mid].chars)
1270         lower = mid + 1;
1271       else
1272         return g_script_table[saved_mid = mid].script;
1273
1274       mid = (lower + upper) / 2;
1275     }
1276   while (lower <= upper);
1277
1278   return G_UNICODE_SCRIPT_UNKNOWN;
1279 }
1280
1281 /**
1282  * g_unichar_get_script:
1283  * @ch: a Unicode character
1284  * 
1285  * Looks up the #GUnicodeScript for a particular character (as defined 
1286  * by Unicode Standard Annex #24). No check is made for @ch being a
1287  * valid Unicode character; if you pass in invalid character, the
1288  * result is undefined.
1289  *
1290  * This function is equivalent to pango_script_for_unichar() and the
1291  * two are interchangeable.
1292  * 
1293  * Return value: the #GUnicodeScript for the character.
1294  *
1295  * Since: 2.14
1296  */
1297 GUnicodeScript
1298 g_unichar_get_script (gunichar ch)
1299 {
1300   if (ch < G_EASY_SCRIPTS_RANGE)
1301     return g_script_easy_table[ch];
1302   else 
1303     return g_unichar_get_script_bsearch (ch); 
1304 }