dali-toolkit/internal/text/character-set-conversion.cpp

   1 /*
   2  * Copyright (c) 2015 Samsung Electronics Co., Ltd.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  * http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *
  16  */
  17
  18 // FILE HEADER
  19 #include <dali-toolkit/internal/text/character-set-conversion.h>
  20
  21 namespace Dali
  22 {
  23
  24 namespace Toolkit
  25 {
  26
  27 namespace Text
  28 {
  29
  30 namespace
  31 {
  32   const static uint8_t U1 = 1u;
  33   const static uint8_t U2 = 2u;
  34   const static uint8_t U3 = 3u;
  35   const static uint8_t U4 = 4u;
  36   const static uint8_t U0 = 0u;
  37   const static uint8_t UTF8_LENGTH[256] = {
  38     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  39     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  40     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  41     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  42     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  43     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  44     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  45     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  46     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, // lead byte = 0xxx xxxx (U+0000 - U+007F + some extended ascii characters)
  47     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  48     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  49     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  50     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  51     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  52     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  53     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  54     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  55     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  56     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  57     U1, U1,                                 //
  58
  59     U2, U2, U2, U2, U2, U2, U2, U2, U2, U2, //
  60     U2, U2, U2, U2, U2, U2, U2, U2, U2, U2, // lead byte = 110x xxxx (U+0080 - U+07FF)
  61     U2, U2, U2, U2, U2, U2, U2, U2, U2, U2, //
  62     U2, U2,                                 //
  63
  64     U3, U3, U3, U3, U3, U3, U3, U3, U3, U3, // lead byte = 1110 xxxx (U+0800 - U+FFFF)
  65     U3, U3, U3, U3, U3, U3,                 //
  66
  67     U4, U4, U4, U4, U4, U4, U4, U4,         // lead byte = 1111 0xxx (U+10000 - U+1FFFFF)
  68
  69     U0, U0, U0, U0,                         // Non valid.
  70     U0, U0, U0, U0,                         // Non valid.
  71   };
  72 } // namespace
  73
  74 uint8_t GetUtf8Length( uint8_t utf8LeadByte )
  75 {
  76   return UTF8_LENGTH[utf8LeadByte];
  77 }
  78
  79 uint32_t GetNumberOfUtf8Characters( const uint8_t* const utf8, uint32_t length )
  80 {
  81   uint32_t numberOfCharacters = 0u;
  82
  83   const uint8_t* begin = utf8;
  84   const uint8_t* end = utf8 + length;
  85
  86   for( ; begin < end ; begin += UTF8_LENGTH[*begin], ++numberOfCharacters );
  87
  88   return numberOfCharacters;
  89 }
  90
  91 uint32_t GetNumberOfUtf8Bytes( const uint32_t* const utf32, uint32_t numberOfCharacters )
  92 {
  93   uint32_t numberOfBytes = 0u;
  94
  95   const uint32_t* begin = utf32;
  96   const uint32_t* end = utf32 + numberOfCharacters;
  97
  98   for( ; begin < end; ++begin )
  99   {
 100     const uint32_t code = *begin;
 101
 102     if( code < 0x80u )
 103     {
 104       ++numberOfBytes;
 105     }
 106     else if( code < 0x800u )
 107     {
 108       numberOfBytes += U2;
 109     }
 110     else if( code < 0x10000u )
 111     {
 112       numberOfBytes += U3;
 113     }
 114     else if( code < 0x200000u )
 115     {
 116       numberOfBytes += U4;
 117     }
 118   }
 119
 120   return numberOfBytes;
 121 }
 122
 123 uint32_t Utf8ToUtf32( const uint8_t* const utf8, uint32_t length, uint32_t* utf32 )
 124 {
 125   uint32_t numberOfCharacters = 0u;
 126
 127   const uint8_t* begin = utf8;
 128   const uint8_t* end = utf8 + length;
 129
 130   for( ; begin < end ; ++numberOfCharacters )
 131   {
 132     const uint8_t leadByte = *begin;
 133
 134     switch( UTF8_LENGTH[leadByte] )
 135     {
 136       case U1:
 137       {
 138         *utf32++ = leadByte;
 139         begin++;
 140         break;
 141       }
 142
 143       case U2:
 144       {
 145         uint32_t& code = *utf32++;
 146         code = leadByte & 0x1fu;
 147         begin++;
 148         code <<= 6u;
 149         code |= *begin++ & 0x3fu;
 150         break;
 151       }
 152
 153       case U3:
 154       {
 155         uint32_t& code = *utf32++;
 156         code = leadByte & 0x0fu;
 157         begin++;
 158         code <<= 6u;
 159         code |= *begin++ & 0x3fu;
 160         code <<= 6u;
 161         code |= *begin++ & 0x3fu;
 162         break;
 163       }
 164
 165       case U4:
 166       {
 167         uint32_t& code = *utf32++;
 168         code = leadByte & 0x07u;
 169         begin++;
 170         code <<= 6u;
 171         code |= *begin++ & 0x3fu;
 172         code <<= 6u;
 173         code |= *begin++ & 0x3fu;
 174         code <<= 6u;
 175         code |= *begin++ & 0x3fu;
 176         break;
 177       }
 178     }
 179   }
 180
 181   return numberOfCharacters;
 182 }
 183
 184 uint32_t Utf32ToUtf8( const uint32_t* const utf32, uint32_t numberOfCharacters, uint8_t* utf8 )
 185 {
 186   const uint32_t* begin = utf32;
 187   const uint32_t* end = utf32 + numberOfCharacters;
 188
 189   uint8_t* utf8Begin = utf8;
 190
 191   for( ; begin < end; ++begin )
 192   {
 193     const uint32_t code = *begin;
 194
 195     if( code < 0x80u )
 196     {
 197       *utf8++ = code;
 198     }
 199     else if( code < 0x800u )
 200     {
 201       *utf8++ = static_cast<uint8_t>(   code >> 6u )           | 0xc0u; // lead byte for 2 byte sequence
 202       *utf8++ = static_cast<uint8_t>(   code          & 0x3f ) | 0x80u; // continuation byte
 203     }
 204     else if( code < 0x10000u )
 205     {
 206       *utf8++ = static_cast<uint8_t>(   code >> 12u )          | 0xe0u; // lead byte for 2 byte sequence
 207       *utf8++ = static_cast<uint8_t>( ( code >> 6u )  & 0x3f ) | 0x80u; // continuation byte
 208       *utf8++ = static_cast<uint8_t>(   code          & 0x3f ) | 0x80u; // continuation byte
 209     }
 210     else if( code < 0x200000u )
 211     {
 212       *utf8++ = static_cast<uint8_t>(   code >> 18u )          | 0xf0u; // lead byte for 2 byte sequence
 213       *utf8++ = static_cast<uint8_t>( ( code >> 12u ) & 0x3f ) | 0x80u; // continuation byte
 214       *utf8++ = static_cast<uint8_t>( ( code >> 6u )  & 0x3f ) | 0x80u; // continuation byte
 215       *utf8++ = static_cast<uint8_t>(   code          & 0x3f ) | 0x80u; // continuation byte
 216     }
 217   }
 218
 219   return utf8 - utf8Begin;
 220 }
 221
 222 void Utf32ToUtf8( const uint32_t* const utf32, uint32_t numberOfCharacters, std::string& utf8 )
 223 {
 224   utf8.clear();
 225
 226   uint32_t numberOfBytes = GetNumberOfUtf8Bytes( &utf32[0], numberOfCharacters );
 227   utf8.resize( numberOfBytes );
 228
 229   // This is a bit horrible but std::string returns a (signed) char*
 230   Utf32ToUtf8( utf32, numberOfCharacters, reinterpret_cast<uint8_t*>(&utf8[0]) );
 231 }
 232
 233 } // namespace Text
 234
 235 } // namespace Toolkit
 236
 237 } // namespace Dali