dali-toolkit/internal/text/character-set-conversion.cpp

   1 /*
   2  * Copyright (c) 2015 Samsung Electronics Co., Ltd.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  * http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *
  16  */
  17
  18 // FILE HEADER
  19 #include <dali-toolkit/internal/text/character-set-conversion.h>
  20
  21 namespace Dali
  22 {
  23
  24 namespace Toolkit
  25 {
  26
  27 namespace Text
  28 {
  29
  30 namespace
  31 {
  32   const static uint8_t U1 = 1u;
  33   const static uint8_t U2 = 2u;
  34   const static uint8_t U3 = 3u;
  35   const static uint8_t U4 = 4u;
  36   const static uint8_t U0 = 0u;
  37   const static uint8_t UTF8_LENGTH[256] = {
  38     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  39     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  40     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  41     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  42     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  43     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  44     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  45     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  46     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, // lead byte = 0xxx xxxx (U+0000 - U+007F + some extended ascii characters)
  47     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  48     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  49     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  50     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  51     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  52     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  53     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  54     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  55     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  56     U1, U1, U1, U1, U1, U1, U1, U1, U1, U1, //
  57     U1, U1,                                 //
  58
  59     U2, U2, U2, U2, U2, U2, U2, U2, U2, U2, //
  60     U2, U2, U2, U2, U2, U2, U2, U2, U2, U2, // lead byte = 110x xxxx (U+0080 - U+07FF)
  61     U2, U2, U2, U2, U2, U2, U2, U2, U2, U2, //
  62     U2, U2,                                 //
  63
  64     U3, U3, U3, U3, U3, U3, U3, U3, U3, U3, // lead byte = 1110 xxxx (U+0800 - U+FFFF)
  65     U3, U3, U3, U3, U3, U3,                 //
  66
  67     U4, U4, U4, U4, U4, U4, U4, U4,         // lead byte = 1111 0xxx (U+10000 - U+1FFFFF)
  68
  69     U0, U0, U0, U0,                         // Non valid.
  70     U0, U0, U0, U0,                         // Non valid.
  71   };
  72 } // namespace
  73
  74 uint32_t GetNumberOfUtf8Characters( const uint8_t* const utf8, uint32_t length )
  75 {
  76   uint32_t numberOfCharacters = 0u;
  77
  78   const uint8_t* begin = utf8;
  79   const uint8_t* end = utf8 + length;
  80
  81   for( ; begin < end ; begin += UTF8_LENGTH[*begin], ++numberOfCharacters );
  82
  83   return numberOfCharacters;
  84 }
  85
  86 uint32_t GetNumberOfUtf8Bytes( const uint32_t* const utf32, uint32_t numberOfCharacters )
  87 {
  88   uint32_t numberOfBytes = 0u;
  89
  90   const uint32_t* begin = utf32;
  91   const uint32_t* end = utf32 + numberOfCharacters;
  92
  93   for( ; begin < end; ++begin )
  94   {
  95     const uint32_t code = *begin;
  96
  97     if( code < 0x80u )
  98     {
  99       ++numberOfBytes;
 100     }
 101     else if( code < 0x800u )
 102     {
 103       numberOfBytes += U2;
 104     }
 105     else if( code < 0x10000u )
 106     {
 107       numberOfBytes += U3;
 108     }
 109     else if( code < 0x200000u )
 110     {
 111       numberOfBytes += U4;
 112     }
 113   }
 114
 115   return numberOfBytes;
 116 }
 117
 118 uint32_t Utf8ToUtf32( const uint8_t* const utf8, uint32_t length, uint32_t* utf32 )
 119 {
 120   uint32_t numberOfCharacters = 0u;
 121
 122   const uint8_t* begin = utf8;
 123   const uint8_t* end = utf8 + length;
 124
 125   for( ; begin < end ; ++numberOfCharacters )
 126   {
 127     const uint8_t leadByte = *begin;
 128
 129     switch( UTF8_LENGTH[leadByte] )
 130     {
 131       case U1:
 132       {
 133         *utf32++ = leadByte;
 134         begin++;
 135         break;
 136       }
 137
 138       case U2:
 139       {
 140         uint32_t& code = *utf32++;
 141         code = leadByte & 0x1fu;
 142         begin++;
 143         code <<= 6u;
 144         code |= *begin++ & 0x3fu;
 145         break;
 146       }
 147
 148       case U3:
 149       {
 150         uint32_t& code = *utf32++;
 151         code = leadByte & 0x0fu;
 152         begin++;
 153         code <<= 6u;
 154         code |= *begin++ & 0x3fu;
 155         code <<= 6u;
 156         code |= *begin++ & 0x3fu;
 157         break;
 158       }
 159
 160       case U4:
 161       {
 162         uint32_t& code = *utf32++;
 163         code = leadByte & 0x07u;
 164         begin++;
 165         code <<= 6u;
 166         code |= *begin++ & 0x3fu;
 167         code <<= 6u;
 168         code |= *begin++ & 0x3fu;
 169         code <<= 6u;
 170         code |= *begin++ & 0x3fu;
 171         break;
 172       }
 173     }
 174   }
 175
 176   return numberOfCharacters;
 177 }
 178
 179 uint32_t Utf32ToUtf8( const uint32_t* const utf32, uint32_t numberOfCharacters, uint8_t* utf8 )
 180 {
 181   const uint32_t* begin = utf32;
 182   const uint32_t* end = utf32 + numberOfCharacters;
 183
 184   uint8_t* utf8Begin = utf8;
 185
 186   for( ; begin < end; ++begin )
 187   {
 188     const uint32_t code = *begin;
 189
 190     if( code < 0x80u )
 191     {
 192       *utf8++ = code;
 193     }
 194     else if( code < 0x800u )
 195     {
 196       *utf8++ = static_cast<uint8_t>(   code >> 6u )           | 0xc0u; // lead byte for 2 byte sequence
 197       *utf8++ = static_cast<uint8_t>(   code          & 0x3f ) | 0x80u; // continuation byte
 198     }
 199     else if( code < 0x10000u )
 200     {
 201       *utf8++ = static_cast<uint8_t>(   code >> 12u )          | 0xe0u; // lead byte for 2 byte sequence
 202       *utf8++ = static_cast<uint8_t>( ( code >> 6u )  & 0x3f ) | 0x80u; // continuation byte
 203       *utf8++ = static_cast<uint8_t>(   code          & 0x3f ) | 0x80u; // continuation byte
 204     }
 205     else if( code < 0x200000u )
 206     {
 207       *utf8++ = static_cast<uint8_t>(   code >> 18u )          | 0xf0u; // lead byte for 2 byte sequence
 208       *utf8++ = static_cast<uint8_t>( ( code >> 12u ) & 0x3f ) | 0x80u; // continuation byte
 209       *utf8++ = static_cast<uint8_t>( ( code >> 6u )  & 0x3f ) | 0x80u; // continuation byte
 210       *utf8++ = static_cast<uint8_t>(   code          & 0x3f ) | 0x80u; // continuation byte
 211     }
 212   }
 213
 214   return utf8 - utf8Begin;
 215 }
 216
 217 void Utf32ToUtf8( const uint32_t* const utf32, uint32_t numberOfCharacters, std::string& utf8 )
 218 {
 219   utf8.clear();
 220
 221   uint32_t numberOfBytes = GetNumberOfUtf8Bytes( &utf32[0], numberOfCharacters );
 222   utf8.resize( numberOfBytes );
 223
 224   // This is a bit horrible but std::string returns a (signed) char*
 225   Utf32ToUtf8( utf32, numberOfCharacters, reinterpret_cast<uint8_t*>(&utf8[0]) );
 226 }
 227
 228 } // namespace Text
 229
 230 } // namespace Toolkit
 231
 232 } // namespace Dali