dali-scene3d/public-api/loader/material-definition.cpp

   1 /*
   2  * Copyright (c) 2022 Samsung Electronics Co., Ltd.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  * http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *
  16  */
  17
  18 // INTERNAL INCLUDES
  19 #include "dali-scene3d/public-api/loader/material-definition.h"
  20
  21 // EXTERNAL INCLUDES
  22 #include "dali-toolkit/public-api/image-loader/sync-image-loader.h"
  23
  24 namespace Dali
  25 {
  26 using namespace Toolkit;
  27
  28 namespace Scene3D
  29 {
  30 namespace Loader
  31 {
  32 namespace
  33 {
  34 constexpr SamplerFlags::Type FILTER_MODES_FROM_DALI[]{
  35   SamplerFlags::FILTER_LINEAR | SamplerFlags::FILTER_MIPMAP_NEAREST,
  36   SamplerFlags::FILTER_LINEAR,
  37   SamplerFlags::FILTER_NEAREST,
  38   SamplerFlags::FILTER_LINEAR,
  39   SamplerFlags::FILTER_NEAREST | SamplerFlags::FILTER_MIPMAP_NEAREST,
  40   SamplerFlags::FILTER_LINEAR | SamplerFlags::FILTER_MIPMAP_NEAREST,
  41   SamplerFlags::FILTER_NEAREST | SamplerFlags::FILTER_MIPMAP_LINEAR,
  42   SamplerFlags::FILTER_LINEAR | SamplerFlags::FILTER_MIPMAP_LINEAR,
  43 };
  44
  45 constexpr SamplerFlags::Type WRAP_MODES_FROM_DALI[]{
  46   SamplerFlags::WRAP_CLAMP,
  47   SamplerFlags::WRAP_CLAMP,
  48   SamplerFlags::WRAP_REPEAT,
  49   SamplerFlags::WRAP_MIRROR,
  50 };
  51
  52 constexpr FilterMode::Type FILTER_MODES_TO_DALI[]{
  53   FilterMode::NEAREST,
  54   FilterMode::LINEAR,
  55   FilterMode::NEAREST_MIPMAP_NEAREST,
  56   FilterMode::LINEAR_MIPMAP_NEAREST,
  57   FilterMode::NEAREST_MIPMAP_LINEAR,
  58   FilterMode::LINEAR_MIPMAP_LINEAR,
  59 };
  60
  61 constexpr WrapMode::Type WRAP_MODES_TO_DALI[]{
  62   WrapMode::REPEAT,
  63   WrapMode::CLAMP_TO_EDGE,
  64   WrapMode::MIRRORED_REPEAT};
  65
  66 const SamplerFlags::Type SINGLE_VALUE_SAMPLER = SamplerFlags::Encode(FilterMode::NEAREST, FilterMode::NEAREST, WrapMode::CLAMP_TO_EDGE, WrapMode::CLAMP_TO_EDGE);
  67 } // namespace
  68
  69 SamplerFlags::Type SamplerFlags::Encode(FilterMode::Type minFilter, FilterMode::Type magFilter, WrapMode::Type wrapS, WrapMode::Type wrapT)
  70 {
  71   return FILTER_MODES_FROM_DALI[minFilter] | ((FILTER_MODES_FROM_DALI[magFilter] & FILTER_MAG_BITS) << FILTER_MAG_SHIFT) |
  72          (WRAP_MODES_FROM_DALI[wrapS] << WRAP_S_SHIFT) | (WRAP_MODES_FROM_DALI[wrapT] << WRAP_T_SHIFT);
  73 }
  74
  75 FilterMode::Type SamplerFlags::GetMinFilter(Type flags)
  76 {
  77   return FILTER_MODES_TO_DALI[flags & FILTER_MIN_MASK];
  78 }
  79
  80 FilterMode::Type SamplerFlags::GetMagFilter(Type flags)
  81 {
  82   return FILTER_MODES_TO_DALI[(flags >> FILTER_MAG_SHIFT) & FILTER_MAG_MASK];
  83 }
  84
  85 WrapMode::Type SamplerFlags::GetWrapS(Type flags)
  86 {
  87   return WRAP_MODES_TO_DALI[(flags >> WRAP_S_SHIFT) & WRAP_S_MASK];
  88 }
  89
  90 WrapMode::Type SamplerFlags::GetWrapT(Type flags)
  91 {
  92   return WRAP_MODES_TO_DALI[(flags >> WRAP_T_SHIFT) & WRAP_T_MASK];
  93 }
  94
  95 Sampler SamplerFlags::MakeSampler(Type flags)
  96 {
  97   auto sampler = Sampler::New();
  98   sampler.SetFilterMode(GetMinFilter(flags), GetMagFilter(flags));
  99   sampler.SetWrapMode(GetWrapS(flags), GetWrapT(flags));
 100   return sampler;
 101 }
 102
 103 TextureDefinition::TextureDefinition(const std::string& imageUri, SamplerFlags::Type samplerFlags)
 104 : mImageUri(imageUri),
 105   mSamplerFlags(samplerFlags)
 106 {
 107 }
 108
 109 MaterialDefinition::RawData
 110 MaterialDefinition::LoadRaw(const std::string& imagesPath) const
 111 {
 112   RawData raw;
 113
 114   const bool hasTransparency = MaskMatch(mFlags, TRANSPARENCY);
 115   // Why we add additional count here?
 116   uint32_t numBuffers = mTextureStages.size() + (hasTransparency ? !CheckTextures(ALBEDO) + !CheckTextures(METALLIC | ROUGHNESS) + !CheckTextures(NORMAL)
 117                                                                  : !CheckTextures(ALBEDO | METALLIC) + !CheckTextures(NORMAL | ROUGHNESS));
 118   if(numBuffers == 0)
 119   {
 120     return raw;
 121   }
 122   raw.mTextures.reserve(numBuffers);
 123
 124   // Load textures
 125   auto iTexture   = mTextureStages.cbegin();
 126   auto checkStage = [&](uint32_t flags) {
 127     return iTexture != mTextureStages.end() && MaskMatch(iTexture->mSemantic, flags);
 128   };
 129
 130   // Check for compulsory textures: Albedo, Metallic, Roughness, Normal
 131   if(checkStage(ALBEDO | METALLIC))
 132   {
 133     raw.mTextures.push_back({SyncImageLoader::Load(imagesPath + iTexture->mTexture.mImageUri), iTexture->mTexture.mSamplerFlags});
 134     ++iTexture;
 135
 136     if(checkStage(NORMAL | ROUGHNESS))
 137     {
 138       raw.mTextures.push_back({SyncImageLoader::Load(imagesPath + iTexture->mTexture.mImageUri), iTexture->mTexture.mSamplerFlags});
 139       ++iTexture;
 140     }
 141     else // single value normal-roughness
 142     {
 143       const auto bufferSize = 4;
 144       uint8_t*   buffer     = new uint8_t[bufferSize]{0x7f, 0x7f, 0xff, 0xff}; // normal of (0, 0, 1), roughness of 1
 145       raw.mTextures.push_back({PixelData::New(buffer, bufferSize, 1, 1, Pixel::RGBA8888, PixelData::DELETE_ARRAY), SINGLE_VALUE_SAMPLER});
 146     }
 147   }
 148   else
 149   {
 150     if(checkStage(ALBEDO))
 151     {
 152       raw.mTextures.push_back({SyncImageLoader::Load(imagesPath + iTexture->mTexture.mImageUri), iTexture->mTexture.mSamplerFlags});
 153       ++iTexture;
 154     }
 155     else if(mNeedAlbedoTexture) // single value albedo, albedo-alpha or albedo-metallic
 156     {
 157       uint32_t bufferSize = 4;
 158       uint8_t* buffer     = nullptr;
 159       auto     format     = Pixel::Format::RGBA8888;
 160       if(hasTransparency) // albedo-alpha
 161       {
 162         buffer    = new uint8_t[bufferSize];
 163         buffer[3] = static_cast<uint8_t>(mColor.a * 255.f);
 164       }
 165       else if(!checkStage(METALLIC | ROUGHNESS)) // albedo-metallic
 166       {
 167         buffer    = new uint8_t[bufferSize];
 168         buffer[3] = 0xff; // metallic of 1.0
 169       }
 170       else // albedo
 171       {
 172         bufferSize = 3;
 173         buffer     = new uint8_t[bufferSize];
 174         format     = Pixel::Format::RGB888;
 175       }
 176       buffer[0] = static_cast<uint8_t>(mColor.r * 255.f);
 177       buffer[1] = static_cast<uint8_t>(mColor.g * 255.f);
 178       buffer[2] = static_cast<uint8_t>(mColor.b * 255.f);
 179       raw.mTextures.push_back({PixelData::New(buffer, bufferSize, 1, 1, format, PixelData::DELETE_ARRAY), SINGLE_VALUE_SAMPLER});
 180     }
 181
 182     // If we have transparency, or an image based albedo map, we will have to continue with separate metallicRoughness + normal.
 183     const bool createMetallicRoughnessAndNormal = hasTransparency || std::distance(mTextureStages.begin(), iTexture) > 0;
 184     if(checkStage(METALLIC | ROUGHNESS))
 185     {
 186       raw.mTextures.push_back({SyncImageLoader::Load(imagesPath + iTexture->mTexture.mImageUri), iTexture->mTexture.mSamplerFlags});
 187       ++iTexture;
 188     }
 189     else if(createMetallicRoughnessAndNormal && mNeedMetallicRoughnessTexture)
 190     {
 191       // NOTE: we want to set both metallic and roughness to 1.0; dli uses the R & A channels,
 192       // glTF2 uses B & G, so we might as well just set all components to 1.0.
 193       const auto bufferSize = 4;
 194       uint8_t*   buffer     = new uint8_t[bufferSize]{0xff, 0xff, 0xff, 0xff};
 195       raw.mTextures.push_back({PixelData::New(buffer, bufferSize, 1, 1, Pixel::RGBA8888, PixelData::DELETE_ARRAY), SINGLE_VALUE_SAMPLER});
 196     }
 197
 198     if(checkStage(NORMAL))
 199     {
 200       raw.mTextures.push_back({SyncImageLoader::Load(imagesPath + iTexture->mTexture.mImageUri), iTexture->mTexture.mSamplerFlags});
 201       ++iTexture;
 202     }
 203     else if(mNeedNormalTexture)
 204     {
 205       if(createMetallicRoughnessAndNormal)
 206       {
 207         const auto bufferSize = 3;
 208         uint8_t*   buffer     = new uint8_t[bufferSize]{0x7f, 0x7f, 0xff}; // normal of (0, 0, 1)
 209         raw.mTextures.push_back({PixelData::New(buffer, bufferSize, 1, 1, Pixel::RGB888, PixelData::DELETE_ARRAY), SINGLE_VALUE_SAMPLER});
 210       }
 211       else // single-value normal-roughness
 212       {
 213         const auto bufferSize = 4;
 214         uint8_t*   buffer     = new uint8_t[bufferSize]{0x7f, 0x7f, 0xff, 0xff}; // normal of (0, 0, 1), roughness of 1.0
 215         raw.mTextures.push_back({PixelData::New(buffer, bufferSize, 1, 1, Pixel::RGBA8888, PixelData::DELETE_ARRAY), SINGLE_VALUE_SAMPLER});
 216       }
 217     }
 218   }
 219
 220   // Extra textures.
 221   if(checkStage(SUBSURFACE))
 222   {
 223     raw.mTextures.push_back({SyncImageLoader::Load(imagesPath + iTexture->mTexture.mImageUri), iTexture->mTexture.mSamplerFlags});
 224     ++iTexture;
 225   }
 226
 227   if(checkStage(OCCLUSION))
 228   {
 229     raw.mTextures.push_back({SyncImageLoader::Load(imagesPath + iTexture->mTexture.mImageUri), iTexture->mTexture.mSamplerFlags});
 230     ++iTexture;
 231   }
 232
 233   if(checkStage(EMISSIVE))
 234   {
 235     raw.mTextures.push_back({SyncImageLoader::Load(imagesPath + iTexture->mTexture.mImageUri), iTexture->mTexture.mSamplerFlags});
 236     ++iTexture;
 237   }
 238
 239   return raw;
 240 }
 241
 242 TextureSet MaterialDefinition::Load(const EnvironmentDefinition::Vector& environments, RawData&& raw) const
 243 {
 244   auto textureSet = TextureSet::New();
 245
 246   uint32_t n = 0;
 247   for(auto& tData : raw.mTextures)
 248   {
 249     auto& pixels  = tData.mPixels;
 250     auto  texture = Texture::New(TextureType::TEXTURE_2D, pixels.GetPixelFormat(), pixels.GetWidth(), pixels.GetHeight());
 251     texture.Upload(tData.mPixels, 0, 0, 0, 0, pixels.GetWidth(), pixels.GetHeight());
 252     if(tData.mSamplerFlags & SamplerFlags::MIPMAP_MASK)
 253     {
 254       texture.GenerateMipmaps();
 255     }
 256
 257     textureSet.SetTexture(n, texture);
 258     textureSet.SetSampler(n, SamplerFlags::MakeSampler(tData.mSamplerFlags));
 259
 260     ++n;
 261   }
 262
 263   // Assign textures to slots -- starting with 2D ones, then cubemaps, if any.
 264   if(mEnvironmentIdx < environments.size())
 265   {
 266     auto& envTextures = environments[mEnvironmentIdx].second;
 267     // If pre-computed brdf texture is defined, set the texture.
 268     if(envTextures.mBrdf)
 269     {
 270       textureSet.SetTexture(n, envTextures.mBrdf);
 271       ++n;
 272     }
 273
 274     if(envTextures.mDiffuse)
 275     {
 276       textureSet.SetTexture(n, envTextures.mDiffuse);
 277       ++n;
 278     }
 279
 280     if(envTextures.mSpecular)
 281     {
 282       auto specularSampler = Sampler::New();
 283       specularSampler.SetWrapMode(WrapMode::CLAMP_TO_EDGE, WrapMode::CLAMP_TO_EDGE, WrapMode::CLAMP_TO_EDGE);
 284       specularSampler.SetFilterMode(FilterMode::LINEAR_MIPMAP_LINEAR, FilterMode::LINEAR);
 285
 286       textureSet.SetTexture(n, envTextures.mSpecular);
 287       textureSet.SetSampler(n, specularSampler);
 288       ++n;
 289     }
 290   }
 291   else
 292   {
 293     ExceptionFlinger(ASSERT_LOCATION) << "Environment index (" << mEnvironmentIdx << ") out of bounds (" << environments.size() << ").";
 294   }
 295
 296   return textureSet;
 297 }
 298
 299 bool MaterialDefinition::CheckTextures(uint32_t flags) const
 300 {
 301   return std::find_if(mTextureStages.begin(), mTextureStages.end(), [flags](const TextureStage& ts) {
 302            return MaskMatch(ts.mSemantic, flags);
 303          }) != mTextureStages.end();
 304 }
 305
 306 } // namespace Loader
 307 } // namespace Scene3D
 308 } // namespace Dali