dali-toolkit/internal/visuals/svg/svg-visual.cpp

   1 /*
   2  * Copyright (c) 2023 Samsung Electronics Co., Ltd.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  * http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *
  16  */
  17
  18 // CLASS HEADER
  19 #include <dali-toolkit/internal/visuals/svg/svg-visual.h>
  20
  21 // INTERNAL INCLUDES
  22 #include <dali-toolkit/internal/visuals/image-atlas-manager.h>
  23 #include <dali-toolkit/internal/visuals/image-visual-shader-factory.h>
  24 #include <dali-toolkit/internal/visuals/image-visual-shader-feature-builder.h>
  25 #include <dali-toolkit/internal/visuals/svg/svg-task.h>
  26 #include <dali-toolkit/internal/visuals/visual-base-data-impl.h>
  27 #include <dali-toolkit/internal/visuals/visual-string-constants.h>
  28 #include <dali-toolkit/public-api/visuals/image-visual-properties.h>
  29
  30 // EXTERNAL INCLUDES
  31 #include <dali/devel-api/common/stage.h>
  32 #include <dali/integration-api/debug.h>
  33 #include <dali/public-api/rendering/decorated-visual-renderer.h>
  34
  35 namespace Dali
  36 {
  37 namespace Toolkit
  38 {
  39 namespace Internal
  40 {
  41 namespace
  42 {
  43 const int CUSTOM_PROPERTY_COUNT(1); // atlas
  44
  45 // property name
  46 const Dali::Vector4 FULL_TEXTURE_RECT(0.f, 0.f, 1.f, 1.f);
  47
  48 } // namespace
  49
  50 SvgVisualPtr SvgVisual::New(VisualFactoryCache& factoryCache, ImageVisualShaderFactory& shaderFactory, const VisualUrl& imageUrl, const Property::Map& properties)
  51 {
  52   SvgVisualPtr svgVisual(new SvgVisual(factoryCache, shaderFactory, imageUrl, ImageDimensions{}));
  53   svgVisual->SetProperties(properties);
  54   svgVisual->Initialize();
  55   return svgVisual;
  56 }
  57
  58 SvgVisualPtr SvgVisual::New(VisualFactoryCache& factoryCache, ImageVisualShaderFactory& shaderFactory, const VisualUrl& imageUrl, ImageDimensions size)
  59 {
  60   SvgVisualPtr svgVisual(new SvgVisual(factoryCache, shaderFactory, imageUrl, size));
  61   svgVisual->Initialize();
  62   return svgVisual;
  63 }
  64
  65 SvgVisual::SvgVisual(VisualFactoryCache& factoryCache, ImageVisualShaderFactory& shaderFactory, const VisualUrl& imageUrl, ImageDimensions size)
  66 : Visual::Base(factoryCache, Visual::FittingMode::FILL, Toolkit::Visual::SVG),
  67   mImageVisualShaderFactory(shaderFactory),
  68   mAtlasRect(FULL_TEXTURE_RECT),
  69   mImageUrl(imageUrl),
  70   mVectorRenderer(VectorImageRenderer::New()),
  71   mDefaultWidth(0),
  72   mDefaultHeight(0),
  73   mPlacementActor(),
  74   mRasterizedSize(Vector2::ZERO),
  75   mDesiredSize(size),
  76   mLoadFailed(false),
  77   mAttemptAtlasing(false)
  78 {
  79   // the rasterized image is with pre-multiplied alpha format
  80   mImpl->mFlags |= Impl::IS_PREMULTIPLIED_ALPHA;
  81 }
  82
  83 SvgVisual::~SvgVisual()
  84 {
  85   if(Stage::IsInstalled())
  86   {
  87     if(mLoadingTask)
  88     {
  89       Dali::AsyncTaskManager::Get().RemoveTask(mLoadingTask);
  90     }
  91     if(mRasterizingTask)
  92     {
  93       Dali::AsyncTaskManager::Get().RemoveTask(mRasterizingTask);
  94     }
  95
  96     if(mImageUrl.IsBufferResource())
  97     {
  98       TextureManager& textureManager = mFactoryCache.GetTextureManager();
  99       textureManager.RemoveEncodedImageBuffer(mImageUrl.GetUrl());
 100     }
 101   }
 102   DALI_LOG_RELEASE_INFO("SvgVisual is destructed: %p\n", this);
 103 }
 104
 105 void SvgVisual::OnInitialize()
 106 {
 107   Shader   shader   = GenerateShader();
 108   Geometry geometry = mFactoryCache.GetGeometry(VisualFactoryCache::QUAD_GEOMETRY);
 109   mImpl->mRenderer  = DecoratedVisualRenderer::New(geometry, shader);
 110   mImpl->mRenderer.ReserveCustomProperties(CUSTOM_PROPERTY_COUNT);
 111
 112   Vector2 dpi     = Stage::GetCurrent().GetDpi();
 113   float   meanDpi = (dpi.height + dpi.width) * 0.5f;
 114
 115   EncodedImageBuffer encodedImageBuffer;
 116
 117   if(mImageUrl.IsBufferResource())
 118   {
 119     // Increase reference count of External Resources :
 120     // EncodedImageBuffer.
 121     // Reference count will be decreased at destructor of the visual.
 122     TextureManager& textureManager = mFactoryCache.GetTextureManager();
 123     textureManager.UseExternalResource(mImageUrl.GetUrl());
 124
 125     encodedImageBuffer = textureManager.GetEncodedImageBuffer(mImageUrl.GetUrl());
 126   }
 127
 128   mLoadingTask = new SvgLoadingTask(mVectorRenderer, mImageUrl, encodedImageBuffer, meanDpi, MakeCallback(this, &SvgVisual::ApplyRasterizedImage));
 129
 130   if(IsSynchronousLoadingRequired() && (mImageUrl.IsLocalResource() || mImageUrl.IsBufferResource()))
 131   {
 132     mLoadingTask->Process();
 133     if(!mLoadingTask->HasSucceeded())
 134     {
 135       mLoadFailed = true;
 136     }
 137     mLoadingTask.Reset(); // We don't need it anymore.
 138   }
 139   else
 140   {
 141     Dali::AsyncTaskManager::Get().AddTask(mLoadingTask);
 142   }
 143 }
 144
 145 void SvgVisual::DoSetProperties(const Property::Map& propertyMap)
 146 {
 147   // url already passed in from constructor
 148   for(Property::Map::SizeType iter = 0; iter < propertyMap.Count(); ++iter)
 149   {
 150     KeyValuePair keyValue = propertyMap.GetKeyValue(iter);
 151     if(keyValue.first.type == Property::Key::INDEX)
 152     {
 153       DoSetProperty(keyValue.first.indexKey, keyValue.second);
 154     }
 155     else if(keyValue.first == IMAGE_ATLASING)
 156     {
 157       DoSetProperty(Toolkit::ImageVisual::Property::ATLASING, keyValue.second);
 158     }
 159     else if(keyValue.first == SYNCHRONOUS_LOADING)
 160     {
 161       DoSetProperty(Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING, keyValue.second);
 162     }
 163     else if(keyValue.first == IMAGE_DESIRED_WIDTH)
 164     {
 165       DoSetProperty(Toolkit::ImageVisual::Property::DESIRED_WIDTH, keyValue.second);
 166     }
 167     else if(keyValue.first == IMAGE_DESIRED_HEIGHT)
 168     {
 169       DoSetProperty(Toolkit::ImageVisual::Property::DESIRED_HEIGHT, keyValue.second);
 170     }
 171   }
 172 }
 173
 174 void SvgVisual::DoSetProperty(Property::Index index, const Property::Value& value)
 175 {
 176   switch(index)
 177   {
 178     case Toolkit::ImageVisual::Property::ATLASING:
 179     {
 180       value.Get(mAttemptAtlasing);
 181       break;
 182     }
 183     case Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING:
 184     {
 185       bool sync = false;
 186       if(value.Get(sync))
 187       {
 188         if(sync)
 189         {
 190           mImpl->mFlags |= Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
 191         }
 192         else
 193         {
 194           mImpl->mFlags &= ~Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
 195         }
 196       }
 197       else
 198       {
 199         DALI_LOG_ERROR("ImageVisual: synchronousLoading property has incorrect type\n");
 200       }
 201       break;
 202     }
 203     case Toolkit::ImageVisual::Property::DESIRED_WIDTH:
 204     {
 205       int32_t desiredWidth = 0;
 206       if(value.Get(desiredWidth))
 207       {
 208         mDesiredSize.SetWidth(desiredWidth);
 209       }
 210       break;
 211     }
 212     case Toolkit::ImageVisual::Property::DESIRED_HEIGHT:
 213     {
 214       int32_t desiredHeight = 0;
 215       if(value.Get(desiredHeight))
 216       {
 217         mDesiredSize.SetHeight(desiredHeight);
 218       }
 219       break;
 220     }
 221   }
 222 }
 223
 224 void SvgVisual::DoSetOnScene(Actor& actor)
 225 {
 226   TextureSet textureSet = TextureSet::New();
 227   mImpl->mRenderer.SetTextures(textureSet);
 228
 229   // Register transform properties
 230   mImpl->mTransform.SetUniforms(mImpl->mRenderer, Direction::LEFT_TO_RIGHT);
 231
 232   // Defer the rasterisation task until we get given a size (by Size Negotiation algorithm)
 233
 234   // Hold the weak handle of the placement actor and delay the adding of renderer until the svg rasterization is finished.
 235   mPlacementActor = actor;
 236
 237   if(mLoadFailed)
 238   {
 239     Vector2 imageSize = Vector2::ZERO;
 240     imageSize         = actor.GetProperty(Actor::Property::SIZE).Get<Vector2>();
 241     mFactoryCache.UpdateBrokenImageRenderer(mImpl->mRenderer, imageSize);
 242     actor.AddRenderer(mImpl->mRenderer);
 243
 244     ResourceReady(Toolkit::Visual::ResourceStatus::FAILED);
 245   }
 246   else
 247   {
 248     if(mImpl->mEventObserver)
 249     {
 250       // SVG visual needs it's size set before it can be rasterized hence request relayout once on stage
 251       mImpl->mEventObserver->RelayoutRequest(*this);
 252     }
 253   }
 254 }
 255
 256 void SvgVisual::DoSetOffScene(Actor& actor)
 257 {
 258   // Remove rasterizing task
 259   if(mRasterizingTask)
 260   {
 261     Dali::AsyncTaskManager::Get().RemoveTask(mRasterizingTask);
 262     mRasterizingTask.Reset();
 263   }
 264
 265   actor.RemoveRenderer(mImpl->mRenderer);
 266   mPlacementActor.Reset();
 267
 268   // Reset the visual size to zero so that when adding the actor back to stage the SVG rasterization is forced
 269   mRasterizedSize = Vector2::ZERO;
 270 }
 271
 272 void SvgVisual::GetNaturalSize(Vector2& naturalSize)
 273 {
 274   if(mDesiredSize.GetWidth() > 0 && mDesiredSize.GetHeight() > 0)
 275   {
 276     naturalSize.x = mDesiredSize.GetWidth();
 277     naturalSize.y = mDesiredSize.GetHeight();
 278   }
 279   else if(mLoadFailed && mImpl->mRenderer)
 280   {
 281     // Load failed, use broken image size
 282     auto textureSet = mImpl->mRenderer.GetTextures();
 283     if(textureSet && textureSet.GetTextureCount())
 284     {
 285       auto texture = textureSet.GetTexture(0);
 286       if(texture)
 287       {
 288         naturalSize.x = texture.GetWidth();
 289         naturalSize.y = texture.GetHeight();
 290         return;
 291       }
 292     }
 293   }
 294   else
 295   {
 296     naturalSize.x = mDefaultWidth;
 297     naturalSize.y = mDefaultHeight;
 298   }
 299 }
 300
 301 void SvgVisual::DoCreatePropertyMap(Property::Map& map) const
 302 {
 303   map.Clear();
 304   map.Insert(Toolkit::Visual::Property::TYPE, Toolkit::Visual::SVG);
 305   if(mImageUrl.IsValid())
 306   {
 307     map.Insert(Toolkit::ImageVisual::Property::URL, mImageUrl.GetUrl());
 308     map.Insert(Toolkit::ImageVisual::Property::ATLASING, mAttemptAtlasing);
 309   }
 310   map.Insert(Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING, IsSynchronousLoadingRequired());
 311   map.Insert(Toolkit::ImageVisual::Property::DESIRED_WIDTH, mDesiredSize.GetWidth());
 312   map.Insert(Toolkit::ImageVisual::Property::DESIRED_HEIGHT, mDesiredSize.GetHeight());
 313 }
 314
 315 void SvgVisual::DoCreateInstancePropertyMap(Property::Map& map) const
 316 {
 317   // Do nothing
 318 }
 319
 320 void SvgVisual::EnablePreMultipliedAlpha(bool preMultiplied)
 321 {
 322   // Make always enable pre multiplied alpha whether preMultiplied value is false.
 323   if(!preMultiplied)
 324   {
 325     DALI_LOG_WARNING("Note : SvgVisual cannot disable PreMultipliedAlpha\n");
 326   }
 327 }
 328
 329 void SvgVisual::AddRasterizationTask(const Vector2& size)
 330 {
 331   if(mImpl->mRenderer)
 332   {
 333     // Remove previous task
 334     if(mRasterizingTask)
 335     {
 336       Dali::AsyncTaskManager::Get().RemoveTask(mRasterizingTask);
 337       mRasterizingTask.Reset();
 338     }
 339
 340     unsigned int width  = static_cast<unsigned int>(size.width);
 341     unsigned int height = static_cast<unsigned int>(size.height);
 342
 343     mRasterizingTask = new SvgRasterizingTask(mVectorRenderer, width, height, MakeCallback(this, &SvgVisual::ApplyRasterizedImage));
 344
 345 #ifdef TRACE_ENABLED
 346     reinterpret_cast<SvgRasterizingTask*>(mRasterizingTask.Get())->SetUrl(mImageUrl);
 347 #endif
 348
 349     if(IsSynchronousLoadingRequired() && mImageUrl.IsLocalResource())
 350     {
 351       mRasterizingTask->Process();
 352       ApplyRasterizedImage(mRasterizingTask);
 353       mRasterizingTask.Reset(); // We don't need it anymore.
 354     }
 355     else
 356     {
 357       Dali::AsyncTaskManager::Get().AddTask(mRasterizingTask);
 358     }
 359   }
 360 }
 361
 362 void SvgVisual::ApplyRasterizedImage(SvgTaskPtr task)
 363 {
 364   if(DALI_UNLIKELY(mImpl == nullptr))
 365   {
 366     DALI_LOG_ERROR("Fatal error!! already destroyed object callback called! SvgVisual : %p, task : %p\n", this, task.Get());
 367     return;
 368   }
 369
 370   if(task->HasSucceeded())
 371   {
 372     PixelData rasterizedPixelData = task->GetPixelData();
 373     if(mDefaultWidth == 0 || mDefaultHeight == 0)
 374     {
 375       task->GetRenderer().GetDefaultSize(mDefaultWidth, mDefaultHeight);
 376     }
 377
 378     // We don't need to keep tasks anymore. reset now.
 379     if(task == mLoadingTask)
 380     {
 381       mLoadingTask.Reset();
 382     }
 383     if(task == mRasterizingTask)
 384     {
 385       mRasterizingTask.Reset();
 386     }
 387
 388     // Rasterization success
 389     if(rasterizedPixelData && IsOnScene())
 390     {
 391       mRasterizedSize.x = static_cast<float>(rasterizedPixelData.GetWidth());
 392       mRasterizedSize.y = static_cast<float>(rasterizedPixelData.GetHeight());
 393
 394       TextureSet currentTextureSet = mImpl->mRenderer.GetTextures();
 395       if(mImpl->mFlags & Impl::IS_ATLASING_APPLIED)
 396       {
 397         mFactoryCache.GetAtlasManager()->Remove(currentTextureSet, mAtlasRect);
 398       }
 399
 400       TextureSet textureSet;
 401
 402       if(mAttemptAtlasing && !mImpl->mCustomShader)
 403       {
 404         Vector4 atlasRect;
 405         textureSet = mFactoryCache.GetAtlasManager()->Add(atlasRect, rasterizedPixelData);
 406         if(textureSet) // atlasing
 407         {
 408           if(textureSet != currentTextureSet)
 409           {
 410             mImpl->mRenderer.SetTextures(textureSet);
 411           }
 412           mImpl->mRenderer.RegisterProperty(ATLAS_RECT_UNIFORM_NAME, atlasRect);
 413           mAtlasRect = atlasRect;
 414           mImpl->mFlags |= Impl::IS_ATLASING_APPLIED;
 415         }
 416       }
 417
 418       if(!textureSet) // no atlasing - mAttemptAtlasing is false or adding to atlas is failed
 419       {
 420         Texture texture = Texture::New(Dali::TextureType::TEXTURE_2D, Pixel::RGBA8888, rasterizedPixelData.GetWidth(), rasterizedPixelData.GetHeight());
 421         texture.Upload(rasterizedPixelData);
 422         mImpl->mFlags &= ~Impl::IS_ATLASING_APPLIED;
 423
 424         if(mAtlasRect == FULL_TEXTURE_RECT)
 425         {
 426           textureSet = currentTextureSet;
 427         }
 428         else
 429         {
 430           textureSet = TextureSet::New();
 431           mImpl->mRenderer.SetTextures(textureSet);
 432
 433           mImpl->mRenderer.RegisterProperty(ATLAS_RECT_UNIFORM_NAME, FULL_TEXTURE_RECT);
 434           mAtlasRect = FULL_TEXTURE_RECT;
 435         }
 436
 437         if(textureSet)
 438         {
 439           textureSet.SetTexture(0, texture);
 440         }
 441       }
 442
 443       // Rasterized pixels are uploaded to texture. If weak handle is holding a placement actor, it is the time to add the renderer to actor.
 444       Actor actor = mPlacementActor.GetHandle();
 445       if(actor)
 446       {
 447         actor.AddRenderer(mImpl->mRenderer);
 448         // reset the weak handle so that the renderer only get added to actor once
 449         mPlacementActor.Reset();
 450       }
 451
 452       // Svg loaded and ready to display
 453       ResourceReady(Toolkit::Visual::ResourceStatus::READY);
 454     }
 455   }
 456   else if(!mLoadFailed)
 457   {
 458     mLoadFailed = true;
 459
 460     // Remove rasterizing task if we requested before.
 461     if(mRasterizingTask)
 462     {
 463       Dali::AsyncTaskManager::Get().RemoveTask(mRasterizingTask);
 464       mRasterizingTask.Reset();
 465     }
 466
 467     // We don't need to keep tasks anymore. reset now.
 468     if(task == mLoadingTask)
 469     {
 470       mLoadingTask.Reset();
 471     }
 472
 473     Actor actor = mPlacementActor.GetHandle();
 474     if(actor)
 475     {
 476       Vector2 imageSize = Vector2::ZERO;
 477       imageSize         = actor.GetProperty(Actor::Property::SIZE).Get<Vector2>();
 478       mFactoryCache.UpdateBrokenImageRenderer(mImpl->mRenderer, imageSize);
 479       actor.AddRenderer(mImpl->mRenderer);
 480     }
 481
 482     ResourceReady(Toolkit::Visual::ResourceStatus::FAILED);
 483   }
 484 }
 485
 486 void SvgVisual::OnSetTransform()
 487 {
 488   if(IsOnScene() && !mLoadFailed)
 489   {
 490     Vector2 size;
 491     if(mDesiredSize.GetWidth() > 0 && mDesiredSize.GetHeight() > 0)
 492     {
 493       // Use desired size
 494       size = Vector2(mDesiredSize.GetWidth(), mDesiredSize.GetHeight());
 495     }
 496     else
 497     {
 498       // Use visual size
 499       size = mImpl->mTransform.GetVisualSize(mImpl->mControlSize);
 500     }
 501
 502     if(size != mRasterizedSize || mDefaultWidth == 0 || mDefaultHeight == 0)
 503     {
 504       mRasterizedSize = size;
 505       AddRasterizationTask(size);
 506     }
 507   }
 508
 509   if(mImpl->mRenderer)
 510   {
 511     mImpl->mTransform.SetUniforms(mImpl->mRenderer, Direction::LEFT_TO_RIGHT);
 512   }
 513 }
 514
 515 void SvgVisual::UpdateShader()
 516 {
 517   if(mImpl->mRenderer)
 518   {
 519     Shader shader = GenerateShader();
 520     mImpl->mRenderer.SetShader(shader);
 521   }
 522 }
 523
 524 Shader SvgVisual::GenerateShader() const
 525 {
 526   Shader shader;
 527   if(!mImpl->mCustomShader)
 528   {
 529     shader = mImageVisualShaderFactory.GetShader(
 530       mFactoryCache,
 531       ImageVisualShaderFeatureBuilder()
 532         .EnableTextureAtlas(mAttemptAtlasing)
 533         .EnableRoundedCorner(IsRoundedCornerRequired())
 534         .EnableBorderline(IsBorderlineRequired()));
 535   }
 536   else
 537   {
 538     shader = Shader::New(mImpl->mCustomShader->mVertexShader.empty() ? mImageVisualShaderFactory.GetVertexShaderSource().data() : mImpl->mCustomShader->mVertexShader,
 539                          mImpl->mCustomShader->mFragmentShader.empty() ? mImageVisualShaderFactory.GetFragmentShaderSource().data() : mImpl->mCustomShader->mFragmentShader,
 540                          mImpl->mCustomShader->mHints);
 541
 542     shader.RegisterProperty(PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT);
 543   }
 544   return shader;
 545 }
 546
 547 } // namespace Internal
 548
 549 } // namespace Toolkit
 550
 551 } // namespace Dali