dali-toolkit/internal/visuals/svg/svg-visual.cpp

   1 /*
   2  * Copyright (c) 2023 Samsung Electronics Co., Ltd.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  * http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *
  16  */
  17
  18 // CLASS HEADER
  19 #include <dali-toolkit/internal/visuals/svg/svg-visual.h>
  20
  21 // INTERNAL INCLUDES
  22 #include <dali-toolkit/internal/visuals/image-atlas-manager.h>
  23 #include <dali-toolkit/internal/visuals/image-visual-shader-factory.h>
  24 #include <dali-toolkit/internal/visuals/image-visual-shader-feature-builder.h>
  25 #include <dali-toolkit/internal/visuals/svg/svg-task.h>
  26 #include <dali-toolkit/internal/visuals/visual-base-data-impl.h>
  27 #include <dali-toolkit/internal/visuals/visual-string-constants.h>
  28 #include <dali-toolkit/public-api/visuals/image-visual-properties.h>
  29
  30 // EXTERNAL INCLUDES
  31 #include <dali/devel-api/common/stage.h>
  32 #include <dali/integration-api/debug.h>
  33 #include <dali/public-api/rendering/decorated-visual-renderer.h>
  34
  35 namespace Dali
  36 {
  37 namespace Toolkit
  38 {
  39 namespace Internal
  40 {
  41 namespace
  42 {
  43 const int CUSTOM_PROPERTY_COUNT(1); // atlas
  44
  45 // property name
  46 const Dali::Vector4 FULL_TEXTURE_RECT(0.f, 0.f, 1.f, 1.f);
  47
  48 } // namespace
  49
  50 SvgVisualPtr SvgVisual::New(VisualFactoryCache& factoryCache, ImageVisualShaderFactory& shaderFactory, const VisualUrl& imageUrl, const Property::Map& properties)
  51 {
  52   SvgVisualPtr svgVisual(new SvgVisual(factoryCache, shaderFactory, imageUrl, ImageDimensions{}));
  53   svgVisual->SetProperties(properties);
  54   svgVisual->Initialize();
  55   return svgVisual;
  56 }
  57
  58 SvgVisualPtr SvgVisual::New(VisualFactoryCache& factoryCache, ImageVisualShaderFactory& shaderFactory, const VisualUrl& imageUrl, ImageDimensions size)
  59 {
  60   SvgVisualPtr svgVisual(new SvgVisual(factoryCache, shaderFactory, imageUrl, size));
  61   svgVisual->Initialize();
  62   return svgVisual;
  63 }
  64
  65 SvgVisual::SvgVisual(VisualFactoryCache& factoryCache, ImageVisualShaderFactory& shaderFactory, const VisualUrl& imageUrl, ImageDimensions size)
  66 : Visual::Base(factoryCache, Visual::FittingMode::FILL, Toolkit::Visual::SVG),
  67   mImageVisualShaderFactory(shaderFactory),
  68   mAtlasRect(FULL_TEXTURE_RECT),
  69   mImageUrl(imageUrl),
  70   mVectorRenderer(VectorImageRenderer::New()),
  71   mDefaultWidth(0),
  72   mDefaultHeight(0),
  73   mPlacementActor(),
  74   mRasterizedSize(Vector2::ZERO),
  75   mDesiredSize(size),
  76   mLoadFailed(false),
  77   mAttemptAtlasing(false)
  78 {
  79   // the rasterized image is with pre-multiplied alpha format
  80   mImpl->mFlags |= Impl::IS_PREMULTIPLIED_ALPHA;
  81 }
  82
  83 SvgVisual::~SvgVisual()
  84 {
  85   DALI_LOG_RELEASE_INFO("SvgVisual is destructed: %p, mLoadingTask : %p, mRasterizingTask : %p, url : %s\n", this, mLoadingTask.Get(), mRasterizingTask.Get(), mImageUrl.GetUrl().c_str());
  86   if(Stage::IsInstalled())
  87   {
  88     if(mLoadingTask)
  89     {
  90       Dali::AsyncTaskManager::Get().RemoveTask(mLoadingTask);
  91       mLoadingTask.Reset();
  92     }
  93     if(mRasterizingTask)
  94     {
  95       Dali::AsyncTaskManager::Get().RemoveTask(mRasterizingTask);
  96       mRasterizingTask.Reset();
  97     }
  98
  99     if(mImageUrl.IsBufferResource())
 100     {
 101       TextureManager& textureManager = mFactoryCache.GetTextureManager();
 102       textureManager.RemoveEncodedImageBuffer(mImageUrl.GetUrl());
 103     }
 104   }
 105   else if(DALI_UNLIKELY(!Stage::IsShuttingDown()))
 106   {
 107     DALI_LOG_ERROR("SvgVisual maybe try to destruct on worker thread! %p, mLoadingTask : %p, mRasterizingTask : %p, url : %s\n", this, mLoadingTask.Get(), mRasterizingTask.Get(), mImageUrl.GetUrl().c_str());
 108   }
 109 }
 110
 111 void SvgVisual::OnInitialize()
 112 {
 113   Shader   shader   = GenerateShader();
 114   Geometry geometry = mFactoryCache.GetGeometry(VisualFactoryCache::QUAD_GEOMETRY);
 115   mImpl->mRenderer  = DecoratedVisualRenderer::New(geometry, shader);
 116   mImpl->mRenderer.ReserveCustomProperties(CUSTOM_PROPERTY_COUNT);
 117
 118   Vector2 dpi     = Stage::GetCurrent().GetDpi();
 119   float   meanDpi = (dpi.height + dpi.width) * 0.5f;
 120
 121   EncodedImageBuffer encodedImageBuffer;
 122
 123   if(mImageUrl.IsBufferResource())
 124   {
 125     // Increase reference count of External Resources :
 126     // EncodedImageBuffer.
 127     // Reference count will be decreased at destructor of the visual.
 128     TextureManager& textureManager = mFactoryCache.GetTextureManager();
 129     textureManager.UseExternalResource(mImageUrl.GetUrl());
 130
 131     encodedImageBuffer = textureManager.GetEncodedImageBuffer(mImageUrl.GetUrl());
 132   }
 133
 134   mLoadingTask = new SvgLoadingTask(mVectorRenderer, mImageUrl, encodedImageBuffer, meanDpi, MakeCallback(this, &SvgVisual::ApplyRasterizedImage));
 135
 136   if(IsSynchronousLoadingRequired() && (mImageUrl.IsLocalResource() || mImageUrl.IsBufferResource()))
 137   {
 138     mLoadingTask->Process();
 139     if(!mLoadingTask->HasSucceeded())
 140     {
 141       mLoadFailed = true;
 142     }
 143     mLoadingTask.Reset(); // We don't need it anymore.
 144   }
 145   else
 146   {
 147     Dali::AsyncTaskManager::Get().AddTask(mLoadingTask);
 148   }
 149 }
 150
 151 void SvgVisual::DoSetProperties(const Property::Map& propertyMap)
 152 {
 153   // url already passed in from constructor
 154   for(Property::Map::SizeType iter = 0; iter < propertyMap.Count(); ++iter)
 155   {
 156     KeyValuePair keyValue = propertyMap.GetKeyValue(iter);
 157     if(keyValue.first.type == Property::Key::INDEX)
 158     {
 159       DoSetProperty(keyValue.first.indexKey, keyValue.second);
 160     }
 161     else if(keyValue.first == IMAGE_ATLASING)
 162     {
 163       DoSetProperty(Toolkit::ImageVisual::Property::ATLASING, keyValue.second);
 164     }
 165     else if(keyValue.first == SYNCHRONOUS_LOADING)
 166     {
 167       DoSetProperty(Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING, keyValue.second);
 168     }
 169     else if(keyValue.first == IMAGE_DESIRED_WIDTH)
 170     {
 171       DoSetProperty(Toolkit::ImageVisual::Property::DESIRED_WIDTH, keyValue.second);
 172     }
 173     else if(keyValue.first == IMAGE_DESIRED_HEIGHT)
 174     {
 175       DoSetProperty(Toolkit::ImageVisual::Property::DESIRED_HEIGHT, keyValue.second);
 176     }
 177   }
 178 }
 179
 180 void SvgVisual::DoSetProperty(Property::Index index, const Property::Value& value)
 181 {
 182   switch(index)
 183   {
 184     case Toolkit::ImageVisual::Property::ATLASING:
 185     {
 186       value.Get(mAttemptAtlasing);
 187       break;
 188     }
 189     case Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING:
 190     {
 191       bool sync = false;
 192       if(value.Get(sync))
 193       {
 194         if(sync)
 195         {
 196           mImpl->mFlags |= Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
 197         }
 198         else
 199         {
 200           mImpl->mFlags &= ~Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
 201         }
 202       }
 203       else
 204       {
 205         DALI_LOG_ERROR("ImageVisual: synchronousLoading property has incorrect type\n");
 206       }
 207       break;
 208     }
 209     case Toolkit::ImageVisual::Property::DESIRED_WIDTH:
 210     {
 211       int32_t desiredWidth = 0;
 212       if(value.Get(desiredWidth))
 213       {
 214         mDesiredSize.SetWidth(desiredWidth);
 215       }
 216       break;
 217     }
 218     case Toolkit::ImageVisual::Property::DESIRED_HEIGHT:
 219     {
 220       int32_t desiredHeight = 0;
 221       if(value.Get(desiredHeight))
 222       {
 223         mDesiredSize.SetHeight(desiredHeight);
 224       }
 225       break;
 226     }
 227   }
 228 }
 229
 230 void SvgVisual::DoSetOnScene(Actor& actor)
 231 {
 232   TextureSet textureSet = TextureSet::New();
 233   mImpl->mRenderer.SetTextures(textureSet);
 234
 235   // Register transform properties
 236   mImpl->mTransform.SetUniforms(mImpl->mRenderer, Direction::LEFT_TO_RIGHT);
 237
 238   // Defer the rasterisation task until we get given a size (by Size Negotiation algorithm)
 239
 240   // Hold the weak handle of the placement actor and delay the adding of renderer until the svg rasterization is finished.
 241   mPlacementActor = actor;
 242
 243   if(mLoadFailed)
 244   {
 245     Vector2 imageSize = Vector2::ZERO;
 246     imageSize         = actor.GetProperty(Actor::Property::SIZE).Get<Vector2>();
 247     mFactoryCache.UpdateBrokenImageRenderer(mImpl->mRenderer, imageSize);
 248     actor.AddRenderer(mImpl->mRenderer);
 249
 250     ResourceReady(Toolkit::Visual::ResourceStatus::FAILED);
 251   }
 252   else
 253   {
 254     if(mImpl->mEventObserver)
 255     {
 256       // SVG visual needs it's size set before it can be rasterized hence request relayout once on stage
 257       mImpl->mEventObserver->RelayoutRequest(*this);
 258     }
 259   }
 260 }
 261
 262 void SvgVisual::DoSetOffScene(Actor& actor)
 263 {
 264   // Remove rasterizing task
 265   if(mRasterizingTask)
 266   {
 267     Dali::AsyncTaskManager::Get().RemoveTask(mRasterizingTask);
 268     mRasterizingTask.Reset();
 269   }
 270
 271   actor.RemoveRenderer(mImpl->mRenderer);
 272   mPlacementActor.Reset();
 273
 274   // Reset the visual size to zero so that when adding the actor back to stage the SVG rasterization is forced
 275   mRasterizedSize = Vector2::ZERO;
 276 }
 277
 278 void SvgVisual::GetNaturalSize(Vector2& naturalSize)
 279 {
 280   if(mDesiredSize.GetWidth() > 0 && mDesiredSize.GetHeight() > 0)
 281   {
 282     naturalSize.x = mDesiredSize.GetWidth();
 283     naturalSize.y = mDesiredSize.GetHeight();
 284   }
 285   else if(mLoadFailed && mImpl->mRenderer)
 286   {
 287     // Load failed, use broken image size
 288     auto textureSet = mImpl->mRenderer.GetTextures();
 289     if(textureSet && textureSet.GetTextureCount())
 290     {
 291       auto texture = textureSet.GetTexture(0);
 292       if(texture)
 293       {
 294         naturalSize.x = texture.GetWidth();
 295         naturalSize.y = texture.GetHeight();
 296         return;
 297       }
 298     }
 299   }
 300   else
 301   {
 302     naturalSize.x = mDefaultWidth;
 303     naturalSize.y = mDefaultHeight;
 304   }
 305 }
 306
 307 void SvgVisual::DoCreatePropertyMap(Property::Map& map) const
 308 {
 309   map.Clear();
 310   map.Insert(Toolkit::Visual::Property::TYPE, Toolkit::Visual::SVG);
 311   if(mImageUrl.IsValid())
 312   {
 313     map.Insert(Toolkit::ImageVisual::Property::URL, mImageUrl.GetUrl());
 314     map.Insert(Toolkit::ImageVisual::Property::ATLASING, mAttemptAtlasing);
 315   }
 316   map.Insert(Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING, IsSynchronousLoadingRequired());
 317   map.Insert(Toolkit::ImageVisual::Property::DESIRED_WIDTH, mDesiredSize.GetWidth());
 318   map.Insert(Toolkit::ImageVisual::Property::DESIRED_HEIGHT, mDesiredSize.GetHeight());
 319 }
 320
 321 void SvgVisual::DoCreateInstancePropertyMap(Property::Map& map) const
 322 {
 323   // Do nothing
 324 }
 325
 326 void SvgVisual::EnablePreMultipliedAlpha(bool preMultiplied)
 327 {
 328   // Make always enable pre multiplied alpha whether preMultiplied value is false.
 329   if(!preMultiplied)
 330   {
 331     DALI_LOG_WARNING("Note : SvgVisual cannot disable PreMultipliedAlpha\n");
 332   }
 333 }
 334
 335 void SvgVisual::AddRasterizationTask(const Vector2& size)
 336 {
 337   if(mImpl->mRenderer)
 338   {
 339     // Remove previous task
 340     if(mRasterizingTask)
 341     {
 342       Dali::AsyncTaskManager::Get().RemoveTask(mRasterizingTask);
 343       mRasterizingTask.Reset();
 344     }
 345
 346     unsigned int width  = static_cast<unsigned int>(size.width);
 347     unsigned int height = static_cast<unsigned int>(size.height);
 348
 349     mRasterizingTask = new SvgRasterizingTask(mVectorRenderer, width, height, MakeCallback(this, &SvgVisual::ApplyRasterizedImage));
 350
 351 #ifdef TRACE_ENABLED
 352     reinterpret_cast<SvgRasterizingTask*>(mRasterizingTask.Get())->SetUrl(mImageUrl);
 353 #endif
 354
 355     if(IsSynchronousLoadingRequired() && mImageUrl.IsLocalResource())
 356     {
 357       mRasterizingTask->Process();
 358       ApplyRasterizedImage(mRasterizingTask);
 359       mRasterizingTask.Reset(); // We don't need it anymore.
 360     }
 361     else
 362     {
 363       Dali::AsyncTaskManager::Get().AddTask(mRasterizingTask);
 364     }
 365   }
 366 }
 367
 368 void SvgVisual::ApplyRasterizedImage(SvgTaskPtr task)
 369 {
 370   if(DALI_UNLIKELY(mImpl == nullptr))
 371   {
 372     DALI_LOG_ERROR("Fatal error!! already destroyed object callback called! SvgVisual : %p, task : %p\n", this, task.Get());
 373     return;
 374   }
 375
 376   if(task->HasSucceeded())
 377   {
 378     PixelData rasterizedPixelData = task->GetPixelData();
 379     if(mDefaultWidth == 0 || mDefaultHeight == 0)
 380     {
 381       task->GetRenderer().GetDefaultSize(mDefaultWidth, mDefaultHeight);
 382     }
 383
 384     // We don't need to keep tasks anymore. reset now.
 385     if(task == mLoadingTask)
 386     {
 387       mLoadingTask.Reset();
 388     }
 389     if(task == mRasterizingTask)
 390     {
 391       mRasterizingTask.Reset();
 392     }
 393
 394     // Rasterization success
 395     if(rasterizedPixelData && IsOnScene())
 396     {
 397       mRasterizedSize.x = static_cast<float>(rasterizedPixelData.GetWidth());
 398       mRasterizedSize.y = static_cast<float>(rasterizedPixelData.GetHeight());
 399
 400       TextureSet currentTextureSet = mImpl->mRenderer.GetTextures();
 401       if(mImpl->mFlags & Impl::IS_ATLASING_APPLIED)
 402       {
 403         mFactoryCache.GetAtlasManager()->Remove(currentTextureSet, mAtlasRect);
 404       }
 405
 406       TextureSet textureSet;
 407
 408       if(mAttemptAtlasing && !mImpl->mCustomShader)
 409       {
 410         Vector4 atlasRect;
 411         textureSet = mFactoryCache.GetAtlasManager()->Add(atlasRect, rasterizedPixelData);
 412         if(textureSet) // atlasing
 413         {
 414           if(textureSet != currentTextureSet)
 415           {
 416             mImpl->mRenderer.SetTextures(textureSet);
 417           }
 418           mImpl->mRenderer.RegisterProperty(ATLAS_RECT_UNIFORM_NAME, atlasRect);
 419           mAtlasRect = atlasRect;
 420           mImpl->mFlags |= Impl::IS_ATLASING_APPLIED;
 421         }
 422       }
 423
 424       if(!textureSet) // no atlasing - mAttemptAtlasing is false or adding to atlas is failed
 425       {
 426         Texture texture = Texture::New(Dali::TextureType::TEXTURE_2D, Pixel::RGBA8888, rasterizedPixelData.GetWidth(), rasterizedPixelData.GetHeight());
 427         texture.Upload(rasterizedPixelData);
 428         mImpl->mFlags &= ~Impl::IS_ATLASING_APPLIED;
 429
 430         if(mAtlasRect == FULL_TEXTURE_RECT)
 431         {
 432           textureSet = currentTextureSet;
 433         }
 434         else
 435         {
 436           textureSet = TextureSet::New();
 437           mImpl->mRenderer.SetTextures(textureSet);
 438
 439           mImpl->mRenderer.RegisterProperty(ATLAS_RECT_UNIFORM_NAME, FULL_TEXTURE_RECT);
 440           mAtlasRect = FULL_TEXTURE_RECT;
 441         }
 442
 443         if(textureSet)
 444         {
 445           textureSet.SetTexture(0, texture);
 446         }
 447       }
 448
 449       // Rasterized pixels are uploaded to texture. If weak handle is holding a placement actor, it is the time to add the renderer to actor.
 450       Actor actor = mPlacementActor.GetHandle();
 451       if(actor)
 452       {
 453         actor.AddRenderer(mImpl->mRenderer);
 454         // reset the weak handle so that the renderer only get added to actor once
 455         mPlacementActor.Reset();
 456       }
 457
 458       // Svg loaded and ready to display
 459       ResourceReady(Toolkit::Visual::ResourceStatus::READY);
 460     }
 461   }
 462   else if(!mLoadFailed)
 463   {
 464     mLoadFailed = true;
 465
 466     // Remove rasterizing task if we requested before.
 467     if(mRasterizingTask)
 468     {
 469       Dali::AsyncTaskManager::Get().RemoveTask(mRasterizingTask);
 470       mRasterizingTask.Reset();
 471     }
 472
 473     // We don't need to keep tasks anymore. reset now.
 474     if(task == mLoadingTask)
 475     {
 476       mLoadingTask.Reset();
 477     }
 478
 479     Actor actor = mPlacementActor.GetHandle();
 480     if(actor)
 481     {
 482       Vector2 imageSize = Vector2::ZERO;
 483       imageSize         = actor.GetProperty(Actor::Property::SIZE).Get<Vector2>();
 484       mFactoryCache.UpdateBrokenImageRenderer(mImpl->mRenderer, imageSize);
 485       actor.AddRenderer(mImpl->mRenderer);
 486     }
 487
 488     ResourceReady(Toolkit::Visual::ResourceStatus::FAILED);
 489   }
 490 }
 491
 492 void SvgVisual::OnSetTransform()
 493 {
 494   if(IsOnScene() && !mLoadFailed)
 495   {
 496     Vector2 size;
 497     if(mDesiredSize.GetWidth() > 0 && mDesiredSize.GetHeight() > 0)
 498     {
 499       // Use desired size
 500       size = Vector2(mDesiredSize.GetWidth(), mDesiredSize.GetHeight());
 501     }
 502     else
 503     {
 504       // Use visual size
 505       size = mImpl->mTransform.GetVisualSize(mImpl->mControlSize);
 506     }
 507
 508     if(size != mRasterizedSize || mDefaultWidth == 0 || mDefaultHeight == 0)
 509     {
 510       mRasterizedSize = size;
 511       AddRasterizationTask(size);
 512     }
 513   }
 514
 515   if(mImpl->mRenderer)
 516   {
 517     mImpl->mTransform.SetUniforms(mImpl->mRenderer, Direction::LEFT_TO_RIGHT);
 518   }
 519 }
 520
 521 void SvgVisual::UpdateShader()
 522 {
 523   if(mImpl->mRenderer)
 524   {
 525     Shader shader = GenerateShader();
 526     mImpl->mRenderer.SetShader(shader);
 527   }
 528 }
 529
 530 Shader SvgVisual::GenerateShader() const
 531 {
 532   Shader shader;
 533   if(!mImpl->mCustomShader)
 534   {
 535     shader = mImageVisualShaderFactory.GetShader(
 536       mFactoryCache,
 537       ImageVisualShaderFeatureBuilder()
 538         .EnableTextureAtlas(mAttemptAtlasing)
 539         .EnableRoundedCorner(IsRoundedCornerRequired())
 540         .EnableBorderline(IsBorderlineRequired()));
 541   }
 542   else
 543   {
 544     shader = Shader::New(mImpl->mCustomShader->mVertexShader.empty() ? mImageVisualShaderFactory.GetVertexShaderSource().data() : mImpl->mCustomShader->mVertexShader,
 545                          mImpl->mCustomShader->mFragmentShader.empty() ? mImageVisualShaderFactory.GetFragmentShaderSource().data() : mImpl->mCustomShader->mFragmentShader,
 546                          mImpl->mCustomShader->mHints);
 547
 548     shader.RegisterProperty(PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT);
 549   }
 550   return shader;
 551 }
 552
 553 } // namespace Internal
 554
 555 } // namespace Toolkit
 556
 557 } // namespace Dali