Merge "ImageVisual to store TextureSet when LoadPolicy::IMMEDIATE" into devel/master
[platform/core/uifw/dali-toolkit.git] / dali-toolkit / internal / visuals / image / image-visual.cpp
1 /*
2  * Copyright (c) 2017 Samsung Electronics Co., Ltd.
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  * http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  *
16  */
17
18 // CLASS HEADER
19 #include <dali-toolkit/internal/visuals/image/image-visual.h>
20
21 // EXTERNAL HEADERS
22 #include <cstring> // for strlen()
23 #include <dali/public-api/actors/layer.h>
24 #include <dali/public-api/common/stage.h>
25 #include <dali/public-api/images/resource-image.h>
26 #include <dali/public-api/images/native-image.h>
27 #include <dali/devel-api/images/texture-set-image.h>
28 #include <dali/devel-api/adaptor-framework/image-loading.h>
29 #include <dali/devel-api/scripting/enum-helper.h>
30 #include <dali/devel-api/scripting/scripting.h>
31 #include <dali/integration-api/debug.h>
32
33 // INTERNAL HEADERS
34 #include <dali-toolkit/public-api/visuals/image-visual-properties.h>
35 #include <dali-toolkit/public-api/visuals/visual-properties.h>
36 #include <dali-toolkit/internal/visuals/texture-manager-impl.h>
37 #include <dali-toolkit/internal/visuals/visual-string-constants.h>
38 #include <dali-toolkit/internal/visuals/visual-factory-impl.h>
39 #include <dali-toolkit/internal/visuals/visual-factory-cache.h>
40 #include <dali-toolkit/internal/visuals/visual-base-impl.h>
41 #include <dali-toolkit/internal/visuals/image-atlas-manager.h>
42 #include <dali-toolkit/internal/visuals/visual-base-data-impl.h>
43 #include <dali-toolkit/internal/visuals/visual-url.h>
44
45 namespace Dali
46 {
47
48 namespace Toolkit
49 {
50
51 namespace Internal
52 {
53
54 namespace
55 {
56
57 // property names
58 const char * const IMAGE_FITTING_MODE( "fittingMode" );
59 const char * const IMAGE_SAMPLING_MODE( "samplingMode" );
60 const char * const IMAGE_DESIRED_WIDTH( "desiredWidth" );
61 const char * const IMAGE_DESIRED_HEIGHT( "desiredHeight" );
62 const char * const SYNCHRONOUS_LOADING( "synchronousLoading" );
63 const char * const IMAGE_ATLASING("atlasing");
64 const char * const ALPHA_MASK_URL("alphaMaskUrl");
65
66 // fitting modes
67 DALI_ENUM_TO_STRING_TABLE_BEGIN( FITTING_MODE )
68 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, SHRINK_TO_FIT )
69 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, SCALE_TO_FILL )
70 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, FIT_WIDTH )
71 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, FIT_HEIGHT )
72 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, DEFAULT )
73 DALI_ENUM_TO_STRING_TABLE_END( FITTING_MODE )
74
75 // sampling modes
76 DALI_ENUM_TO_STRING_TABLE_BEGIN( SAMPLING_MODE )
77 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, BOX )
78 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, NEAREST )
79 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, LINEAR )
80 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, BOX_THEN_NEAREST )
81 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, BOX_THEN_LINEAR )
82 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, NO_FILTER )
83 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, DONT_CARE )
84 DALI_ENUM_TO_STRING_TABLE_END( SAMPLING_MODE )
85
86 // wrap modes
87 DALI_ENUM_TO_STRING_TABLE_BEGIN( WRAP_MODE )
88 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, DEFAULT )
89 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, CLAMP_TO_EDGE )
90 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, REPEAT )
91 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, MIRRORED_REPEAT )
92 DALI_ENUM_TO_STRING_TABLE_END( WRAP_MODE )
93
94 // load policies
95 DALI_ENUM_TO_STRING_TABLE_BEGIN( LOAD_POLICY )
96 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::LoadPolicy, IMMEDIATE )
97 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::LoadPolicy, ATTACHED )
98 DALI_ENUM_TO_STRING_TABLE_END( LOAD_POLICY )
99
100 // release policies
101 DALI_ENUM_TO_STRING_TABLE_BEGIN( RELEASE_POLICY )
102 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::ReleasePolicy, DETACHED )
103 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::ReleasePolicy, DESTROYED )
104 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::ReleasePolicy, NEVER )
105 DALI_ENUM_TO_STRING_TABLE_END( RELEASE_POLICY )
106
107 const Vector4 FULL_TEXTURE_RECT(0.f, 0.f, 1.f, 1.f);
108
109 const char* DEFAULT_SAMPLER_TYPENAME = "sampler2D";
110
111 const float PIXEL_ALIGN_ON = 1.0f;
112 const float PIXEL_ALIGN_OFF = 0.0f;
113
114 const char* VERTEX_SHADER = DALI_COMPOSE_SHADER(
115   attribute mediump vec2 aPosition;\n
116   uniform mediump mat4 uModelMatrix;\n
117   uniform mediump mat4 uViewMatrix;\n
118   uniform mediump mat4 uProjection;\n
119   uniform mediump vec3 uSize;\n
120   uniform mediump vec4 pixelArea;
121   varying mediump vec2 vTexCoord;\n
122   uniform lowp float uPixelAligned;\n
123   \n
124   //Visual size and offset
125   uniform mediump vec2 offset;\n
126   uniform mediump vec2 size;\n
127   uniform mediump vec4 offsetSizeMode;\n
128   uniform mediump vec2 origin;\n
129   uniform mediump vec2 anchorPoint;\n
130 \n
131   vec4 ComputeVertexPosition()\n
132   {\n
133     vec2 visualSize = mix(uSize.xy*size, size, offsetSizeMode.zw );\n
134     vec2 visualOffset = mix( offset, offset/uSize.xy, offsetSizeMode.xy);\n
135     return vec4( (aPosition + anchorPoint)*visualSize + (visualOffset + origin)*uSize.xy, 0.0, 1.0 );\n
136   }\n
137 \n
138   void main()\n
139   {\n
140     mediump vec4 vertexPosition = uViewMatrix * uModelMatrix * ComputeVertexPosition();\n
141     vec4 alignedVertexPosition = vertexPosition;\n
142     alignedVertexPosition.xy = floor ( vertexPosition.xy );\n // Pixel alignment
143     vertexPosition = uProjection * mix( vertexPosition, alignedVertexPosition, uPixelAligned );\n
144     vTexCoord = pixelArea.xy+pixelArea.zw*(aPosition + vec2(0.5) );\n
145     gl_Position = vertexPosition;\n
146   }\n
147 );
148
149 const char* FRAGMENT_SHADER_NO_ATLAS = DALI_COMPOSE_SHADER(
150   varying mediump vec2 vTexCoord;\n
151   uniform sampler2D sTexture;\n
152   uniform lowp vec4 uColor;\n
153   uniform lowp vec3 mixColor;\n
154   uniform lowp float opacity;\n
155   uniform lowp float preMultipliedAlpha;\n
156   \n
157   lowp vec4 visualMixColor()\n
158   {\n
159     return vec4( mixColor * mix( 1.0, opacity, preMultipliedAlpha ), opacity );\n
160   }\n
161   void main()\n
162   {\n
163       gl_FragColor = texture2D( sTexture, vTexCoord ) * uColor * visualMixColor();\n
164   }\n
165 );
166
167 const char* FRAGMENT_SHADER_ATLAS_CLAMP = DALI_COMPOSE_SHADER(
168     varying mediump vec2 vTexCoord;\n
169     uniform sampler2D sTexture;\n
170     uniform mediump vec4 uAtlasRect;\n
171     uniform lowp vec4 uColor;\n
172     uniform lowp vec3 mixColor;\n
173     uniform lowp float opacity;\n
174     uniform lowp float preMultipliedAlpha;\n
175     \n
176     lowp vec4 visualMixColor()\n
177     {\n
178         return vec4( mixColor * mix( 1.0, opacity, preMultipliedAlpha ), opacity );\n
179     }\n
180     \n
181     void main()\n
182     {\n
183         mediump vec2 texCoord = clamp( mix( uAtlasRect.xy, uAtlasRect.zw, vTexCoord ), uAtlasRect.xy, uAtlasRect.zw );\n
184         gl_FragColor = texture2D( sTexture, texCoord ) * uColor * visualMixColor();\n
185      }\n
186 );
187
188 const char* FRAGMENT_SHADER_ATLAS_VARIOUS_WRAP = DALI_COMPOSE_SHADER(
189     varying mediump vec2 vTexCoord;\n
190     uniform sampler2D sTexture;\n
191     uniform mediump vec4 uAtlasRect;\n
192     // WrapMode -- 0: CLAMP; 1: REPEAT; 2: REFLECT;
193     uniform lowp vec2 wrapMode;\n
194     uniform lowp vec4 uColor;\n
195     uniform lowp vec3 mixColor;\n
196     uniform lowp float opacity;\n
197     uniform lowp float preMultipliedAlpha;\n
198     \n
199     mediump float wrapCoordinate( mediump vec2 range, mediump float coordinate, lowp float wrap )\n
200     {\n
201       mediump float coord;\n
202       if( wrap > 1.5 )\n // REFLECT
203         coord = 1.0-abs(fract(coordinate*0.5)*2.0 - 1.0);\n
204       else \n// warp == 0 or 1
205         coord = mix(coordinate, fract( coordinate ), wrap);\n
206       return clamp( mix(range.x, range.y, coord), range.x, range.y );
207     }\n
208     \n
209     lowp vec4 visualMixColor()\n
210     {\n
211       return vec4( mixColor * mix( 1.0, opacity, preMultipliedAlpha ), opacity );\n
212     }\n
213     \n
214     void main()\n
215     {\n
216         mediump vec2 texCoord = vec2( wrapCoordinate( uAtlasRect.xz, vTexCoord.x, wrapMode.x ),
217                                       wrapCoordinate( uAtlasRect.yw, vTexCoord.y, wrapMode.y ) );\n
218         gl_FragColor = texture2D( sTexture, texCoord ) * uColor * visualMixColor();\n
219     }\n
220 );
221
222 Geometry CreateGeometry( VisualFactoryCache& factoryCache, ImageDimensions gridSize )
223 {
224   Geometry geometry;
225
226   if( gridSize == ImageDimensions( 1, 1 ) )
227   {
228     geometry = factoryCache.GetGeometry( VisualFactoryCache::QUAD_GEOMETRY );
229   }
230   else
231   {
232     geometry = VisualFactoryCache::CreateGridGeometry( gridSize );
233   }
234
235   return geometry;
236 }
237
238 } // unnamed namespace
239
240 ImageVisualPtr ImageVisual::New( VisualFactoryCache& factoryCache,
241                                  const VisualUrl& imageUrl,
242                                  const Property::Map& properties,
243                                  ImageDimensions size,
244                                  FittingMode::Type fittingMode,
245                                  Dali::SamplingMode::Type samplingMode )
246 {
247   ImageVisualPtr imageVisualPtr( new ImageVisual( factoryCache, imageUrl, size, fittingMode, samplingMode ) );
248   imageVisualPtr->SetProperties( properties );
249   return imageVisualPtr;
250 }
251
252 ImageVisualPtr ImageVisual::New( VisualFactoryCache& factoryCache,
253                                  const VisualUrl& imageUrl,
254                                  ImageDimensions size,
255                                  FittingMode::Type fittingMode,
256                                  Dali::SamplingMode::Type samplingMode )
257 {
258   return new ImageVisual( factoryCache, imageUrl, size, fittingMode, samplingMode );
259 }
260
261 ImageVisualPtr ImageVisual::New( VisualFactoryCache& factoryCache, const Image& image )
262 {
263   return new ImageVisual( factoryCache, image );
264 }
265
266 ImageVisual::ImageVisual( VisualFactoryCache& factoryCache,
267                           const VisualUrl& imageUrl,
268                           ImageDimensions size,
269                           FittingMode::Type fittingMode,
270                           Dali::SamplingMode::Type samplingMode )
271 : Visual::Base( factoryCache ),
272   mImage(),
273   mPixelArea( FULL_TEXTURE_RECT ),
274   mPlacementActor(),
275   mImageUrl( imageUrl ),
276   mMaskingData( ),
277   mDesiredSize( size ),
278   mTextureId( TextureManager::INVALID_TEXTURE_ID ),
279   mFittingMode( fittingMode ),
280   mSamplingMode( samplingMode ),
281   mWrapModeU( WrapMode::DEFAULT ),
282   mWrapModeV( WrapMode::DEFAULT ),
283   mLoadPolicy( DevelImageVisual::LoadPolicy::ATTACHED ),
284   mReleasePolicy( DevelImageVisual::ReleasePolicy::DETACHED ),
285   mAttemptAtlasing( false ),
286   mLoading( false )
287 {
288 }
289
290 ImageVisual::ImageVisual( VisualFactoryCache& factoryCache, const Image& image )
291 : Visual::Base( factoryCache ),
292   mImage( image ),
293   mPixelArea( FULL_TEXTURE_RECT ),
294   mPlacementActor(),
295   mImageUrl(),
296   mMaskingData( ),
297   mDesiredSize(),
298   mTextureId( TextureManager::INVALID_TEXTURE_ID ),
299   mFittingMode( FittingMode::DEFAULT ),
300   mSamplingMode( SamplingMode::DEFAULT ),
301   mWrapModeU( WrapMode::DEFAULT ),
302   mWrapModeV( WrapMode::DEFAULT ),
303   mLoadPolicy( DevelImageVisual::LoadPolicy::ATTACHED ),
304   mReleasePolicy( DevelImageVisual::ReleasePolicy::DESTROYED ),
305   mAttemptAtlasing( false ),
306   mLoading( false ),
307   mOrientationCorrection( true )
308 {
309 }
310
311 ImageVisual::~ImageVisual()
312 {
313   if( Stage::IsInstalled() )
314   {
315     if( mMaskingData )
316     {
317       // TextureManager could have been deleted before the actor that contains this
318       // ImageVisual is destroyed (e.g. due to stage shutdown). Ensure the stage
319       // is still valid before accessing texture manager.
320       if( mMaskingData->mAlphaMaskId != TextureManager::INVALID_TEXTURE_ID )
321       {
322         TextureManager& textureManager = mFactoryCache.GetTextureManager();
323         textureManager.Remove( mMaskingData->mAlphaMaskId );
324       }
325     }
326
327     // ImageVisual destroyed so remove texture unless ReleasePolicy is set to never release
328     if( ( mTextureId != TextureManager::INVALID_TEXTURE_ID  ) && ( mReleasePolicy != DevelImageVisual::ReleasePolicy::NEVER ) )
329     {
330       RemoveTexture();
331     }
332   }
333 }
334
335 void ImageVisual::DoSetProperties( const Property::Map& propertyMap )
336 {
337   // Url is already received in constructor
338   for( Property::Map::SizeType iter = 0; iter < propertyMap.Count(); ++iter )
339   {
340     KeyValuePair keyValue = propertyMap.GetKeyValue( iter );
341     if( keyValue.first.type == Property::Key::INDEX )
342     {
343       DoSetProperty( keyValue.first.indexKey, keyValue.second );
344     }
345     else
346     {
347       if( keyValue.first == IMAGE_FITTING_MODE )
348       {
349         DoSetProperty( Toolkit::ImageVisual::Property::FITTING_MODE, keyValue.second );
350       }
351       else if( keyValue.first == IMAGE_SAMPLING_MODE )
352       {
353         DoSetProperty( Toolkit::ImageVisual::Property::SAMPLING_MODE, keyValue.second );
354       }
355       else if( keyValue.first == IMAGE_DESIRED_WIDTH )
356       {
357         DoSetProperty( Toolkit::ImageVisual::Property::DESIRED_WIDTH, keyValue.second );
358       }
359       else if( keyValue.first == IMAGE_DESIRED_HEIGHT )
360       {
361         DoSetProperty( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, keyValue.second );
362       }
363       else if( keyValue.first == PIXEL_AREA_UNIFORM_NAME )
364       {
365         DoSetProperty( Toolkit::ImageVisual::Property::PIXEL_AREA, keyValue.second );
366       }
367       else if( keyValue.first == IMAGE_WRAP_MODE_U )
368       {
369         DoSetProperty( Toolkit::ImageVisual::Property::WRAP_MODE_U, keyValue.second );
370       }
371       else if( keyValue.first == IMAGE_WRAP_MODE_V )
372       {
373         DoSetProperty( Toolkit::ImageVisual::Property::WRAP_MODE_V, keyValue.second );
374       }
375       else if( keyValue.first == SYNCHRONOUS_LOADING )
376       {
377         DoSetProperty( Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING, keyValue.second );
378       }
379       else if( keyValue.first == IMAGE_ATLASING )
380       {
381         DoSetProperty( Toolkit::ImageVisual::Property::ATLASING, keyValue.second );
382       }
383       else if( keyValue.first == ALPHA_MASK_URL )
384       {
385         DoSetProperty( Toolkit::ImageVisual::Property::ALPHA_MASK_URL, keyValue.second );
386       }
387       else if( keyValue.first == MASK_CONTENT_SCALE_NAME )
388       {
389         DoSetProperty( Toolkit::ImageVisual::Property::MASK_CONTENT_SCALE, keyValue.second );
390       }
391       else if( keyValue.first == CROP_TO_MASK_NAME )
392       {
393         DoSetProperty( Toolkit::ImageVisual::Property::CROP_TO_MASK, keyValue.second );
394       }
395       else if ( keyValue.first == LOAD_POLICY_NAME )
396       {
397         DoSetProperty( Toolkit::DevelImageVisual::Property::LOAD_POLICY, keyValue.second );
398       }
399       else if( keyValue.first == RELEASE_POLICY_NAME )
400       {
401         DoSetProperty( Toolkit::DevelImageVisual::Property::RELEASE_POLICY, keyValue.second );
402       }
403       else if( keyValue.first == ORIENTATION_CORRECTION_NAME )
404       {
405         DoSetProperty( Toolkit::DevelImageVisual::Property::ORIENTATION_CORRECTION, keyValue.second );
406       }
407     }
408   }
409
410   // Load image immediately if LOAD_POLICY requires it
411   if ( mLoadPolicy == DevelImageVisual::LoadPolicy::IMMEDIATE )
412   {
413     auto attemptAtlasing = mAttemptAtlasing;
414     LoadTexture( attemptAtlasing, mAtlasRect, mTextures, mOrientationCorrection );
415   }
416 }
417
418 void ImageVisual::DoSetProperty( Property::Index index, const Property::Value& value )
419 {
420   switch( index )
421   {
422     case Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING:
423     {
424       bool sync;
425       if( value.Get( sync ) )
426       {
427         if( sync )
428         {
429           mImpl->mFlags |= Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
430         }
431         else
432         {
433           mImpl->mFlags &= ~Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
434         }
435       }
436       else
437       {
438         DALI_LOG_ERROR("ImageVisual: synchronousLoading property has incorrect type\n");
439       }
440       break;
441     }
442
443     case Toolkit::ImageVisual::Property::DESIRED_WIDTH:
444     {
445       float desiredWidth;
446       if( value.Get( desiredWidth ) )
447       {
448         mDesiredSize.SetWidth( desiredWidth );
449       }
450       else
451       {
452         DALI_LOG_ERROR("ImageVisual: desiredWidth property has incorrect type\n");
453       }
454       break;
455     }
456
457     case Toolkit::ImageVisual::Property::DESIRED_HEIGHT:
458     {
459       float desiredHeight;
460       if( value.Get( desiredHeight ) )
461       {
462         mDesiredSize.SetHeight( desiredHeight );
463       }
464       else
465       {
466         DALI_LOG_ERROR("ImageVisual: desiredHeight property has incorrect type\n");
467       }
468       break;
469     }
470
471     case Toolkit::ImageVisual::Property::FITTING_MODE:
472     {
473       int fittingMode;
474       Scripting::GetEnumerationProperty( value, FITTING_MODE_TABLE, FITTING_MODE_TABLE_COUNT, fittingMode );
475       mFittingMode = Dali::FittingMode::Type( fittingMode );
476       break;
477     }
478
479     case Toolkit::ImageVisual::Property::SAMPLING_MODE:
480     {
481       int samplingMode;
482       Scripting::GetEnumerationProperty( value, SAMPLING_MODE_TABLE, SAMPLING_MODE_TABLE_COUNT, samplingMode );
483       mSamplingMode = Dali::SamplingMode::Type( samplingMode );
484       break;
485     }
486
487     case Toolkit::ImageVisual::Property::PIXEL_AREA:
488     {
489       value.Get( mPixelArea );
490       break;
491     }
492
493     case Toolkit::ImageVisual::Property::WRAP_MODE_U:
494     {
495       int wrapMode;
496       Scripting::GetEnumerationProperty( value, WRAP_MODE_TABLE, WRAP_MODE_TABLE_COUNT, wrapMode );
497       mWrapModeU = Dali::WrapMode::Type( wrapMode );
498       break;
499     }
500
501     case Toolkit::ImageVisual::Property::WRAP_MODE_V:
502     {
503       int wrapMode;
504       Scripting::GetEnumerationProperty( value, WRAP_MODE_TABLE, WRAP_MODE_TABLE_COUNT, wrapMode );
505       mWrapModeV = Dali::WrapMode::Type( wrapMode );
506       break;
507     }
508
509     case Toolkit::ImageVisual::Property::ATLASING:
510     {
511       bool atlasing = false;
512       mAttemptAtlasing = value.Get( atlasing );
513       break;
514     }
515
516     case Toolkit::ImageVisual::Property::ALPHA_MASK_URL:
517     {
518       std::string alphaUrl;
519       if( value.Get( alphaUrl ) )
520       {
521         AllocateMaskData();
522         // Immediately trigger the alpha mask loading (it may just get a cached value)
523         mMaskingData->mAlphaMaskUrl = alphaUrl;
524         TextureManager& textureManager = mFactoryCache.GetTextureManager();
525         mMaskingData->mAlphaMaskId = textureManager.RequestMaskLoad( alphaUrl );
526       }
527       break;
528     }
529
530     case Toolkit::ImageVisual::Property::MASK_CONTENT_SCALE:
531     {
532       float scale;
533       if( value.Get( scale ) )
534       {
535         AllocateMaskData();
536         mMaskingData->mContentScaleFactor = scale;
537       }
538       break;
539     }
540
541     case Toolkit::ImageVisual::Property::CROP_TO_MASK:
542     {
543       bool crop=false;
544       if( value.Get( crop ) )
545       {
546         AllocateMaskData();
547         mMaskingData->mCropToMask = crop;
548       }
549       break;
550     }
551
552     case Toolkit::DevelImageVisual::Property::RELEASE_POLICY:
553     {
554       int releasePolicy;
555       Scripting::GetEnumerationProperty( value, RELEASE_POLICY_TABLE, RELEASE_POLICY_TABLE_COUNT, releasePolicy );
556       mReleasePolicy = DevelImageVisual::ReleasePolicy::Type( releasePolicy );
557       break;
558     }
559
560     case Toolkit::DevelImageVisual::Property::LOAD_POLICY:
561     {
562       int loadPolicy;
563       Scripting::GetEnumerationProperty( value, LOAD_POLICY_TABLE, LOAD_POLICY_TABLE_COUNT, loadPolicy );
564       mLoadPolicy = DevelImageVisual::LoadPolicy::Type( loadPolicy );
565       break;
566     }
567     case Toolkit::DevelImageVisual::Property::ORIENTATION_CORRECTION:
568     {
569       bool orientationCorrection( mOrientationCorrection );
570       if( value.Get( orientationCorrection ) )
571       {
572         mOrientationCorrection = orientationCorrection;
573       }
574       break;
575     }
576   }
577 }
578
579 void ImageVisual::AllocateMaskData()
580 {
581   if( !mMaskingData )
582   {
583     mMaskingData.reset(new TextureManager::MaskingData());
584   }
585 }
586
587 void ImageVisual::GetNaturalSize( Vector2& naturalSize )
588 {
589   if(mImage)
590   {
591     naturalSize.x = mImage.GetWidth();
592     naturalSize.y = mImage.GetHeight();
593     return;
594   }
595   else if( mDesiredSize.GetWidth()>0 && mDesiredSize.GetHeight()>0)
596   {
597     naturalSize.x = mDesiredSize.GetWidth();
598     naturalSize.y = mDesiredSize.GetHeight();
599     return;
600   }
601   else if( mImpl->mRenderer ) // Check if we have a loaded image
602   {
603     auto textureSet = mImpl->mRenderer.GetTextures();
604
605     if( textureSet )
606     {
607       auto texture = textureSet.GetTexture(0);
608       naturalSize.x = texture.GetWidth();
609       naturalSize.y = texture.GetHeight();
610       return;
611     }
612   }
613
614   if( mMaskingData != NULL && mMaskingData->mAlphaMaskUrl.IsValid() &&
615            mMaskingData->mCropToMask )
616   {
617     ImageDimensions dimensions = Dali::GetClosestImageSize( mMaskingData->mAlphaMaskUrl.GetUrl() );
618     if( dimensions != ImageDimensions( 0, 0 ) )
619     {
620       naturalSize.x = dimensions.GetWidth();
621       naturalSize.y = dimensions.GetHeight();
622     }
623     return;
624   }
625   else if( mImageUrl.IsValid() )
626   {
627     if( mImageUrl.GetProtocolType() == VisualUrl::LOCAL )
628     {
629       ImageDimensions dimensions = Dali::GetClosestImageSize( mImageUrl.GetUrl() );
630
631       if( dimensions != ImageDimensions( 0, 0 ) )
632       {
633         naturalSize.x = dimensions.GetWidth();
634         naturalSize.y = dimensions.GetHeight();
635       }
636       else
637       {
638         Image brokenImage = VisualFactoryCache::GetBrokenVisualImage();
639
640         naturalSize.x = brokenImage.GetWidth();
641         naturalSize.y = brokenImage.GetWidth();
642       }
643       return;
644     }
645   }
646
647   naturalSize = Vector2::ZERO;
648 }
649
650 void ImageVisual::CreateRenderer( TextureSet& textureSet )
651 {
652   Geometry geometry;
653   Shader shader;
654
655   if( !mImpl->mCustomShader )
656   {
657     geometry = CreateGeometry( mFactoryCache, ImageDimensions( 1, 1 ) );
658
659     shader = GetImageShader( mFactoryCache,
660                              mImpl->mFlags & Impl::IS_ATLASING_APPLIED,
661                              mWrapModeU <= WrapMode::CLAMP_TO_EDGE && mWrapModeV <= WrapMode::CLAMP_TO_EDGE );
662   }
663   else
664   {
665     geometry = CreateGeometry( mFactoryCache, mImpl->mCustomShader->mGridSize );
666     if( mImpl->mCustomShader->mVertexShader.empty() && mImpl->mCustomShader->mFragmentShader.empty() )
667     {
668       shader = GetImageShader( mFactoryCache, false, true );
669     }
670     else
671     {
672       shader  = Shader::New( mImpl->mCustomShader->mVertexShader.empty() ? VERTEX_SHADER : mImpl->mCustomShader->mVertexShader,
673                              mImpl->mCustomShader->mFragmentShader.empty() ? FRAGMENT_SHADER_NO_ATLAS : mImpl->mCustomShader->mFragmentShader,
674                              mImpl->mCustomShader->mHints );
675       if( mImpl->mCustomShader->mVertexShader.empty() )
676       {
677         shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
678       }
679     }
680   }
681
682   // Set pixel align off as default.
683   // ToDo: Pixel align causes issues such as rattling image animation.
684   // We should trun it off until issues are resolved
685   shader.RegisterProperty( PIXEL_ALIGNED_UNIFORM_NAME, PIXEL_ALIGN_OFF );
686
687   mImpl->mRenderer = Renderer::New( geometry, shader );
688   if( textureSet )
689   {
690     mImpl->mRenderer.SetTextures( textureSet );
691   }
692   // else still waiting for texture load to finish.
693
694   //Register transform properties
695   mImpl->mTransform.RegisterUniforms( mImpl->mRenderer, Direction::LEFT_TO_RIGHT );
696 }
697
698 void ImageVisual::CreateNativeImageRenderer( NativeImage& nativeImage )
699 {
700   Geometry geometry;
701   Shader shader;
702
703   std::string fragmentShader;
704   const char* fragmentPreFix = nativeImage.GetCustomFragmentPreFix();
705   const char* customSamplerTypename = nativeImage.GetCustomSamplerTypename();
706
707   if( fragmentPreFix )
708   {
709     fragmentShader = fragmentPreFix;
710     fragmentShader += "\n";
711   }
712
713   if( mImpl->mCustomShader && !mImpl->mCustomShader->mFragmentShader.empty() )
714   {
715     fragmentShader += mImpl->mCustomShader->mFragmentShader;
716   }
717   else
718   {
719     fragmentShader += FRAGMENT_SHADER_NO_ATLAS;
720   }
721
722   if( customSamplerTypename )
723   {
724     fragmentShader.replace( fragmentShader.find( DEFAULT_SAMPLER_TYPENAME ), strlen( DEFAULT_SAMPLER_TYPENAME ), customSamplerTypename );
725   }
726
727   if( !mImpl->mCustomShader )
728   {
729     geometry = CreateGeometry( mFactoryCache, ImageDimensions( 1, 1 ) );
730
731     shader  = Shader::New( VERTEX_SHADER, fragmentShader );
732     shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
733   }
734   else
735   {
736     geometry = CreateGeometry( mFactoryCache, mImpl->mCustomShader->mGridSize );
737     shader  = Shader::New( mImpl->mCustomShader->mVertexShader.empty() ? VERTEX_SHADER : mImpl->mCustomShader->mVertexShader,
738                            fragmentShader,
739                            mImpl->mCustomShader->mHints );
740     if( mImpl->mCustomShader->mVertexShader.empty() )
741     {
742       shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
743     }
744   }
745
746   mImpl->mRenderer = Renderer::New( geometry, shader );
747
748   //Register transform properties
749   mImpl->mTransform.RegisterUniforms( mImpl->mRenderer, Direction::LEFT_TO_RIGHT );
750 }
751
752
753 bool ImageVisual::IsSynchronousResourceLoading() const
754 {
755   return mImpl->mFlags & Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
756 }
757
758 void ImageVisual::LoadTexture( bool& atlasing, Vector4& atlasRect, TextureSet& textures, bool orientationCorrection )
759 {
760   TextureManager& textureManager = mFactoryCache.GetTextureManager();
761
762   ImageAtlasManagerPtr atlasManager = nullptr;
763   AtlasUploadObserver* atlasUploadObserver = nullptr;
764   auto textureObserver = this;
765
766   if( atlasing )
767   {
768     atlasManager = mFactoryCache.GetAtlasManager();
769     atlasUploadObserver = this;
770   }
771
772   textures = textureManager.LoadTexture( mImageUrl, mDesiredSize, mFittingMode, mSamplingMode,
773                                          mMaskingData, IsSynchronousResourceLoading(), mTextureId,
774                                          atlasRect, atlasing, mLoading, mWrapModeU,
775                                          mWrapModeV, textureObserver, atlasUploadObserver, atlasManager, mOrientationCorrection );
776 }
777
778 void ImageVisual::InitializeRenderer()
779 {
780   auto attemptAtlasing = ( ! mImpl->mCustomShader && mImageUrl.GetProtocolType() == VisualUrl::LOCAL && mAttemptAtlasing );
781
782   // texture set has to be created first as we need to know if atlasing succeeded or not
783   // when selecting the shader
784
785   if( mTextureId == TextureManager::INVALID_TEXTURE_ID && ! mTextures ) // Only load the texture once
786   {
787     LoadTexture( attemptAtlasing, mAtlasRect, mTextures, mOrientationCorrection );
788   }
789
790   if( attemptAtlasing ) // Flag needs to be set before creating renderer
791   {
792     mImpl->mFlags |= Impl::IS_ATLASING_APPLIED;
793   }
794   else
795   {
796     mImpl->mFlags &= ~Impl::IS_ATLASING_APPLIED;
797   }
798
799   CreateRenderer( mTextures );
800   mTextures.Reset(); // Visual should not keep a handle to the texture after this point.
801
802   if( attemptAtlasing ) // the texture is packed inside atlas
803   {
804     mImpl->mRenderer.RegisterProperty( ATLAS_RECT_UNIFORM_NAME, mAtlasRect );
805
806     bool defaultWrapMode = mWrapModeU <= WrapMode::CLAMP_TO_EDGE && mWrapModeV <= WrapMode::CLAMP_TO_EDGE;
807
808     if( !defaultWrapMode ) // custom wrap mode
809     {
810       Vector2 wrapMode(mWrapModeU-WrapMode::CLAMP_TO_EDGE, mWrapModeV-WrapMode::CLAMP_TO_EDGE);
811       wrapMode.Clamp( Vector2::ZERO, Vector2( 2.f, 2.f ) );
812       mImpl->mRenderer.RegisterProperty( WRAP_MODE_UNIFORM_NAME, wrapMode );
813     }
814   }
815 }
816
817 void ImageVisual::InitializeRenderer( const Image& image )
818 {
819   TextureSet textures = TextureSet::New();
820
821   NativeImage nativeImage = NativeImage::DownCast( image );
822   if( nativeImage )
823   {
824     CreateNativeImageRenderer( nativeImage );
825     DALI_ASSERT_DEBUG( textures );
826     mImpl->mRenderer.SetTextures( textures );
827   }
828   else
829   {
830     // reuse existing code for regular images
831     CreateRenderer( textures ); // Textures will be retreived from Image
832   }
833   ApplyImageToSampler( image );
834 }
835
836 void ImageVisual::DoSetOnStage( Actor& actor )
837 {
838   if( mImageUrl.IsValid() )
839   {
840     InitializeRenderer();
841   }
842   else if( mImage )
843   {
844     InitializeRenderer( mImage );
845   }
846
847   if( !mImpl->mRenderer )
848   {
849     return;
850   }
851
852   mPlacementActor = actor;
853   // Search the Actor tree to find if Layer UI behaviour set.
854   Layer layer = actor.GetLayer();
855   if( layer && layer.GetBehavior() == Layer::LAYER_3D )
856   {
857      // Layer 3D set, do not align pixels
858      mImpl->mRenderer.RegisterProperty( PIXEL_ALIGNED_UNIFORM_NAME, PIXEL_ALIGN_OFF );
859   }
860
861   if( mPixelArea != FULL_TEXTURE_RECT )
862   {
863     mImpl->mRenderer.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, mPixelArea );
864   }
865
866   if( mLoading == false )
867   {
868     actor.AddRenderer( mImpl->mRenderer );
869     mPlacementActor.Reset();
870
871     // Image loaded and ready to display
872     ResourceReady( Toolkit::Visual::ResourceStatus::READY );
873   }
874 }
875
876 void ImageVisual::DoSetOffStage( Actor& actor )
877 {
878   // Visual::Base::SetOffStage only calls DoSetOffStage if mRenderer exists (is on onstage)
879
880   // Image release is dependent on the ReleasePolicy, renderer is destroyed.
881   actor.RemoveRenderer( mImpl->mRenderer);
882   if( mReleasePolicy == DevelImageVisual::ReleasePolicy::DETACHED )
883   {
884     RemoveTexture(); // If INVALID_TEXTURE_ID then removal will be attempted on atlas
885   }
886
887   if( mImageUrl.IsValid() )
888   {
889     // Legacy support for deprecated Dali::Image
890     mImage.Reset();
891   }
892   mLoading = false;
893   mImpl->mRenderer.Reset();
894   mPlacementActor.Reset();
895 }
896
897 void ImageVisual::DoCreatePropertyMap( Property::Map& map ) const
898 {
899   map.Clear();
900   map.Insert( Toolkit::Visual::Property::TYPE, Toolkit::Visual::IMAGE );
901
902   bool sync = IsSynchronousResourceLoading();
903   map.Insert( SYNCHRONOUS_LOADING, sync );
904   if( mImageUrl.IsValid() )
905   {
906     map.Insert( Toolkit::ImageVisual::Property::URL, mImageUrl.GetUrl() );
907     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, mDesiredSize.GetWidth() );
908     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, mDesiredSize.GetHeight() );
909   }
910   else if( mImage )
911   {
912     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, static_cast<int>(mImage.GetWidth()) );
913     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, static_cast<int>(mImage.GetHeight()) );
914
915     ResourceImage resourceImage = ResourceImage::DownCast(mImage);
916     if( resourceImage )
917     {
918       map.Insert( Toolkit::ImageVisual::Property::URL, resourceImage.GetUrl() );
919     }
920   }
921
922   map.Insert( Toolkit::ImageVisual::Property::FITTING_MODE, mFittingMode );
923   map.Insert( Toolkit::ImageVisual::Property::SAMPLING_MODE, mSamplingMode );
924
925   map.Insert( Toolkit::ImageVisual::Property::PIXEL_AREA, mPixelArea );
926   map.Insert( Toolkit::ImageVisual::Property::WRAP_MODE_U, mWrapModeU );
927   map.Insert( Toolkit::ImageVisual::Property::WRAP_MODE_V, mWrapModeV );
928
929   map.Insert( Toolkit::ImageVisual::Property::ATLASING, mAttemptAtlasing );
930
931   if( mMaskingData != NULL )
932   {
933     map.Insert( Toolkit::ImageVisual::Property::ALPHA_MASK_URL, mMaskingData->mAlphaMaskUrl.GetUrl() );
934     map.Insert( Toolkit::ImageVisual::Property::MASK_CONTENT_SCALE, mMaskingData->mContentScaleFactor );
935     map.Insert( Toolkit::ImageVisual::Property::CROP_TO_MASK, mMaskingData->mCropToMask );
936   }
937
938   map.Insert( Toolkit::DevelImageVisual::Property::LOAD_POLICY, mLoadPolicy );
939   map.Insert( Toolkit::DevelImageVisual::Property::RELEASE_POLICY, mReleasePolicy );
940   map.Insert( Toolkit::DevelImageVisual::Property::ORIENTATION_CORRECTION, mOrientationCorrection );
941 }
942
943 void ImageVisual::DoCreateInstancePropertyMap( Property::Map& map ) const
944 {
945   map.Clear();
946   map.Insert( Toolkit::Visual::Property::TYPE, Toolkit::Visual::IMAGE );
947   if( mImageUrl.IsValid() )
948   {
949     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, mDesiredSize.GetWidth() );
950     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, mDesiredSize.GetHeight() );
951   }
952   else if( mImage )
953   {
954     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, static_cast<int>(mImage.GetWidth()) );
955     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, static_cast<int>(mImage.GetHeight()) );
956   }
957 }
958
959 void ImageVisual::OnSetTransform()
960 {
961   if( mImpl->mRenderer )
962   {
963     mImpl->mTransform.RegisterUniforms( mImpl->mRenderer, Direction::LEFT_TO_RIGHT );
964   }
965 }
966
967 bool ImageVisual::IsResourceReady() const
968 {
969   return ( mImpl->mResourceStatus == Toolkit::Visual::ResourceStatus::READY ||
970            mImpl->mResourceStatus == Toolkit::Visual::ResourceStatus::FAILED );
971 }
972
973 Shader ImageVisual::GetImageShader( VisualFactoryCache& factoryCache, bool atlasing, bool defaultTextureWrapping )
974 {
975   Shader shader;
976   if( atlasing )
977   {
978     if( defaultTextureWrapping )
979     {
980       shader = factoryCache.GetShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_DEFAULT_WRAP );
981       if( !shader )
982       {
983         shader = Shader::New( VERTEX_SHADER, FRAGMENT_SHADER_ATLAS_CLAMP );
984         shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
985         factoryCache.SaveShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_DEFAULT_WRAP, shader );
986       }
987     }
988     else
989     {
990       shader = factoryCache.GetShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_CUSTOM_WRAP );
991       if( !shader )
992       {
993         shader = Shader::New( VERTEX_SHADER, FRAGMENT_SHADER_ATLAS_VARIOUS_WRAP );
994         shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
995         factoryCache.SaveShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_CUSTOM_WRAP, shader );
996       }
997     }
998   }
999   else
1000   {
1001     shader = factoryCache.GetShader( VisualFactoryCache::IMAGE_SHADER );
1002     if( !shader )
1003     {
1004       shader = Shader::New( VERTEX_SHADER, FRAGMENT_SHADER_NO_ATLAS );
1005       shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
1006       factoryCache.SaveShader( VisualFactoryCache::IMAGE_SHADER, shader );
1007     }
1008   }
1009
1010   return shader;
1011 }
1012
1013 void ImageVisual::ApplyImageToSampler( const Image& image )
1014 {
1015   if( image )
1016   {
1017     TextureSet textureSet = mImpl->mRenderer.GetTextures();
1018     DALI_ASSERT_DEBUG( textureSet ); // texture set should always exist by this time
1019
1020     TextureSetImage( textureSet, 0u, image );
1021     Sampler sampler = Sampler::New();
1022     sampler.SetWrapMode(  mWrapModeU, mWrapModeV  );
1023     textureSet.SetSampler( 0u, sampler );
1024   }
1025 }
1026
1027 // From existing atlas manager
1028 void ImageVisual::UploadCompleted()
1029 {
1030   // Texture has been uploaded. If weak handle is holding a placement actor, it is the time to add the renderer to actor.
1031   Actor actor = mPlacementActor.GetHandle();
1032   if( actor )
1033   {
1034     mImpl->mRenderer.RegisterProperty( ATLAS_RECT_UNIFORM_NAME, mAtlasRect );
1035     actor.AddRenderer( mImpl->mRenderer );
1036     // reset the weak handle so that the renderer only get added to actor once
1037     mPlacementActor.Reset();
1038   }
1039   mLoading = false;
1040 }
1041
1042 // From Texture Manager
1043 void ImageVisual::UploadComplete( bool loadingSuccess, int32_t textureId, TextureSet textureSet, bool usingAtlas, const Vector4& atlasRectangle )
1044 {
1045   Toolkit::Visual::ResourceStatus resourceStatus;
1046   Actor actor = mPlacementActor.GetHandle();
1047   if( actor )
1048   {
1049     if( mImpl->mRenderer )
1050     {
1051       if( usingAtlas )
1052       {
1053         mImpl->mRenderer.RegisterProperty( ATLAS_RECT_UNIFORM_NAME, mAtlasRect );
1054       }
1055
1056       actor.AddRenderer( mImpl->mRenderer );
1057       // reset the weak handle so that the renderer only get added to actor once
1058       mPlacementActor.Reset();
1059       if( loadingSuccess )
1060       {
1061         Sampler sampler = Sampler::New();
1062         sampler.SetWrapMode(  mWrapModeU, mWrapModeV  );
1063         textureSet.SetSampler( 0u, sampler );
1064         mImpl->mRenderer.SetTextures(textureSet);
1065
1066         resourceStatus = Toolkit::Visual::ResourceStatus::READY;
1067       }
1068       else
1069       {
1070         Image brokenImage = VisualFactoryCache::GetBrokenVisualImage();
1071
1072         textureSet = TextureSet::New();
1073         mImpl->mRenderer.SetTextures( textureSet );
1074
1075         ApplyImageToSampler( brokenImage );
1076
1077         resourceStatus = Toolkit::Visual::ResourceStatus::FAILED;
1078       }
1079       // Image loaded and ready to display
1080       ResourceReady( resourceStatus );
1081     }
1082   }
1083
1084   // Storing TextureSet needed when renderer staged.
1085   if( ! mImpl->mRenderer )
1086   {
1087     mTextures = textureSet;
1088   }
1089
1090   mLoading = false;
1091 }
1092
1093 void ImageVisual::RemoveTexture()
1094 {
1095   if( mTextureId != TextureManager::INVALID_TEXTURE_ID )
1096   {
1097     mFactoryCache.GetTextureManager().Remove( mTextureId );
1098     mTextureId = TextureManager::INVALID_TEXTURE_ID;
1099   }
1100   else
1101   {
1102     Vector4 atlasRect( 0.f, 0.f, 1.f, 1.f );
1103     Property::Index index = mImpl->mRenderer.GetPropertyIndex( ATLAS_RECT_UNIFORM_NAME );
1104     if( index != Property::INVALID_INDEX )
1105     {
1106       Property::Value atlasRectValue = mImpl->mRenderer.GetProperty( index );
1107       atlasRectValue.Get( atlasRect );
1108     }
1109
1110     TextureSet textureSet = mImpl->mRenderer.GetTextures();
1111     mImpl->mRenderer.Reset();
1112
1113     if( index != Property::INVALID_INDEX )
1114     {
1115       mFactoryCache.GetAtlasManager()->Remove( textureSet, atlasRect );
1116     }
1117   }
1118 }
1119
1120 } // namespace Internal
1121
1122 } // namespace Toolkit
1123
1124 } // namespace Dali