[dali_1.2.65] Merge branch 'devel/master'
[platform/core/uifw/dali-toolkit.git] / dali-toolkit / internal / visuals / image / image-visual.cpp
1 /*
2  * Copyright (c) 2017 Samsung Electronics Co., Ltd.
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  * http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  *
16  */
17
18 // CLASS HEADER
19 #include <dali-toolkit/internal/visuals/image/image-visual.h>
20
21 // EXTERNAL HEADERS
22 #include <cstring> // for strlen()
23 #include <dali/public-api/actors/layer.h>
24 #include <dali/public-api/common/stage.h>
25 #include <dali/public-api/images/resource-image.h>
26 #include <dali/public-api/images/native-image.h>
27 #include <dali/devel-api/images/texture-set-image.h>
28 #include <dali/devel-api/adaptor-framework/image-loading.h>
29 #include <dali/devel-api/scripting/enum-helper.h>
30 #include <dali/devel-api/scripting/scripting.h>
31 #include <dali/integration-api/debug.h>
32
33 // INTERNAL HEADERS
34 #include <dali-toolkit/public-api/visuals/image-visual-properties.h>
35 #include <dali-toolkit/public-api/visuals/visual-properties.h>
36 #include <dali-toolkit/internal/visuals/texture-manager-impl.h>
37 #include <dali-toolkit/internal/visuals/visual-string-constants.h>
38 #include <dali-toolkit/internal/visuals/visual-factory-impl.h>
39 #include <dali-toolkit/internal/visuals/visual-factory-cache.h>
40 #include <dali-toolkit/internal/visuals/visual-base-impl.h>
41 #include <dali-toolkit/internal/visuals/image-atlas-manager.h>
42 #include <dali-toolkit/internal/visuals/visual-base-data-impl.h>
43 #include <dali-toolkit/internal/visuals/visual-url.h>
44
45 namespace Dali
46 {
47
48 namespace Toolkit
49 {
50
51 namespace Internal
52 {
53
54 namespace
55 {
56
57 // property names
58 const char * const IMAGE_FITTING_MODE( "fittingMode" );
59 const char * const IMAGE_SAMPLING_MODE( "samplingMode" );
60 const char * const IMAGE_DESIRED_WIDTH( "desiredWidth" );
61 const char * const IMAGE_DESIRED_HEIGHT( "desiredHeight" );
62 const char * const SYNCHRONOUS_LOADING( "synchronousLoading" );
63 const char * const IMAGE_ATLASING("atlasing");
64 const char * const ALPHA_MASK_URL("alphaMaskUrl");
65
66 // fitting modes
67 DALI_ENUM_TO_STRING_TABLE_BEGIN( FITTING_MODE )
68 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, SHRINK_TO_FIT )
69 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, SCALE_TO_FILL )
70 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, FIT_WIDTH )
71 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, FIT_HEIGHT )
72 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, DEFAULT )
73 DALI_ENUM_TO_STRING_TABLE_END( FITTING_MODE )
74
75 // sampling modes
76 DALI_ENUM_TO_STRING_TABLE_BEGIN( SAMPLING_MODE )
77 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, BOX )
78 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, NEAREST )
79 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, LINEAR )
80 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, BOX_THEN_NEAREST )
81 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, BOX_THEN_LINEAR )
82 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, NO_FILTER )
83 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, DONT_CARE )
84 DALI_ENUM_TO_STRING_TABLE_END( SAMPLING_MODE )
85
86 // wrap modes
87 DALI_ENUM_TO_STRING_TABLE_BEGIN( WRAP_MODE )
88 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, DEFAULT )
89 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, CLAMP_TO_EDGE )
90 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, REPEAT )
91 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, MIRRORED_REPEAT )
92 DALI_ENUM_TO_STRING_TABLE_END( WRAP_MODE )
93
94 // load policies
95 DALI_ENUM_TO_STRING_TABLE_BEGIN( LOAD_POLICY )
96 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::LoadPolicy, IMMEDIATE )
97 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::LoadPolicy, ATTACHED )
98 DALI_ENUM_TO_STRING_TABLE_END( LOAD_POLICY )
99
100 // release policies
101 DALI_ENUM_TO_STRING_TABLE_BEGIN( RELEASE_POLICY )
102 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::ReleasePolicy, DETACHED )
103 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::ReleasePolicy, DESTROYED )
104 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::ReleasePolicy, NEVER )
105 DALI_ENUM_TO_STRING_TABLE_END( RELEASE_POLICY )
106
107 const Vector4 FULL_TEXTURE_RECT(0.f, 0.f, 1.f, 1.f);
108
109 const char* DEFAULT_SAMPLER_TYPENAME = "sampler2D";
110
111 const float PIXEL_ALIGN_ON = 1.0f;
112 const float PIXEL_ALIGN_OFF = 0.0f;
113
114 const char* VERTEX_SHADER = DALI_COMPOSE_SHADER(
115   attribute mediump vec2 aPosition;\n
116   uniform mediump mat4 uModelMatrix;\n
117   uniform mediump mat4 uViewMatrix;\n
118   uniform mediump mat4 uProjection;\n
119   uniform mediump vec3 uSize;\n
120   uniform mediump vec4 pixelArea;
121   varying mediump vec2 vTexCoord;\n
122   uniform lowp float uPixelAligned;\n
123   \n
124   //Visual size and offset
125   uniform mediump vec2 offset;\n
126   uniform mediump vec2 size;\n
127   uniform mediump vec4 offsetSizeMode;\n
128   uniform mediump vec2 origin;\n
129   uniform mediump vec2 anchorPoint;\n
130 \n
131   vec4 ComputeVertexPosition()\n
132   {\n
133     vec2 visualSize = mix(uSize.xy*size, size, offsetSizeMode.zw );\n
134     vec2 visualOffset = mix( offset, offset/uSize.xy, offsetSizeMode.xy);\n
135     return vec4( (aPosition + anchorPoint)*visualSize + (visualOffset + origin)*uSize.xy, 0.0, 1.0 );\n
136   }\n
137 \n
138   void main()\n
139   {\n
140     mediump vec4 vertexPosition = uViewMatrix * uModelMatrix * ComputeVertexPosition();\n
141     vec4 alignedVertexPosition = vertexPosition;\n
142     alignedVertexPosition.xy = floor ( vertexPosition.xy );\n // Pixel alignment
143     vertexPosition = uProjection * mix( vertexPosition, alignedVertexPosition, uPixelAligned );\n
144     vTexCoord = pixelArea.xy+pixelArea.zw*(aPosition + vec2(0.5) );\n
145     gl_Position = vertexPosition;\n
146   }\n
147 );
148
149 const char* FRAGMENT_SHADER_NO_ATLAS = DALI_COMPOSE_SHADER(
150   varying mediump vec2 vTexCoord;\n
151   uniform sampler2D sTexture;\n
152   uniform lowp vec4 uColor;\n
153   uniform lowp vec3 mixColor;\n
154   uniform lowp float opacity;\n
155   uniform lowp float preMultipliedAlpha;\n
156   \n
157   lowp vec4 visualMixColor()\n
158   {\n
159     return vec4( mixColor * mix( 1.0, opacity, preMultipliedAlpha ), opacity );\n
160   }\n
161   void main()\n
162   {\n
163       gl_FragColor = texture2D( sTexture, vTexCoord ) * uColor * visualMixColor();\n
164   }\n
165 );
166
167 const char* FRAGMENT_SHADER_ATLAS_CLAMP = DALI_COMPOSE_SHADER(
168     varying mediump vec2 vTexCoord;\n
169     uniform sampler2D sTexture;\n
170     uniform mediump vec4 uAtlasRect;\n
171     uniform lowp vec4 uColor;\n
172     uniform lowp vec3 mixColor;\n
173     uniform lowp float opacity;\n
174     uniform lowp float preMultipliedAlpha;\n
175     \n
176     lowp vec4 visualMixColor()\n
177     {\n
178         return vec4( mixColor * mix( 1.0, opacity, preMultipliedAlpha ), opacity );\n
179     }\n
180     \n
181     void main()\n
182     {\n
183         mediump vec2 texCoord = clamp( mix( uAtlasRect.xy, uAtlasRect.zw, vTexCoord ), uAtlasRect.xy, uAtlasRect.zw );\n
184         gl_FragColor = texture2D( sTexture, texCoord ) * uColor * visualMixColor();\n
185      }\n
186 );
187
188 const char* FRAGMENT_SHADER_ATLAS_VARIOUS_WRAP = DALI_COMPOSE_SHADER(
189     varying mediump vec2 vTexCoord;\n
190     uniform sampler2D sTexture;\n
191     uniform mediump vec4 uAtlasRect;\n
192     // WrapMode -- 0: CLAMP; 1: REPEAT; 2: REFLECT;
193     uniform lowp vec2 wrapMode;\n
194     uniform lowp vec4 uColor;\n
195     uniform lowp vec3 mixColor;\n
196     uniform lowp float opacity;\n
197     uniform lowp float preMultipliedAlpha;\n
198     \n
199     mediump float wrapCoordinate( mediump vec2 range, mediump float coordinate, lowp float wrap )\n
200     {\n
201       mediump float coord;\n
202       if( wrap > 1.5 )\n // REFLECT
203         coord = 1.0-abs(fract(coordinate*0.5)*2.0 - 1.0);\n
204       else \n// warp == 0 or 1
205         coord = mix(coordinate, fract( coordinate ), wrap);\n
206       return clamp( mix(range.x, range.y, coord), range.x, range.y );
207     }\n
208     \n
209     lowp vec4 visualMixColor()\n
210     {\n
211       return vec4( mixColor * mix( 1.0, opacity, preMultipliedAlpha ), opacity );\n
212     }\n
213     \n
214     void main()\n
215     {\n
216         mediump vec2 texCoord = vec2( wrapCoordinate( uAtlasRect.xz, vTexCoord.x, wrapMode.x ),
217                                       wrapCoordinate( uAtlasRect.yw, vTexCoord.y, wrapMode.y ) );\n
218         gl_FragColor = texture2D( sTexture, texCoord ) * uColor * visualMixColor();\n
219     }\n
220 );
221
222 Geometry CreateGeometry( VisualFactoryCache& factoryCache, ImageDimensions gridSize )
223 {
224   Geometry geometry;
225
226   if( gridSize == ImageDimensions( 1, 1 ) )
227   {
228     geometry = factoryCache.GetGeometry( VisualFactoryCache::QUAD_GEOMETRY );
229   }
230   else
231   {
232     geometry = VisualFactoryCache::CreateGridGeometry( gridSize );
233   }
234
235   return geometry;
236 }
237
238 } // unnamed namespace
239
240 ImageVisualPtr ImageVisual::New( VisualFactoryCache& factoryCache,
241                                  const VisualUrl& imageUrl,
242                                  const Property::Map& properties,
243                                  ImageDimensions size,
244                                  FittingMode::Type fittingMode,
245                                  Dali::SamplingMode::Type samplingMode )
246 {
247   ImageVisualPtr imageVisualPtr( new ImageVisual( factoryCache, imageUrl, size, fittingMode, samplingMode ) );
248   imageVisualPtr->SetProperties( properties );
249   return imageVisualPtr;
250 }
251
252 ImageVisualPtr ImageVisual::New( VisualFactoryCache& factoryCache,
253                                  const VisualUrl& imageUrl,
254                                  ImageDimensions size,
255                                  FittingMode::Type fittingMode,
256                                  Dali::SamplingMode::Type samplingMode )
257 {
258   return new ImageVisual( factoryCache, imageUrl, size, fittingMode, samplingMode );
259 }
260
261 ImageVisualPtr ImageVisual::New( VisualFactoryCache& factoryCache, const Image& image )
262 {
263   return new ImageVisual( factoryCache, image );
264 }
265
266 ImageVisual::ImageVisual( VisualFactoryCache& factoryCache,
267                           const VisualUrl& imageUrl,
268                           ImageDimensions size,
269                           FittingMode::Type fittingMode,
270                           Dali::SamplingMode::Type samplingMode )
271 : Visual::Base( factoryCache ),
272   mImage(),
273   mPixelArea( FULL_TEXTURE_RECT ),
274   mPlacementActor(),
275   mImageUrl( imageUrl ),
276   mMaskingData( ),
277   mDesiredSize( size ),
278   mTextureId( TextureManager::INVALID_TEXTURE_ID ),
279   mFittingMode( fittingMode ),
280   mSamplingMode( samplingMode ),
281   mWrapModeU( WrapMode::DEFAULT ),
282   mWrapModeV( WrapMode::DEFAULT ),
283   mLoadPolicy( DevelImageVisual::LoadPolicy::ATTACHED ),
284   mReleasePolicy( DevelImageVisual::ReleasePolicy::DETACHED ),
285   mAttemptAtlasing( false ),
286   mLoading( false )
287 {
288 }
289
290 ImageVisual::ImageVisual( VisualFactoryCache& factoryCache, const Image& image )
291 : Visual::Base( factoryCache ),
292   mImage( image ),
293   mPixelArea( FULL_TEXTURE_RECT ),
294   mPlacementActor(),
295   mImageUrl(),
296   mMaskingData( ),
297   mDesiredSize(),
298   mTextureId( TextureManager::INVALID_TEXTURE_ID ),
299   mFittingMode( FittingMode::DEFAULT ),
300   mSamplingMode( SamplingMode::DEFAULT ),
301   mWrapModeU( WrapMode::DEFAULT ),
302   mWrapModeV( WrapMode::DEFAULT ),
303   mLoadPolicy( DevelImageVisual::LoadPolicy::ATTACHED ),
304   mReleasePolicy( DevelImageVisual::ReleasePolicy::DESTROYED ),
305   mAttemptAtlasing( false ),
306   mLoading( false ),
307   mOrientationCorrection( true )
308 {
309 }
310
311 ImageVisual::~ImageVisual()
312 {
313   if( Stage::IsInstalled() )
314   {
315     if( mMaskingData )
316     {
317       // TextureManager could have been deleted before the actor that contains this
318       // ImageVisual is destroyed (e.g. due to stage shutdown). Ensure the stage
319       // is still valid before accessing texture manager.
320       if( mMaskingData->mAlphaMaskId != TextureManager::INVALID_TEXTURE_ID )
321       {
322         TextureManager& textureManager = mFactoryCache.GetTextureManager();
323         textureManager.Remove( mMaskingData->mAlphaMaskId );
324       }
325     }
326
327     // ImageVisual destroyed so remove texture unless ReleasePolicy is set to never release
328     if( ( mTextureId != TextureManager::INVALID_TEXTURE_ID  ) && ( mReleasePolicy != DevelImageVisual::ReleasePolicy::NEVER ) )
329     {
330       RemoveTexture();
331     }
332   }
333 }
334
335 void ImageVisual::DoSetProperties( const Property::Map& propertyMap )
336 {
337   // Url is already received in constructor
338   for( Property::Map::SizeType iter = 0; iter < propertyMap.Count(); ++iter )
339   {
340     KeyValuePair keyValue = propertyMap.GetKeyValue( iter );
341     if( keyValue.first.type == Property::Key::INDEX )
342     {
343       DoSetProperty( keyValue.first.indexKey, keyValue.second );
344     }
345     else
346     {
347       if( keyValue.first == IMAGE_FITTING_MODE )
348       {
349         DoSetProperty( Toolkit::ImageVisual::Property::FITTING_MODE, keyValue.second );
350       }
351       else if( keyValue.first == IMAGE_SAMPLING_MODE )
352       {
353         DoSetProperty( Toolkit::ImageVisual::Property::SAMPLING_MODE, keyValue.second );
354       }
355       else if( keyValue.first == IMAGE_DESIRED_WIDTH )
356       {
357         DoSetProperty( Toolkit::ImageVisual::Property::DESIRED_WIDTH, keyValue.second );
358       }
359       else if( keyValue.first == IMAGE_DESIRED_HEIGHT )
360       {
361         DoSetProperty( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, keyValue.second );
362       }
363       else if( keyValue.first == PIXEL_AREA_UNIFORM_NAME )
364       {
365         DoSetProperty( Toolkit::ImageVisual::Property::PIXEL_AREA, keyValue.second );
366       }
367       else if( keyValue.first == IMAGE_WRAP_MODE_U )
368       {
369         DoSetProperty( Toolkit::ImageVisual::Property::WRAP_MODE_U, keyValue.second );
370       }
371       else if( keyValue.first == IMAGE_WRAP_MODE_V )
372       {
373         DoSetProperty( Toolkit::ImageVisual::Property::WRAP_MODE_V, keyValue.second );
374       }
375       else if( keyValue.first == SYNCHRONOUS_LOADING )
376       {
377         DoSetProperty( Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING, keyValue.second );
378       }
379       else if( keyValue.first == IMAGE_ATLASING )
380       {
381         DoSetProperty( Toolkit::ImageVisual::Property::ATLASING, keyValue.second );
382       }
383       else if( keyValue.first == ALPHA_MASK_URL )
384       {
385         DoSetProperty( Toolkit::ImageVisual::Property::ALPHA_MASK_URL, keyValue.second );
386       }
387       else if( keyValue.first == MASK_CONTENT_SCALE_NAME )
388       {
389         DoSetProperty( Toolkit::ImageVisual::Property::MASK_CONTENT_SCALE, keyValue.second );
390       }
391       else if( keyValue.first == CROP_TO_MASK_NAME )
392       {
393         DoSetProperty( Toolkit::ImageVisual::Property::CROP_TO_MASK, keyValue.second );
394       }
395       else if ( keyValue.first == LOAD_POLICY_NAME )
396       {
397         DoSetProperty( Toolkit::DevelImageVisual::Property::LOAD_POLICY, keyValue.second );
398       }
399       else if( keyValue.first == RELEASE_POLICY_NAME )
400       {
401         DoSetProperty( Toolkit::DevelImageVisual::Property::RELEASE_POLICY, keyValue.second );
402       }
403       else if( keyValue.first == ORIENTATION_CORRECTION_NAME )
404       {
405         DoSetProperty( Toolkit::DevelImageVisual::Property::ORIENTATION_CORRECTION, keyValue.second );
406       }
407     }
408   }
409
410   // Load image immediately if LOAD_POLICY requires it
411   if ( mLoadPolicy == DevelImageVisual::LoadPolicy::IMMEDIATE )
412   {
413     auto attemptAtlasing = mAttemptAtlasing;
414     LoadTexture( attemptAtlasing, mAtlasRect, mTextures, mOrientationCorrection );
415   }
416 }
417
418 void ImageVisual::DoSetProperty( Property::Index index, const Property::Value& value )
419 {
420   switch( index )
421   {
422     case Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING:
423     {
424       bool sync;
425       if( value.Get( sync ) )
426       {
427         if( sync )
428         {
429           mImpl->mFlags |= Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
430         }
431         else
432         {
433           mImpl->mFlags &= ~Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
434         }
435       }
436       else
437       {
438         DALI_LOG_ERROR("ImageVisual: synchronousLoading property has incorrect type\n");
439       }
440       break;
441     }
442
443     case Toolkit::ImageVisual::Property::DESIRED_WIDTH:
444     {
445       float desiredWidth;
446       if( value.Get( desiredWidth ) )
447       {
448         mDesiredSize.SetWidth( desiredWidth );
449       }
450       else
451       {
452         DALI_LOG_ERROR("ImageVisual: desiredWidth property has incorrect type\n");
453       }
454       break;
455     }
456
457     case Toolkit::ImageVisual::Property::DESIRED_HEIGHT:
458     {
459       float desiredHeight;
460       if( value.Get( desiredHeight ) )
461       {
462         mDesiredSize.SetHeight( desiredHeight );
463       }
464       else
465       {
466         DALI_LOG_ERROR("ImageVisual: desiredHeight property has incorrect type\n");
467       }
468       break;
469     }
470
471     case Toolkit::ImageVisual::Property::FITTING_MODE:
472     {
473       int fittingMode;
474       Scripting::GetEnumerationProperty( value, FITTING_MODE_TABLE, FITTING_MODE_TABLE_COUNT, fittingMode );
475       mFittingMode = Dali::FittingMode::Type( fittingMode );
476       break;
477     }
478
479     case Toolkit::ImageVisual::Property::SAMPLING_MODE:
480     {
481       int samplingMode;
482       Scripting::GetEnumerationProperty( value, SAMPLING_MODE_TABLE, SAMPLING_MODE_TABLE_COUNT, samplingMode );
483       mSamplingMode = Dali::SamplingMode::Type( samplingMode );
484       break;
485     }
486
487     case Toolkit::ImageVisual::Property::PIXEL_AREA:
488     {
489       value.Get( mPixelArea );
490       break;
491     }
492
493     case Toolkit::ImageVisual::Property::WRAP_MODE_U:
494     {
495       int wrapMode;
496       Scripting::GetEnumerationProperty( value, WRAP_MODE_TABLE, WRAP_MODE_TABLE_COUNT, wrapMode );
497       mWrapModeU = Dali::WrapMode::Type( wrapMode );
498       break;
499     }
500
501     case Toolkit::ImageVisual::Property::WRAP_MODE_V:
502     {
503       int wrapMode;
504       Scripting::GetEnumerationProperty( value, WRAP_MODE_TABLE, WRAP_MODE_TABLE_COUNT, wrapMode );
505       mWrapModeV = Dali::WrapMode::Type( wrapMode );
506       break;
507     }
508
509     case Toolkit::ImageVisual::Property::ATLASING:
510     {
511       value.Get( mAttemptAtlasing );
512       break;
513     }
514
515     case Toolkit::ImageVisual::Property::ALPHA_MASK_URL:
516     {
517       std::string alphaUrl;
518       if( value.Get( alphaUrl ) )
519       {
520         AllocateMaskData();
521         // Immediately trigger the alpha mask loading (it may just get a cached value)
522         mMaskingData->mAlphaMaskUrl = alphaUrl;
523         TextureManager& textureManager = mFactoryCache.GetTextureManager();
524         mMaskingData->mAlphaMaskId = textureManager.RequestMaskLoad( alphaUrl );
525       }
526       break;
527     }
528
529     case Toolkit::ImageVisual::Property::MASK_CONTENT_SCALE:
530     {
531       float scale;
532       if( value.Get( scale ) )
533       {
534         AllocateMaskData();
535         mMaskingData->mContentScaleFactor = scale;
536       }
537       break;
538     }
539
540     case Toolkit::ImageVisual::Property::CROP_TO_MASK:
541     {
542       bool crop=false;
543       if( value.Get( crop ) )
544       {
545         AllocateMaskData();
546         mMaskingData->mCropToMask = crop;
547       }
548       break;
549     }
550
551     case Toolkit::DevelImageVisual::Property::RELEASE_POLICY:
552     {
553       int releasePolicy;
554       Scripting::GetEnumerationProperty( value, RELEASE_POLICY_TABLE, RELEASE_POLICY_TABLE_COUNT, releasePolicy );
555       mReleasePolicy = DevelImageVisual::ReleasePolicy::Type( releasePolicy );
556       break;
557     }
558
559     case Toolkit::DevelImageVisual::Property::LOAD_POLICY:
560     {
561       int loadPolicy;
562       Scripting::GetEnumerationProperty( value, LOAD_POLICY_TABLE, LOAD_POLICY_TABLE_COUNT, loadPolicy );
563       mLoadPolicy = DevelImageVisual::LoadPolicy::Type( loadPolicy );
564       break;
565     }
566     case Toolkit::DevelImageVisual::Property::ORIENTATION_CORRECTION:
567     {
568       bool orientationCorrection( mOrientationCorrection );
569       if( value.Get( orientationCorrection ) )
570       {
571         mOrientationCorrection = orientationCorrection;
572       }
573       break;
574     }
575   }
576 }
577
578 void ImageVisual::AllocateMaskData()
579 {
580   if( !mMaskingData )
581   {
582     mMaskingData.reset(new TextureManager::MaskingData());
583   }
584 }
585
586 void ImageVisual::GetNaturalSize( Vector2& naturalSize )
587 {
588   if(mImage)
589   {
590     naturalSize.x = mImage.GetWidth();
591     naturalSize.y = mImage.GetHeight();
592     return;
593   }
594   else if( mDesiredSize.GetWidth()>0 && mDesiredSize.GetHeight()>0)
595   {
596     naturalSize.x = mDesiredSize.GetWidth();
597     naturalSize.y = mDesiredSize.GetHeight();
598     return;
599   }
600   else if( mImpl->mRenderer ) // Check if we have a loaded image
601   {
602     auto textureSet = mImpl->mRenderer.GetTextures();
603
604     if( textureSet )
605     {
606       auto texture = textureSet.GetTexture(0);
607       naturalSize.x = texture.GetWidth();
608       naturalSize.y = texture.GetHeight();
609       return;
610     }
611   }
612
613   if( mMaskingData != NULL && mMaskingData->mAlphaMaskUrl.IsValid() &&
614            mMaskingData->mCropToMask )
615   {
616     ImageDimensions dimensions = Dali::GetClosestImageSize( mMaskingData->mAlphaMaskUrl.GetUrl() );
617     if( dimensions != ImageDimensions( 0, 0 ) )
618     {
619       naturalSize.x = dimensions.GetWidth();
620       naturalSize.y = dimensions.GetHeight();
621     }
622     return;
623   }
624   else if( mImageUrl.IsValid() )
625   {
626     if( mImageUrl.GetProtocolType() == VisualUrl::LOCAL )
627     {
628       ImageDimensions dimensions = Dali::GetClosestImageSize( mImageUrl.GetUrl() );
629
630       if( dimensions != ImageDimensions( 0, 0 ) )
631       {
632         naturalSize.x = dimensions.GetWidth();
633         naturalSize.y = dimensions.GetHeight();
634       }
635       else
636       {
637         Image brokenImage = VisualFactoryCache::GetBrokenVisualImage();
638
639         naturalSize.x = brokenImage.GetWidth();
640         naturalSize.y = brokenImage.GetWidth();
641       }
642       return;
643     }
644   }
645
646   naturalSize = Vector2::ZERO;
647 }
648
649 void ImageVisual::CreateRenderer( TextureSet& textureSet )
650 {
651   Geometry geometry;
652   Shader shader;
653
654   if( !mImpl->mCustomShader )
655   {
656     geometry = CreateGeometry( mFactoryCache, ImageDimensions( 1, 1 ) );
657
658     shader = GetImageShader( mFactoryCache,
659                              mImpl->mFlags & Impl::IS_ATLASING_APPLIED,
660                              mWrapModeU <= WrapMode::CLAMP_TO_EDGE && mWrapModeV <= WrapMode::CLAMP_TO_EDGE );
661   }
662   else
663   {
664     geometry = CreateGeometry( mFactoryCache, mImpl->mCustomShader->mGridSize );
665     if( mImpl->mCustomShader->mVertexShader.empty() && mImpl->mCustomShader->mFragmentShader.empty() )
666     {
667       shader = GetImageShader( mFactoryCache, false, true );
668     }
669     else
670     {
671       shader  = Shader::New( mImpl->mCustomShader->mVertexShader.empty() ? VERTEX_SHADER : mImpl->mCustomShader->mVertexShader,
672                              mImpl->mCustomShader->mFragmentShader.empty() ? FRAGMENT_SHADER_NO_ATLAS : mImpl->mCustomShader->mFragmentShader,
673                              mImpl->mCustomShader->mHints );
674       if( mImpl->mCustomShader->mVertexShader.empty() )
675       {
676         shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
677       }
678     }
679   }
680
681   // Set pixel align off as default.
682   // ToDo: Pixel align causes issues such as rattling image animation.
683   // We should trun it off until issues are resolved
684   shader.RegisterProperty( PIXEL_ALIGNED_UNIFORM_NAME, PIXEL_ALIGN_OFF );
685
686   mImpl->mRenderer = Renderer::New( geometry, shader );
687   if( textureSet )
688   {
689     mImpl->mRenderer.SetTextures( textureSet );
690   }
691   // else still waiting for texture load to finish.
692
693   //Register transform properties
694   mImpl->mTransform.RegisterUniforms( mImpl->mRenderer, Direction::LEFT_TO_RIGHT );
695 }
696
697 void ImageVisual::CreateNativeImageRenderer( NativeImage& nativeImage )
698 {
699   Geometry geometry;
700   Shader shader;
701
702   std::string fragmentShader;
703   const char* fragmentPreFix = nativeImage.GetCustomFragmentPreFix();
704   const char* customSamplerTypename = nativeImage.GetCustomSamplerTypename();
705
706   if( fragmentPreFix )
707   {
708     fragmentShader = fragmentPreFix;
709     fragmentShader += "\n";
710   }
711
712   if( mImpl->mCustomShader && !mImpl->mCustomShader->mFragmentShader.empty() )
713   {
714     fragmentShader += mImpl->mCustomShader->mFragmentShader;
715   }
716   else
717   {
718     fragmentShader += FRAGMENT_SHADER_NO_ATLAS;
719   }
720
721   if( customSamplerTypename )
722   {
723     fragmentShader.replace( fragmentShader.find( DEFAULT_SAMPLER_TYPENAME ), strlen( DEFAULT_SAMPLER_TYPENAME ), customSamplerTypename );
724   }
725
726   if( !mImpl->mCustomShader )
727   {
728     geometry = CreateGeometry( mFactoryCache, ImageDimensions( 1, 1 ) );
729
730     shader  = Shader::New( VERTEX_SHADER, fragmentShader );
731     shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
732   }
733   else
734   {
735     geometry = CreateGeometry( mFactoryCache, mImpl->mCustomShader->mGridSize );
736     shader  = Shader::New( mImpl->mCustomShader->mVertexShader.empty() ? VERTEX_SHADER : mImpl->mCustomShader->mVertexShader,
737                            fragmentShader,
738                            mImpl->mCustomShader->mHints );
739     if( mImpl->mCustomShader->mVertexShader.empty() )
740     {
741       shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
742     }
743   }
744
745   mImpl->mRenderer = Renderer::New( geometry, shader );
746
747   //Register transform properties
748   mImpl->mTransform.RegisterUniforms( mImpl->mRenderer, Direction::LEFT_TO_RIGHT );
749 }
750
751
752 bool ImageVisual::IsSynchronousResourceLoading() const
753 {
754   return mImpl->mFlags & Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
755 }
756
757 void ImageVisual::LoadTexture( bool& atlasing, Vector4& atlasRect, TextureSet& textures, bool orientationCorrection )
758 {
759   TextureManager& textureManager = mFactoryCache.GetTextureManager();
760
761   ImageAtlasManagerPtr atlasManager = nullptr;
762   AtlasUploadObserver* atlasUploadObserver = nullptr;
763   auto textureObserver = this;
764
765   if( atlasing )
766   {
767     atlasManager = mFactoryCache.GetAtlasManager();
768     atlasUploadObserver = this;
769   }
770
771   textures = textureManager.LoadTexture( mImageUrl, mDesiredSize, mFittingMode, mSamplingMode,
772                                          mMaskingData, IsSynchronousResourceLoading(), mTextureId,
773                                          atlasRect, atlasing, mLoading, mWrapModeU,
774                                          mWrapModeV, textureObserver, atlasUploadObserver, atlasManager, mOrientationCorrection );
775 }
776
777 void ImageVisual::InitializeRenderer()
778 {
779   auto attemptAtlasing = ( ! mImpl->mCustomShader && mImageUrl.GetProtocolType() == VisualUrl::LOCAL && mAttemptAtlasing );
780
781   // texture set has to be created first as we need to know if atlasing succeeded or not
782   // when selecting the shader
783
784   if( mTextureId == TextureManager::INVALID_TEXTURE_ID && ! mTextures ) // Only load the texture once
785   {
786     LoadTexture( attemptAtlasing, mAtlasRect, mTextures, mOrientationCorrection );
787   }
788
789   if( attemptAtlasing ) // Flag needs to be set before creating renderer
790   {
791     mImpl->mFlags |= Impl::IS_ATLASING_APPLIED;
792   }
793   else
794   {
795     mImpl->mFlags &= ~Impl::IS_ATLASING_APPLIED;
796   }
797
798   CreateRenderer( mTextures );
799   mTextures.Reset(); // Visual should not keep a handle to the texture after this point.
800
801   if( attemptAtlasing ) // the texture is packed inside atlas
802   {
803     mImpl->mRenderer.RegisterProperty( ATLAS_RECT_UNIFORM_NAME, mAtlasRect );
804
805     bool defaultWrapMode = mWrapModeU <= WrapMode::CLAMP_TO_EDGE && mWrapModeV <= WrapMode::CLAMP_TO_EDGE;
806
807     if( !defaultWrapMode ) // custom wrap mode
808     {
809       Vector2 wrapMode(mWrapModeU-WrapMode::CLAMP_TO_EDGE, mWrapModeV-WrapMode::CLAMP_TO_EDGE);
810       wrapMode.Clamp( Vector2::ZERO, Vector2( 2.f, 2.f ) );
811       mImpl->mRenderer.RegisterProperty( WRAP_MODE_UNIFORM_NAME, wrapMode );
812     }
813   }
814 }
815
816 void ImageVisual::InitializeRenderer( const Image& image )
817 {
818   TextureSet textures = TextureSet::New();
819
820   NativeImage nativeImage = NativeImage::DownCast( image );
821   if( nativeImage )
822   {
823     CreateNativeImageRenderer( nativeImage );
824     DALI_ASSERT_DEBUG( textures );
825     mImpl->mRenderer.SetTextures( textures );
826   }
827   else
828   {
829     // reuse existing code for regular images
830     CreateRenderer( textures ); // Textures will be retreived from Image
831   }
832   ApplyImageToSampler( image );
833 }
834
835 void ImageVisual::DoSetOnStage( Actor& actor )
836 {
837   if( mImageUrl.IsValid() )
838   {
839     InitializeRenderer();
840   }
841   else if( mImage )
842   {
843     InitializeRenderer( mImage );
844   }
845
846   if( !mImpl->mRenderer )
847   {
848     return;
849   }
850
851   mPlacementActor = actor;
852   // Search the Actor tree to find if Layer UI behaviour set.
853   Layer layer = actor.GetLayer();
854   if( layer && layer.GetBehavior() == Layer::LAYER_3D )
855   {
856      // Layer 3D set, do not align pixels
857      mImpl->mRenderer.RegisterProperty( PIXEL_ALIGNED_UNIFORM_NAME, PIXEL_ALIGN_OFF );
858   }
859
860   if( mPixelArea != FULL_TEXTURE_RECT )
861   {
862     mImpl->mRenderer.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, mPixelArea );
863   }
864
865   if( mLoading == false )
866   {
867     actor.AddRenderer( mImpl->mRenderer );
868     mPlacementActor.Reset();
869
870     // Image loaded and ready to display
871     ResourceReady( Toolkit::Visual::ResourceStatus::READY );
872   }
873 }
874
875 void ImageVisual::DoSetOffStage( Actor& actor )
876 {
877   // Visual::Base::SetOffStage only calls DoSetOffStage if mRenderer exists (is on onstage)
878
879   // Image release is dependent on the ReleasePolicy, renderer is destroyed.
880   actor.RemoveRenderer( mImpl->mRenderer);
881   if( mReleasePolicy == DevelImageVisual::ReleasePolicy::DETACHED )
882   {
883     RemoveTexture(); // If INVALID_TEXTURE_ID then removal will be attempted on atlas
884   }
885
886   if( mImageUrl.IsValid() )
887   {
888     // Legacy support for deprecated Dali::Image
889     mImage.Reset();
890   }
891   mLoading = false;
892   mImpl->mRenderer.Reset();
893   mPlacementActor.Reset();
894 }
895
896 void ImageVisual::DoCreatePropertyMap( Property::Map& map ) const
897 {
898   map.Clear();
899   map.Insert( Toolkit::Visual::Property::TYPE, Toolkit::Visual::IMAGE );
900
901   bool sync = IsSynchronousResourceLoading();
902   map.Insert( SYNCHRONOUS_LOADING, sync );
903   if( mImageUrl.IsValid() )
904   {
905     map.Insert( Toolkit::ImageVisual::Property::URL, mImageUrl.GetUrl() );
906     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, mDesiredSize.GetWidth() );
907     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, mDesiredSize.GetHeight() );
908   }
909   else if( mImage )
910   {
911     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, static_cast<int>(mImage.GetWidth()) );
912     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, static_cast<int>(mImage.GetHeight()) );
913
914     ResourceImage resourceImage = ResourceImage::DownCast(mImage);
915     if( resourceImage )
916     {
917       map.Insert( Toolkit::ImageVisual::Property::URL, resourceImage.GetUrl() );
918     }
919   }
920
921   map.Insert( Toolkit::ImageVisual::Property::FITTING_MODE, mFittingMode );
922   map.Insert( Toolkit::ImageVisual::Property::SAMPLING_MODE, mSamplingMode );
923
924   map.Insert( Toolkit::ImageVisual::Property::PIXEL_AREA, mPixelArea );
925   map.Insert( Toolkit::ImageVisual::Property::WRAP_MODE_U, mWrapModeU );
926   map.Insert( Toolkit::ImageVisual::Property::WRAP_MODE_V, mWrapModeV );
927
928   map.Insert( Toolkit::ImageVisual::Property::ATLASING, mAttemptAtlasing );
929
930   if( mMaskingData != NULL )
931   {
932     map.Insert( Toolkit::ImageVisual::Property::ALPHA_MASK_URL, mMaskingData->mAlphaMaskUrl.GetUrl() );
933     map.Insert( Toolkit::ImageVisual::Property::MASK_CONTENT_SCALE, mMaskingData->mContentScaleFactor );
934     map.Insert( Toolkit::ImageVisual::Property::CROP_TO_MASK, mMaskingData->mCropToMask );
935   }
936
937   map.Insert( Toolkit::DevelImageVisual::Property::LOAD_POLICY, mLoadPolicy );
938   map.Insert( Toolkit::DevelImageVisual::Property::RELEASE_POLICY, mReleasePolicy );
939   map.Insert( Toolkit::DevelImageVisual::Property::ORIENTATION_CORRECTION, mOrientationCorrection );
940 }
941
942 void ImageVisual::DoCreateInstancePropertyMap( Property::Map& map ) const
943 {
944   map.Clear();
945   map.Insert( Toolkit::Visual::Property::TYPE, Toolkit::Visual::IMAGE );
946   if( mImageUrl.IsValid() )
947   {
948     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, mDesiredSize.GetWidth() );
949     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, mDesiredSize.GetHeight() );
950   }
951   else if( mImage )
952   {
953     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, static_cast<int>(mImage.GetWidth()) );
954     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, static_cast<int>(mImage.GetHeight()) );
955   }
956 }
957
958 void ImageVisual::OnSetTransform()
959 {
960   if( mImpl->mRenderer )
961   {
962     mImpl->mTransform.RegisterUniforms( mImpl->mRenderer, Direction::LEFT_TO_RIGHT );
963   }
964 }
965
966 bool ImageVisual::IsResourceReady() const
967 {
968   return ( mImpl->mResourceStatus == Toolkit::Visual::ResourceStatus::READY ||
969            mImpl->mResourceStatus == Toolkit::Visual::ResourceStatus::FAILED );
970 }
971
972 Shader ImageVisual::GetImageShader( VisualFactoryCache& factoryCache, bool atlasing, bool defaultTextureWrapping )
973 {
974   Shader shader;
975   if( atlasing )
976   {
977     if( defaultTextureWrapping )
978     {
979       shader = factoryCache.GetShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_DEFAULT_WRAP );
980       if( !shader )
981       {
982         shader = Shader::New( VERTEX_SHADER, FRAGMENT_SHADER_ATLAS_CLAMP );
983         shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
984         factoryCache.SaveShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_DEFAULT_WRAP, shader );
985       }
986     }
987     else
988     {
989       shader = factoryCache.GetShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_CUSTOM_WRAP );
990       if( !shader )
991       {
992         shader = Shader::New( VERTEX_SHADER, FRAGMENT_SHADER_ATLAS_VARIOUS_WRAP );
993         shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
994         factoryCache.SaveShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_CUSTOM_WRAP, shader );
995       }
996     }
997   }
998   else
999   {
1000     shader = factoryCache.GetShader( VisualFactoryCache::IMAGE_SHADER );
1001     if( !shader )
1002     {
1003       shader = Shader::New( VERTEX_SHADER, FRAGMENT_SHADER_NO_ATLAS );
1004       shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
1005       factoryCache.SaveShader( VisualFactoryCache::IMAGE_SHADER, shader );
1006     }
1007   }
1008
1009   return shader;
1010 }
1011
1012 void ImageVisual::ApplyImageToSampler( const Image& image )
1013 {
1014   if( image )
1015   {
1016     TextureSet textureSet = mImpl->mRenderer.GetTextures();
1017     DALI_ASSERT_DEBUG( textureSet ); // texture set should always exist by this time
1018
1019     TextureSetImage( textureSet, 0u, image );
1020     Sampler sampler = Sampler::New();
1021     sampler.SetWrapMode(  mWrapModeU, mWrapModeV  );
1022     textureSet.SetSampler( 0u, sampler );
1023   }
1024 }
1025
1026 // From existing atlas manager
1027 void ImageVisual::UploadCompleted()
1028 {
1029   // Texture has been uploaded. If weak handle is holding a placement actor, it is the time to add the renderer to actor.
1030   Actor actor = mPlacementActor.GetHandle();
1031   if( actor )
1032   {
1033     mImpl->mRenderer.RegisterProperty( ATLAS_RECT_UNIFORM_NAME, mAtlasRect );
1034     actor.AddRenderer( mImpl->mRenderer );
1035     // reset the weak handle so that the renderer only get added to actor once
1036     mPlacementActor.Reset();
1037   }
1038   mLoading = false;
1039 }
1040
1041 // From Texture Manager
1042 void ImageVisual::UploadComplete( bool loadingSuccess, int32_t textureId, TextureSet textureSet, bool usingAtlas, const Vector4& atlasRectangle )
1043 {
1044   Toolkit::Visual::ResourceStatus resourceStatus;
1045   Actor actor = mPlacementActor.GetHandle();
1046   if( actor )
1047   {
1048     if( mImpl->mRenderer )
1049     {
1050       if( usingAtlas )
1051       {
1052         mImpl->mRenderer.RegisterProperty( ATLAS_RECT_UNIFORM_NAME, mAtlasRect );
1053       }
1054
1055       actor.AddRenderer( mImpl->mRenderer );
1056       // reset the weak handle so that the renderer only get added to actor once
1057       mPlacementActor.Reset();
1058       if( loadingSuccess )
1059       {
1060         Sampler sampler = Sampler::New();
1061         sampler.SetWrapMode(  mWrapModeU, mWrapModeV  );
1062         textureSet.SetSampler( 0u, sampler );
1063         mImpl->mRenderer.SetTextures(textureSet);
1064
1065         resourceStatus = Toolkit::Visual::ResourceStatus::READY;
1066       }
1067       else
1068       {
1069         Image brokenImage = VisualFactoryCache::GetBrokenVisualImage();
1070
1071         textureSet = TextureSet::New();
1072         mImpl->mRenderer.SetTextures( textureSet );
1073
1074         ApplyImageToSampler( brokenImage );
1075
1076         resourceStatus = Toolkit::Visual::ResourceStatus::FAILED;
1077       }
1078       // Image loaded and ready to display
1079       ResourceReady( resourceStatus );
1080     }
1081   }
1082
1083   // Storing TextureSet needed when renderer staged.
1084   if( ! mImpl->mRenderer )
1085   {
1086     mTextures = textureSet;
1087   }
1088
1089   mLoading = false;
1090 }
1091
1092 void ImageVisual::RemoveTexture()
1093 {
1094   if( mTextureId != TextureManager::INVALID_TEXTURE_ID )
1095   {
1096     mFactoryCache.GetTextureManager().Remove( mTextureId );
1097     mTextureId = TextureManager::INVALID_TEXTURE_ID;
1098   }
1099   else
1100   {
1101     Vector4 atlasRect( 0.f, 0.f, 1.f, 1.f );
1102     Property::Index index = mImpl->mRenderer.GetPropertyIndex( ATLAS_RECT_UNIFORM_NAME );
1103     if( index != Property::INVALID_INDEX )
1104     {
1105       Property::Value atlasRectValue = mImpl->mRenderer.GetProperty( index );
1106       atlasRectValue.Get( atlasRect );
1107     }
1108
1109     TextureSet textureSet = mImpl->mRenderer.GetTextures();
1110     mImpl->mRenderer.Reset();
1111
1112     if( index != Property::INVALID_INDEX )
1113     {
1114       mFactoryCache.GetAtlasManager()->Remove( textureSet, atlasRect );
1115     }
1116   }
1117 }
1118
1119 } // namespace Internal
1120
1121 } // namespace Toolkit
1122
1123 } // namespace Dali