Merge "propagate unhandled key( DALI_KEY_SEARCH )" into devel/master
[platform/core/uifw/dali-toolkit.git] / dali-toolkit / internal / visuals / image / image-visual.cpp
1 /*
2  * Copyright (c) 2017 Samsung Electronics Co., Ltd.
3  *
4  * Licensed under the Apache License, Version 2.0 (the "License");
5  * you may not use this file except in compliance with the License.
6  * You may obtain a copy of the License at
7  *
8  * http://www.apache.org/licenses/LICENSE-2.0
9  *
10  * Unless required by applicable law or agreed to in writing, software
11  * distributed under the License is distributed on an "AS IS" BASIS,
12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
13  * See the License for the specific language governing permissions and
14  * limitations under the License.
15  *
16  */
17
18 // CLASS HEADER
19 #include <dali-toolkit/internal/visuals/image/image-visual.h>
20
21 // EXTERNAL HEADERS
22 #include <cstring> // for strlen()
23 #include <dali/public-api/actors/layer.h>
24 #include <dali/public-api/common/stage.h>
25 #include <dali/public-api/images/resource-image.h>
26 #include <dali/public-api/images/native-image.h>
27 #include <dali/devel-api/images/texture-set-image.h>
28 #include <dali/devel-api/adaptor-framework/image-loading.h>
29 #include <dali/devel-api/scripting/enum-helper.h>
30 #include <dali/devel-api/scripting/scripting.h>
31 #include <dali/integration-api/debug.h>
32
33 // INTERNAL HEADERS
34 #include <dali-toolkit/public-api/visuals/image-visual-properties.h>
35 #include <dali-toolkit/public-api/visuals/visual-properties.h>
36 #include <dali-toolkit/internal/visuals/texture-manager-impl.h>
37 #include <dali-toolkit/internal/visuals/visual-string-constants.h>
38 #include <dali-toolkit/internal/visuals/visual-factory-impl.h>
39 #include <dali-toolkit/internal/visuals/visual-factory-cache.h>
40 #include <dali-toolkit/internal/visuals/visual-base-impl.h>
41 #include <dali-toolkit/internal/visuals/image-atlas-manager.h>
42 #include <dali-toolkit/internal/visuals/visual-base-data-impl.h>
43 #include <dali-toolkit/internal/visuals/visual-url.h>
44
45 namespace Dali
46 {
47
48 namespace Toolkit
49 {
50
51 namespace Internal
52 {
53
54 namespace
55 {
56
57 // property names
58 const char * const IMAGE_FITTING_MODE( "fittingMode" );
59 const char * const IMAGE_SAMPLING_MODE( "samplingMode" );
60 const char * const IMAGE_DESIRED_WIDTH( "desiredWidth" );
61 const char * const IMAGE_DESIRED_HEIGHT( "desiredHeight" );
62 const char * const SYNCHRONOUS_LOADING( "synchronousLoading" );
63 const char * const IMAGE_ATLASING("atlasing");
64 const char * const ALPHA_MASK_URL("alphaMaskUrl");
65
66 // fitting modes
67 DALI_ENUM_TO_STRING_TABLE_BEGIN( FITTING_MODE )
68 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, SHRINK_TO_FIT )
69 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, SCALE_TO_FILL )
70 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, FIT_WIDTH )
71 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, FIT_HEIGHT )
72 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::FittingMode, DEFAULT )
73 DALI_ENUM_TO_STRING_TABLE_END( FITTING_MODE )
74
75 // sampling modes
76 DALI_ENUM_TO_STRING_TABLE_BEGIN( SAMPLING_MODE )
77 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, BOX )
78 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, NEAREST )
79 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, LINEAR )
80 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, BOX_THEN_NEAREST )
81 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, BOX_THEN_LINEAR )
82 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, NO_FILTER )
83 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::SamplingMode, DONT_CARE )
84 DALI_ENUM_TO_STRING_TABLE_END( SAMPLING_MODE )
85
86 // wrap modes
87 DALI_ENUM_TO_STRING_TABLE_BEGIN( WRAP_MODE )
88 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, DEFAULT )
89 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, CLAMP_TO_EDGE )
90 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, REPEAT )
91 DALI_ENUM_TO_STRING_WITH_SCOPE( Dali::WrapMode, MIRRORED_REPEAT )
92 DALI_ENUM_TO_STRING_TABLE_END( WRAP_MODE )
93
94 // load policies
95 DALI_ENUM_TO_STRING_TABLE_BEGIN( LOAD_POLICY )
96 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::LoadPolicy, IMMEDIATE )
97 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::LoadPolicy, ATTACHED )
98 DALI_ENUM_TO_STRING_TABLE_END( LOAD_POLICY )
99
100 // release policies
101 DALI_ENUM_TO_STRING_TABLE_BEGIN( RELEASE_POLICY )
102 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::ReleasePolicy, DETACHED )
103 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::ReleasePolicy, DESTROYED )
104 DALI_ENUM_TO_STRING_WITH_SCOPE( DevelImageVisual::ReleasePolicy, NEVER )
105 DALI_ENUM_TO_STRING_TABLE_END( RELEASE_POLICY )
106
107 const Vector4 FULL_TEXTURE_RECT(0.f, 0.f, 1.f, 1.f);
108
109 const char* DEFAULT_SAMPLER_TYPENAME = "sampler2D";
110
111 const float PIXEL_ALIGN_ON = 1.0f;
112 const float PIXEL_ALIGN_OFF = 0.0f;
113
114 const char* VERTEX_SHADER = DALI_COMPOSE_SHADER(
115   attribute mediump vec2 aPosition;\n
116   uniform mediump mat4 uModelMatrix;\n
117   uniform mediump mat4 uViewMatrix;\n
118   uniform mediump mat4 uProjection;\n
119   uniform mediump vec3 uSize;\n
120   uniform mediump vec4 pixelArea;
121   varying mediump vec2 vTexCoord;\n
122   uniform lowp float uPixelAligned;\n
123   \n
124   //Visual size and offset
125   uniform mediump vec2 offset;\n
126   uniform mediump vec2 size;\n
127   uniform mediump vec4 offsetSizeMode;\n
128   uniform mediump vec2 origin;\n
129   uniform mediump vec2 anchorPoint;\n
130 \n
131   vec4 ComputeVertexPosition()\n
132   {\n
133     vec2 visualSize = mix(uSize.xy*size, size, offsetSizeMode.zw );\n
134     vec2 visualOffset = mix( offset, offset/uSize.xy, offsetSizeMode.xy);\n
135     return vec4( (aPosition + anchorPoint)*visualSize + (visualOffset + origin)*uSize.xy, 0.0, 1.0 );\n
136   }\n
137 \n
138   void main()\n
139   {\n
140     mediump vec4 vertexPosition = uViewMatrix * uModelMatrix * ComputeVertexPosition();\n
141     vec4 alignedVertexPosition = vertexPosition;\n
142     alignedVertexPosition.xy = floor ( vertexPosition.xy );\n // Pixel alignment
143     vertexPosition = uProjection * mix( vertexPosition, alignedVertexPosition, uPixelAligned );\n
144     vTexCoord = pixelArea.xy+pixelArea.zw*(aPosition + vec2(0.5) );\n
145     gl_Position = vertexPosition;\n
146   }\n
147 );
148
149 const char* FRAGMENT_SHADER_NO_ATLAS = DALI_COMPOSE_SHADER(
150   varying mediump vec2 vTexCoord;\n
151   uniform sampler2D sTexture;\n
152   uniform lowp vec4 uColor;\n
153   uniform lowp vec3 mixColor;\n
154   uniform lowp float opacity;\n
155   uniform lowp float preMultipliedAlpha;\n
156   \n
157   lowp vec4 visualMixColor()\n
158   {\n
159     return vec4( mixColor * mix( 1.0, opacity, preMultipliedAlpha ), opacity );\n
160   }\n
161   void main()\n
162   {\n
163       gl_FragColor = texture2D( sTexture, vTexCoord ) * uColor * visualMixColor();\n
164   }\n
165 );
166
167 const char* FRAGMENT_SHADER_ATLAS_CLAMP = DALI_COMPOSE_SHADER(
168     varying mediump vec2 vTexCoord;\n
169     uniform sampler2D sTexture;\n
170     uniform mediump vec4 uAtlasRect;\n
171     uniform lowp vec4 uColor;\n
172     uniform lowp vec3 mixColor;\n
173     uniform lowp float opacity;\n
174     uniform lowp float preMultipliedAlpha;\n
175     \n
176     lowp vec4 visualMixColor()\n
177     {\n
178         return vec4( mixColor * mix( 1.0, opacity, preMultipliedAlpha ), opacity );\n
179     }\n
180     \n
181     void main()\n
182     {\n
183         mediump vec2 texCoord = clamp( mix( uAtlasRect.xy, uAtlasRect.zw, vTexCoord ), uAtlasRect.xy, uAtlasRect.zw );\n
184         gl_FragColor = texture2D( sTexture, texCoord ) * uColor * visualMixColor();\n
185      }\n
186 );
187
188 const char* FRAGMENT_SHADER_ATLAS_VARIOUS_WRAP = DALI_COMPOSE_SHADER(
189     varying mediump vec2 vTexCoord;\n
190     uniform sampler2D sTexture;\n
191     uniform mediump vec4 uAtlasRect;\n
192     // WrapMode -- 0: CLAMP; 1: REPEAT; 2: REFLECT;
193     uniform lowp vec2 wrapMode;\n
194     uniform lowp vec4 uColor;\n
195     uniform lowp vec3 mixColor;\n
196     uniform lowp float opacity;\n
197     uniform lowp float preMultipliedAlpha;\n
198     \n
199     mediump float wrapCoordinate( mediump vec2 range, mediump float coordinate, lowp float wrap )\n
200     {\n
201       mediump float coord;\n
202       if( wrap > 1.5 )\n // REFLECT
203         coord = 1.0-abs(fract(coordinate*0.5)*2.0 - 1.0);\n
204       else \n// warp == 0 or 1
205         coord = mix(coordinate, fract( coordinate ), wrap);\n
206       return clamp( mix(range.x, range.y, coord), range.x, range.y );
207     }\n
208     \n
209     lowp vec4 visualMixColor()\n
210     {\n
211       return vec4( mixColor * mix( 1.0, opacity, preMultipliedAlpha ), opacity );\n
212     }\n
213     \n
214     void main()\n
215     {\n
216         mediump vec2 texCoord = vec2( wrapCoordinate( uAtlasRect.xz, vTexCoord.x, wrapMode.x ),
217                                       wrapCoordinate( uAtlasRect.yw, vTexCoord.y, wrapMode.y ) );\n
218         gl_FragColor = texture2D( sTexture, texCoord ) * uColor * visualMixColor();\n
219     }\n
220 );
221
222 Geometry CreateGeometry( VisualFactoryCache& factoryCache, ImageDimensions gridSize )
223 {
224   Geometry geometry;
225
226   if( gridSize == ImageDimensions( 1, 1 ) )
227   {
228     geometry = factoryCache.GetGeometry( VisualFactoryCache::QUAD_GEOMETRY );
229   }
230   else
231   {
232     geometry = VisualFactoryCache::CreateGridGeometry( gridSize );
233   }
234
235   return geometry;
236 }
237
238 } // unnamed namespace
239
240 ImageVisualPtr ImageVisual::New( VisualFactoryCache& factoryCache,
241                                  const VisualUrl& imageUrl,
242                                  const Property::Map& properties,
243                                  ImageDimensions size,
244                                  FittingMode::Type fittingMode,
245                                  Dali::SamplingMode::Type samplingMode )
246 {
247   ImageVisualPtr imageVisualPtr( new ImageVisual( factoryCache, imageUrl, size, fittingMode, samplingMode ) );
248   imageVisualPtr->SetProperties( properties );
249   return imageVisualPtr;
250 }
251
252 ImageVisualPtr ImageVisual::New( VisualFactoryCache& factoryCache,
253                                  const VisualUrl& imageUrl,
254                                  ImageDimensions size,
255                                  FittingMode::Type fittingMode,
256                                  Dali::SamplingMode::Type samplingMode )
257 {
258   return new ImageVisual( factoryCache, imageUrl, size, fittingMode, samplingMode );
259 }
260
261 ImageVisualPtr ImageVisual::New( VisualFactoryCache& factoryCache, const Image& image )
262 {
263   return new ImageVisual( factoryCache, image );
264 }
265
266 ImageVisual::ImageVisual( VisualFactoryCache& factoryCache,
267                           const VisualUrl& imageUrl,
268                           ImageDimensions size,
269                           FittingMode::Type fittingMode,
270                           Dali::SamplingMode::Type samplingMode )
271 : Visual::Base( factoryCache ),
272   mImage(),
273   mPixelArea( FULL_TEXTURE_RECT ),
274   mPlacementActor(),
275   mImageUrl( imageUrl ),
276   mMaskingData( ),
277   mDesiredSize( size ),
278   mTextureId( TextureManager::INVALID_TEXTURE_ID ),
279   mFittingMode( fittingMode ),
280   mSamplingMode( samplingMode ),
281   mWrapModeU( WrapMode::DEFAULT ),
282   mWrapModeV( WrapMode::DEFAULT ),
283   mLoadPolicy( DevelImageVisual::LoadPolicy::ATTACHED ),
284   mReleasePolicy( DevelImageVisual::ReleasePolicy::DETACHED ),
285   mAttemptAtlasing( false ),
286   mLoading( false )
287 {
288 }
289
290 ImageVisual::ImageVisual( VisualFactoryCache& factoryCache, const Image& image )
291 : Visual::Base( factoryCache ),
292   mImage( image ),
293   mPixelArea( FULL_TEXTURE_RECT ),
294   mPlacementActor(),
295   mImageUrl(),
296   mMaskingData( ),
297   mDesiredSize(),
298   mTextureId( TextureManager::INVALID_TEXTURE_ID ),
299   mFittingMode( FittingMode::DEFAULT ),
300   mSamplingMode( SamplingMode::DEFAULT ),
301   mWrapModeU( WrapMode::DEFAULT ),
302   mWrapModeV( WrapMode::DEFAULT ),
303   mLoadPolicy( DevelImageVisual::LoadPolicy::ATTACHED ),
304   mReleasePolicy( DevelImageVisual::ReleasePolicy::DESTROYED ),
305   mAttemptAtlasing( false ),
306   mLoading( false )
307 {
308 }
309
310 ImageVisual::~ImageVisual()
311 {
312   if( Stage::IsInstalled() )
313   {
314     if( mMaskingData )
315     {
316       // TextureManager could have been deleted before the actor that contains this
317       // ImageVisual is destroyed (e.g. due to stage shutdown). Ensure the stage
318       // is still valid before accessing texture manager.
319       if( mMaskingData->mAlphaMaskId != TextureManager::INVALID_TEXTURE_ID )
320       {
321         TextureManager& textureManager = mFactoryCache.GetTextureManager();
322         textureManager.Remove( mMaskingData->mAlphaMaskId );
323       }
324     }
325
326     // ImageVisual destroyed so remove texture unless ReleasePolicy is set to never release
327     if( ( mTextureId != TextureManager::INVALID_TEXTURE_ID  ) && ( mReleasePolicy != DevelImageVisual::ReleasePolicy::NEVER ) )
328     {
329       RemoveTexture();
330     }
331   }
332 }
333
334 void ImageVisual::DoSetProperties( const Property::Map& propertyMap )
335 {
336   // Url is already received in constructor
337   for( Property::Map::SizeType iter = 0; iter < propertyMap.Count(); ++iter )
338   {
339     KeyValuePair keyValue = propertyMap.GetKeyValue( iter );
340     if( keyValue.first.type == Property::Key::INDEX )
341     {
342       DoSetProperty( keyValue.first.indexKey, keyValue.second );
343     }
344     else
345     {
346       if( keyValue.first == IMAGE_FITTING_MODE )
347       {
348         DoSetProperty( Toolkit::ImageVisual::Property::FITTING_MODE, keyValue.second );
349       }
350       else if( keyValue.first == IMAGE_SAMPLING_MODE )
351       {
352         DoSetProperty( Toolkit::ImageVisual::Property::SAMPLING_MODE, keyValue.second );
353       }
354       else if( keyValue.first == IMAGE_DESIRED_WIDTH )
355       {
356         DoSetProperty( Toolkit::ImageVisual::Property::DESIRED_WIDTH, keyValue.second );
357       }
358       else if( keyValue.first == IMAGE_DESIRED_HEIGHT )
359       {
360         DoSetProperty( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, keyValue.second );
361       }
362       else if( keyValue.first == PIXEL_AREA_UNIFORM_NAME )
363       {
364         DoSetProperty( Toolkit::ImageVisual::Property::PIXEL_AREA, keyValue.second );
365       }
366       else if( keyValue.first == IMAGE_WRAP_MODE_U )
367       {
368         DoSetProperty( Toolkit::ImageVisual::Property::WRAP_MODE_U, keyValue.second );
369       }
370       else if( keyValue.first == IMAGE_WRAP_MODE_V )
371       {
372         DoSetProperty( Toolkit::ImageVisual::Property::WRAP_MODE_V, keyValue.second );
373       }
374       else if( keyValue.first == SYNCHRONOUS_LOADING )
375       {
376         DoSetProperty( Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING, keyValue.second );
377       }
378       else if( keyValue.first == IMAGE_ATLASING )
379       {
380         DoSetProperty( Toolkit::ImageVisual::Property::ATLASING, keyValue.second );
381       }
382       else if( keyValue.first == ALPHA_MASK_URL )
383       {
384         DoSetProperty( Toolkit::ImageVisual::Property::ALPHA_MASK_URL, keyValue.second );
385       }
386       else if( keyValue.first == MASK_CONTENT_SCALE_NAME )
387       {
388         DoSetProperty( Toolkit::ImageVisual::Property::MASK_CONTENT_SCALE, keyValue.second );
389       }
390       else if( keyValue.first == CROP_TO_MASK_NAME )
391       {
392         DoSetProperty( Toolkit::ImageVisual::Property::CROP_TO_MASK, keyValue.second );
393       }
394       else if ( keyValue.first == LOAD_POLICY_NAME )
395       {
396         DoSetProperty( Toolkit::DevelImageVisual::Property::LOAD_POLICY, keyValue.second );
397       }
398       else if( keyValue.first == RELEASE_POLICY_NAME )
399       {
400         DoSetProperty( Toolkit::DevelImageVisual::Property::RELEASE_POLICY, keyValue.second );
401       }
402     }
403   }
404
405   // Load image immediately if LOAD_POLICY requires it
406   if ( mLoadPolicy == DevelImageVisual::LoadPolicy::IMMEDIATE )
407   {
408     auto attemptAtlasing = mAttemptAtlasing;
409     LoadTexture( attemptAtlasing, mAtlasRect, mTextures );
410   }
411 }
412
413 void ImageVisual::DoSetProperty( Property::Index index, const Property::Value& value )
414 {
415   switch( index )
416   {
417     case Toolkit::ImageVisual::Property::SYNCHRONOUS_LOADING:
418     {
419       bool sync;
420       if( value.Get( sync ) )
421       {
422         if( sync )
423         {
424           mImpl->mFlags |= Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
425         }
426         else
427         {
428           mImpl->mFlags &= ~Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
429         }
430       }
431       else
432       {
433         DALI_LOG_ERROR("ImageVisual: synchronousLoading property has incorrect type\n");
434       }
435       break;
436     }
437
438     case Toolkit::ImageVisual::Property::DESIRED_WIDTH:
439     {
440       float desiredWidth;
441       if( value.Get( desiredWidth ) )
442       {
443         mDesiredSize.SetWidth( desiredWidth );
444       }
445       else
446       {
447         DALI_LOG_ERROR("ImageVisual: desiredWidth property has incorrect type\n");
448       }
449       break;
450     }
451
452     case Toolkit::ImageVisual::Property::DESIRED_HEIGHT:
453     {
454       float desiredHeight;
455       if( value.Get( desiredHeight ) )
456       {
457         mDesiredSize.SetHeight( desiredHeight );
458       }
459       else
460       {
461         DALI_LOG_ERROR("ImageVisual: desiredHeight property has incorrect type\n");
462       }
463       break;
464     }
465
466     case Toolkit::ImageVisual::Property::FITTING_MODE:
467     {
468       int fittingMode;
469       Scripting::GetEnumerationProperty( value, FITTING_MODE_TABLE, FITTING_MODE_TABLE_COUNT, fittingMode );
470       mFittingMode = Dali::FittingMode::Type( fittingMode );
471       break;
472     }
473
474     case Toolkit::ImageVisual::Property::SAMPLING_MODE:
475     {
476       int samplingMode;
477       Scripting::GetEnumerationProperty( value, SAMPLING_MODE_TABLE, SAMPLING_MODE_TABLE_COUNT, samplingMode );
478       mSamplingMode = Dali::SamplingMode::Type( samplingMode );
479       break;
480     }
481
482     case Toolkit::ImageVisual::Property::PIXEL_AREA:
483     {
484       value.Get( mPixelArea );
485       break;
486     }
487
488     case Toolkit::ImageVisual::Property::WRAP_MODE_U:
489     {
490       int wrapMode;
491       Scripting::GetEnumerationProperty( value, WRAP_MODE_TABLE, WRAP_MODE_TABLE_COUNT, wrapMode );
492       mWrapModeU = Dali::WrapMode::Type( wrapMode );
493       break;
494     }
495
496     case Toolkit::ImageVisual::Property::WRAP_MODE_V:
497     {
498       int wrapMode;
499       Scripting::GetEnumerationProperty( value, WRAP_MODE_TABLE, WRAP_MODE_TABLE_COUNT, wrapMode );
500       mWrapModeV = Dali::WrapMode::Type( wrapMode );
501       break;
502     }
503
504     case Toolkit::ImageVisual::Property::ATLASING:
505     {
506       bool atlasing = false;
507       mAttemptAtlasing = value.Get( atlasing );
508       break;
509     }
510
511     case Toolkit::ImageVisual::Property::ALPHA_MASK_URL:
512     {
513       std::string alphaUrl;
514       if( value.Get( alphaUrl ) )
515       {
516         AllocateMaskData();
517         // Immediately trigger the alpha mask loading (it may just get a cached value)
518         mMaskingData->mAlphaMaskUrl = alphaUrl;
519         TextureManager& textureManager = mFactoryCache.GetTextureManager();
520         mMaskingData->mAlphaMaskId = textureManager.RequestMaskLoad( alphaUrl );
521       }
522       break;
523     }
524
525     case Toolkit::ImageVisual::Property::MASK_CONTENT_SCALE:
526     {
527       float scale;
528       if( value.Get( scale ) )
529       {
530         AllocateMaskData();
531         mMaskingData->mContentScaleFactor = scale;
532       }
533       break;
534     }
535
536     case Toolkit::ImageVisual::Property::CROP_TO_MASK:
537     {
538       bool crop=false;
539       if( value.Get( crop ) )
540       {
541         AllocateMaskData();
542         mMaskingData->mCropToMask = crop;
543       }
544       break;
545     }
546
547     case Toolkit::DevelImageVisual::Property::RELEASE_POLICY:
548     {
549       int releasePolicy;
550       Scripting::GetEnumerationProperty( value, RELEASE_POLICY_TABLE, RELEASE_POLICY_TABLE_COUNT, releasePolicy );
551       mReleasePolicy = DevelImageVisual::ReleasePolicy::Type( releasePolicy );
552       break;
553     }
554
555     case Toolkit::DevelImageVisual::Property::LOAD_POLICY:
556     {
557       int loadPolicy;
558       Scripting::GetEnumerationProperty( value, LOAD_POLICY_TABLE, LOAD_POLICY_TABLE_COUNT, loadPolicy );
559       mLoadPolicy = DevelImageVisual::LoadPolicy::Type( loadPolicy );
560     }
561   }
562 }
563
564 void ImageVisual::AllocateMaskData()
565 {
566   if( !mMaskingData )
567   {
568     mMaskingData.reset(new TextureManager::MaskingData());
569   }
570 }
571
572 void ImageVisual::GetNaturalSize( Vector2& naturalSize )
573 {
574   if(mImage)
575   {
576     naturalSize.x = mImage.GetWidth();
577     naturalSize.y = mImage.GetHeight();
578     return;
579   }
580   else if( mDesiredSize.GetWidth()>0 && mDesiredSize.GetHeight()>0)
581   {
582     naturalSize.x = mDesiredSize.GetWidth();
583     naturalSize.y = mDesiredSize.GetHeight();
584     return;
585   }
586   else if( mImpl->mRenderer ) // Check if we have a loaded image
587   {
588     auto textureSet = mImpl->mRenderer.GetTextures();
589
590     if( textureSet )
591     {
592       auto texture = textureSet.GetTexture(0);
593       naturalSize.x = texture.GetWidth();
594       naturalSize.y = texture.GetHeight();
595       return;
596     }
597   }
598
599   if( mMaskingData != NULL && mMaskingData->mAlphaMaskUrl.IsValid() &&
600            mMaskingData->mCropToMask )
601   {
602     ImageDimensions dimensions = Dali::GetClosestImageSize( mMaskingData->mAlphaMaskUrl.GetUrl() );
603     if( dimensions != ImageDimensions( 0, 0 ) )
604     {
605       naturalSize.x = dimensions.GetWidth();
606       naturalSize.y = dimensions.GetHeight();
607     }
608     return;
609   }
610   else if( mImageUrl.IsValid() )
611   {
612     if( mImageUrl.GetProtocolType() == VisualUrl::LOCAL )
613     {
614       ImageDimensions dimensions = Dali::GetClosestImageSize( mImageUrl.GetUrl() );
615
616       if( dimensions != ImageDimensions( 0, 0 ) )
617       {
618         naturalSize.x = dimensions.GetWidth();
619         naturalSize.y = dimensions.GetHeight();
620       }
621       else
622       {
623         Image brokenImage = VisualFactoryCache::GetBrokenVisualImage();
624
625         naturalSize.x = brokenImage.GetWidth();
626         naturalSize.y = brokenImage.GetWidth();
627       }
628       return;
629     }
630   }
631
632   naturalSize = Vector2::ZERO;
633 }
634
635 void ImageVisual::CreateRenderer( TextureSet& textureSet )
636 {
637   Geometry geometry;
638   Shader shader;
639
640   if( !mImpl->mCustomShader )
641   {
642     geometry = CreateGeometry( mFactoryCache, ImageDimensions( 1, 1 ) );
643
644     shader = GetImageShader( mFactoryCache,
645                              mImpl->mFlags & Impl::IS_ATLASING_APPLIED,
646                              mWrapModeU <= WrapMode::CLAMP_TO_EDGE && mWrapModeV <= WrapMode::CLAMP_TO_EDGE );
647   }
648   else
649   {
650     geometry = CreateGeometry( mFactoryCache, mImpl->mCustomShader->mGridSize );
651     if( mImpl->mCustomShader->mVertexShader.empty() && mImpl->mCustomShader->mFragmentShader.empty() )
652     {
653       shader = GetImageShader( mFactoryCache, false, true );
654     }
655     else
656     {
657       shader  = Shader::New( mImpl->mCustomShader->mVertexShader.empty() ? VERTEX_SHADER : mImpl->mCustomShader->mVertexShader,
658                              mImpl->mCustomShader->mFragmentShader.empty() ? FRAGMENT_SHADER_NO_ATLAS : mImpl->mCustomShader->mFragmentShader,
659                              mImpl->mCustomShader->mHints );
660       if( mImpl->mCustomShader->mVertexShader.empty() )
661       {
662         shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
663       }
664     }
665   }
666
667   // Set pixel align off as default.
668   // ToDo: Pixel align causes issues such as rattling image animation.
669   // We should trun it off until issues are resolved
670   shader.RegisterProperty( PIXEL_ALIGNED_UNIFORM_NAME, PIXEL_ALIGN_OFF );
671
672   mImpl->mRenderer = Renderer::New( geometry, shader );
673   if( textureSet )
674   {
675     mImpl->mRenderer.SetTextures( textureSet );
676   }
677   // else still waiting for texture load to finish.
678
679   //Register transform properties
680   mImpl->mTransform.RegisterUniforms( mImpl->mRenderer, Direction::LEFT_TO_RIGHT );
681 }
682
683 void ImageVisual::CreateNativeImageRenderer( NativeImage& nativeImage )
684 {
685   Geometry geometry;
686   Shader shader;
687
688   std::string fragmentShader;
689   const char* fragmentPreFix = nativeImage.GetCustomFragmentPreFix();
690   const char* customSamplerTypename = nativeImage.GetCustomSamplerTypename();
691
692   if( fragmentPreFix )
693   {
694     fragmentShader = fragmentPreFix;
695     fragmentShader += "\n";
696   }
697
698   if( mImpl->mCustomShader && !mImpl->mCustomShader->mFragmentShader.empty() )
699   {
700     fragmentShader += mImpl->mCustomShader->mFragmentShader;
701   }
702   else
703   {
704     fragmentShader += FRAGMENT_SHADER_NO_ATLAS;
705   }
706
707   if( customSamplerTypename )
708   {
709     fragmentShader.replace( fragmentShader.find( DEFAULT_SAMPLER_TYPENAME ), strlen( DEFAULT_SAMPLER_TYPENAME ), customSamplerTypename );
710   }
711
712   if( !mImpl->mCustomShader )
713   {
714     geometry = CreateGeometry( mFactoryCache, ImageDimensions( 1, 1 ) );
715
716     shader  = Shader::New( VERTEX_SHADER, fragmentShader );
717     shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
718   }
719   else
720   {
721     geometry = CreateGeometry( mFactoryCache, mImpl->mCustomShader->mGridSize );
722     shader  = Shader::New( mImpl->mCustomShader->mVertexShader.empty() ? VERTEX_SHADER : mImpl->mCustomShader->mVertexShader,
723                            fragmentShader,
724                            mImpl->mCustomShader->mHints );
725     if( mImpl->mCustomShader->mVertexShader.empty() )
726     {
727       shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
728     }
729   }
730
731   mImpl->mRenderer = Renderer::New( geometry, shader );
732
733   //Register transform properties
734   mImpl->mTransform.RegisterUniforms( mImpl->mRenderer, Direction::LEFT_TO_RIGHT );
735 }
736
737
738 bool ImageVisual::IsSynchronousResourceLoading() const
739 {
740   return mImpl->mFlags & Impl::IS_SYNCHRONOUS_RESOURCE_LOADING;
741 }
742
743 void ImageVisual::LoadTexture( bool& atlasing, Vector4& atlasRect, TextureSet& textures )
744 {
745   TextureManager& textureManager = mFactoryCache.GetTextureManager();
746
747   ImageAtlasManagerPtr atlasManager = nullptr;
748   AtlasUploadObserver* atlasUploadObserver = nullptr;
749   auto textureObserver = this;
750
751   if( atlasing )
752   {
753     atlasManager = mFactoryCache.GetAtlasManager();
754     atlasUploadObserver = this;
755   }
756
757   textures = textureManager.LoadTexture( mImageUrl, mDesiredSize, mFittingMode, mSamplingMode,
758                                          mMaskingData, IsSynchronousResourceLoading(), mTextureId,
759                                          atlasRect, atlasing, mLoading, mWrapModeU,
760                                          mWrapModeV, textureObserver, atlasUploadObserver, atlasManager );
761 }
762
763 void ImageVisual::InitializeRenderer()
764 {
765   auto attemptAtlasing = ( ! mImpl->mCustomShader && mImageUrl.GetProtocolType() == VisualUrl::LOCAL && mAttemptAtlasing );
766
767   // texture set has to be created first as we need to know if atlasing succeeded or not
768   // when selecting the shader
769
770   if( mTextureId == TextureManager::INVALID_TEXTURE_ID && ! mTextures ) // Only load the texture once
771   {
772     LoadTexture( attemptAtlasing, mAtlasRect, mTextures );
773   }
774
775   if( attemptAtlasing ) // Flag needs to be set before creating renderer
776   {
777     mImpl->mFlags |= Impl::IS_ATLASING_APPLIED;
778   }
779   else
780   {
781     mImpl->mFlags &= ~Impl::IS_ATLASING_APPLIED;
782   }
783
784   CreateRenderer( mTextures );
785   mTextures.Reset(); // Visual should not keep a handle to the texture after this point.
786
787   if( attemptAtlasing ) // the texture is packed inside atlas
788   {
789     mImpl->mRenderer.RegisterProperty( ATLAS_RECT_UNIFORM_NAME, mAtlasRect );
790
791     bool defaultWrapMode = mWrapModeU <= WrapMode::CLAMP_TO_EDGE && mWrapModeV <= WrapMode::CLAMP_TO_EDGE;
792
793     if( !defaultWrapMode ) // custom wrap mode
794     {
795       Vector2 wrapMode(mWrapModeU-WrapMode::CLAMP_TO_EDGE, mWrapModeV-WrapMode::CLAMP_TO_EDGE);
796       wrapMode.Clamp( Vector2::ZERO, Vector2( 2.f, 2.f ) );
797       mImpl->mRenderer.RegisterProperty( WRAP_MODE_UNIFORM_NAME, wrapMode );
798     }
799   }
800 }
801
802 void ImageVisual::InitializeRenderer( const Image& image )
803 {
804   TextureSet textures = TextureSet::New();
805
806   NativeImage nativeImage = NativeImage::DownCast( image );
807   if( nativeImage )
808   {
809     CreateNativeImageRenderer( nativeImage );
810     DALI_ASSERT_DEBUG( textures );
811     mImpl->mRenderer.SetTextures( textures );
812   }
813   else
814   {
815     // reuse existing code for regular images
816     CreateRenderer( textures ); // Textures will be retreived from Image
817   }
818   ApplyImageToSampler( image );
819 }
820
821 void ImageVisual::DoSetOnStage( Actor& actor )
822 {
823   if( mImageUrl.IsValid() )
824   {
825     InitializeRenderer();
826   }
827   else if( mImage )
828   {
829     InitializeRenderer( mImage );
830   }
831
832   if( !mImpl->mRenderer )
833   {
834     return;
835   }
836
837   mPlacementActor = actor;
838   // Search the Actor tree to find if Layer UI behaviour set.
839   Layer layer = actor.GetLayer();
840   if( layer && layer.GetBehavior() == Layer::LAYER_3D )
841   {
842      // Layer 3D set, do not align pixels
843      mImpl->mRenderer.RegisterProperty( PIXEL_ALIGNED_UNIFORM_NAME, PIXEL_ALIGN_OFF );
844   }
845
846   if( mPixelArea != FULL_TEXTURE_RECT )
847   {
848     mImpl->mRenderer.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, mPixelArea );
849   }
850
851   if( mLoading == false )
852   {
853     actor.AddRenderer( mImpl->mRenderer );
854     mPlacementActor.Reset();
855
856     // Image loaded and ready to display
857     ResourceReady();
858   }
859 }
860
861 void ImageVisual::DoSetOffStage( Actor& actor )
862 {
863   // Visual::Base::SetOffStage only calls DoSetOffStage if mRenderer exists (is on onstage)
864
865   // Image release is dependent on the ReleasePolicy, renderer is destroyed.
866   actor.RemoveRenderer( mImpl->mRenderer);
867   if( mReleasePolicy == DevelImageVisual::ReleasePolicy::DETACHED )
868   {
869     RemoveTexture(); // If INVALID_TEXTURE_ID then removal will be attempted on atlas
870   }
871
872   if( mImageUrl.IsValid() )
873   {
874     // Legacy support for deprecated Dali::Image
875     mImage.Reset();
876   }
877   mLoading = false;
878   mImpl->mRenderer.Reset();
879   mPlacementActor.Reset();
880 }
881
882 void ImageVisual::DoCreatePropertyMap( Property::Map& map ) const
883 {
884   map.Clear();
885   map.Insert( Toolkit::Visual::Property::TYPE, Toolkit::Visual::IMAGE );
886
887   bool sync = IsSynchronousResourceLoading();
888   map.Insert( SYNCHRONOUS_LOADING, sync );
889   if( mImageUrl.IsValid() )
890   {
891     map.Insert( Toolkit::ImageVisual::Property::URL, mImageUrl.GetUrl() );
892     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, mDesiredSize.GetWidth() );
893     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, mDesiredSize.GetHeight() );
894   }
895   else if( mImage )
896   {
897     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, static_cast<int>(mImage.GetWidth()) );
898     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, static_cast<int>(mImage.GetHeight()) );
899
900     ResourceImage resourceImage = ResourceImage::DownCast(mImage);
901     if( resourceImage )
902     {
903       map.Insert( Toolkit::ImageVisual::Property::URL, resourceImage.GetUrl() );
904     }
905   }
906
907   map.Insert( Toolkit::ImageVisual::Property::FITTING_MODE, mFittingMode );
908   map.Insert( Toolkit::ImageVisual::Property::SAMPLING_MODE, mSamplingMode );
909
910   map.Insert( Toolkit::ImageVisual::Property::PIXEL_AREA, mPixelArea );
911   map.Insert( Toolkit::ImageVisual::Property::WRAP_MODE_U, mWrapModeU );
912   map.Insert( Toolkit::ImageVisual::Property::WRAP_MODE_V, mWrapModeV );
913
914   map.Insert( Toolkit::ImageVisual::Property::ATLASING, mAttemptAtlasing );
915   if( mMaskingData != NULL )
916   {
917     map.Insert( Toolkit::ImageVisual::Property::ALPHA_MASK_URL, mMaskingData->mAlphaMaskUrl.GetUrl() );
918     map.Insert( Toolkit::ImageVisual::Property::MASK_CONTENT_SCALE, mMaskingData->mContentScaleFactor );
919     map.Insert( Toolkit::ImageVisual::Property::CROP_TO_MASK, mMaskingData->mCropToMask );
920   }
921
922   map.Insert( Toolkit::DevelImageVisual::Property::LOAD_POLICY, mLoadPolicy );
923   map.Insert( Toolkit::DevelImageVisual::Property::RELEASE_POLICY, mReleasePolicy );
924
925 }
926
927 void ImageVisual::DoCreateInstancePropertyMap( Property::Map& map ) const
928 {
929   map.Clear();
930   map.Insert( Toolkit::Visual::Property::TYPE, Toolkit::Visual::IMAGE );
931   if( mImageUrl.IsValid() )
932   {
933     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, mDesiredSize.GetWidth() );
934     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, mDesiredSize.GetHeight() );
935   }
936   else if( mImage )
937   {
938     map.Insert( Toolkit::ImageVisual::Property::DESIRED_WIDTH, static_cast<int>(mImage.GetWidth()) );
939     map.Insert( Toolkit::ImageVisual::Property::DESIRED_HEIGHT, static_cast<int>(mImage.GetHeight()) );
940   }
941 }
942
943 void ImageVisual::OnSetTransform()
944 {
945   if( mImpl->mRenderer )
946   {
947     mImpl->mTransform.RegisterUniforms( mImpl->mRenderer, Direction::LEFT_TO_RIGHT );
948   }
949 }
950
951 Shader ImageVisual::GetImageShader( VisualFactoryCache& factoryCache, bool atlasing, bool defaultTextureWrapping )
952 {
953   Shader shader;
954   if( atlasing )
955   {
956     if( defaultTextureWrapping )
957     {
958       shader = factoryCache.GetShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_DEFAULT_WRAP );
959       if( !shader )
960       {
961         shader = Shader::New( VERTEX_SHADER, FRAGMENT_SHADER_ATLAS_CLAMP );
962         shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
963         factoryCache.SaveShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_DEFAULT_WRAP, shader );
964       }
965     }
966     else
967     {
968       shader = factoryCache.GetShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_CUSTOM_WRAP );
969       if( !shader )
970       {
971         shader = Shader::New( VERTEX_SHADER, FRAGMENT_SHADER_ATLAS_VARIOUS_WRAP );
972         shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
973         factoryCache.SaveShader( VisualFactoryCache::IMAGE_SHADER_ATLAS_CUSTOM_WRAP, shader );
974       }
975     }
976   }
977   else
978   {
979     shader = factoryCache.GetShader( VisualFactoryCache::IMAGE_SHADER );
980     if( !shader )
981     {
982       shader = Shader::New( VERTEX_SHADER, FRAGMENT_SHADER_NO_ATLAS );
983       shader.RegisterProperty( PIXEL_AREA_UNIFORM_NAME, FULL_TEXTURE_RECT );
984       factoryCache.SaveShader( VisualFactoryCache::IMAGE_SHADER, shader );
985     }
986   }
987
988   return shader;
989 }
990
991 void ImageVisual::ApplyImageToSampler( const Image& image )
992 {
993   if( image )
994   {
995     TextureSet textureSet = mImpl->mRenderer.GetTextures();
996     DALI_ASSERT_DEBUG( textureSet ); // texture set should always exist by this time
997
998     TextureSetImage( textureSet, 0u, image );
999     Sampler sampler = Sampler::New();
1000     sampler.SetWrapMode(  mWrapModeU, mWrapModeV  );
1001     textureSet.SetSampler( 0u, sampler );
1002   }
1003 }
1004
1005 // From existing atlas manager
1006 void ImageVisual::UploadCompleted()
1007 {
1008   // Texture has been uploaded. If weak handle is holding a placement actor, it is the time to add the renderer to actor.
1009   Actor actor = mPlacementActor.GetHandle();
1010   if( actor )
1011   {
1012     mImpl->mRenderer.RegisterProperty( ATLAS_RECT_UNIFORM_NAME, mAtlasRect );
1013     actor.AddRenderer( mImpl->mRenderer );
1014     // reset the weak handle so that the renderer only get added to actor once
1015     mPlacementActor.Reset();
1016   }
1017   mLoading = false;
1018 }
1019
1020 // From Texture Manager
1021 void ImageVisual::UploadComplete( bool loadingSuccess, int32_t textureId, TextureSet textureSet, bool usingAtlas, const Vector4& atlasRectangle )
1022 {
1023   Actor actor = mPlacementActor.GetHandle();
1024   if( actor )
1025   {
1026     if( mImpl->mRenderer )
1027     {
1028       if( usingAtlas )
1029       {
1030         mImpl->mRenderer.RegisterProperty( ATLAS_RECT_UNIFORM_NAME, mAtlasRect );
1031       }
1032
1033       actor.AddRenderer( mImpl->mRenderer );
1034       // reset the weak handle so that the renderer only get added to actor once
1035       mPlacementActor.Reset();
1036       if( loadingSuccess )
1037       {
1038         Sampler sampler = Sampler::New();
1039         sampler.SetWrapMode(  mWrapModeU, mWrapModeV  );
1040         textureSet.SetSampler( 0u, sampler );
1041         mImpl->mRenderer.SetTextures(textureSet);
1042       }
1043       else
1044       {
1045         Image brokenImage = VisualFactoryCache::GetBrokenVisualImage();
1046
1047         textureSet = TextureSet::New();
1048         mImpl->mRenderer.SetTextures( textureSet );
1049
1050         ApplyImageToSampler( brokenImage );
1051       }
1052       // Image loaded and ready to display
1053       ResourceReady();
1054     }
1055   }
1056   mLoading = false;
1057 }
1058
1059 void ImageVisual::RemoveTexture()
1060 {
1061   if( mTextureId != TextureManager::INVALID_TEXTURE_ID )
1062   {
1063     mFactoryCache.GetTextureManager().Remove( mTextureId );
1064     mTextureId = TextureManager::INVALID_TEXTURE_ID;
1065   }
1066   else
1067   {
1068     Vector4 atlasRect( 0.f, 0.f, 1.f, 1.f );
1069     Property::Index index = mImpl->mRenderer.GetPropertyIndex( ATLAS_RECT_UNIFORM_NAME );
1070     if( index != Property::INVALID_INDEX )
1071     {
1072       Property::Value atlasRectValue = mImpl->mRenderer.GetProperty( index );
1073       atlasRectValue.Get( atlasRect );
1074     }
1075
1076     TextureSet textureSet = mImpl->mRenderer.GetTextures();
1077     mImpl->mRenderer.Reset();
1078
1079     if( index != Property::INVALID_INDEX )
1080     {
1081       mFactoryCache.GetAtlasManager()->Remove( textureSet, atlasRect );
1082     }
1083   }
1084 }
1085
1086 } // namespace Internal
1087
1088 } // namespace Toolkit
1089
1090 } // namespace Dali