dali/internal/imaging/tizen/native-image-source-queue-impl-tizen.cpp

   1 /*
   2  * Copyright (c) 2021 Samsung Electronics Co., Ltd.
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  * http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  *
  16  */
  17
  18 // CLASS HEADER
  19 #include <dali/internal/imaging/tizen/native-image-source-queue-impl-tizen.h>
  20
  21 // EXTERNAL INCLUDES
  22 #include <dali/integration-api/debug.h>
  23 #include <dali/integration-api/gl-defines.h>
  24 #include <tbm_surface_internal.h>
  25
  26 // INTERNAL INCLUDES
  27 #include <dali/internal/adaptor/common/adaptor-impl.h>
  28 #include <dali/internal/graphics/common/egl-image-extensions.h>
  29 #include <dali/internal/graphics/gles/egl-graphics.h>
  30
  31 namespace Dali
  32 {
  33 namespace Internal
  34 {
  35 namespace Adaptor
  36 {
  37 namespace
  38 {
  39 #define TBM_SURFACE_QUEUE_SIZE 3
  40
  41 const char* FRAGMENT_PREFIX = "#extension GL_OES_EGL_image_external:require\n";
  42 const char* SAMPLER_TYPE    = "samplerExternalOES";
  43
  44 // clang-format off
  45 int FORMATS_BLENDING_REQUIRED[] = {
  46   TBM_FORMAT_ARGB4444, TBM_FORMAT_ABGR4444,
  47   TBM_FORMAT_RGBA4444, TBM_FORMAT_BGRA4444,
  48   TBM_FORMAT_RGBX5551, TBM_FORMAT_BGRX5551,
  49   TBM_FORMAT_ARGB1555, TBM_FORMAT_ABGR1555,
  50   TBM_FORMAT_RGBA5551, TBM_FORMAT_BGRA5551,
  51   TBM_FORMAT_ARGB8888, TBM_FORMAT_ABGR8888,
  52   TBM_FORMAT_RGBA8888, TBM_FORMAT_BGRA8888,
  53   TBM_FORMAT_ARGB2101010, TBM_FORMAT_ABGR2101010,
  54   TBM_FORMAT_RGBA1010102, TBM_FORMAT_BGRA1010102
  55 };
  56 // clang-format on
  57
  58 const int NUM_FORMATS_BLENDING_REQUIRED = 18;
  59
  60 } // namespace
  61
  62 NativeImageSourceQueueTizen* NativeImageSourceQueueTizen::New(uint32_t width, uint32_t height, Dali::NativeImageSourceQueue::ColorFormat colorFormat, Any nativeImageSourceQueue)
  63 {
  64   NativeImageSourceQueueTizen* image = new NativeImageSourceQueueTizen(width, height, colorFormat, nativeImageSourceQueue);
  65   DALI_ASSERT_DEBUG(image && "NativeImageSourceQueueTizen allocation failed.");
  66
  67   if(image)
  68   {
  69     image->Initialize(colorFormat);
  70   }
  71
  72   return image;
  73 }
  74
  75 NativeImageSourceQueueTizen::NativeImageSourceQueueTizen(uint32_t width, uint32_t height, Dali::NativeImageSourceQueue::ColorFormat colorFormat, Any nativeImageSourceQueue)
  76 : mMutex(),
  77   mWidth(width),
  78   mHeight(height),
  79   mTbmQueue(NULL),
  80   mConsumeSurface(NULL),
  81   mEglImages(),
  82   mBuffers(),
  83   mEglGraphics(NULL),
  84   mEglImageExtensions(NULL),
  85   mOwnTbmQueue(false),
  86   mBlendingRequired(false)
  87 {
  88   DALI_ASSERT_ALWAYS(Adaptor::IsAvailable());
  89
  90   GraphicsInterface* graphics = &(Adaptor::GetImplementation(Adaptor::Get()).GetGraphicsInterface());
  91   mEglGraphics                = static_cast<EglGraphics*>(graphics);
  92
  93   mTbmQueue = GetSurfaceFromAny(nativeImageSourceQueue);
  94
  95   if(mTbmQueue != NULL)
  96   {
  97     mBlendingRequired = CheckBlending(tbm_surface_queue_get_format(mTbmQueue));
  98     mWidth            = tbm_surface_queue_get_width(mTbmQueue);
  99     mHeight           = tbm_surface_queue_get_height(mTbmQueue);
 100   }
 101 }
 102
 103 NativeImageSourceQueueTizen::~NativeImageSourceQueueTizen()
 104 {
 105   if(mOwnTbmQueue)
 106   {
 107     if(mTbmQueue != NULL)
 108     {
 109       tbm_surface_queue_destroy(mTbmQueue);
 110     }
 111   }
 112 }
 113
 114 void NativeImageSourceQueueTizen::Initialize(Dali::NativeImageSourceQueue::ColorFormat colorFormat)
 115 {
 116   if(mWidth == 0 || mHeight == 0)
 117   {
 118     return;
 119   }
 120
 121   if(mTbmQueue == NULL)
 122   {
 123     int tbmFormat = TBM_FORMAT_ARGB8888;
 124
 125     switch(colorFormat)
 126     {
 127       case Dali::NativeImageSourceQueue::ColorFormat::RGBA8888:
 128       {
 129         tbmFormat         = TBM_FORMAT_ARGB8888;
 130         mBlendingRequired = true;
 131         break;
 132       }
 133       case Dali::NativeImageSourceQueue::ColorFormat::RGBX8888:
 134       {
 135         tbmFormat         = TBM_FORMAT_XRGB8888;
 136         mBlendingRequired = false;
 137         break;
 138       }
 139       case Dali::NativeImageSourceQueue::ColorFormat::RGB888:
 140       {
 141         tbmFormat         = TBM_FORMAT_RGB888;
 142         mBlendingRequired = false;
 143         break;
 144       }
 145       default:
 146       {
 147         DALI_LOG_WARNING("Wrong color format.\n");
 148         return;
 149       }
 150     }
 151
 152     mTbmQueue = tbm_surface_queue_create(TBM_SURFACE_QUEUE_SIZE, mWidth, mHeight, tbmFormat, 0);
 153     if(!mTbmQueue)
 154     {
 155       DALI_LOG_ERROR("NativeImageSourceQueueTizen::Initialize: tbm_surface_queue_create is failed! [%p]\n", mTbmQueue);
 156       return;
 157     }
 158
 159     mOwnTbmQueue = true;
 160   }
 161 }
 162
 163 tbm_surface_queue_h NativeImageSourceQueueTizen::GetSurfaceFromAny(Any source) const
 164 {
 165   if(source.Empty())
 166   {
 167     return NULL;
 168   }
 169
 170   if(source.GetType() == typeid(tbm_surface_queue_h))
 171   {
 172     return AnyCast<tbm_surface_queue_h>(source);
 173   }
 174   else
 175   {
 176     return NULL;
 177   }
 178 }
 179
 180 Any NativeImageSourceQueueTizen::GetNativeImageSourceQueue() const
 181 {
 182   return Any(mTbmQueue);
 183 }
 184
 185 void NativeImageSourceQueueTizen::SetSize(uint32_t width, uint32_t height)
 186 {
 187   Dali::Mutex::ScopedLock lock(mMutex);
 188
 189   tbm_surface_queue_reset(mTbmQueue, width, height, tbm_surface_queue_get_format(mTbmQueue));
 190
 191   mWidth  = width;
 192   mHeight = height;
 193
 194   ResetEglImageList();
 195 }
 196
 197 void NativeImageSourceQueueTizen::IgnoreSourceImage()
 198 {
 199   Dali::Mutex::ScopedLock lock(mMutex);
 200   tbm_surface_h           surface;
 201
 202   if(tbm_surface_queue_can_acquire(mTbmQueue, 0))
 203   {
 204     if(tbm_surface_queue_acquire(mTbmQueue, &surface) != TBM_SURFACE_QUEUE_ERROR_NONE)
 205     {
 206       DALI_LOG_ERROR("NativeImageSourceQueueTizen::IgnoreSourceImage: Failed to aquire a tbm_surface\n");
 207       return;
 208     }
 209
 210     if(tbm_surface_internal_is_valid(surface))
 211     {
 212       tbm_surface_queue_release(mTbmQueue, surface);
 213     }
 214   }
 215 }
 216
 217 bool NativeImageSourceQueueTizen::CanDequeueBuffer()
 218 {
 219   Dali::Mutex::ScopedLock lock(mMutex);
 220   if(tbm_surface_queue_can_dequeue(mTbmQueue, 0))
 221   {
 222     return true;
 223   }
 224   return false;
 225 }
 226
 227 uint8_t* NativeImageSourceQueueTizen::DequeueBuffer(uint32_t& width, uint32_t& height, uint32_t& stride)
 228 {
 229   Dali::Mutex::ScopedLock lock(mMutex);
 230   if(mTbmQueue == NULL)
 231   {
 232     DALI_LOG_ERROR("TbmQueue is NULL");
 233     return NULL;
 234   }
 235
 236   tbm_surface_h tbmSurface;
 237   if(tbm_surface_queue_dequeue(mTbmQueue, &tbmSurface) != TBM_SURFACE_QUEUE_ERROR_NONE)
 238   {
 239     DALI_LOG_ERROR("Failed to dequeue a tbm_surface [%p]\n", tbmSurface);
 240     return NULL;
 241   }
 242
 243   tbm_surface_info_s info;
 244   int                ret = tbm_surface_map(tbmSurface, TBM_OPTION_WRITE, &info);
 245   if(ret != TBM_SURFACE_ERROR_NONE)
 246   {
 247     DALI_LOG_ERROR("tbm_surface_map is failed! [%d] [%p]\n", ret, tbmSurface);
 248     tbm_surface_queue_cancel_dequeue(mTbmQueue, tbmSurface);
 249     return NULL;
 250   }
 251
 252   unsigned char* buffer = info.planes[0].ptr;
 253   if(!buffer)
 254   {
 255     DALI_LOG_ERROR("tbm buffer pointer is null! [%p]\n", tbmSurface);
 256     tbm_surface_unmap(tbmSurface);
 257     tbm_surface_queue_cancel_dequeue(mTbmQueue, tbmSurface);
 258     return NULL;
 259   }
 260
 261   tbm_surface_internal_ref(tbmSurface);
 262
 263   stride = info.planes[0].stride;
 264   width  = mWidth;
 265   height = mHeight;
 266
 267   // Push the buffer
 268   mBuffers.push_back(BufferPair(tbmSurface, buffer));
 269   return buffer;
 270 }
 271
 272 bool NativeImageSourceQueueTizen::EnqueueBuffer(uint8_t* buffer)
 273 {
 274   Dali::Mutex::ScopedLock lock(mMutex);
 275   auto                    bufferInstance = std::find_if(mBuffers.begin(),
 276                                      mBuffers.end(),
 277                                      [buffer](BufferPair pair) { return (pair.second == buffer); });
 278   if(bufferInstance != mBuffers.end())
 279   {
 280     tbm_surface_internal_unref((*bufferInstance).first);
 281     tbm_surface_unmap((*bufferInstance).first);
 282     tbm_surface_queue_enqueue(mTbmQueue, (*bufferInstance).first);
 283     mBuffers.erase(bufferInstance);
 284     return true;
 285   }
 286   return false;
 287 }
 288
 289 bool NativeImageSourceQueueTizen::CreateResource()
 290 {
 291   mEglImageExtensions = mEglGraphics->GetImageExtensions();
 292   DALI_ASSERT_DEBUG(mEglImageExtensions);
 293
 294   return true;
 295 }
 296
 297 void NativeImageSourceQueueTizen::DestroyResource()
 298 {
 299   Dali::Mutex::ScopedLock lock(mMutex);
 300
 301   ResetEglImageList();
 302 }
 303
 304 uint32_t NativeImageSourceQueueTizen::TargetTexture()
 305 {
 306   return 0;
 307 }
 308
 309 void NativeImageSourceQueueTizen::PrepareTexture()
 310 {
 311   Dali::Mutex::ScopedLock lock(mMutex);
 312
 313   tbm_surface_h oldSurface = mConsumeSurface;
 314
 315   if(tbm_surface_queue_can_acquire(mTbmQueue, 0))
 316   {
 317     if(tbm_surface_queue_acquire(mTbmQueue, &mConsumeSurface) != TBM_SURFACE_QUEUE_ERROR_NONE)
 318     {
 319       DALI_LOG_ERROR("Failed to aquire a tbm_surface\n");
 320       return;
 321     }
 322
 323     if(oldSurface)
 324     {
 325       if(tbm_surface_internal_is_valid(oldSurface))
 326       {
 327         tbm_surface_queue_release(mTbmQueue, oldSurface);
 328       }
 329     }
 330
 331     if(mConsumeSurface)
 332     {
 333       bool existing = false;
 334       for(auto&& iter : mEglImages)
 335       {
 336         if(iter.first == mConsumeSurface)
 337         {
 338           // Find the surface in the existing list
 339           existing = true;
 340           mEglImageExtensions->TargetTextureKHR(iter.second);
 341           break;
 342         }
 343       }
 344
 345       if(!existing)
 346       {
 347         // Push the surface
 348         tbm_surface_internal_ref(mConsumeSurface);
 349
 350         void* eglImageKHR = mEglImageExtensions->CreateImageKHR(reinterpret_cast<EGLClientBuffer>(mConsumeSurface));
 351         mEglImageExtensions->TargetTextureKHR(eglImageKHR);
 352
 353         mEglImages.push_back(EglImagePair(mConsumeSurface, eglImageKHR));
 354       }
 355     }
 356   }
 357 }
 358
 359 const char* NativeImageSourceQueueTizen::GetCustomFragmentPrefix() const
 360 {
 361   return FRAGMENT_PREFIX;
 362 }
 363
 364 bool NativeImageSourceQueueTizen::ApplyNativeFragmentShader(std::string& shader)
 365 {
 366   return mEglGraphics->ApplyNativeFragmentShader(shader, SAMPLER_TYPE);
 367 }
 368
 369 const char* NativeImageSourceQueueTizen::GetCustomSamplerTypename() const
 370 {
 371   return SAMPLER_TYPE;
 372 }
 373
 374 int NativeImageSourceQueueTizen::GetTextureTarget() const
 375 {
 376   return GL_TEXTURE_EXTERNAL_OES;
 377 }
 378
 379 Any NativeImageSourceQueueTizen::GetNativeImageHandle() const
 380 {
 381   return nullptr;
 382 }
 383
 384 bool NativeImageSourceQueueTizen::SourceChanged() const
 385 {
 386   return false;
 387 }
 388
 389 void NativeImageSourceQueueTizen::ResetEglImageList()
 390 {
 391   if(mConsumeSurface)
 392   {
 393     if(tbm_surface_internal_is_valid(mConsumeSurface))
 394     {
 395       tbm_surface_queue_release(mTbmQueue, mConsumeSurface);
 396     }
 397     mConsumeSurface = NULL;
 398   }
 399
 400   for(auto&& iter : mEglImages)
 401   {
 402     mEglImageExtensions->DestroyImageKHR(iter.second);
 403
 404     tbm_surface_internal_unref(iter.first);
 405   }
 406   mEglImages.clear();
 407 }
 408
 409 bool NativeImageSourceQueueTizen::CheckBlending(int format)
 410 {
 411   for(int i = 0; i < NUM_FORMATS_BLENDING_REQUIRED; ++i)
 412   {
 413     if(format == FORMATS_BLENDING_REQUIRED[i])
 414     {
 415       return true;
 416     }
 417   }
 418
 419   return false;
 420 }
 421
 422 } // namespace Adaptor
 423
 424 } // namespace Internal
 425
 426 } // namespace Dali