runtime/onert/core/include/backend/basic/DynamicTensorManager.h

   1 /*
   2  * Copyright (c) 2020 Samsung Electronics Co., Ltd. All Rights Reserved
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #ifndef __ONERT_BACKEND_BASIC_DYNAMICTENSOR_MANAGER_H__
  18 #define __ONERT_BACKEND_BASIC_DYNAMICTENSOR_MANAGER_H__
  19
  20 #include "MemoryManager.h"
  21 #include "TensorRegistry.h"
  22
  23 #include <ir/OperandInfo.h>
  24 #include <ir/IOperation.h>
  25 #include <ir/Index.h>
  26
  27 #include <unordered_set>
  28
  29 namespace onert
  30 {
  31 namespace backend
  32 {
  33 namespace basic
  34 {
  35
  36 // TODO Find optimized algorithm to manage memory.
  37
  38 /**
  39  * @brief Class to manage dynamic tensor and its memory
  40  */
  41 class DynamicTensorManager
  42 {
  43 public:
  44   DynamicTensorManager(const std::shared_ptr<TensorRegistry> &reg);
  45
  46   virtual ~DynamicTensorManager() = default;
  47
  48   void buildTensor(const ir::OperandIndex &ind, const ir::OperandInfo &tensor_info,
  49                    ir::Layout backend_layout);
  50
  51   std::shared_ptr<DynamicMemoryManager> dynamic_mem_mgr() { return _dynamic_mem_mgr; }
  52
  53 private:
  54   const ITensor *getRawITensor(ir::OperandIndex ind);
  55
  56 private:
  57   /**
  58    * @brief Memory manager for dynamic tensor.
  59    * @todo  DynamicMemoryManager is not optimized. Optimized one is needed
  60    */
  61   std::shared_ptr<DynamicMemoryManager> _dynamic_mem_mgr;
  62   const std::shared_ptr<TensorRegistry> _tensors;
  63
  64   // contains list of dynamic tensor index, which can be deallocated after running operation
  65   // note: this map could contain static tensor index too. Careful use is required.
  66   std::unordered_map<ir::OperationIndex, std::unordered_set<backend::ITensor *>>
  67     _dealloc_tensor_map;
  68 };
  69
  70 } // namespace basic
  71 } // namespace backend
  72 } // namespace onert
  73
  74 #endif // __ONERT_BACKEND_BASIC_DYNAMICTENSOR_MANAGER_H__