src/runtime/TensorAllocator.cpp

   1 /*
   2  * Copyright (c) 2016-2018 ARM Limited.
   3  *
   4  * SPDX-License-Identifier: MIT
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to
   8  * deal in the Software without restriction, including without limitation the
   9  * rights to use, copy, modify, merge, publish, distribute, sublicense, and/or
  10  * sell copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in all
  14  * copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  22  * SOFTWARE.
  23  */
  24 #include "arm_compute/runtime/TensorAllocator.h"
  25
  26 #include "arm_compute/core/Coordinates.h"
  27 #include "arm_compute/core/Error.h"
  28 #include "arm_compute/core/TensorInfo.h"
  29 #include "arm_compute/runtime/MemoryGroup.h"
  30 #include "arm_compute/runtime/MemoryRegion.h"
  31 #include "support/ToolchainSupport.h"
  32
  33 #include <cstddef>
  34
  35 using namespace arm_compute;
  36
  37 namespace
  38 {
  39 bool validate_subtensor_shape(const TensorInfo &parent_info, const TensorInfo &child_info, const Coordinates &coords)
  40 {
  41     bool               is_valid     = true;
  42     const TensorShape &parent_shape = parent_info.tensor_shape();
  43     const TensorShape &child_shape  = child_info.tensor_shape();
  44     const size_t       parent_dims  = parent_info.num_dimensions();
  45     const size_t       child_dims   = child_info.num_dimensions();
  46
  47     if(child_dims <= parent_dims)
  48     {
  49         for(size_t num_dimensions = child_dims; num_dimensions > 0; --num_dimensions)
  50         {
  51             const size_t child_dim_size = coords[num_dimensions - 1] + child_shape[num_dimensions - 1];
  52
  53             if((coords[num_dimensions - 1] < 0) || (child_dim_size > parent_shape[num_dimensions - 1]))
  54             {
  55                 is_valid = false;
  56                 break;
  57             }
  58         }
  59     }
  60     else
  61     {
  62         is_valid = false;
  63     }
  64
  65     return is_valid;
  66 }
  67 } // namespace
  68
  69 TensorAllocator::TensorAllocator(Tensor *owner)
  70     : _associated_memory_group(nullptr), _memory(), _owner(owner)
  71 {
  72 }
  73
  74 TensorAllocator::~TensorAllocator()
  75 {
  76     info().set_is_resizable(true);
  77 }
  78
  79 TensorAllocator::TensorAllocator(TensorAllocator &&o) noexcept
  80     : ITensorAllocator(std::move(o)),
  81       _associated_memory_group(o._associated_memory_group),
  82       _memory(std::move(o._memory)),
  83       _owner(o._owner)
  84 {
  85     o._associated_memory_group = nullptr;
  86     o._memory                  = Memory();
  87     o._owner                   = nullptr;
  88 }
  89
  90 TensorAllocator &TensorAllocator::operator=(TensorAllocator &&o) noexcept
  91 {
  92     if(&o != this)
  93     {
  94         _associated_memory_group   = o._associated_memory_group;
  95         o._associated_memory_group = nullptr;
  96
  97         _memory   = std::move(o._memory);
  98         o._memory = Memory();
  99
 100         _owner   = o._owner;
 101         o._owner = nullptr;
 102
 103         ITensorAllocator::operator=(std::move(o));
 104     }
 105     return *this;
 106 }
 107
 108 void TensorAllocator::init(const TensorAllocator &allocator, const Coordinates &coords, TensorInfo sub_info)
 109 {
 110     // Get parent info
 111     const TensorInfo parent_info = allocator.info();
 112
 113     // Check if coordinates and new shape are within the parent tensor
 114     ARM_COMPUTE_ERROR_ON(!validate_subtensor_shape(parent_info, sub_info, coords));
 115     ARM_COMPUTE_UNUSED(validate_subtensor_shape);
 116
 117     // Copy pointer to buffer
 118     _memory = Memory(allocator._memory.region());
 119
 120     // Init tensor info with new dimensions
 121     size_t total_size = parent_info.offset_element_in_bytes(coords) + sub_info.total_size() - sub_info.offset_first_element_in_bytes();
 122     sub_info.init(sub_info.tensor_shape(), sub_info.format(), parent_info.strides_in_bytes(), parent_info.offset_element_in_bytes(coords), total_size);
 123
 124     // Set TensorInfo
 125     init(sub_info);
 126 }
 127
 128 uint8_t *TensorAllocator::data() const
 129 {
 130     ARM_COMPUTE_ERROR_ON(_memory.region() == nullptr);
 131     return reinterpret_cast<uint8_t *>(_memory.region()->buffer());
 132 }
 133
 134 void TensorAllocator::allocate()
 135 {
 136     ARM_COMPUTE_ERROR_ON(_memory.region() == nullptr);
 137     ARM_COMPUTE_ERROR_ON(_memory.region()->buffer() != nullptr);
 138
 139     if(_associated_memory_group == nullptr)
 140     {
 141         _memory = Memory(std::make_shared<MemoryRegion>(info().total_size()));
 142     }
 143     else
 144     {
 145         _associated_memory_group->finalize_memory(_owner, reinterpret_cast<void **>(_memory.region()->handle()), info().total_size());
 146         _memory.region()->set_size(info().total_size());
 147     }
 148     info().set_is_resizable(false);
 149 }
 150
 151 void TensorAllocator::free()
 152 {
 153     _memory = Memory();
 154     info().set_is_resizable(true);
 155 }
 156
 157 arm_compute::Status TensorAllocator::import_memory(Memory memory)
 158 {
 159     ARM_COMPUTE_ERROR_ON(_memory.region() == nullptr);
 160     ARM_COMPUTE_RETURN_ERROR_ON(memory.region()->buffer() == nullptr);
 161     ARM_COMPUTE_RETURN_ERROR_ON(_associated_memory_group != nullptr);
 162     _memory = memory;
 163     info().set_is_resizable(false);
 164
 165     return Status{};
 166 }
 167
 168 void TensorAllocator::set_associated_memory_group(MemoryGroup *associated_memory_group)
 169 {
 170     ARM_COMPUTE_ERROR_ON(_memory.region() == nullptr);
 171     ARM_COMPUTE_ERROR_ON(associated_memory_group == nullptr);
 172     ARM_COMPUTE_ERROR_ON(_associated_memory_group != nullptr);
 173     ARM_COMPUTE_ERROR_ON(_memory.region()->buffer() != nullptr);
 174     _associated_memory_group = associated_memory_group;
 175 }
 176
 177 uint8_t *TensorAllocator::lock()
 178 {
 179     ARM_COMPUTE_ERROR_ON(_memory.region() == nullptr);
 180     return reinterpret_cast<uint8_t *>(_memory.region()->buffer());
 181 }
 182
 183 void TensorAllocator::unlock()
 184 {
 185 }