runtime/onert/backend/acl_neon/ConstantInitializer.cc

   1 /*
   2  * Copyright (c) 2019 Samsung Electronics Co., Ltd. All Rights Reserved
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #include "ConstantInitializer.h"
  18
  19 namespace onert
  20 {
  21 namespace backend
  22 {
  23 namespace acl_neon
  24 {
  25
  26 ConstantInitializer::ConstantInitializer(const ir::Operands &operands,
  27                                          const std::shared_ptr<TensorBuilder> &tensor_builder)
  28     : IConstantInitializer{operands}, _tensor_builder{tensor_builder}
  29 {
  30   // DO NOTHING
  31 }
  32
  33 void ConstantInitializer::copyInputInitialize(const ir::Operation &node, uint32_t index)
  34 {
  35   assert(node.getInputs().size() > index);
  36
  37   const auto &input_index = node.getInputs().at(index);
  38   const auto &input_obj = _operands.at(input_index);
  39   registerCopyInitializer(input_index, input_obj);
  40 }
  41
  42 void ConstantInitializer::permuteInputInitialize(const ir::Operation &node, uint32_t index)
  43 {
  44   assert(node.getInputs().size() > index);
  45
  46   const auto &input_index = node.getInputs().at(index);
  47   const auto &input_obj = _operands.at(input_index);
  48   registerPermuteInitializer(input_index, input_obj);
  49 }
  50
  51 void ConstantInitializer::visit(const ir::operation::BatchToSpaceND &node)
  52 {
  53   const auto &block_size_index = node.getInputs().at(ir::operation::BatchToSpaceND::BLOCK_SIZE);
  54   const auto &block_size_obj = _operands.at(block_size_index);
  55
  56   if (block_size_obj.isConstant())
  57   {
  58     _init_map[block_size_index] = [](const ir::Operand &model_obj, backend::ITensor &obj) {
  59       assert(model_obj.data());
  60       const auto &shape = model_obj.shape();
  61       const auto base = reinterpret_cast<const int32_t *>(model_obj.data()->base());
  62       assert(model_obj.shape().rank() == 1);
  63       obj.access([&](ITensor &tensor) {
  64         for (size_t i = 0; i < shape.num_elements(); ++i)
  65         {
  66           const int32_t value = base[shape.num_elements() - i - 1];
  67           int32_t *into = reinterpret_cast<int32_t *>(tensor.buffer() +
  68                                                       tensor.calcOffset({static_cast<int32_t>(i)}));
  69           *into = value;
  70         }
  71       });
  72     };
  73   }
  74 }
  75
  76 void ConstantInitializer::visit(const ir::operation::Conv2D &node)
  77 {
  78   permuteInputInitialize(node, ir::operation::Conv2D::KERNEL);
  79   copyInputInitialize(node, ir::operation::Conv2D::BIAS);
  80 }
  81
  82 void ConstantInitializer::visit(const ir::operation::DepthwiseConv2D &node)
  83 {
  84   permuteInputInitialize(node, ir::operation::DepthwiseConv2D::KERNEL);
  85   copyInputInitialize(node, ir::operation::DepthwiseConv2D::BIAS);
  86 }
  87
  88 void ConstantInitializer::visit(const ir::operation::FullyConnected &node)
  89 {
  90   copyInputInitialize(node, ir::operation::FullyConnected::WEIGHT);
  91   copyInputInitialize(node, ir::operation::FullyConnected::BIAS);
  92 }
  93
  94 void ConstantInitializer::visit(const ir::operation::LSTM &node)
  95 {
  96   copyInputInitialize(node, ir::operation::LSTM::INPUT_TO_INPUT_WEIGHTS);
  97   copyInputInitialize(node, ir::operation::LSTM::INPUT_TO_FORGET_WEIGHTS);
  98   copyInputInitialize(node, ir::operation::LSTM::INPUT_TO_CELL_WEIGHTS);
  99   copyInputInitialize(node, ir::operation::LSTM::INPUT_TO_OUTPUT_WEIGHTS);
 100   copyInputInitialize(node, ir::operation::LSTM::RECURRENT_TO_INPUT_WEIGHTS);
 101   copyInputInitialize(node, ir::operation::LSTM::RECURRENT_TO_FORGET_WEIGHTS);
 102   copyInputInitialize(node, ir::operation::LSTM::RECURRENT_TO_CELL_WEIGHTS);
 103   copyInputInitialize(node, ir::operation::LSTM::RECURRENT_TO_OUTPUT_WEIGHTS);
 104   copyInputInitialize(node, ir::operation::LSTM::CELL_TO_INPUT_WEIGHTS);
 105   copyInputInitialize(node, ir::operation::LSTM::CELL_TO_FORGET_WEIGHTS);
 106   copyInputInitialize(node, ir::operation::LSTM::CELL_TO_OUTPUT_WEIGHTS);
 107   copyInputInitialize(node, ir::operation::LSTM::INPUT_GATE_BIAS);
 108   copyInputInitialize(node, ir::operation::LSTM::FORGET_GATE_BIAS);
 109   copyInputInitialize(node, ir::operation::LSTM::OUTPUT_GATE_BIAS);
 110   copyInputInitialize(node, ir::operation::LSTM::PROJECTION_WEIGHTS);
 111   copyInputInitialize(node, ir::operation::LSTM::PROJECTION_BIAS);
 112 }
 113
 114 void ConstantInitializer::visit(const ir::operation::RNN &node)
 115 {
 116   copyInputInitialize(node, ir::operation::RNN::WEIGHTS);
 117   copyInputInitialize(node, ir::operation::RNN::RECURRENT_WEIGHTS);
 118   copyInputInitialize(node, ir::operation::RNN::BIAS);
 119 }
 120
 121 void ConstantInitializer::visit(const ir::operation::SpaceToBatchND &node)
 122 {
 123   const auto &block_size_index = node.getInputs().at(ir::operation::SpaceToBatchND::BLOCK_SIZE);
 124   const auto &block_size_obj = _operands.at(block_size_index);
 125
 126   if (block_size_obj.isConstant())
 127   {
 128     _init_map[block_size_index] = [](const ir::Operand &model_obj, backend::ITensor &obj) {
 129       assert(model_obj.data());
 130       const auto &shape = model_obj.shape();
 131       const auto base = reinterpret_cast<const int32_t *>(model_obj.data()->base());
 132       assert(model_obj.shape().rank() == 1);
 133       obj.access([&](ITensor &tensor) {
 134         for (size_t i = 0; i < shape.num_elements(); ++i)
 135         {
 136           const int32_t value = base[shape.num_elements() - i - 1];
 137           int32_t *into = reinterpret_cast<int32_t *>(tensor.buffer() +
 138                                                       tensor.calcOffset({static_cast<int32_t>(i)}));
 139           *into = value;
 140         }
 141       });
 142     };
 143   }
 144
 145   const auto &paddings_index = node.getInputs().at(ir::operation::SpaceToBatchND::PADDINGS);
 146   const auto &paddings_obj = _operands.at(paddings_index);
 147   if (paddings_obj.isConstant())
 148   {
 149     _init_map[paddings_index] = [](const ir::Operand &model_obj, backend::ITensor &obj) {
 150       assert(model_obj.data());
 151       const auto &shape = model_obj.shape();
 152       const auto base = reinterpret_cast<const int32_t *>(model_obj.data()->base());
 153       assert(model_obj.shape().rank() == 2);
 154       assert(shape.dim(0) == 2);
 155       assert(shape.dim(1) == 2);
 156       obj.access([&](ITensor &tensor) {
 157         for (auto i = 0; i < shape.dim(0); ++i)
 158         {
 159           for (auto j = 0; j < shape.dim(1); ++j)
 160           {
 161             const int32_t value = base[i * 2 + j];
 162             int32_t *into = reinterpret_cast<int32_t *>(
 163                 // The coordinates of NETensor are different from the coordiantes of CLTensor in
 164                 // this operand.
 165                 // NEON : {j, reversed i}
 166                 // CL : {reversed i, j}
 167                 tensor.buffer() + tensor.calcOffset({j, shape.dim(0) - i - 1}));
 168             *into = value;
 169           }
 170         }
 171       });
 172     };
 173   }
 174 }
 175
 176 void ConstantInitializer::visit(const ir::operation::TransposeConv &node)
 177 {
 178   permuteInputInitialize(node, ir::operation::TransposeConv::KERNEL);
 179 }
 180
 181 } // namespace acl_neon
 182 } // namespace backend
 183 } // namespace onert