runtime/onert/backend/cpu/ops/FullyConnectedLayer.h

   1 /*
   2  * Copyright (c) 2018 Samsung Electronics Co., Ltd. All Rights Reserved
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #ifndef __ONERT_BACKEND_CPU_OPS_FULLYCONNECTEDLAYER_H__
  18 #define __ONERT_BACKEND_CPU_OPS_FULLYCONNECTEDLAYER_H__
  19
  20 #include <backend/IPortableTensor.h>
  21 #include "../ExternalContext.h"
  22 #include "OperationUtils.h"
  23
  24 #include <exec/IFunction.h>
  25
  26 namespace nnfw
  27 {
  28 namespace cker
  29 {
  30 class FCTempArena;
  31 }
  32 } // namespace nnfw
  33
  34 namespace onert
  35 {
  36 namespace backend
  37 {
  38 namespace cpu
  39 {
  40 namespace ops
  41 {
  42
  43 class FullyConnectedLayer : public ::onert::exec::IFunction
  44 {
  45 public:
  46   FullyConnectedLayer();
  47   ~FullyConnectedLayer();
  48
  49 public:
  50   void fullyConnectedFloat32();
  51
  52   void fullyConnectedQuant8();
  53
  54   void fullyConnectedHybrid();
  55
  56   void fullyConnectedSparseWeight();
  57
  58   void configure(const IPortableTensor *input, const IPortableTensor *weights,
  59                  const IPortableTensor *bias, ir::Activation activation, IPortableTensor *output,
  60                  const std::shared_ptr<ExternalContext> &external_context);
  61
  62   void run() override;
  63
  64   void prepare() override;
  65
  66 private:
  67   const IPortableTensor *_input;
  68   const IPortableTensor *_weights;
  69   const IPortableTensor *_bias;
  70   IPortableTensor *_output;
  71
  72   ir::Activation _activation;
  73   std::unique_ptr<nnfw::cker::FCTempArena> _temp_arena;
  74
  75   std::shared_ptr<ExternalContext> _external_context;
  76
  77   bool _is_hybrid;
  78
  79 #ifdef USE_RUY_GEMV
  80   uint8_t *_cached_weights = nullptr; // weights to be cached and a key
  81   bool _is_weights_freed = false;     // is weights freed?
  82 #endif
  83 };
  84
  85 } // namespace ops
  86 } // namespace cpu
  87 } // namespace backend
  88 } // namespace onert
  89
  90 #endif // __ONERT_BACKEND_CPU_OPS_FULLYCONNECTEDLAYER_H__