runtime/onert/backend/cpu/ops/FullyConnectedLayer.h

   1 /*
   2  * Copyright (c) 2018 Samsung Electronics Co., Ltd. All Rights Reserved
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #ifndef __ONERT_BACKEND_CPU_OPS_FULLYCONNECTEDLAYER_H__
  18 #define __ONERT_BACKEND_CPU_OPS_FULLYCONNECTEDLAYER_H__
  19
  20 #include <backend/IPortableTensor.h>
  21 #include "../ExternalContext.h"
  22 #include "OperationUtils.h"
  23
  24 #include <exec/IFunction.h>
  25
  26 namespace nnfw
  27 {
  28 namespace cker
  29 {
  30 class FCTempArena;
  31 }
  32 } // namespace nnfw
  33
  34 namespace onert
  35 {
  36 namespace backend
  37 {
  38 namespace cpu
  39 {
  40 namespace ops
  41 {
  42
  43 class FullyConnectedLayer : public ::onert::exec::IFunction
  44 {
  45 public:
  46   FullyConnectedLayer();
  47   ~FullyConnectedLayer();
  48
  49 public:
  50   void fullyConnectedFloat32();
  51
  52   void fullyConnectedQuant8();
  53
  54   void fullyConnectedHybrid();
  55
  56   void fullyConnectedSparseWeight();
  57
  58   void fullyConnected16x1Float32();
  59
  60   void configure(const IPortableTensor *input, const IPortableTensor *weights,
  61                  const IPortableTensor *bias, ir::Activation activation,
  62                  ir::FullyConnectedWeightsFormat weights_format, IPortableTensor *output,
  63                  const std::shared_ptr<ExternalContext> &external_context);
  64
  65   void run() override;
  66
  67   void prepare() override;
  68
  69 protected:
  70   const IPortableTensor *_input;
  71   const IPortableTensor *_weights;
  72   const IPortableTensor *_bias;
  73   IPortableTensor *_output;
  74
  75   ir::Activation _activation;
  76   std::unique_ptr<nnfw::cker::FCTempArena> _temp_arena;
  77
  78   std::shared_ptr<ExternalContext> _external_context;
  79
  80   bool _is_hybrid : 1;
  81   bool _is_shuffled16x1float32 : 1;
  82
  83 #ifdef USE_RUY_GEMV
  84   uint8_t *_cached_weights = nullptr; // weights to be cached and a key
  85   bool _is_weights_freed = false;     // is weights freed?
  86 #endif
  87 };
  88
  89 } // namespace ops
  90 } // namespace cpu
  91 } // namespace backend
  92 } // namespace onert
  93
  94 #endif // __ONERT_BACKEND_CPU_OPS_FULLYCONNECTEDLAYER_H__