runtime/onert/backend/cpu/ExternalContext.h

   1 /*
   2  * Copyright (c) 2020 Samsung Electronics Co., Ltd. All Rights Reserved
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #ifndef __ONERT_BACKEND_CPU_EXTERNAL_CONTEXT_H__
  18 #define __ONERT_BACKEND_CPU_EXTERNAL_CONTEXT_H__
  19
  20 #include <backend/IExternalContext.h>
  21 #include <util/ConfigSource.h>
  22 #include <ruy/context.h>
  23
  24 namespace
  25 {
  26 const int kDefaultNumThreadpoolThreads = 1;
  27 }
  28
  29 namespace onert
  30 {
  31 namespace backend
  32 {
  33 namespace cpu
  34 {
  35
  36 class ExternalContext : public IExternalContext
  37 {
  38 public:
  39   ExternalContext() : _ruy_context(new ruy::Context)
  40   {
  41     setMaxNumThreads(onert::util::getConfigInt(onert::util::config::RUY_THREADS));
  42 #ifdef USE_RUY_GEMV
  43     _ruy_context->cache_policy = ruy::kCacheLHSOnNarrowMul;
  44 #endif
  45   }
  46
  47   void setMaxNumThreads(int max_num_threads)
  48   {
  49     const int target_num_threads =
  50         max_num_threads > -1 ? max_num_threads : kDefaultNumThreadpoolThreads;
  51     _ruy_context->max_num_threads = target_num_threads;
  52   }
  53
  54   ruy::Context *ruy_context() const { return _ruy_context.get(); }
  55
  56 private:
  57   const std::unique_ptr<ruy::Context> _ruy_context;
  58 };
  59
  60 } // namespace cpu
  61 } // namespace backend
  62 } // namespace onert
  63
  64 #endif // __ONERT_BACKEND_CPU_EXTERNAL_CONTEXT_H__