runtime/onert/core/src/backend/controlflow/ExternalContext.h

   1 /*
   2  * Copyright (c) 2020 Samsung Electronics Co., Ltd. All Rights Reserved
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #ifndef __ONERT_BACKEND_CONTROLFLOW_EXTERNAL_CONTEXT_H__
  18 #define __ONERT_BACKEND_CONTROLFLOW_EXTERNAL_CONTEXT_H__
  19
  20 #include <util/ConfigSource.h>
  21
  22 #include <ruy/context.h>
  23 #include <ruy/context_get_ctx.h>
  24 #include <ruy/ctx.h>
  25 #include <ruy/tune.h>
  26
  27 namespace
  28 {
  29 const int kDefaultNumThreadpoolThreads = 1;
  30 }
  31
  32 namespace onert
  33 {
  34 namespace backend
  35 {
  36 namespace controlflow
  37 {
  38
  39 // TODO Unify this with cpu::ExternalContext
  40 class ExternalContext
  41 {
  42 public:
  43   ExternalContext() : _ruy_context(std::make_unique<ruy::Context>())
  44   {
  45     setMaxNumThreads(onert::util::getConfigInt(onert::util::config::RUY_THREADS));
  46     initPerThreadState();
  47   }
  48
  49   void setMaxNumThreads(int max_num_threads)
  50   {
  51     const int target_num_threads =
  52         max_num_threads > -1 ? max_num_threads : kDefaultNumThreadpoolThreads;
  53     _ruy_context->set_max_num_threads(target_num_threads);
  54   }
  55
  56   ruy::Context *ruy_context() const { return _ruy_context.get(); }
  57
  58 private:
  59   void initPerThreadState()
  60   {
  61     // Initialize per-thread state.
  62     const int thread_count = _ruy_context->max_num_threads();
  63     auto ctx = ruy::get_ctx(_ruy_context.get());
  64     ctx->EnsureThreadSpecificResources(thread_count);
  65     for (int i = 0; i < thread_count; i++)
  66     {
  67       ctx->GetThreadSpecificTuningResolver(i)->SetTuning(ctx->explicit_tuning());
  68     }
  69   }
  70
  71 private:
  72   const std::unique_ptr<ruy::Context> _ruy_context;
  73 };
  74
  75 } // namespace controlflow
  76 } // namespace backend
  77 } // namespace onert
  78
  79 #endif // __ONERT_BACKEND_CONTROLFLOW_EXTERNAL_CONTEXT_H__