runtime/onert/core/src/backend/controlflow/ExternalContext.h

   1 /*
   2  * Copyright (c) 2020 Samsung Electronics Co., Ltd. All Rights Reserved
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #ifndef __ONERT_BACKEND_CONTROLFLOW_EXTERNAL_CONTEXT_H__
  18 #define __ONERT_BACKEND_CONTROLFLOW_EXTERNAL_CONTEXT_H__
  19
  20 #include <backend/IExternalContext.h>
  21 #include <util/ConfigSource.h>
  22
  23 #include <ruy/context.h>
  24 #include <ruy/context_get_ctx.h>
  25 #include <ruy/ctx.h>
  26 #include <ruy/tune.h>
  27
  28 namespace
  29 {
  30 const int kDefaultNumThreadpoolThreads = 1;
  31 }
  32
  33 namespace onert
  34 {
  35 namespace backend
  36 {
  37 namespace controlflow
  38 {
  39
  40 // TODO Unify this with cpu::ExternalContext
  41 class ExternalContext : public IExternalContext
  42 {
  43 public:
  44   ExternalContext() : _ruy_context(std::make_unique<ruy::Context>())
  45   {
  46     setMaxNumThreads(onert::util::getConfigInt(onert::util::config::RUY_THREADS));
  47     initPerThreadState();
  48   }
  49
  50   void setMaxNumThreads(int max_num_threads)
  51   {
  52     const int target_num_threads =
  53         max_num_threads > -1 ? max_num_threads : kDefaultNumThreadpoolThreads;
  54     _ruy_context->set_max_num_threads(target_num_threads);
  55   }
  56
  57   ruy::Context *ruy_context() const { return _ruy_context.get(); }
  58
  59 private:
  60   void initPerThreadState()
  61   {
  62     // Initialize per-thread state.
  63     const int thread_count = _ruy_context->max_num_threads();
  64     auto ctx = ruy::get_ctx(_ruy_context.get());
  65     ctx->EnsureThreadSpecificResources(thread_count);
  66     for (int i = 0; i < thread_count; i++)
  67     {
  68       ctx->GetThreadSpecificTuningResolver(i)->SetTuning(ctx->explicit_tuning());
  69     }
  70   }
  71
  72 private:
  73   const std::unique_ptr<ruy::Context> _ruy_context;
  74 };
  75
  76 } // namespace controlflow
  77 } // namespace backend
  78 } // namespace onert
  79
  80 #endif // __ONERT_BACKEND_CONTROLFLOW_EXTERNAL_CONTEXT_H__