arm_compute/graph/Workload.h

   1 /*
   2  * Copyright (c) 2018 ARM Limited.
   3  *
   4  * SPDX-License-Identifier: MIT
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to
   8  * deal in the Software without restriction, including without limitation the
   9  * rights to use, copy, modify, merge, publish, distribute, sublicense, and/or
  10  * sell copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in all
  14  * copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  22  * SOFTWARE.
  23  */
  24 #ifndef __ARM_COMPUTE_GRAPH_WORKLOAD_H__
  25 #define __ARM_COMPUTE_GRAPH_WORKLOAD_H__
  26
  27 #include "arm_compute/graph/GraphContext.h"
  28 #include "arm_compute/runtime/IFunction.h"
  29 #include "arm_compute/runtime/IMemoryGroup.h"
  30
  31 #include <functional>
  32 #include <memory>
  33 #include <vector>
  34
  35 namespace arm_compute
  36 {
  37 namespace graph
  38 {
  39 // Forward declarations
  40 class ITensorHandle;
  41 class INode;
  42 class Tensor;
  43 class Graph;
  44
  45 struct ExecutionTask;
  46
  47 void execute_task(ExecutionTask &task);
  48
  49 /** Task executor */
  50 class TaskExecutor final
  51 {
  52 private:
  53     /** Default constructor **/
  54     TaskExecutor();
  55
  56 public:
  57     /** Task executor accessor
  58      *
  59      * @return Task executor instance
  60      */
  61     static TaskExecutor &get();
  62     /** Function that is responsible for executing tasks */
  63     std::function<decltype(execute_task)> execute_function;
  64 };
  65
  66 /** Execution task
  67  *
  68  * Contains all the information required to execute a given task
  69  */
  70 struct ExecutionTask
  71 {
  72     std::unique_ptr<arm_compute::IFunction> task = {}; /**< Task to execute */
  73     INode                                  *node = {}; /**< Node bound to this workload */
  74
  75     /** Function operator */
  76     void operator()();
  77
  78     /** Prepare execution task */
  79     void prepare();
  80 };
  81
  82 /** Execution workload */
  83 struct ExecutionWorkload
  84 {
  85     std::vector<Tensor *>      inputs  = {};          /**< Input handles */
  86     std::vector<Tensor *>      outputs = {};          /**< Output handles */
  87     std::vector<ExecutionTask> tasks   = {};          /**< Execution workload */
  88     Graph                     *graph   = { nullptr }; /**< Graph bound to the workload */
  89     GraphContext              *ctx     = { nullptr }; /**< Graph execution context */
  90 };
  91 } // namespace graph
  92 } // namespace arm_compute
  93 #endif /* __ARM_COMPUTE_GRAPH_WORKLOAD_H__ */