src/graph/GraphManager.cpp

   1 /*
   2  * Copyright (c) 2018 ARM Limited.
   3  *
   4  * SPDX-License-Identifier: MIT
   5  *
   6  * Permission is hereby granted, free of charge, to any person obtaining a copy
   7  * of this software and associated documentation files (the "Software"), to
   8  * deal in the Software without restriction, including without limitation the
   9  * rights to use, copy, modify, merge, publish, distribute, sublicense, and/or
  10  * sell copies of the Software, and to permit persons to whom the Software is
  11  * furnished to do so, subject to the following conditions:
  12  *
  13  * The above copyright notice and this permission notice shall be included in all
  14  * copies or substantial portions of the Software.
  15  *
  16  * THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR
  17  * IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY,
  18  * FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE
  19  * AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER
  20  * LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM,
  21  * OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE
  22  * SOFTWARE.
  23  */
  24 #include "arm_compute/graph/GraphManager.h"
  25
  26 #include "arm_compute/graph/Graph.h"
  27 #include "arm_compute/graph/GraphContext.h"
  28 #include "arm_compute/graph/Logger.h"
  29 #include "arm_compute/graph/PassManager.h"
  30 #include "arm_compute/graph/Utils.h"
  31 #include "arm_compute/graph/detail/CrossLayerMemoryManagerHelpers.h"
  32 #include "arm_compute/graph/detail/ExecutionHelpers.h"
  33
  34 namespace arm_compute
  35 {
  36 namespace graph
  37 {
  38 GraphManager::GraphManager()
  39     : _workloads()
  40 {
  41     detail::default_initialize_backends();
  42 }
  43
  44 void GraphManager::finalize_graph(Graph &graph, GraphContext &ctx, PassManager &pm, Target target)
  45 {
  46     // Setup graph context if not done manually
  47     setup_default_graph_context(ctx);
  48
  49     // Check if graph has been registered
  50     if(_workloads.find(graph.id()) != std::end(_workloads))
  51     {
  52         ARM_COMPUTE_ERROR("Graph is already registered!");
  53     }
  54
  55     // Force target to all graph construct
  56     Target forced_target = is_target_supported(target) ? target : get_default_target();
  57     force_target_to_graph(graph, forced_target);
  58
  59     // Configure all tensors
  60     detail::configure_all_tensors(graph);
  61
  62     // Apply all mutating passes
  63     pm.run_all(graph);
  64
  65     // Validate all nodes
  66     detail::validate_all_nodes(graph);
  67
  68     // Configure all nodes
  69     auto workload = detail::configure_all_nodes(graph, ctx);
  70     ARM_COMPUTE_ERROR_ON_MSG(workload.tasks.empty(), "Could not configure all nodes!");
  71
  72     // Allocate const tensors and call accessors
  73     detail::allocate_const_tensors(graph);
  74     detail::call_all_const_node_accessors(graph);
  75
  76     if(forced_target == Target::CL)
  77     {
  78         // Prepare graph
  79         detail::prepare_all_tasks(workload);
  80     }
  81
  82     // Setup tensor memory (Allocate all tensors or setup transition manager)
  83     if(ctx.config().use_transition_memory_manager)
  84     {
  85         detail::configure_transition_manager(graph, ctx, workload);
  86     }
  87     else
  88     {
  89         detail::allocate_all_tensors(graph);
  90     }
  91
  92     // Finalize Graph context
  93     ctx.finalize();
  94
  95     // Register graph
  96     _workloads.insert(std::make_pair(graph.id(), std::move(workload)));
  97     ARM_COMPUTE_LOG_GRAPH_VERBOSE("Created workload for graph with ID : " << graph.id().get() << std::endl);
  98
  99     if(forced_target != Target::CL)
 100     {
 101         // Make first run
 102         execute_graph(graph);
 103
 104         // Release all unused const tensors
 105         detail::release_unused_tensors(graph);
 106     }
 107 }
 108
 109 void GraphManager::execute_graph(Graph &graph)
 110 {
 111     // Check if graph is finalized
 112     auto it = _workloads.find(graph.id());
 113     ARM_COMPUTE_ERROR_ON_MSG(it == std::end(_workloads), "Graph is not registered!");
 114
 115     // Call input accessors
 116     detail::call_all_input_node_accessors(it->second);
 117
 118     // Run graph
 119     detail::call_all_tasks(it->second);
 120
 121     // Call output accessors
 122     detail::call_all_output_node_accessors(it->second);
 123 }
 124
 125 void GraphManager::invalidate_graph(Graph &graph)
 126 {
 127     auto it = _workloads.find(graph.id());
 128     ARM_COMPUTE_ERROR_ON_MSG(it == std::end(_workloads), "Graph is not registered!");
 129
 130     _workloads.erase(it);
 131 }
 132 } // namespace graph
 133 } // namespace arm_compute