src/backends/cl/ClWorkloadFactory.hpp

   1 //
   2 // Copyright © 2017 Arm Ltd. All rights reserved.
   3 // SPDX-License-Identifier: MIT
   4 //
   5 #pragma once
   6
   7 #include <armnn/IRuntime.hpp>
   8 #include <armnn/Optional.hpp>
   9
  10 #include <backendsCommon/OutputHandler.hpp>
  11 #include <aclCommon/BaseMemoryManager.hpp>
  12
  13 namespace armnn
  14 {
  15
  16 // ARM Compute OpenCL workload factory.
  17 class ClWorkloadFactory : public IWorkloadFactory
  18 {
  19 public:
  20     ClWorkloadFactory(const std::shared_ptr<ClMemoryManager>& memoryManager);
  21
  22     const BackendId& GetBackendId() const override;
  23
  24     static bool IsLayerSupported(const Layer& layer,
  25                                  Optional<DataType> dataType,
  26                                  std::string& outReasonIfUnsupported);
  27
  28     bool SupportsSubTensors() const override { return true; }
  29
  30     std::unique_ptr<ITensorHandle> CreateSubTensorHandle(ITensorHandle& parent,
  31                                                          TensorShape const& subTensorShape,
  32                                                          unsigned int const* subTensorOrigin) const override;
  33
  34     std::unique_ptr<ITensorHandle> CreateTensorHandle(const TensorInfo& tensorInfo) const override;
  35
  36     std::unique_ptr<ITensorHandle> CreateTensorHandle(const TensorInfo& tensorInfo,
  37                                                       DataLayout dataLayout) const override;
  38
  39     std::unique_ptr<IWorkload> CreateInput(const InputQueueDescriptor& descriptor,
  40                                            const WorkloadInfo& info) const override;
  41
  42     std::unique_ptr<IWorkload> CreateOutput(const OutputQueueDescriptor& descriptor,
  43                                             const WorkloadInfo& info) const override;
  44
  45     std::unique_ptr<IWorkload> CreateActivation(const ActivationQueueDescriptor& descriptor,
  46                                                 const WorkloadInfo& info) const override;
  47
  48     std::unique_ptr<IWorkload> CreateSoftmax(const SoftmaxQueueDescriptor& descriptor,
  49                                              const WorkloadInfo& info) const override;
  50
  51     std::unique_ptr<IWorkload> CreateSplitter(const SplitterQueueDescriptor& descriptor,
  52                                               const WorkloadInfo& info) const override;
  53
  54     ARMNN_DEPRECATED_MSG("Use CreateConcat instead")
  55     std::unique_ptr<IWorkload> CreateMerger(const MergerQueueDescriptor& descriptor,
  56                                             const WorkloadInfo& info) const override;
  57
  58     std::unique_ptr<IWorkload> CreateFullyConnected(const FullyConnectedQueueDescriptor& descriptor,
  59                                                     const WorkloadInfo& info) const override;
  60
  61     std::unique_ptr<IWorkload> CreatePermute(const PermuteQueueDescriptor& descriptor,
  62                                              const WorkloadInfo& info) const override;
  63
  64     std::unique_ptr<IWorkload> CreatePooling2d(const Pooling2dQueueDescriptor& descriptor,
  65                                                const WorkloadInfo& info) const override;
  66
  67     std::unique_ptr<IWorkload> CreatePrelu(const PreluQueueDescriptor& descriptor,
  68                                            const WorkloadInfo& info) const override;
  69
  70     std::unique_ptr<IWorkload> CreateConvolution2d(const Convolution2dQueueDescriptor& descriptor,
  71                                                    const WorkloadInfo& info) const override;
  72
  73     std::unique_ptr<IWorkload> CreateDepthwiseConvolution2d(const DepthwiseConvolution2dQueueDescriptor& descriptor,
  74                                                             const WorkloadInfo& info) const override;
  75
  76     std::unique_ptr<IWorkload> CreateDetectionPostProcess(const DetectionPostProcessQueueDescriptor& descriptor,
  77                                                           const WorkloadInfo& info) const override;
  78
  79     std::unique_ptr<IWorkload> CreateDequantize(const DequantizeQueueDescriptor& descriptor,
  80                                                 const WorkloadInfo& info) const override;
  81
  82     std::unique_ptr<IWorkload> CreateNormalization(const NormalizationQueueDescriptor& descriptor,
  83                                                    const WorkloadInfo& info) const override;
  84
  85     std::unique_ptr<IWorkload> CreateAddition(const AdditionQueueDescriptor& descriptor,
  86                                               const WorkloadInfo& info) const override;
  87
  88     std::unique_ptr<IWorkload> CreateMultiplication(const MultiplicationQueueDescriptor& descriptor,
  89                                                     const WorkloadInfo& info) const override;
  90
  91     std::unique_ptr<IWorkload> CreateBatchNormalization(const BatchNormalizationQueueDescriptor& descriptor,
  92                                                         const WorkloadInfo& info) const override;
  93
  94     std::unique_ptr<IWorkload> CreateMemCopy(const MemCopyQueueDescriptor& descriptor,
  95                                              const WorkloadInfo& info) const override;
  96
  97     std::unique_ptr<IWorkload> CreateResize(const ResizeQueueDescriptor& descriptor,
  98                                             const WorkloadInfo& info) const override;
  99
 100     ARMNN_DEPRECATED_MSG("Use CreateResize instead")
 101     std::unique_ptr<IWorkload> CreateResizeBilinear(const ResizeBilinearQueueDescriptor& descriptor,
 102                                                     const WorkloadInfo& info) const override;
 103
 104     std::unique_ptr<IWorkload> CreateFakeQuantization(const FakeQuantizationQueueDescriptor& descriptor,
 105                                                       const WorkloadInfo& info) const override;
 106
 107     std::unique_ptr<IWorkload> CreateQuantize(const QuantizeQueueDescriptor& descriptor,
 108                                               const WorkloadInfo& info) const override;
 109
 110     std::unique_ptr<IWorkload> CreateL2Normalization(const L2NormalizationQueueDescriptor& descriptor,
 111                                                      const WorkloadInfo& info) const override;
 112
 113     std::unique_ptr<IWorkload> CreateConcat(const ConcatQueueDescriptor& descriptor,
 114                                             const WorkloadInfo& info) const override;
 115
 116     std::unique_ptr<IWorkload> CreateConstant(const ConstantQueueDescriptor& descriptor,
 117                                               const WorkloadInfo& info) const override;
 118
 119     std::unique_ptr<IWorkload> CreateReshape(const ReshapeQueueDescriptor& descriptor,
 120                                              const WorkloadInfo& info) const override;
 121
 122     std::unique_ptr<IWorkload> CreateSpaceToBatchNd(const SpaceToBatchNdQueueDescriptor& descriptor,
 123                                                     const WorkloadInfo& info) const override;
 124
 125     std::unique_ptr<IWorkload> CreateFloor(const FloorQueueDescriptor& descriptor,
 126                                            const WorkloadInfo& info) const override;
 127
 128     std::unique_ptr<IWorkload> CreateLstm(const LstmQueueDescriptor& descriptor,
 129                                           const WorkloadInfo& info) const override;
 130
 131     std::unique_ptr<IWorkload> CreateConvertFp16ToFp32(const ConvertFp16ToFp32QueueDescriptor& descriptor,
 132                                                        const WorkloadInfo& info) const override;
 133
 134     std::unique_ptr<IWorkload> CreateConvertFp32ToFp16(const ConvertFp32ToFp16QueueDescriptor& descriptor,
 135                                                        const WorkloadInfo& info) const override;
 136
 137     std::unique_ptr<IWorkload> CreateDivision(const DivisionQueueDescriptor& descriptor,
 138                                               const WorkloadInfo& info) const override;
 139
 140     std::unique_ptr<IWorkload> CreateSubtraction(const SubtractionQueueDescriptor& descriptor,
 141                                                  const WorkloadInfo& info) const override;
 142
 143     std::unique_ptr<IWorkload> CreateMaximum(const MaximumQueueDescriptor& descriptor,
 144                                              const WorkloadInfo& info) const override;
 145
 146     std::unique_ptr<IWorkload> CreateMean(const MeanQueueDescriptor& descriptor,
 147                                           const WorkloadInfo& Info) const override;
 148
 149     std::unique_ptr<IWorkload> CreatePad(const PadQueueDescriptor& descriptor,
 150                                          const WorkloadInfo& info) const override;
 151
 152     std::unique_ptr<IWorkload> CreateEqual(const EqualQueueDescriptor& descriptor,
 153                                            const WorkloadInfo& info) const override;
 154
 155     std::unique_ptr<IWorkload> CreateBatchToSpaceNd(const BatchToSpaceNdQueueDescriptor& descriptor,
 156                                                     const WorkloadInfo& info) const override;
 157
 158     std::unique_ptr<IWorkload> CreateStridedSlice(const StridedSliceQueueDescriptor& descriptor,
 159                                                   const WorkloadInfo& info) const override;
 160
 161     std::unique_ptr<IWorkload> CreateMinimum(const MinimumQueueDescriptor& descriptor,
 162                                              const WorkloadInfo& info) const override;
 163
 164     std::unique_ptr<IWorkload> CreateGreater(const GreaterQueueDescriptor& descriptor,
 165                                              const WorkloadInfo& info) const override;
 166
 167     std::unique_ptr<IWorkload> CreateDebug(const DebugQueueDescriptor& descriptor,
 168                                            const WorkloadInfo& info) const override;
 169
 170     std::unique_ptr<IWorkload> CreateRsqrt(const RsqrtQueueDescriptor& descriptor,
 171                                            const WorkloadInfo& info) const override;
 172
 173     std::unique_ptr<IWorkload> CreatePreCompiled(const PreCompiledQueueDescriptor& descriptor,
 174                                                  const WorkloadInfo& info) const override;
 175
 176     std::unique_ptr<IWorkload> CreateGather(const GatherQueueDescriptor& descriptor,
 177                                             const WorkloadInfo& info) const override;
 178
 179     std::unique_ptr<IWorkload> CreateTransposeConvolution2d(const TransposeConvolution2dQueueDescriptor& descriptor,
 180                                                             const WorkloadInfo& info) const override;
 181
 182     std::unique_ptr<IWorkload> CreateSpaceToDepth(const SpaceToDepthQueueDescriptor& descriptor,
 183                                                   const WorkloadInfo& info) const override;
 184
 185 private:
 186     template<typename FloatWorkload, typename Uint8Workload, typename QueueDescriptorType, typename... Args>
 187     static std::unique_ptr<IWorkload> MakeWorkload(const QueueDescriptorType& descriptor,
 188                                                    const WorkloadInfo& info,
 189                                                    Args&&... args);
 190
 191     template <typename Workload, typename QueueDescriptorType, typename... Args>
 192     static std::unique_ptr<IWorkload> MakeWorkload(const QueueDescriptorType& descriptor,
 193                                                    const WorkloadInfo& info,
 194                                                    Args&&... args);
 195
 196     mutable std::shared_ptr<ClMemoryManager> m_MemoryManager;
 197 };
 198
 199 } // namespace armnn