docs/01_03_delegate.dox

   1 /// Copyright (c) 2021 ARM Limited and Contributors. All rights reserved.
   2 ///
   3 /// SPDX-License-Identifier: MIT
   4 ///
   5
   6 namespace armnn
   7 {
   8 /**
   9 @page delegate TfLite Delegate
  10 @tableofcontents
  11
  12
  13 @section delegateintro About the delegate
  14 'armnnDelegate' is a library for accelerating certain TensorFlow Lite (TfLite) operators on Arm hardware. It can be
  15 integrated in TfLite using its delegation mechanism. TfLite will then delegate the execution of operators supported by
  16 Arm NN to Arm NN.
  17
  18 The main difference to our @ref S6_tf_lite_parser is the amount of operators you can run with it. If none of the active
  19 backends support an operation in your model you won't be able to execute it with our parser. In contrast to that, TfLite
  20 only delegates operations to the armnnDelegate if it does support them and otherwise executes them itself. In other
  21 words, every TfLite model can be executed and every operation in your model that we can accelerate will be accelerated.
  22 That is the reason why the armnnDelegate is our recommended way to accelerate TfLite models.
  23
  24 If you need help building the armnnDelegate, please take a look at our [build guide](delegate/BuildGuideNative.md).
  25 An example how to setup TfLite to integrate the armnnDelegate can be found in this
  26 guide: [Integrate the delegate into python](delegate/IntegrateDelegateIntoPython.md)
  27
  28
  29 @section delegatesupport Supported Operators
  30 This reference guide provides a list of TensorFlow Lite operators the Arm NN SDK currently supports.
  31
  32 @subsection delegatefullysupported Fully supported
  33
  34 The Arm NN SDK TensorFlow Lite delegate currently supports the following operators:
  35
  36 - ABS
  37
  38 - ADD
  39
  40 - ARGMAX
  41
  42 - ARGMIN
  43
  44 - AVERAGE_POOL_2D, Supported Fused Activation: RELU , RELU6 , TANH, NONE
  45
  46 - BATCH_TO_SPACE_ND
  47
  48 - CONCATENATION, Supported Fused Activation: RELU , RELU6 , TANH, NONE
  49
  50 - CONV_2D, Supported Fused Activation: RELU , RELU6 , TANH, NONE
  51
  52 - DEPTH_TO_SPACE
  53
  54 - DEPTHWISE_CONV_2D, Supported Fused Activation: RELU , RELU6 , TANH, NONE
  55
  56 - DEQUANTIZE
  57
  58 - DIV
  59
  60 - EQUAL
  61
  62 - ELU
  63
  64 - EXP
  65
  66 - FULLY_CONNECTED, Supported Fused Activation: RELU , RELU6 , TANH, NONE
  67
  68 - FLOOR
  69
  70 - GATHER
  71
  72 - GREATER
  73
  74 - GREATER_OR_EQUAL
  75
  76 - HARD_SWISH
  77
  78 - LESS
  79
  80 - LESS_OR_EQUAL
  81
  82 - LOCAL_RESPONSE_NORMALIZATION
  83
  84 - LOGICAL_AND
  85
  86 - LOGICAL_NOT
  87
  88 - LOGICAL_OR
  89
  90 - LOGISTIC
  91
  92 - LOG_SOFTMAX
  93
  94 - LSTM
  95
  96 - L2_NORMALIZATION
  97
  98 - L2_POOL_2D
  99
 100 - MAXIMUM
 101
 102 - MAX_POOL_2D, Supported Fused Activation: RELU , RELU6 , TANH, NONE
 103
 104 - MEAN
 105
 106 - MINIMUM
 107
 108 - MUL
 109
 110 - NEG
 111
 112 - NOT_EQUAL
 113
 114 - PAD
 115
 116 - PRELU
 117
 118 - QUANTIZE
 119
 120 - RANK
 121
 122 - REDUCE_MAX
 123
 124 - REDUCE_MIN
 125
 126 - RESHAPE
 127
 128 - RESIZE_BILINEAR
 129
 130 - RESIZE_NEAREST_NEIGHBOR
 131
 132 - RELU
 133
 134 - RELU6
 135
 136 - RSQRT
 137
 138 - SOFTMAX
 139
 140 - SPACE_TO_BATCH_ND
 141
 142 - SPACE_TO_DEPTH
 143
 144 - SPLIT
 145
 146 - SPLIT_V
 147
 148 - SQRT
 149
 150 - STRIDED_SLICE
 151
 152 - SUB
 153
 154 - SUM
 155
 156 - TANH
 157
 158 - TRANSPOSE
 159
 160 - TRANSPOSE_CONV
 161
 162 More machine learning operators will be supported in future releases.
 163 **/
 164 }