runtime/onert/core/include/util/ShapeInference.h

   1 /*
   2  * Copyright (c) 2019 Samsung Electronics Co., Ltd. All Rights Reserved
   3  *
   4  * Licensed under the Apache License, Version 2.0 (the "License");
   5  * you may not use this file except in compliance with the License.
   6  * You may obtain a copy of the License at
   7  *
   8  *      http://www.apache.org/licenses/LICENSE-2.0
   9  *
  10  * Unless required by applicable law or agreed to in writing, software
  11  * distributed under the License is distributed on an "AS IS" BASIS,
  12  * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  13  * See the License for the specific language governing permissions and
  14  * limitations under the License.
  15  */
  16
  17 #ifndef __ONERT_GRAPH_SHAPE_INFERENCE_H__
  18 #define __ONERT_GRAPH_SHAPE_INFERENCE_H__
  19
  20 #include "Utils.h"
  21
  22 #include "ir/operation/Concat.h"
  23 #include "ir/operation/Conv2D.h"
  24 #include "ir/operation/DepthwiseConv2D.h"
  25 #include "ir/operation/Pool2D.h"
  26 #include "ir/operation/Reshape.h"
  27 #include "ir/operation/StridedSlice.h"
  28 #include "compiler/LoweredGraph.h"
  29 #include "ir/Index.h"
  30 #include "ir/Layout.h"
  31 #include "ir/OperationVisitor.h"
  32 #include "backend/IDynamicTensorManager.h"
  33 #include "backend/ITensor.h"
  34 #include "backend/ITensorRegistry.h"
  35
  36 namespace onert
  37 {
  38 namespace shape_inference
  39 {
  40
  41 using Shapes = std::vector<ir::Shape>;
  42
  43 // Define shape calculation for operations. List them in alphabetic order.
  44
  45 ir::Shape inferArgMaxShape(const ir::Shape &input_shape, int axis, int rank);
  46
  47 ir::Shape inferBatchMatMulShape(const ir::Shape &lhs_shape, const ir::Shape &rhs_shape,
  48                                 const ir::operation::BatchMatMul::Param &param);
  49
  50 ir::Shape inferBCQFullyConnectedShape(const ir::Shape &in_shape, const ir::Shape &cluster_shape,
  51                                       const int32_t *cluster_buf);
  52
  53 ir::Shape inferBCQGatherShape(const ir::Shape &indices_shape, const ir::Shape &cluster_shape,
  54                               const int32_t *cluster_buf, int rank,
  55                               const ir::operation::BCQGather::Param &param);
  56
  57 ir::Shape inferBroadcastToShape(const ir::Shape shp_shape, const int32_t *shp_buf);
  58
  59 ir::Shape inferConcatShape(const Shapes &in_shapes, const ir::operation::Concat::Param &param);
  60
  61 ir::Shape inferConv2DShape(const ir::Shape &in_shape, const ir::Shape &ker_shape,
  62                            const ir::operation::Conv2D::Param &param,
  63                            ir::Layout layout = ir::Layout::NHWC);
  64
  65 ir::Shape inferDepthwiseConv2DShape(const ir::Shape &in_shape, const ir::Shape &ker_shape,
  66                                     const ir::operation::DepthwiseConv2D::Param &param,
  67                                     ir::Layout layout = ir::Layout::NHWC);
  68
  69 ir::Shape inferEltwiseShape(const ir::Shape &lhs_shape, const ir::Shape &rhs_shape);
  70
  71 ir::Shape inferExpandDimsShape(const ir::Shape &in_shape, int32_t axis);
  72
  73 ir::Shape inferFillShape(const ir::Shape &in_shape, const int32_t *in_buf);
  74
  75 ir::Shape inferFullyConnectedShape(const ir::Shape &in_shape, const ir::Shape &ker_shape);
  76
  77 ir::Shape inferGatherShape(const ir::Shape &input_shape, const ir::Shape &indices_shape, int axis,
  78                            int rank);
  79
  80 ir::Shape inferOnehotShape(const ir::Shape &input_shape, const int depth, int axis);
  81
  82 ir::Shape inferPackShape(const ir::Shape &input_shape, int axis, int rank, int num);
  83
  84 ir::Shape inferPadShape(const ir::Shape &in_shape, const int32_t *pad_buf, const size_t num_pads);
  85
  86 ir::Shape inferPoolShape(const ir::Shape &in_shape, const ir::operation::Pool2D::Param &param,
  87                          ir::Layout layout = ir::Layout::NHWC);
  88
  89 template <typename T> ir::Shape inferRangeShape(T start_val, T limit_val, T delta_val);
  90
  91 ir::Shape inferReshapeShape(const int32_t *shape_buf, const int32_t shape_num_elements,
  92                             const size_t total_num_elements);
  93
  94 ir::Shape inferReduceShape(const ir::Shape &input_shape, const std::vector<int> &axes,
  95                            bool keep_dims);
  96
  97 template <float *> ir::Shape inferRangeShape(float *start_val, float *limit_val, float *delta_val);
  98
  99 template <typename T> ir::Shape inferRangeShape(T start_val, T limit_val, T delta_val);
 100
 101 ir::Shape inferResizeBilinearShape(const ir::Shape &in_shape, const int32_t output_height,
 102                                    const int32_t output_width);
 103
 104 ir::Shape inferSelectShape(const ir::Shape &input_cond_shape, const ir::Shape &input_true_shape,
 105                            const ir::Shape &input_false_shape);
 106
 107 ir::Shape inferSliceShape(const ir::Shape &input_shape, const int32_t *begins_buf,
 108                           const int32_t *sizes_buf);
 109
 110 ir::Shape inferSpaceToBatchNDShape(const ir::Shape &input_shape, const ir::Shape &block_shape_shape,
 111                                    const ir::Shape &padding_shape, const int32_t *block_shape_buf,
 112                                    const int32_t *padding_buf);
 113
 114 ir::Shape inferSplitShape(const ir::Shape input_shape, int axis_value, int num_splits);
 115
 116 ir::Shape inferSqueezeShape(const ir::Shape &in_shape, const ir::operation::Squeeze::Param &param);
 117
 118 struct StridedSliceParams
 119 {
 120   int8_t start_indices_count;
 121   int16_t start_indices[4];
 122   int8_t stop_indices_count;
 123   int16_t stop_indices[4];
 124   int8_t strides_count;
 125   int16_t strides[4];
 126
 127   int16_t begin_mask;
 128   int16_t ellipsis_mask;
 129   int16_t end_mask;
 130   int16_t new_axis_mask;
 131   int16_t shrink_axis_mask;
 132 };
 133
 134 template <typename T>
 135 StridedSliceParams buildStridedSliceParams(const T *begin, const T *end, const T *strides,
 136                                            const uint32_t begin_mask, const uint32_t end_mask,
 137                                            const uint32_t shrink_axis_mask, const uint8_t rank);
 138
 139 ir::Shape inferStridedSliceShape(const ir::Shape &input_shape, const StridedSliceParams &op_params,
 140                                  uint32_t rank);
 141
 142 ir::Shape inferTileShape(const ir::Shape &in_shape, const int32_t *multiplier_buf,
 143                          const int32_t multiplier_size);
 144
 145 ir::Shape inferTransposeShape(const ir::Shape &in_shape, const int32_t *perm_buf,
 146                               const int32_t rank);
 147
 148 ir::Shape inferUnpackShape(const ir::Shape &input_shape, int axis, int rank);
 149
 150 } // namespace shape_inference
 151 } // namespace onert
 152
 153 #endif // __ONERT_GRAPH_SHAPE_INFERENCE_H__