Unified ArgMin and ArgMax kernel (#4083)
authorShubham Gupta/SNAP /SRI-Bangalore/Engineer/삼성전자 <shub98.gupta@samsung.com>
Wed, 19 Dec 2018 00:40:37 +0000 (06:10 +0530)
committer오형석/On-Device Lab(SR)/Staff Engineer/삼성전자 <hseok82.oh@samsung.com>
Wed, 19 Dec 2018 00:40:37 +0000 (09:40 +0900)
This patch will create a single kernel which can
handle both ArgMax and ArgMin op, hence reducing the
code redundancy.

Signed-off-by: shubham <shub98.gupta@samsung.com>
libs/ARMComputeEx/src/core/CL/CLKernelLibrary.cpp
libs/ARMComputeEx/src/core/CL/cl_kernels/arg_min_max.cl [deleted file]
libs/ARMComputeEx/src/core/CL/cl_kernels/arg_operation.cl [new file with mode: 0644]
libs/ARMComputeEx/src/core/CL/kernels/CLArgMinMaxKernel.cpp

index 40efbcc..b6099d4 100644 (file)
@@ -46,6 +46,7 @@ const std::map<std::string, std::string> CLKernelLibraryEx::_kernel_program_map
     {"activation_layer_ex", "activation_layer_ex.cl"},
     {"activation_layer_qa8", "activation_layer_qa8.cl"},
     {"activation_layer_logistic_qa8", "activation_layer_qa8.cl"},
+    {"arg_op", "arg_operation.cl"},
     {"arithmetic_add", "arithmetic_op.cl"},
     {"arithmetic_sub", "arithmetic_op.cl"},
     {"arithmetic_sub_ex", "arithmetic_op_ex.cl"},
@@ -313,8 +314,6 @@ const std::map<std::string, std::string> CLKernelLibraryEx::_kernel_program_map
     {"space_to_batch_4d_nchw", "space_to_batch.cl"},
     {"space_to_batch_4d_nhwc", "space_to_batch.cl"},
     {"space_to_depth", "space_to_depth.cl"},
-    {"arg_max", "arg_min_max.cl"},
-    {"arg_min", "arg_min_max.cl"},
 };
 
 const std::map<std::string, std::string> CLKernelLibraryEx::_program_source_map = {
@@ -324,8 +323,8 @@ const std::map<std::string, std::string> CLKernelLibraryEx::_program_source_map
 #include "./cl_kernels/activation_layer_ex.clembed"
     },
     {
-        "arg_min_max.cl",
-#include "./cl_kernels/arg_min_max.clembed"
+        "arg_operation.cl",
+#include "./cl_kernels/arg_operation.clembed"
     },
     {
         "arithmetic_op_ex.cl",
diff --git a/libs/ARMComputeEx/src/core/CL/cl_kernels/arg_min_max.cl b/libs/ARMComputeEx/src/core/CL/cl_kernels/arg_min_max.cl
deleted file mode 100644 (file)
index 4bb1ae1..0000000
+++ /dev/null
@@ -1,144 +0,0 @@
-/*
- * Copyright (c) 2018 Samsung Electronics Co., Ltd. All Rights Reserved
- * Copyright (c) 2017 ARM Limited.
- *
- * Licensed under the Apache License, Version 2.0 (the "License");
- * you may not use this file except in compliance with the License.
- * You may obtain a copy of the License at
- *
- *      http://www.apache.org/licenses/LICENSE-2.0
- *
- * Unless required by applicable law or agreed to in writing, software
- * distributed under the License is distributed on an "AS IS" BASIS,
- * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
- * See the License for the specific language governing permissions and
- * limitations under the License.
- */
-#include "helpers_asymm.h"
-
-#if defined(DATA_TYPE) && defined(DEPTH_OUT)
-/** Perform arg_max
- *
- * @note Datatype should be given as a preprocessor argument using -DDATA_TYPE=type. e.g. -DDATA_TYPE=short
- * @attention Output tensor depth should be given as a preprocessor argument using -DDEPTH_OUT=size. e.g. -DDEPTH_OUT=16
- *
- * @param[in]  input_ptr                            Pointer to the source image. Supported data types: U8/S8/QS8/QASYMM8/U16/S16/QS16/F16/U32/S32/F32
- * @param[in]  input_stride_x                       Stride of the source image in X dimension (in bytes)
- * @param[in]  input_step_x                         input_stride_x * number of elements along X processed per workitem(in bytes)
- * @param[in]  input_stride_y                       Stride of the source image in Y dimension (in bytes)
- * @param[in]  input_step_y                         input_stride_y * number of elements along Y processed per workitem(in bytes)
- * @param[in]  input_stride_z                       Stride of the source tensor in Z dimension (in bytes)
- * @param[in]  input_step_z                         input_stride_z * number of elements along Z processed per workitem(in bytes)
- * @param[in]  input_offset_first_element_in_bytes  The offset of the first element in the source image
- * @param[in]  input_stride_w                       Stride of the source tensor in W dimension (in bytes)
- * @param[in]  input_step_w                         output_stride_w * number of elements along W processed per workitem(in bytes)
- * @param[out] output_ptr                           Pointer to the destination image. Supported data types: U32
- * @param[in]  output_stride_x                      Stride of the destination image in X dimension (in bytes)
- * @param[in]  output_step_x                        output_stride_x * number of elements along X processed per workitem(in bytes)
- * @param[in]  output_stride_y                      Stride of the destination image in Y dimension (in bytes)
- * @param[in]  output_step_y                        output_stride_y * number of elements along Y processed per workitem(in bytes)
- * @param[in]  output_stride_z                      Stride of the source tensor in Z dimension (in bytes)
- * @param[in]  output_step_z                        output_stride_z * number of elements along Z processed per workitem(in bytes)
- * @param[in]  output_stride_w                      Stride of the source tensor in W dimension (in bytes)
- * @param[in]  output_step_w                        output_stride_w * number of elements along W processed per workitem(in bytes)
- * @param[in]  output_offset_first_element_in_bytes The offset of the first element in the destination image
- * @param[in]  axis                                 Axis through which reduction occurs for max value index
- * @param[in]  dim                                  Dimension across the axis to be reduced.
- */
-
-__kernel void arg_max(TENSOR4D_DECLARATION(input),
-                      TENSOR4D_DECLARATION(output),
-                     const int axis,
-                     const int dim)
-{
-    Tensor4D in  = CONVERT_TO_TENSOR4D_STRUCT(input, 0);
-    Tensor4D out = CONVERT_TO_TENSOR4D_STRUCT(output, DEPTH_OUT);
-
-    int indices[4] =
-    {
-        get_global_id(0),
-        get_global_id(1),
-        get_global_id(2) % DEPTH_OUT,
-        get_global_id(2) / DEPTH_OUT,
-    };
-
-    DATA_TYPE value = *((__global DATA_TYPE *)tensor4D_offset(&in, indices[0], indices[1], indices[2], indices[3]));
-    DATA_TYPE tval = value;
-    int idx = 0;
-    for(int i = 1; i < dim; ++i)
-    {
-      indices[axis] = i;
-      value = max(value, *((__global DATA_TYPE *)tensor4D_offset(&in, indices[0], indices[1], indices[2], indices[3])));
-      if(tval!=value)
-      {
-        idx = indices[axis];
-        tval = value;
-      }
-    }
-
-    *((__global DATA_TYPE *)out.ptr) = idx;
-}
-
-
-/** Perform arg_min
- *
- * @note Datatype should be given as a preprocessor argument using -DDATA_TYPE=type. e.g. -DDATA_TYPE=short
- * @attention Output tensor depth should be given as a preprocessor argument using -DDEPTH_OUT=size. e.g. -DDEPTH_OUT=16
- *
- * @param[in]  input_ptr                            Pointer to the source image. Supported data types: U8/S8/QS8/QASYMM8/U16/S16/QS16/F16/U32/S32/F32
- * @param[in]  input_stride_x                       Stride of the source image in X dimension (in bytes)
- * @param[in]  input_step_x                         input_stride_x * number of elements along X processed per workitem(in bytes)
- * @param[in]  input_stride_y                       Stride of the source image in Y dimension (in bytes)
- * @param[in]  input_step_y                         input_stride_y * number of elements along Y processed per workitem(in bytes)
- * @param[in]  input_stride_z                       Stride of the source tensor in Z dimension (in bytes)
- * @param[in]  input_step_z                         input_stride_z * number of elements along Z processed per workitem(in bytes)
- * @param[in]  input_offset_first_element_in_bytes  The offset of the first element in the source image
- * @param[in]  input_stride_w                       Stride of the source tensor in W dimension (in bytes)
- * @param[in]  input_step_w                         output_stride_w * number of elements along W processed per workitem(in bytes)
- * @param[out] output_ptr                           Pointer to the destination image. Supported data types: U32
- * @param[in]  output_stride_x                      Stride of the destination image in X dimension (in bytes)
- * @param[in]  output_step_x                        output_stride_x * number of elements along X processed per workitem(in bytes)
- * @param[in]  output_stride_y                      Stride of the destination image in Y dimension (in bytes)
- * @param[in]  output_step_y                        output_stride_y * number of elements along Y processed per workitem(in bytes)
- * @param[in]  output_stride_z                      Stride of the source tensor in Z dimension (in bytes)
- * @param[in]  output_step_z                        output_stride_z * number of elements along Z processed per workitem(in bytes)
- * @param[in]  output_stride_w                      Stride of the source tensor in W dimension (in bytes)
- * @param[in]  output_step_w                        output_stride_w * number of elements along W processed per workitem(in bytes)
- * @param[in]  output_offset_first_element_in_bytes The offset of the first element in the destination image
- * @param[in]  axis                                 Axis through which reduction occurs for min value index
- * @param[in]  dim                                  Dimension across the axis to be reduced.
- */
-
-__kernel void arg_min(TENSOR4D_DECLARATION(input),
-                      TENSOR4D_DECLARATION(output),
-                      const int axis,
-                      const int dim)
-{
-    Tensor4D in  = CONVERT_TO_TENSOR4D_STRUCT(input, 0);
-    Tensor4D out = CONVERT_TO_TENSOR4D_STRUCT(output, DEPTH_OUT);
-
-    int indices[4] =
-    {
-        get_global_id(0),
-        get_global_id(1),
-        get_global_id(2) % DEPTH_OUT,
-        get_global_id(2) / DEPTH_OUT,
-    };
-
-    DATA_TYPE value = *((__global DATA_TYPE *)tensor4D_offset(&in, indices[0], indices[1], indices[2], indices[3]));
-    DATA_TYPE tval = value;
-    int idx = 0;
-    for(int i = 1; i < dim; ++i)
-    {
-      indices[axis] = i;
-      value = min(value, *((__global DATA_TYPE *)tensor4D_offset(&in, indices[0], indices[1], indices[2], indices[3])));
-      if(tval!=value)
-      {
-        idx = indices[axis];
-        tval = value;
-      }
-    }
-
-    *((__global DATA_TYPE *)out.ptr) = idx;
-}
-#endif // defined(DATA_TYPE) && defined(DEPTH_OUT)
diff --git a/libs/ARMComputeEx/src/core/CL/cl_kernels/arg_operation.cl b/libs/ARMComputeEx/src/core/CL/cl_kernels/arg_operation.cl
new file mode 100644 (file)
index 0000000..9a6921d
--- /dev/null
@@ -0,0 +1,94 @@
+/*
+ * Copyright (c) 2018 Samsung Electronics Co., Ltd. All Rights Reserved
+ * Copyright (c) 2017 ARM Limited.
+ *
+ * Licensed under the Apache License, Version 2.0 (the "License");
+ * you may not use this file except in compliance with the License.
+ * You may obtain a copy of the License at
+ *
+ *      http://www.apache.org/licenses/LICENSE-2.0
+ *
+ * Unless required by applicable law or agreed to in writing, software
+ * distributed under the License is distributed on an "AS IS" BASIS,
+ * WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
+ * See the License for the specific language governing permissions and
+ * limitations under the License.
+ */
+#include "helpers.h"
+
+#if defined(DATA_TYPE) && defined(DEPTH_OUT) && defined(OP_CODE)
+/** Perform arg_max/arg_min
+ *
+ * @note Datatype should be given as a preprocessor argument using -DDATA_TYPE=type. e.g. -DDATA_TYPE=short
+ * @attention Output tensor depth should be given as a preprocessor argument using -DDEPTH_OUT=size. e.g. -DDEPTH_OUT=16
+ * @attention Operation type(code) specifying which operation to perform should be passed as preprocessor argument using
+ * -DOP_CODE = number. e.g. -DOP_CODE=1
+ *
+ * @param[in]  input_ptr                            Pointer to the source image. Supported data types: U8/S8/U16/S16/F16/U32/S32/F32
+ * @param[in]  input_stride_x                       Stride of the source image in X dimension (in bytes)
+ * @param[in]  input_step_x                         input_stride_x * number of elements along X processed per workitem(in bytes)
+ * @param[in]  input_stride_y                       Stride of the source image in Y dimension (in bytes)
+ * @param[in]  input_step_y                         input_stride_y * number of elements along Y processed per workitem(in bytes)
+ * @param[in]  input_stride_z                       Stride of the source tensor in Z dimension (in bytes)
+ * @param[in]  input_step_z                         input_stride_z * number of elements along Z processed per workitem(in bytes)
+ * @param[in]  input_offset_first_element_in_bytes  The offset of the first element in the source image
+ * @param[in]  input_stride_w                       Stride of the source tensor in W dimension (in bytes)
+ * @param[in]  input_step_w                         output_stride_w * number of elements along W processed per workitem(in bytes)
+ * @param[out] output_ptr                           Pointer to the destination image. Supported data types: U32
+ * @param[in]  output_stride_x                      Stride of the destination image in X dimension (in bytes)
+ * @param[in]  output_step_x                        output_stride_x * number of elements along X processed per workitem(in bytes)
+ * @param[in]  output_stride_y                      Stride of the destination image in Y dimension (in bytes)
+ * @param[in]  output_step_y                        output_stride_y * number of elements along Y processed per workitem(in bytes)
+ * @param[in]  output_stride_z                      Stride of the source tensor in Z dimension (in bytes)
+ * @param[in]  output_step_z                        output_stride_z * number of elements along Z processed per workitem(in bytes)
+ * @param[in]  output_stride_w                      Stride of the source tensor in W dimension (in bytes)
+ * @param[in]  output_step_w                        output_stride_w * number of elements along W processed per workitem(in bytes)
+ * @param[in]  output_offset_first_element_in_bytes The offset of the first element in the destination image
+ * @param[in]  axis                                 Axis through which reduction occurs for max value index
+ * @param[in]  dim                                  Dimension across the axis to be reduced.
+ */
+
+__kernel void arg_op(TENSOR4D_DECLARATION(input),
+                     TENSOR4D_DECLARATION(output),
+                    const int axis,
+                    const int dim)
+{
+    Tensor4D in  = CONVERT_TO_TENSOR4D_STRUCT(input, 0);
+    Tensor4D out = CONVERT_TO_TENSOR4D_STRUCT(output, DEPTH_OUT);
+
+    int indices[4] =
+    {
+        get_global_id(0),
+        get_global_id(1),
+        get_global_id(2) % DEPTH_OUT,
+        get_global_id(2) / DEPTH_OUT,
+    };
+
+    DATA_TYPE value = *((__global DATA_TYPE *)tensor4D_offset(&in, indices[0], indices[1], indices[2], indices[3]));
+    DATA_TYPE tval = value;
+    int idx = 0;
+    for(int i = 1; i < dim; ++i)
+    {
+      indices[axis] = i;
+
+      #if OP_CODE == 1 // ArgMax
+        value = max(value, *((__global DATA_TYPE *)
+                            tensor4D_offset(&in, indices[0], indices[1], indices[2], indices[3])));
+      #elif OP_CODE == 2 //ArgMin
+        value = min(value, *((__global DATA_TYPE *)
+                            tensor4D_offset(&in, indices[0], indices[1], indices[2], indices[3])));
+      #else
+       return;
+
+      #endif
+
+      if(tval!=value)
+      {
+        idx = indices[axis];
+        tval = value;
+      }
+    }
+
+    *((__global uint *)out.ptr) = idx;
+}
+#endif // defined(DATA_TYPE) && defined(DEPTH_OUT) && defined(OP_CODE)
index e7178d6..80bdf92 100644 (file)
@@ -42,7 +42,7 @@ Status validate_arguments(const ITensorInfo *input, const ITensorInfo *output,
                           const uint32_t argminmax_axis, ArgOperation op)
 {
   ARM_COMPUTE_RETURN_ERROR_ON_DATA_TYPE_CHANNEL_NOT_IN(input, 1, DataType::S32, DataType::F32,
-                                                       DataType::U8, DataType::QASYMM8);
+                                                       DataType::U8);
   ARM_COMPUTE_ERROR_ON_MISMATCHING_DATA_TYPES(input, output);
 
   ARM_COMPUTE_ERROR_ON_MISMATCHING_DIMENSIONS(input, output);
@@ -81,20 +81,24 @@ void CLArgMinMaxKernel::configure(const ICLTensor *input, ICLTensor *output,
   const TensorShape &shape_in = input->info()->tensor_shape();
   const TensorShape &shape_out = output->info()->tensor_shape();
   // Construct kernel name for argmax and argmin based on axis
-  std::string kernel_name;
+  std::string kernel_name = "arg_op";
+  int op_code = 0;
   if (op == ArgOperation::MAX)
   {
-    kernel_name = "arg_max";
+    op_code = 1;
   }
   else if (op == ArgOperation::MIN)
   {
-    kernel_name = "arg_min";
+    op_code = 2;
   }
+  else
+    throw std::runtime_error("Operation not supported, yet");
 
   // Set kernel build options
   std::set<std::string> build_opts;
   build_opts.emplace("-DDATA_TYPE=" + get_cl_type_from_data_type(output_info->data_type()));
   build_opts.emplace("-DDEPTH_OUT=" + support::cpp11::to_string(output_info->dimension(2)));
+  build_opts.emplace("-DOP_CODE=" + support::cpp11::to_string(op_code));
 
   // Create kernel
   _kernel =