[exo-tflite] introducing ShapeInferencePass (#7214)

ShapeInferencePass annotates shape of nodes (canonical/TFL/COp nodes).

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] type inference for TFLRelu (#7208)

This adds type inference for TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] shape inference for TFLRelu (#7210)

This adds shape inferene for TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Scripts to make nnpkg testsuite and test (#7199)

- Introduce script to make nnpkg testsuite in CI build server
- Introduce script to test nnpkg testsuite in xu4 farm

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Pad op for ACL neon (#7205)

This commit enables to support Pad op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[locoex] Enhance COpTypeInference test (#7204)

This includes CanonicalTypeInferenceRule check. This is required for future change of loco::TypeInference, which looks into the dtype of all input nodes. So, the type of loco::Pull should be inferred to infer the type of locoex::COpCall.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Update armcl-ex library cmake (#7167)

Use finding arm compute package instead of  checking target arch
Use target_compile_definition for preprocessor and merge

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[res] TF test for SquaredDifference broadcast (#7190)

This will add SquaredDifference test material for broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] TF test for Add broadcast with scala (#7195)

This will add TF test material of Add operator with rank 4 tensor with scala

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use ShapeInferenceData for rule (#7184)

* [moco-tf] Use ShapeInferenceData for rule

This will revise TFShapeInferenceRule infer to directly use ShapeInferenceData

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* change scope

[res] TF test for rank 4 StopGradient (#7191)

This will add TensorFlow test material for rank 4 StopGradient operator

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res_tf] TF test for Sub broadcast (#7192)

This will add TensorFlow test material for Sub broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Added TODO for each TFL Nodes in shape & type inference code (#7203)

This creates a slots for visit() of each TFL node.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[loco] Introduce TensorAxis header (#7188)

Currently, PermutingCodec internally declares TensorAxis alias.
Let's extract this as a separate header and reuse it!

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable LSTM op for ACL neon (#7201)

This commit enables to support LSTM op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[locop] NodeSummary with Comments (#7193)

This commit allows usersr to add multi-line comments to NodeSummary, and
revises LinearV1 Graph Formatter to show these comments properly.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable LocalResponseNormalization op for ACL neon (#7149)

This commit enables to support LocalResponseNormalization op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce tfts v0.1 (#7165)

* Introduce tfts v0.1

This commit introduces TensorFlow Testcase Service (tfts) v0.1.

The current version supports basic shape check on TensorFlow testcases
through nnkit-tf.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use simple tfts_check instead of tfts_shape_check

[exo-tflite] Remove TFLShapeAnnot and TFLTypeAnnot (#7197)

Instead of using TFLShapeAnnot and TFLTypeAnnot, we will have type and shape inference for each TFL Nodes. So these annot classes is removed.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[locop] Remove symbol_lookup helper (#7196)

This helper is no longer meaningful.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[custom op] Implement custom op registration using public API (#7181)

* [custom op] Implement custom op registration using public API

Adds public custom operation registration method

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
* format fix

[res] TF test for Mul broadcast (#7187)

This will add two Mul test materials for broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] TF test for Add broadcast (#7186)

This will add two Add TF test materials for broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[custom op] overload getName in CustomNode implementation (#7180)

Fixes CustomNode class being abstract

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Update srcn kernel library cmake (#7135)

Use finding arm_neon.h instead of checking target arch
Link libraries OpenMP_CXX_LIBRARIES
Prepare compile definition NCNN and comment out

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Revise shape inference condition (#7161)

* [loco] Revise shape inference condition

This will add condition to ShapeInference to infer when target node shape is unknown and input(s) shape is ready

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove print code

[mir_caffe2] Reshape bias for Convolution (#7170)

Fixes compilation error of mobilenet.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Change type of strides parameter (#7179)

Change the type of `strides` parameter of convolutional operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Change type of strides argument (#7177)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_tflite] Change type of strides argument (#7176)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Change type of strides argument (#7178)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe] Change type of strides argument (#7175)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe2] Change type of strides argument (#7174)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Change type of strides argument (#7173)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Fix neurun build fail (#7171)

Fix neurun build fail by ITensorManager change

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable ResizeBilinear op for ACL neon (#7151)

This commit enables to support ResizeBilinear op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Nit : Put override specifier (#7154)

Nit : Put override specifier in NopFunction.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Implement classes inherit to ITensorManager (#7083)

* [neurun] Implement classes inherit to ITensorManager

Implement classes inherit to ITensorManager such as cpu/TensorManager
and AclTensorManager

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Add findTensorAsParent()

* Merge two buildXXXTensor into one with as_const param

Remove unused env variable utility (#7140)

Unify environment variable utility
Remove unused environment variable utility functions

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Introducing BiasDecode (#7158)

This introduce loco::BiasDecode, which translate Bias domain to Tensor domain.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Enable LogicalNot op for ACL neon (#7159)

This commit enables to support LogicalNot op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix memory leak in srcn (#7162)

Delete allocated array before fast return

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Unpack op for ACL neon (#7133)

This commit enables to support Unpack op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] renaming TFLConverter to CanonicalNodeConverter (#7152)

TFLConverter was renamed to CanonicalNodeConverter, meaning "convert caninical node to TFL node"

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[custom op] Update custom kernel registry to use C api version (#6288)

* [custom op] Update custom kernel registry to use C api version

Split custom kernel and kernel registry into separate files
Now custom kernel uses api types
Link neurun core library with API headers

* update with latest changes to #6219

* Update kernel registry with changes to api. Link neurun core with nnfw-header

* add missed license

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Enable Transpose op for ACL neon (#7155)

This commit enables to support Transpose op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable Logistic op for ACL neon (#7156)

This commit enables to support Logistic op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[moco-tf] Use logo for Importer (#7119)

This will revise Importer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Export TFLAdd (#7150)

This will add export for TFLAdd node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[custom op] Update kernel registry binding (#7141)

* [custom op] Update kernel registry binding

Split kernel registry creation from backend context creation

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
* format fix

* fix unused parameter compile error

Add permutation type member into PermuteNode (#7085)

This comit adds permutation type member into PermuteNode.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Add knob for ADD (#7148)

This will add knob for ADD as ConvertAdd

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add missing copyright in GraphTestcase.h (#7145)

Add missing copyright phrase for loco's GraphTestcase.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco-tf] Revise FixShape test with Conv2D (#7116)

This will revise FixShapeTransform test with Conv2D to use moco::tf::TFConv2D from loco::Conv2D IR

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Add buildSubtensor() and objects() to AclMemoryManager (#7084)

Add buildSubtensor() and objects() into AclMemoryManager to be used by AclTensorManager in the future
Apply buildSubtensor() into TemplTensorBuilder
Remove unnecessary namespace

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[moco-tf] Use logo for TFOptimizer (#7121)

This will revise TFOptimizer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use logo for Optimizer (#7120)

This will revise Optimizer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use logo for Canonicalizer (#7118)

This will revise Canonicalizer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Introduce TFLAdd (#7113)

This will introduce TFLAdd IR and required summary builder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflite_loader] implement div and sqrt (#7114)

It adds div and sqrt in tflite_loader.
`tf2tflite` converts `rsqrt` into `sqrt` and `div`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo-tflite] Revise shape inf test (#7144)

This will revise shape inference test as network has TFL and Canonical dialects

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Enable RNN op for ACL neon (#7137)

This commit enables to support RNN op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[mir] Pass aggregate arguments by const reference (#7143)

clang-tidy suggests to pass by value and use `std::move`, but it is easy to forget and does not give significant benefits.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe] Do not insert Transposes (#7110)

Remove insertion of Transpose operations, set the data format on operations instead.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe2] Do not insert Transposes (#7139)

Remove insertion of Transpose operations, set the data format on operations instead.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[soft_backend] Added Resize shape checking (#7107)

* Checked that resize work only H and W dims

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[mir_onnx] Remove unsing converters before operation with NCHW layout (#7044)

* Removed converters
* Fixed some params
* Fixed consant shape in BatchNormalization (for right work of
broadcasting in elementwise operations)

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

Enable L2Pool2D op for ACL neon (#7134)

This commit enables to support L2Pool2D op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[loco] Add bool return type for shape infer to() (#7131)

This will set boolean return type for ShapeInferenceSession to() method

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflite_loader] implement squared_difference (#7127)

It adds squared_difference operator in tflite_loader.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable L2Normalization op for ACL neon (#7129)

This commit enables to support L2Normalization op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix misapplied enum value in KernelGenerators (#7130)

This commit fixes misapplied enum value in KernelGenerators.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable acl neon backend mul operation (#7105)

Update acl neon backend ShapeFixer's mul
Remove exception in kernel generator for mul

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[tflite_loader] implement tanh (#7126)

It adds tanh operator in tflite_loader.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Remove hardcode for L2Normalization (#7122)

This commit removes hardcode for L2Normalization from KernelGenerator of acl_cl

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tflite_loader] implement rsqrt (#7124)

It adds rsqrt operator in tflite_loader.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Change to include the integrated header of ACL NEON (#7117)

This commit changes to include the integrated header of ACL NEON.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Add srcn library for new neurun backend (#6993)

* Add srcn library for new neurun backend

This patch includes implementation of srcn kernel.
It only supports Convolution and TransposeConv operations.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Fix format checker errors

* Remove unused code and unnecessary comments

* Remove ${} from REMOVE_ITEM in cmakelist file

* Do not build srcn library on x86_64 machine

* Add return case for OpenMP library not installed

[neurun] Appends apis to ITensorBuilder (#6973)

* [neurun] Appends apis to ITensorBuilder

Appends apis to ITensorBuilder for deallocating constant tensors if they
are unused and separating constant tensors and nonconstant tensors

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Change afterFunctionPrepare to postFunctionPrepare

* Fix default parameter of registerTensorInfo

[neurun] Make {pre|post}Visit of TemplTensorBuilder recursive (#7064)

Make {pre|post}Visit of TemplTensorBuilder recursive to support for more
than two consecutive concat layers

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Update dockerfile - numpy (#7111)

Install python3 numpy for andorid-q test generator
Change python-pip to python3-pip

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Use static casting to convert enum type (#7104)

To resolve implicit enum type casting warning, introduce convert helper and use static casting

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[res] Introduce UNIT_Mean_00X testcases (#7051)

This commit will introduce `UNIT_Mean_000` ~ `UNIT_MEAN_004`
testcases

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[exo-tflite] Adding TFLShapeInferenceRule into ShapeInference (#7096)

* [exo-tflite] Adding TFLShapeInferenceRule into ShapeInference

This adds TFLShapeInferenceRule into ShapeInference.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* restore empty line

Explicit type to prevent overflow (#7106)

To remove integer overflow warning by svace, use explicit type int64_t, not auto

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix copy constructor (#7102)

Fix uninitialized field in copy constructor

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix deref null pointer error on scheduler (#7094)

Change to runtime error instead of assert for deref null pointer error on scheduler

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo-tflite] Introducing TFLMaxPool2D (#7087)

This adds TFLMaxPool2D into TFLDialect.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Bugfix of FixShapeTransform of Squeeze (#7031)

If `Squeeze` operation have `squeeze_dims` as `[-1,-2]` and input rank is 4, it should be converted to `[2, 3]`
According to current implementation, the code erase -1 first and then put 3 in the `squeeze_dims`
However, it causes some bug. If -1 is erased, iterator of `squeeze_dims` points -2.
And then if 3 is inserted, the iterator points 3 because it is `Set`!
Now, `squeeze_dims` is `[-2, 3]` and iterator try to iterate next element but there is no more element
because 3 is the last element.

Therefore this commit will fix this bug by introducing new `Set`

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[moco-tf] Update FixShapeTransform test with AvgPool (#7041)

This will update FixShapeTransform test to test with TFAvgPool

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mir] Remove support for Reduce and Pool (#7074)

- Reduce and Pool operations were replaced by `ReduceMean`, `AvgPool2D` and `MaxPool2D`.
- Make `ReduceOp` a base class for `ReduceMeanOp`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Remove support for PoolOp (#7071)

This operation was replaced by `AvgPool2DOp` and `MaxPool2DOp`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Remove support for Reduce and Pool (#7057)

- These operation were replaced by `ReduceMean`, `AvgPool2D` and `MaxPool2D`.
- Pool operations are supported in DataFormatSwitcher optimization.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] functions to build node (#7080)

This adds functions to build featureEncode and featureDecode, which are frequently used.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Adding knob for AveragePool2D conversion (#7092)

This adds knob for AveragePool2D conversion. Default is false.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Enable Floor op for ACL neon (#7100)

This commit enables to support Floor op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Adding TFLTypeInferenceRule into TypeInference (#7097)

This adds TFLTypeInferenceRule into TypeInference.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tflite_loader] Add Mul and Sub operator (#7099)

It adds mul and sub operator to run ST model.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Fix uninitialized field (#7089)

Fix uninitialized field contructor warning in neurun core and backend

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Exp op for ACL neon (#7093)

This commit enables to support Exp op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>