Update srcn kernel library cmake (#7135)

Use finding arm_neon.h instead of checking target arch
Link libraries OpenMP_CXX_LIBRARIES
Prepare compile definition NCNN and comment out

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Revise shape inference condition (#7161)

* [loco] Revise shape inference condition

This will add condition to ShapeInference to infer when target node shape is unknown and input(s) shape is ready

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove print code

[mir_caffe2] Reshape bias for Convolution (#7170)

Fixes compilation error of mobilenet.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Change type of strides parameter (#7179)

Change the type of `strides` parameter of convolutional operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Change type of strides argument (#7177)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_tflite] Change type of strides argument (#7176)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Change type of strides argument (#7178)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe] Change type of strides argument (#7175)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe2] Change type of strides argument (#7174)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Change type of strides argument (#7173)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Fix neurun build fail (#7171)

Fix neurun build fail by ITensorManager change

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable ResizeBilinear op for ACL neon (#7151)

This commit enables to support ResizeBilinear op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Nit : Put override specifier (#7154)

Nit : Put override specifier in NopFunction.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Implement classes inherit to ITensorManager (#7083)

* [neurun] Implement classes inherit to ITensorManager

Implement classes inherit to ITensorManager such as cpu/TensorManager
and AclTensorManager

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Add findTensorAsParent()

* Merge two buildXXXTensor into one with as_const param

Remove unused env variable utility (#7140)

Unify environment variable utility
Remove unused environment variable utility functions

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Introducing BiasDecode (#7158)

This introduce loco::BiasDecode, which translate Bias domain to Tensor domain.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Enable LogicalNot op for ACL neon (#7159)

This commit enables to support LogicalNot op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix memory leak in srcn (#7162)

Delete allocated array before fast return

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Unpack op for ACL neon (#7133)

This commit enables to support Unpack op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] renaming TFLConverter to CanonicalNodeConverter (#7152)

TFLConverter was renamed to CanonicalNodeConverter, meaning "convert caninical node to TFL node"

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[custom op] Update custom kernel registry to use C api version (#6288)

* [custom op] Update custom kernel registry to use C api version

Split custom kernel and kernel registry into separate files
Now custom kernel uses api types
Link neurun core library with API headers

* update with latest changes to #6219

* Update kernel registry with changes to api. Link neurun core with nnfw-header

* add missed license

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Enable Transpose op for ACL neon (#7155)

This commit enables to support Transpose op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable Logistic op for ACL neon (#7156)

This commit enables to support Logistic op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[moco-tf] Use logo for Importer (#7119)

This will revise Importer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Export TFLAdd (#7150)

This will add export for TFLAdd node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[custom op] Update kernel registry binding (#7141)

* [custom op] Update kernel registry binding

Split kernel registry creation from backend context creation

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
* format fix

* fix unused parameter compile error

Add permutation type member into PermuteNode (#7085)

This comit adds permutation type member into PermuteNode.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Add knob for ADD (#7148)

This will add knob for ADD as ConvertAdd

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add missing copyright in GraphTestcase.h (#7145)

Add missing copyright phrase for loco's GraphTestcase.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco-tf] Revise FixShape test with Conv2D (#7116)

This will revise FixShapeTransform test with Conv2D to use moco::tf::TFConv2D from loco::Conv2D IR

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Add buildSubtensor() and objects() to AclMemoryManager (#7084)

Add buildSubtensor() and objects() into AclMemoryManager to be used by AclTensorManager in the future
Apply buildSubtensor() into TemplTensorBuilder
Remove unnecessary namespace

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[moco-tf] Use logo for TFOptimizer (#7121)

This will revise TFOptimizer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use logo for Optimizer (#7120)

This will revise Optimizer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use logo for Canonicalizer (#7118)

This will revise Canonicalizer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Introduce TFLAdd (#7113)

This will introduce TFLAdd IR and required summary builder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflite_loader] implement div and sqrt (#7114)

It adds div and sqrt in tflite_loader.
`tf2tflite` converts `rsqrt` into `sqrt` and `div`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo-tflite] Revise shape inf test (#7144)

This will revise shape inference test as network has TFL and Canonical dialects

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Enable RNN op for ACL neon (#7137)

This commit enables to support RNN op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[mir] Pass aggregate arguments by const reference (#7143)

clang-tidy suggests to pass by value and use `std::move`, but it is easy to forget and does not give significant benefits.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe] Do not insert Transposes (#7110)

Remove insertion of Transpose operations, set the data format on operations instead.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe2] Do not insert Transposes (#7139)

Remove insertion of Transpose operations, set the data format on operations instead.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[soft_backend] Added Resize shape checking (#7107)

* Checked that resize work only H and W dims

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[mir_onnx] Remove unsing converters before operation with NCHW layout (#7044)

* Removed converters
* Fixed some params
* Fixed consant shape in BatchNormalization (for right work of
broadcasting in elementwise operations)

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

Enable L2Pool2D op for ACL neon (#7134)

This commit enables to support L2Pool2D op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[loco] Add bool return type for shape infer to() (#7131)

This will set boolean return type for ShapeInferenceSession to() method

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflite_loader] implement squared_difference (#7127)

It adds squared_difference operator in tflite_loader.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable L2Normalization op for ACL neon (#7129)

This commit enables to support L2Normalization op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix misapplied enum value in KernelGenerators (#7130)

This commit fixes misapplied enum value in KernelGenerators.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable acl neon backend mul operation (#7105)

Update acl neon backend ShapeFixer's mul
Remove exception in kernel generator for mul

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[tflite_loader] implement tanh (#7126)

It adds tanh operator in tflite_loader.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Remove hardcode for L2Normalization (#7122)

This commit removes hardcode for L2Normalization from KernelGenerator of acl_cl

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tflite_loader] implement rsqrt (#7124)

It adds rsqrt operator in tflite_loader.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Change to include the integrated header of ACL NEON (#7117)

This commit changes to include the integrated header of ACL NEON.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Add srcn library for new neurun backend (#6993)

* Add srcn library for new neurun backend

This patch includes implementation of srcn kernel.
It only supports Convolution and TransposeConv operations.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Fix format checker errors

* Remove unused code and unnecessary comments

* Remove ${} from REMOVE_ITEM in cmakelist file

* Do not build srcn library on x86_64 machine

* Add return case for OpenMP library not installed

[neurun] Appends apis to ITensorBuilder (#6973)

* [neurun] Appends apis to ITensorBuilder

Appends apis to ITensorBuilder for deallocating constant tensors if they
are unused and separating constant tensors and nonconstant tensors

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Change afterFunctionPrepare to postFunctionPrepare

* Fix default parameter of registerTensorInfo

[neurun] Make {pre|post}Visit of TemplTensorBuilder recursive (#7064)

Make {pre|post}Visit of TemplTensorBuilder recursive to support for more
than two consecutive concat layers

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Update dockerfile - numpy (#7111)

Install python3 numpy for andorid-q test generator
Change python-pip to python3-pip

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Use static casting to convert enum type (#7104)

To resolve implicit enum type casting warning, introduce convert helper and use static casting

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[res] Introduce UNIT_Mean_00X testcases (#7051)

This commit will introduce `UNIT_Mean_000` ~ `UNIT_MEAN_004`
testcases

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[exo-tflite] Adding TFLShapeInferenceRule into ShapeInference (#7096)

* [exo-tflite] Adding TFLShapeInferenceRule into ShapeInference

This adds TFLShapeInferenceRule into ShapeInference.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* restore empty line

Explicit type to prevent overflow (#7106)

To remove integer overflow warning by svace, use explicit type int64_t, not auto

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix copy constructor (#7102)

Fix uninitialized field in copy constructor

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix deref null pointer error on scheduler (#7094)

Change to runtime error instead of assert for deref null pointer error on scheduler

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo-tflite] Introducing TFLMaxPool2D (#7087)

This adds TFLMaxPool2D into TFLDialect.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Bugfix of FixShapeTransform of Squeeze (#7031)

If `Squeeze` operation have `squeeze_dims` as `[-1,-2]` and input rank is 4, it should be converted to `[2, 3]`
According to current implementation, the code erase -1 first and then put 3 in the `squeeze_dims`
However, it causes some bug. If -1 is erased, iterator of `squeeze_dims` points -2.
And then if 3 is inserted, the iterator points 3 because it is `Set`!
Now, `squeeze_dims` is `[-2, 3]` and iterator try to iterate next element but there is no more element
because 3 is the last element.

Therefore this commit will fix this bug by introducing new `Set`

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[moco-tf] Update FixShapeTransform test with AvgPool (#7041)

This will update FixShapeTransform test to test with TFAvgPool

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mir] Remove support for Reduce and Pool (#7074)

- Reduce and Pool operations were replaced by `ReduceMean`, `AvgPool2D` and `MaxPool2D`.
- Make `ReduceOp` a base class for `ReduceMeanOp`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Remove support for PoolOp (#7071)

This operation was replaced by `AvgPool2DOp` and `MaxPool2DOp`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Remove support for Reduce and Pool (#7057)

- These operation were replaced by `ReduceMean`, `AvgPool2D` and `MaxPool2D`.
- Pool operations are supported in DataFormatSwitcher optimization.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] functions to build node (#7080)

This adds functions to build featureEncode and featureDecode, which are frequently used.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Adding knob for AveragePool2D conversion (#7092)

This adds knob for AveragePool2D conversion. Default is false.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Enable Floor op for ACL neon (#7100)

This commit enables to support Floor op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Adding TFLTypeInferenceRule into TypeInference (#7097)

This adds TFLTypeInferenceRule into TypeInference.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tflite_loader] Add Mul and Sub operator (#7099)

It adds mul and sub operator to run ST model.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Fix uninitialized field (#7089)

Fix uninitialized field contructor warning in neurun core and backend

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Exp op for ACL neon (#7093)

This commit enables to support Exp op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Change the name of input of TFLRelu (#7081)

* [exo-tflite] Change the name of input of TFLRelu

Input name follows TensorFlow input naming. (input -> features)

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* modify input -> features

Apply finding frontend layout of operand (#7065)

This commit applies finding frontend layout of operand.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tflite_loader] implement Relu6 operator (#7068)

It adds `Relu6` for mobilenet v3.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Fix null type reference (#7059)

Instead of using getOperandSize, use type pointer to find out operand has unspecified shape

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo-tflite] Introducing TFLAveragePool2D node (#7054)

* [exo-tflite] Introducing TFLAveragePool2D node

This adds TFLAveragePool2D node, which represelt AVERAGE_POOL_2D of TensorFlow Lite.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* modified per jh1304's review. Filter and Stride were made

Coverity issue on scheduler (#7072)

- Unreached default in switch-case
- Unchecked return of library call

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo-tflite] Introducing TFLTypeInference (#7015)

This adds TFLTypeInference to infer type for TFL nodes.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[pepper-str] Fix "unused parameter" warning in CI (#7075)

This fix "unused parameter" warning in CI.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Remove unnecessary helper function (#7066)

This commit removes unnecessary helper function.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Make ConcatLayers support NCHW frontend layout (#7063)

This commit makes ConcatLayers support NCHW frontend layout.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Use LIB_PTHREAD variable in CMake (#7069)

Use variable `${LIB_PTHREAD}` rather than hardcoded `pthread`. This is
useful for Android build which does not have pthread lib. Android
contains pthread in libc.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Revert commits related to mutex in acl_cl::Object (#7062)

- Revert "Fix deadlock when access two acl_cl at once (#6500)"
- Revert "[neurun] Change acl_cl::Object::access to multithread safe (#5636)"

This reverts commit 51671b098692a133d86624afc5455c6e01ef9302
This reverts commit 6097ce0e7d59be4342db40e1bfc104d5ec88c5fa

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[mir_caffe] Switch to AvgPool2D and MaxPool2D ops (#7029)

Switch from `PoolOp` to `AvgPool2DOp` and `MaxPool2DOp`. The former ones are deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Check dladdr return value (#7061)

Check dladdr return value and log if fail to load

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix unused return value (#7060)

Fix unused return value of call for dimension valid check

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[mir_onnx] Switch GlobalAveragePool converter to AvgPool2DOp (#7049)

Switch from `PoolOp` to `AvgPool2DOp` in `GlobalAveragePool` converter. The former one is deprecated.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] Make "Check.h" to use pepper instead of pp (#7038)

* [exo-tflite] added pp into cmake scripts

`pp` is added into cmake scripts to use "Check.h", which includes a header in pp.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* pp to lightweight pepper::str

[mir] Remove operation names (#7016)

Names on operations were difficult to maintain.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Fix uncatched exception (#7058)

Operand::operandSize() can throw exeception because sizeOfDataType() in DataType.h can throw runtime exception

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Resolve Division by zero in Softmax layer (#7055)

This commit will resolve division by zero in Softmax layer

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[pepper-str] make a function in header inline (#7043)

* [pepper-str] make a function in header inline

This adds `inline` keyword to `str_impl(...)` function in header.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* added inline to all str_impl

[neurun] Implemented scheduler test with branched graph (#6926)

* [neurun] Implemented scheduler test with branched graph

* Implemented scheduler test with branched graph and known execution time
* Added set time methods to ExecTime
* Refactored existing scheduler test a little bit

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* 'set' methods from ExecutionTime replaced with helper functions

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* remove profile data before test

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Review fixes

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Increased execution time for GPU in last test

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Set correct large exec time for gpu

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Prettified HE scheduler a little bit (#6982)

* [neurun] Prettified HE scheduler a little bit

* Removed backend transfer time from _run_cache
* _run_cache replaced with _preferred_operations
* Profiling information existence checks added

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Review fixes

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[neurun] Made scheduler to shuffle backends after all nodes are profiled (#7010)

[neurun] Made scheduler to shuffle backends after all nodes are already profiled

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>