[mir] Make Shape constructor explicit (#7239)

Make `Shape` constructor explicit again.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Remove conversions of strides vector to Shape (#7237)

Remove implicit conversions of strides to `Shape`.
Add helper functions to work with strides.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Enable some tests for acl neon (#7235)

This commit eanbles some tests for acl neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[custom op] (fix) Implement missing ShapeFixer method in cpu backend (#7236)

Provide empty imlpementation for ShapeFixer::visit(CustomNode&)

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Update `tflite_convert.sh` script (#6869)

- Change to use the 'tensorflow' module installed on the system by
  default.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

Enable Split op for ACL neon (#7226)

This commit enables to support Split op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Use type convert helper in tflite loader (#7232)

Use activation type convert helper for sub operation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable binary Logical ops for ACL neon (#7233)

This commit enables to support binary Logical ops for ACL neon.
  - Implement kernel of acl_neon for binary logical ops
  - Enable to support these ops for acl_neon on the neurun

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[custom op] Implement custom operation loading in tflite_loader (#7182)

Load custom operations during model input
Loader assumes custom operations were already registered before model loading
Pass userdata size to CustomNode constructor
update custom op creation

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[mocotest-tf] Enable UNIT_StopGradient_001 (#7224)

This will enable UNIT_StopGradient_001 that is rank 4 test of StopGradient

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2tflite] Enable UNIT_StopGradient_001 (#7223)

This will enable UNIT_StopGradient_001 that is rank 4 test of StopGradient

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] introducing TypeInferencePass (#7225)

TypeInferencePass annotates dtype of nodes (canonical/TFL/COp nodes).

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Introducing ProgressReporter listner (#7221)

* [exo-tflite] Introducing ProgressReporter listner

ProgressReporter is copied from moco-tf to print information before/after phase.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* CI error -> remove unused parameter

[exo-tflite] Adding list of converters as TODO (#7228)

This adds list of converters as TODO.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Prepare slots for template initialization (#7227)

This adds slots for template initialization in CanonicalNodeConverter, which prevents code conflict.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[cusop] replace new with make_shared (#7211)

custom::KernelRegistry will be created with make_shared.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[custom op] Build custom kernels (#6964)

* [custom op] Build custom kernels

Update cpu backend's `KernelGenerator` to build custom operation kernels

* Fix allocations in custom node kernel generator

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Add new backend for srcn (#7132)

* [neurun] Add new backend for srcn

This patch has a basic framework for adding new backend.
In practice, normal behavior is not implemented.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Fix an issue where arm_neon.h file is not always found

[moco-tf] Return for ShapeInferencePass (#7220)

This will return value from loco shape inference in ShapeInferencePass

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use loco::shape in import (#7217)

This will revise import to use loco shape instead of ShapeInferenceData
- also add guards for safety

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Enhancing TypeInference::to() (#7206)

Now 1) TypeInference::to()returns bool 2) checks previously inferred dtype

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Introducing ReluConverter (#7216)

This converter converts loco::Relu to locoex::TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Skip FuseBinaryIntoPreceding on Scalar (#7219)

The current implementation of FuseBinaryIntoPreceding gets stuck when
it encounters scalar constants.

Let's make FuseBinaryIntoPreceding skip on this case.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[custom op] Free custom op userdata in CustomNode destructor (#7213)

- Makes userdata sized as this is required to use tflite flexbuffers format
- Changes userdata type to char* in order to properly delete it
- initialize custom kernel fields
- free memory using delete[]

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[cus_op] remove unnecessary header dependency in nnfw_dev.hpp (#7209)

Move the include to implementation to remove depedencies.

Forwarding declarations are enough:
- Execution.h
- Graph.h
- CustomKernelRegistry.h

Unnecessary dependency:
- compiler/Compiler.h

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[locop] Use shared FormattedTensorShape (#7212)

The current implementation of CanonicalNodeSummaryBuilder implements its
own TensorShape formatter.

Let's replace this local formater with the shared one.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locop] Show value domain (#7202)

LinearV1 Graph Formatter now shows domain if domain(shape) is known.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco_tf] Do shape and type inference in TFOptimizer (#7215)

This will run Shape and Type inference while TF dialect optimizations

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] introducing ShapeInferencePass (#7214)

ShapeInferencePass annotates shape of nodes (canonical/TFL/COp nodes).

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] type inference for TFLRelu (#7208)

This adds type inference for TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] shape inference for TFLRelu (#7210)

This adds shape inferene for TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Scripts to make nnpkg testsuite and test (#7199)

- Introduce script to make nnpkg testsuite in CI build server
- Introduce script to test nnpkg testsuite in xu4 farm

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Pad op for ACL neon (#7205)

This commit enables to support Pad op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[locoex] Enhance COpTypeInference test (#7204)

This includes CanonicalTypeInferenceRule check. This is required for future change of loco::TypeInference, which looks into the dtype of all input nodes. So, the type of loco::Pull should be inferred to infer the type of locoex::COpCall.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Update armcl-ex library cmake (#7167)

Use finding arm compute package instead of  checking target arch
Use target_compile_definition for preprocessor and merge

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[res] TF test for SquaredDifference broadcast (#7190)

This will add SquaredDifference test material for broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] TF test for Add broadcast with scala (#7195)

This will add TF test material of Add operator with rank 4 tensor with scala

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use ShapeInferenceData for rule (#7184)

* [moco-tf] Use ShapeInferenceData for rule

This will revise TFShapeInferenceRule infer to directly use ShapeInferenceData

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* change scope

[res] TF test for rank 4 StopGradient (#7191)

This will add TensorFlow test material for rank 4 StopGradient operator

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res_tf] TF test for Sub broadcast (#7192)

This will add TensorFlow test material for Sub broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Added TODO for each TFL Nodes in shape & type inference code (#7203)

This creates a slots for visit() of each TFL node.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[loco] Introduce TensorAxis header (#7188)

Currently, PermutingCodec internally declares TensorAxis alias.
Let's extract this as a separate header and reuse it!

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable LSTM op for ACL neon (#7201)

This commit enables to support LSTM op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[locop] NodeSummary with Comments (#7193)

This commit allows usersr to add multi-line comments to NodeSummary, and
revises LinearV1 Graph Formatter to show these comments properly.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable LocalResponseNormalization op for ACL neon (#7149)

This commit enables to support LocalResponseNormalization op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce tfts v0.1 (#7165)

* Introduce tfts v0.1

This commit introduces TensorFlow Testcase Service (tfts) v0.1.

The current version supports basic shape check on TensorFlow testcases
through nnkit-tf.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use simple tfts_check instead of tfts_shape_check

[exo-tflite] Remove TFLShapeAnnot and TFLTypeAnnot (#7197)

Instead of using TFLShapeAnnot and TFLTypeAnnot, we will have type and shape inference for each TFL Nodes. So these annot classes is removed.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[locop] Remove symbol_lookup helper (#7196)

This helper is no longer meaningful.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[custom op] Implement custom op registration using public API (#7181)

* [custom op] Implement custom op registration using public API

Adds public custom operation registration method

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
* format fix

[res] TF test for Mul broadcast (#7187)

This will add two Mul test materials for broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] TF test for Add broadcast (#7186)

This will add two Add TF test materials for broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[custom op] overload getName in CustomNode implementation (#7180)

Fixes CustomNode class being abstract

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Update srcn kernel library cmake (#7135)

Use finding arm_neon.h instead of checking target arch
Link libraries OpenMP_CXX_LIBRARIES
Prepare compile definition NCNN and comment out

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Revise shape inference condition (#7161)

* [loco] Revise shape inference condition

This will add condition to ShapeInference to infer when target node shape is unknown and input(s) shape is ready

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove print code

[mir_caffe2] Reshape bias for Convolution (#7170)

Fixes compilation error of mobilenet.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Change type of strides parameter (#7179)

Change the type of `strides` parameter of convolutional operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Change type of strides argument (#7177)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_tflite] Change type of strides argument (#7176)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Change type of strides argument (#7178)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe] Change type of strides argument (#7175)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe2] Change type of strides argument (#7174)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Change type of strides argument (#7173)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Fix neurun build fail (#7171)

Fix neurun build fail by ITensorManager change

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable ResizeBilinear op for ACL neon (#7151)

This commit enables to support ResizeBilinear op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Nit : Put override specifier (#7154)

Nit : Put override specifier in NopFunction.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Implement classes inherit to ITensorManager (#7083)

* [neurun] Implement classes inherit to ITensorManager

Implement classes inherit to ITensorManager such as cpu/TensorManager
and AclTensorManager

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Add findTensorAsParent()

* Merge two buildXXXTensor into one with as_const param

Remove unused env variable utility (#7140)

Unify environment variable utility
Remove unused environment variable utility functions

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Introducing BiasDecode (#7158)

This introduce loco::BiasDecode, which translate Bias domain to Tensor domain.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Enable LogicalNot op for ACL neon (#7159)

This commit enables to support LogicalNot op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix memory leak in srcn (#7162)

Delete allocated array before fast return

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Unpack op for ACL neon (#7133)

This commit enables to support Unpack op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] renaming TFLConverter to CanonicalNodeConverter (#7152)

TFLConverter was renamed to CanonicalNodeConverter, meaning "convert caninical node to TFL node"

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[custom op] Update custom kernel registry to use C api version (#6288)

* [custom op] Update custom kernel registry to use C api version

Split custom kernel and kernel registry into separate files
Now custom kernel uses api types
Link neurun core library with API headers

* update with latest changes to #6219

* Update kernel registry with changes to api. Link neurun core with nnfw-header

* add missed license

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Enable Transpose op for ACL neon (#7155)

This commit enables to support Transpose op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable Logistic op for ACL neon (#7156)

This commit enables to support Logistic op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[moco-tf] Use logo for Importer (#7119)

This will revise Importer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Export TFLAdd (#7150)

This will add export for TFLAdd node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[custom op] Update kernel registry binding (#7141)

* [custom op] Update kernel registry binding

Split kernel registry creation from backend context creation

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
* format fix

* fix unused parameter compile error

Add permutation type member into PermuteNode (#7085)

This comit adds permutation type member into PermuteNode.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Add knob for ADD (#7148)

This will add knob for ADD as ConvertAdd

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add missing copyright in GraphTestcase.h (#7145)

Add missing copyright phrase for loco's GraphTestcase.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco-tf] Revise FixShape test with Conv2D (#7116)

This will revise FixShapeTransform test with Conv2D to use moco::tf::TFConv2D from loco::Conv2D IR

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Add buildSubtensor() and objects() to AclMemoryManager (#7084)

Add buildSubtensor() and objects() into AclMemoryManager to be used by AclTensorManager in the future
Apply buildSubtensor() into TemplTensorBuilder
Remove unnecessary namespace

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[moco-tf] Use logo for TFOptimizer (#7121)

This will revise TFOptimizer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use logo for Optimizer (#7120)

This will revise Optimizer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use logo for Canonicalizer (#7118)

This will revise Canonicalizer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Introduce TFLAdd (#7113)

This will introduce TFLAdd IR and required summary builder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflite_loader] implement div and sqrt (#7114)

It adds div and sqrt in tflite_loader.
`tf2tflite` converts `rsqrt` into `sqrt` and `div`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo-tflite] Revise shape inf test (#7144)

This will revise shape inference test as network has TFL and Canonical dialects

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Enable RNN op for ACL neon (#7137)

This commit enables to support RNN op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[mir] Pass aggregate arguments by const reference (#7143)

clang-tidy suggests to pass by value and use `std::move`, but it is easy to forget and does not give significant benefits.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe] Do not insert Transposes (#7110)

Remove insertion of Transpose operations, set the data format on operations instead.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe2] Do not insert Transposes (#7139)

Remove insertion of Transpose operations, set the data format on operations instead.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[soft_backend] Added Resize shape checking (#7107)

* Checked that resize work only H and W dims

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[mir_onnx] Remove unsing converters before operation with NCHW layout (#7044)

* Removed converters
* Fixed some params
* Fixed consant shape in BatchNormalization (for right work of
broadcasting in elementwise operations)

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

Enable L2Pool2D op for ACL neon (#7134)

This commit enables to support L2Pool2D op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[loco] Add bool return type for shape infer to() (#7131)

This will set boolean return type for ShapeInferenceSession to() method

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflite_loader] implement squared_difference (#7127)

It adds squared_difference operator in tflite_loader.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable L2Normalization op for ACL neon (#7129)

This commit enables to support L2Normalization op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix misapplied enum value in KernelGenerators (#7130)

This commit fixes misapplied enum value in KernelGenerators.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>