[moco-tf] Skip canonical node fix shape (#7244)

This will skip canonical nodes fix shapes that is done as loco service
- Pull and Push nodes are still called as they exist in import

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Fix SquaredDifferenceCanonicalizer (#7245)

This will fix SquaredDifferenceCanonicalizer to check input nodes shape

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Remove unused ForwardShapeInferenceAlgorithm (#7246)

This will remove not used anymore ForwardShapeInferenceAlgorithm

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] Conv2DBackpropInput with 3x3 stride 2 (#7194)

This will add TensorFlow test material for Conv2DBackpropInput with 3x3 filter and stride 2

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce bino (#7247)

This commit introduces bino, a library that facilitates std::pair
manipulation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo-tflite] change TODO (TFL node list to canonical node list) (#7256)

Changing TODO list from (wrong) TFL node list to canonical node list.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[res] TF Test for Instance normalization (#7198)

This will add TF network test material of small input size of Instance normalization

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Do NOT invoke shape_get directly (#7231)

This commit replaces all the loco::shape_get calls in ForwardShapeInferenceAlgorithm
implemention with "node_shape" method to facilitate refactoring.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locop] Introduce ExampleGraph (#7229)

Let's reuse common test code.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove CLPermuteEx layer and kernel (#7253)

CLPermuteEx is not used anymore in neurun
-  Remove this implementation
-  Fix pacl to use CLPermute (used in neurun acl-cl backend)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Implemented test for scheduler profiling mode (#7034)

Implemented test for scheduler with enabled profiling mode
Fixed scheduling order by increasing et of one branch

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

Remove GenericFullyConnectedLayer implementation (#7252)

GenericFullyConnectedLayer is not used anymore in neurun
- Remove this implementation
- Fix pacl to use CLFullyconnectedReshpingLayer (used in neurun acl-cl backend)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add nnpkg test in coverage test (#7249)

Run nnpkg test for coverage test if nnpkg test suite exists

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Use option for srcn kernel build (#7222)

Change to use srcn kernel build option BUILD_SRCN_KERNEL

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco-tf] Remove canonical concat axis test (#7230)

This will remove Canonical Concat IR test for axis
- Canonical IRs will not be handled in shape inference anymore
- Current Concat axis calculation is done in shape inference step

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mir] Add dumpGraph function (#7242)

Add `dumpGraph` function as a future replacement of `IrDotDumper`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Revive IVisitor in proper way (#6657)

Return IVisitor as a strict version of Visitor
Propose to not use IVisitor outside of MIR component
Add missing includes and licenses

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>
Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Add missing include (#7241)

Add missing include of `Visitor.h`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Add missing include (#7240)

Add missing include of `Visitor.h`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Make Shape constructor explicit (#7239)

Make `Shape` constructor explicit again.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Remove conversions of strides vector to Shape (#7237)

Remove implicit conversions of strides to `Shape`.
Add helper functions to work with strides.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Enable some tests for acl neon (#7235)

This commit eanbles some tests for acl neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[custom op] (fix) Implement missing ShapeFixer method in cpu backend (#7236)

Provide empty imlpementation for ShapeFixer::visit(CustomNode&)

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Update `tflite_convert.sh` script (#6869)

- Change to use the 'tensorflow' module installed on the system by
  default.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

Enable Split op for ACL neon (#7226)

This commit enables to support Split op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Use type convert helper in tflite loader (#7232)

Use activation type convert helper for sub operation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable binary Logical ops for ACL neon (#7233)

This commit enables to support binary Logical ops for ACL neon.
  - Implement kernel of acl_neon for binary logical ops
  - Enable to support these ops for acl_neon on the neurun

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[custom op] Implement custom operation loading in tflite_loader (#7182)

Load custom operations during model input
Loader assumes custom operations were already registered before model loading
Pass userdata size to CustomNode constructor
update custom op creation

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[mocotest-tf] Enable UNIT_StopGradient_001 (#7224)

This will enable UNIT_StopGradient_001 that is rank 4 test of StopGradient

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2tflite] Enable UNIT_StopGradient_001 (#7223)

This will enable UNIT_StopGradient_001 that is rank 4 test of StopGradient

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] introducing TypeInferencePass (#7225)

TypeInferencePass annotates dtype of nodes (canonical/TFL/COp nodes).

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Introducing ProgressReporter listner (#7221)

* [exo-tflite] Introducing ProgressReporter listner

ProgressReporter is copied from moco-tf to print information before/after phase.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* CI error -> remove unused parameter

[exo-tflite] Adding list of converters as TODO (#7228)

This adds list of converters as TODO.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Prepare slots for template initialization (#7227)

This adds slots for template initialization in CanonicalNodeConverter, which prevents code conflict.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[cusop] replace new with make_shared (#7211)

custom::KernelRegistry will be created with make_shared.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[custom op] Build custom kernels (#6964)

* [custom op] Build custom kernels

Update cpu backend's `KernelGenerator` to build custom operation kernels

* Fix allocations in custom node kernel generator

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Add new backend for srcn (#7132)

* [neurun] Add new backend for srcn

This patch has a basic framework for adding new backend.
In practice, normal behavior is not implemented.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Fix an issue where arm_neon.h file is not always found

[moco-tf] Return for ShapeInferencePass (#7220)

This will return value from loco shape inference in ShapeInferencePass

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use loco::shape in import (#7217)

This will revise import to use loco shape instead of ShapeInferenceData
- also add guards for safety

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Enhancing TypeInference::to() (#7206)

Now 1) TypeInference::to()returns bool 2) checks previously inferred dtype

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Introducing ReluConverter (#7216)

This converter converts loco::Relu to locoex::TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Skip FuseBinaryIntoPreceding on Scalar (#7219)

The current implementation of FuseBinaryIntoPreceding gets stuck when
it encounters scalar constants.

Let's make FuseBinaryIntoPreceding skip on this case.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[custom op] Free custom op userdata in CustomNode destructor (#7213)

- Makes userdata sized as this is required to use tflite flexbuffers format
- Changes userdata type to char* in order to properly delete it
- initialize custom kernel fields
- free memory using delete[]

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[cus_op] remove unnecessary header dependency in nnfw_dev.hpp (#7209)

Move the include to implementation to remove depedencies.

Forwarding declarations are enough:
- Execution.h
- Graph.h
- CustomKernelRegistry.h

Unnecessary dependency:
- compiler/Compiler.h

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[locop] Use shared FormattedTensorShape (#7212)

The current implementation of CanonicalNodeSummaryBuilder implements its
own TensorShape formatter.

Let's replace this local formater with the shared one.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locop] Show value domain (#7202)

LinearV1 Graph Formatter now shows domain if domain(shape) is known.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco_tf] Do shape and type inference in TFOptimizer (#7215)

This will run Shape and Type inference while TF dialect optimizations

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] introducing ShapeInferencePass (#7214)

ShapeInferencePass annotates shape of nodes (canonical/TFL/COp nodes).

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] type inference for TFLRelu (#7208)

This adds type inference for TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] shape inference for TFLRelu (#7210)

This adds shape inferene for TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Scripts to make nnpkg testsuite and test (#7199)

- Introduce script to make nnpkg testsuite in CI build server
- Introduce script to test nnpkg testsuite in xu4 farm

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Pad op for ACL neon (#7205)

This commit enables to support Pad op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[locoex] Enhance COpTypeInference test (#7204)

This includes CanonicalTypeInferenceRule check. This is required for future change of loco::TypeInference, which looks into the dtype of all input nodes. So, the type of loco::Pull should be inferred to infer the type of locoex::COpCall.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Update armcl-ex library cmake (#7167)

Use finding arm compute package instead of  checking target arch
Use target_compile_definition for preprocessor and merge

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[res] TF test for SquaredDifference broadcast (#7190)

This will add SquaredDifference test material for broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] TF test for Add broadcast with scala (#7195)

This will add TF test material of Add operator with rank 4 tensor with scala

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use ShapeInferenceData for rule (#7184)

* [moco-tf] Use ShapeInferenceData for rule

This will revise TFShapeInferenceRule infer to directly use ShapeInferenceData

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* change scope

[res] TF test for rank 4 StopGradient (#7191)

This will add TensorFlow test material for rank 4 StopGradient operator

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res_tf] TF test for Sub broadcast (#7192)

This will add TensorFlow test material for Sub broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Added TODO for each TFL Nodes in shape & type inference code (#7203)

This creates a slots for visit() of each TFL node.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[loco] Introduce TensorAxis header (#7188)

Currently, PermutingCodec internally declares TensorAxis alias.
Let's extract this as a separate header and reuse it!

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable LSTM op for ACL neon (#7201)

This commit enables to support LSTM op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[locop] NodeSummary with Comments (#7193)

This commit allows usersr to add multi-line comments to NodeSummary, and
revises LinearV1 Graph Formatter to show these comments properly.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable LocalResponseNormalization op for ACL neon (#7149)

This commit enables to support LocalResponseNormalization op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce tfts v0.1 (#7165)

* Introduce tfts v0.1

This commit introduces TensorFlow Testcase Service (tfts) v0.1.

The current version supports basic shape check on TensorFlow testcases
through nnkit-tf.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use simple tfts_check instead of tfts_shape_check

[exo-tflite] Remove TFLShapeAnnot and TFLTypeAnnot (#7197)

Instead of using TFLShapeAnnot and TFLTypeAnnot, we will have type and shape inference for each TFL Nodes. So these annot classes is removed.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[locop] Remove symbol_lookup helper (#7196)

This helper is no longer meaningful.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[custom op] Implement custom op registration using public API (#7181)

* [custom op] Implement custom op registration using public API

Adds public custom operation registration method

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
* format fix

[res] TF test for Mul broadcast (#7187)

This will add two Mul test materials for broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] TF test for Add broadcast (#7186)

This will add two Add TF test materials for broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[custom op] overload getName in CustomNode implementation (#7180)

Fixes CustomNode class being abstract

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Update srcn kernel library cmake (#7135)

Use finding arm_neon.h instead of checking target arch
Link libraries OpenMP_CXX_LIBRARIES
Prepare compile definition NCNN and comment out

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Revise shape inference condition (#7161)

* [loco] Revise shape inference condition

This will add condition to ShapeInference to infer when target node shape is unknown and input(s) shape is ready

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove print code

[mir_caffe2] Reshape bias for Convolution (#7170)

Fixes compilation error of mobilenet.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Change type of strides parameter (#7179)

Change the type of `strides` parameter of convolutional operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Change type of strides argument (#7177)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_tflite] Change type of strides argument (#7176)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Change type of strides argument (#7178)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe] Change type of strides argument (#7175)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_caffe2] Change type of strides argument (#7174)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Change type of strides argument (#7173)

Change the type of `strides` argument of `Conv2D` and `DepthwiseConv2D` operations to `vector<int32_t>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Fix neurun build fail (#7171)

Fix neurun build fail by ITensorManager change

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable ResizeBilinear op for ACL neon (#7151)

This commit enables to support ResizeBilinear op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Nit : Put override specifier (#7154)

Nit : Put override specifier in NopFunction.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Implement classes inherit to ITensorManager (#7083)

* [neurun] Implement classes inherit to ITensorManager

Implement classes inherit to ITensorManager such as cpu/TensorManager
and AclTensorManager

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Add findTensorAsParent()

* Merge two buildXXXTensor into one with as_const param

Remove unused env variable utility (#7140)

Unify environment variable utility
Remove unused environment variable utility functions

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Introducing BiasDecode (#7158)

This introduce loco::BiasDecode, which translate Bias domain to Tensor domain.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Enable LogicalNot op for ACL neon (#7159)

This commit enables to support LogicalNot op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix memory leak in srcn (#7162)

Delete allocated array before fast return

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Unpack op for ACL neon (#7133)

This commit enables to support Unpack op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] renaming TFLConverter to CanonicalNodeConverter (#7152)

TFLConverter was renamed to CanonicalNodeConverter, meaning "convert caninical node to TFL node"

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[custom op] Update custom kernel registry to use C api version (#6288)

* [custom op] Update custom kernel registry to use C api version

Split custom kernel and kernel registry into separate files
Now custom kernel uses api types
Link neurun core library with API headers

* update with latest changes to #6219

* Update kernel registry with changes to api. Link neurun core with nnfw-header

* add missed license

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Enable Transpose op for ACL neon (#7155)

This commit enables to support Transpose op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable Logistic op for ACL neon (#7156)

This commit enables to support Logistic op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[moco-tf] Use logo for Importer (#7119)

This will revise Importer to use logo Phase and ProgressReporter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Export TFLAdd (#7150)

This will add export for TFLAdd node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[custom op] Update kernel registry binding (#7141)

* [custom op] Update kernel registry binding

Split kernel registry creation from backend context creation

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
* format fix

* fix unused parameter compile error

Add permutation type member into PermuteNode (#7085)

This comit adds permutation type member into PermuteNode.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo-tflite] Add knob for ADD (#7148)

This will add knob for ADD as ConvertAdd

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add missing copyright in GraphTestcase.h (#7145)

Add missing copyright phrase for loco's GraphTestcase.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>