[loco] Do not invoke global shape_known helper (#7297)

This commit revises ForwardShapeInferenceAlgorithm to invoke internal
"shape_known" helper instead of global shape_known helper.

This change reduces the amount of code changes for API v2 migration.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[bino] Remove bitwise-or operator overloading (#7300)

Recently introduced fipe provides more general function pipe
implementation.

Let's use the function pipe implementation in fipe!

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Implement Type/Shape Inference for TensorBroadcast (#7306)

This commit implements type/shape inference for TensorBroadcast nodes.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo-tflite] Moving Knob check of each converter into convert.cpp (#7303)

* [exo-tflite] Moving Knob check of each converter into convert.cpp

Knob check of each converter was moved into `convert.cpp`.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove unused header

[moco-tf] Delete moved to logo (#7311)

This will delete transforms that has been moved to logo

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Putting all converts header file into one header file (#7305)

* [exo-tflite] Putting all converts header file into one header file

Now Conversion.h will include all converter's header file. This is to keep `convert.cpp` clean.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* move conversion/conversions.h to src

[exo-tflite] adding `const` to TFLNodes.h (#7307)

This adds missing `const` to TFLNodes.h

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] type inference of TFLAveragePool2D (#7314)

This commit adds type inference of TFLAveragePool2D.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] change knob name for loco::AvgPool2D (#7316)

Previous name `ConvertAveragePool2D` followed TFL node name.
So, renamed to ConvertAvgPool2D just like converter's name follows canonical name.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[custom op] Add FillFrom kernel example (#7310)

Add example for kernel developers

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[custom op] Add basic custom op example structure (#7308)

* [custom op] Add basic custom op example structure

Add directories and CMakeLists for apps and kernels

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
* use add_subdirectories

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[cli] Use GTest_AddTest (#7286)

Let's simplify CMakeLists.txt a bit with GTest_AddTest helper.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] Apply shape_inference_done (#7304)

This will apply to use shape_inference_done() for fix_shape nodes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[logo] Unit test for ConstantFoldingPass (#7301)

* [logo] Unit test for ConstantFoldingPass

This will add unit test for ConstantFoldingPass copied from moco-tf ConstantFoldingTransform excluing import and log

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

[backend/srcn] Add transpose conv kernel (#7248)

* [backend/srcn] Add transpose conv kernel

Srcn library supports raw-major(NCHW) and col-major(NHWC) image layout.
However this commit only supports col-major image layout.

And Srcn library takes HWOI kernel filter layout when the image layout is NHWC.
But in neurun, it takes OHWI kernel filter layout when using the same image layout.
So it need to permute codes for TransposeConv weight.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Change the Permute function to be limited to kernel layout

* Use original data array without copying to new address

[locomotiv] Use const if possible (#7264)

"annot_data" and "annot_domain" do not change the node itself.

This commit revies the signature of these helpers to express this
property explicitly.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] Use shape_inference_done for helpers (#7288)

This will change to use shape_inference_done() for helpers in FixShapeTransform

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[logo] Test helper (#7289)

* [logo] Test helper

This will introduce TestHelper for logo with find_first_node_bytype() method

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

[loco] Add LEP_000 document (#7128)

* [loco] Add LEP_000 document

This commit adds LEP_000 document which proposes a design change over
loco IR.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix typos

* Rename and add heading

* Add a comment

[loco] Implement TensorBoradcast::Mapping methods (#7279)

This commit adds missing TensorBroadcast::Mapping method implementations
with related tests.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce fipe library (#7281)

* Introduce fipe library

This commit introduces fipe, which permits function chaining with
UNIX pipe-like syntax.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Add License Notice

* Add a comment

[logo] Use GTest_AddTest helper (#7285)

This commit simplifies logo's CMakeLists.txt using GTest_AddTest.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo-tflite] Move Convert.h/cpp, GraphBlock.h/cpp to src (#7291)

Convert.h/cpp, GraphBlock.h/cpp are moved into src.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Apply TensorManager instead of MemoryManager (#7251)

* [neurun] Apply TensorManager instead of MemoryManager

Apply TensorManager instead of MemoryManager. It looks huge but there
are the only many changes instead TensorManager of MemoryManager

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix format

* Adding finalize() and moving wrap_tensor() in dataflow

* Fix wrong code in dataflow

[exo-tflite] Adding test assert into TFLTypeInferenceRuleTest (#7284)

This adds more asserts into the test body of TFLTypeInferenceRuleTest.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Adding test assert into TFLShapeInferenceRuleTest (#7283)

This adds more asserts into the test body of TFLShapeInferenceRuleTest.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Attaching progress reporter into convert_to_TFLNodes() (#7280)

This attaches progress reporter into the phase of convert_to_TFLNodes().

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Helper macro and class for test (#7255)

* [exo-tflite] Helper macro and class for test

Adding a macro to count the number of node and a class to easily run a pass to test.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* phase -> _phase

[tflite_loader] Implemented TransposeConv node conversion (#7268)

* [tflite_loader] Implemented TransposeConv node conversion

Implemented transpose conv node conversion

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Fixed formatting

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[custom op] Fix custom kernel configuration (#7238)

Previously tensor address was accidently passed instead of tensor buffer
Correctly store userdata_size insude CustomKernel::configure

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[tflite_loader] Implemented Mean node conversion (#7267)

* [tflite_loader] Implemented Mean node conversion

* implemented Mean node conversion
* changed MeanNode keep_dims param type to bool

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Fixed formatting

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[loco] Introduce ShapeInferenceRule v2 API (#7265)

This commit extends ShapeInferenceRule with a new version of infer API.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce TensorBroadcast node (#7262)

This commit extends loco.canonical with TensorBroadcast node.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] Introduce shape_inference_done (#7276)

This will introduce shape_inference_done() method in FixShapeTransform as a helper function not to directly access ShapeInferenceData annotation to check shape inference is done or not

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mir] Refactor graph dot dumper (#7273)

Refactor graph dot dumper to loosen dependencies.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Use dumpGraph function (#7243)

Use `dumpGraph` function instead of `IrDotDumper` class.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[moco-tf] Remove unused code in FixShapeTransform (#7266)

This will remove unused code in FixShapeTransform
- Shape inference for canonical dialect nodes are handled by loco service

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Put "exo::" prefix (to easily distinguish log from exo) (#7258)

It is difficult to tell which (moco? exo-tflite?) prints log. So, "exo::" prefix is added for exo-tflite.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Check OOR exception intflite_benchmark (#7260)

Add try-catch to catch OOR exception by substr

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo-tflite] Adding ReluConverter into convert_to_TFLNodes() (#7257)

* [exo-tflite] Adding ReluConverter into convert_to_TFLNodes()

This adds ReluConverter and type/shape inference into convert_to_TFLNodes().

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* saturate -> restart

[res] TF test for Add broadcast with const scala (#7250)

This will add TF test material of Add operator with rank 4 tensor with const scala

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Skip canonical node fix shape (#7244)

This will skip canonical nodes fix shapes that is done as loco service
- Pull and Push nodes are still called as they exist in import

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Fix SquaredDifferenceCanonicalizer (#7245)

This will fix SquaredDifferenceCanonicalizer to check input nodes shape

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Remove unused ForwardShapeInferenceAlgorithm (#7246)

This will remove not used anymore ForwardShapeInferenceAlgorithm

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] Conv2DBackpropInput with 3x3 stride 2 (#7194)

This will add TensorFlow test material for Conv2DBackpropInput with 3x3 filter and stride 2

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce bino (#7247)

This commit introduces bino, a library that facilitates std::pair
manipulation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo-tflite] change TODO (TFL node list to canonical node list) (#7256)

Changing TODO list from (wrong) TFL node list to canonical node list.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[res] TF Test for Instance normalization (#7198)

This will add TF network test material of small input size of Instance normalization

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Do NOT invoke shape_get directly (#7231)

This commit replaces all the loco::shape_get calls in ForwardShapeInferenceAlgorithm
implemention with "node_shape" method to facilitate refactoring.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locop] Introduce ExampleGraph (#7229)

Let's reuse common test code.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove CLPermuteEx layer and kernel (#7253)

CLPermuteEx is not used anymore in neurun
-  Remove this implementation
-  Fix pacl to use CLPermute (used in neurun acl-cl backend)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Implemented test for scheduler profiling mode (#7034)

Implemented test for scheduler with enabled profiling mode
Fixed scheduling order by increasing et of one branch

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

Remove GenericFullyConnectedLayer implementation (#7252)

GenericFullyConnectedLayer is not used anymore in neurun
- Remove this implementation
- Fix pacl to use CLFullyconnectedReshpingLayer (used in neurun acl-cl backend)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add nnpkg test in coverage test (#7249)

Run nnpkg test for coverage test if nnpkg test suite exists

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Use option for srcn kernel build (#7222)

Change to use srcn kernel build option BUILD_SRCN_KERNEL

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco-tf] Remove canonical concat axis test (#7230)

This will remove Canonical Concat IR test for axis
- Canonical IRs will not be handled in shape inference anymore
- Current Concat axis calculation is done in shape inference step

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mir] Add dumpGraph function (#7242)

Add `dumpGraph` function as a future replacement of `IrDotDumper`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Revive IVisitor in proper way (#6657)

Return IVisitor as a strict version of Visitor
Propose to not use IVisitor outside of MIR component
Add missing includes and licenses

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>
Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Add missing include (#7241)

Add missing include of `Visitor.h`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir2loco] Add missing include (#7240)

Add missing include of `Visitor.h`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Make Shape constructor explicit (#7239)

Make `Shape` constructor explicit again.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Remove conversions of strides vector to Shape (#7237)

Remove implicit conversions of strides to `Shape`.
Add helper functions to work with strides.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Enable some tests for acl neon (#7235)

This commit eanbles some tests for acl neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[custom op] (fix) Implement missing ShapeFixer method in cpu backend (#7236)

Provide empty imlpementation for ShapeFixer::visit(CustomNode&)

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Update `tflite_convert.sh` script (#6869)

- Change to use the 'tensorflow' module installed on the system by
  default.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

Enable Split op for ACL neon (#7226)

This commit enables to support Split op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Use type convert helper in tflite loader (#7232)

Use activation type convert helper for sub operation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable binary Logical ops for ACL neon (#7233)

This commit enables to support binary Logical ops for ACL neon.
  - Implement kernel of acl_neon for binary logical ops
  - Enable to support these ops for acl_neon on the neurun

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[custom op] Implement custom operation loading in tflite_loader (#7182)

Load custom operations during model input
Loader assumes custom operations were already registered before model loading
Pass userdata size to CustomNode constructor
update custom op creation

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[mocotest-tf] Enable UNIT_StopGradient_001 (#7224)

This will enable UNIT_StopGradient_001 that is rank 4 test of StopGradient

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2tflite] Enable UNIT_StopGradient_001 (#7223)

This will enable UNIT_StopGradient_001 that is rank 4 test of StopGradient

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] introducing TypeInferencePass (#7225)

TypeInferencePass annotates dtype of nodes (canonical/TFL/COp nodes).

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Introducing ProgressReporter listner (#7221)

* [exo-tflite] Introducing ProgressReporter listner

ProgressReporter is copied from moco-tf to print information before/after phase.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* CI error -> remove unused parameter

[exo-tflite] Adding list of converters as TODO (#7228)

This adds list of converters as TODO.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Prepare slots for template initialization (#7227)

This adds slots for template initialization in CanonicalNodeConverter, which prevents code conflict.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[cusop] replace new with make_shared (#7211)

custom::KernelRegistry will be created with make_shared.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[custom op] Build custom kernels (#6964)

* [custom op] Build custom kernels

Update cpu backend's `KernelGenerator` to build custom operation kernels

* Fix allocations in custom node kernel generator

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Add new backend for srcn (#7132)

* [neurun] Add new backend for srcn

This patch has a basic framework for adding new backend.
In practice, normal behavior is not implemented.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Fix an issue where arm_neon.h file is not always found

[moco-tf] Return for ShapeInferencePass (#7220)

This will return value from loco shape inference in ShapeInferencePass

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use loco::shape in import (#7217)

This will revise import to use loco shape instead of ShapeInferenceData
- also add guards for safety

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Enhancing TypeInference::to() (#7206)

Now 1) TypeInference::to()returns bool 2) checks previously inferred dtype

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] Introducing ReluConverter (#7216)

This converter converts loco::Relu to locoex::TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Skip FuseBinaryIntoPreceding on Scalar (#7219)

The current implementation of FuseBinaryIntoPreceding gets stuck when
it encounters scalar constants.

Let's make FuseBinaryIntoPreceding skip on this case.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[custom op] Free custom op userdata in CustomNode destructor (#7213)

- Makes userdata sized as this is required to use tflite flexbuffers format
- Changes userdata type to char* in order to properly delete it
- initialize custom kernel fields
- free memory using delete[]

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[cus_op] remove unnecessary header dependency in nnfw_dev.hpp (#7209)

Move the include to implementation to remove depedencies.

Forwarding declarations are enough:
- Execution.h
- Graph.h
- CustomKernelRegistry.h

Unnecessary dependency:
- compiler/Compiler.h

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[locop] Use shared FormattedTensorShape (#7212)

The current implementation of CanonicalNodeSummaryBuilder implements its
own TensorShape formatter.

Let's replace this local formater with the shared one.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locop] Show value domain (#7202)

LinearV1 Graph Formatter now shows domain if domain(shape) is known.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco_tf] Do shape and type inference in TFOptimizer (#7215)

This will run Shape and Type inference while TF dialect optimizations

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] introducing ShapeInferencePass (#7214)

ShapeInferencePass annotates shape of nodes (canonical/TFL/COp nodes).

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] type inference for TFLRelu (#7208)

This adds type inference for TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo-tflite] shape inference for TFLRelu (#7210)

This adds shape inferene for TFLRelu.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Scripts to make nnpkg testsuite and test (#7199)

- Introduce script to make nnpkg testsuite in CI build server
- Introduce script to test nnpkg testsuite in xu4 farm

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Pad op for ACL neon (#7205)

This commit enables to support Pad op for ACL neon.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[locoex] Enhance COpTypeInference test (#7204)

This includes CanonicalTypeInferenceRule check. This is required for future change of loco::TypeInference, which looks into the dtype of all input nodes. So, the type of loco::Pull should be inferred to infer the type of locoex::COpCall.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Update armcl-ex library cmake (#7167)

Use finding arm compute package instead of  checking target arch
Use target_compile_definition for preprocessor and merge

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[res] TF test for SquaredDifference broadcast (#7190)

This will add SquaredDifference test material for broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] TF test for Add broadcast with scala (#7195)

This will add TF test material of Add operator with rank 4 tensor with scala

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Use ShapeInferenceData for rule (#7184)

* [moco-tf] Use ShapeInferenceData for rule

This will revise TFShapeInferenceRule infer to directly use ShapeInferenceData

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* change scope

[res] TF test for rank 4 StopGradient (#7191)

This will add TensorFlow test material for rank 4 StopGradient operator

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res_tf] TF test for Sub broadcast (#7192)

This will add TensorFlow test material for Sub broadcast operation

Signed-off-by: SaeHie Park <saehie.park@samsung.com>