[moco] import Const attributes and value data (#3487)

This will enable import for Const attributes and data where there are same number of const value data.
Add test code for this case.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] introduce test helper header (#3476)

* [moco] introduce test helper header

This will add some helpers for node unit testing

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* move outside namespace

* use istream

Add ONNXSource 1.3.0 package (#3481)

This commit introduces ONNXSource v1.3.0 package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Eliminate CRTP from Named class and rename it to NameInfo (#3464)

* rename Named class to NameInfo
* remove virtual destructor because this class is not designed for public inheritance

Signed-off-by: Roman Rusyaev <r.rusyaev@samsung.com>

[nnkit/moco/tf] Build moco_test_tf only when TensorFlow is found (#3465)

Build moco_test_tf only when TensorFlow is found

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[moco] introduce empty TF Const converter (#3477)

This will introduce empty Const node converter

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Introduce get_tensor_attr (#3468)

This will introduce get_tensor_attr method to get tensor attribure from node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Introduce ReLU node (#3472)

This will extend loco IR with ReLU node.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Introduce MaxPool2D node (#3473)

This commit introduces MaxPool2D node.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Distinguish unversioned ONNXSource package (#3469)

This commit introduces ONNXSourceConfigVersion.cmake for unversioned
package in order to eliminate ambiguity in package searching.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce Window class (#3459)

This commit declares (generic) Window class, and provides its
specialization over 2D Window.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce Stride class (#3461)

* [loco] Introduce Stride class

This commit declares (generic) Stride class, and provides its
specialization over 2D.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Mark as a final class

[loco] Introduce FeatureIndex class (#3458)

This commit introduces FeatureIndex class which is the offset of an
element in a feature map.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit/moco/tf] `runall` and build script (#3449)

This commit adds `runall` and build script, working for `Placeholder_000` test case.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[loco] Introduce FeatureShape class (#3448)

This commit introduces FeautreShape class which describes the shape of
Feature Map.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit/moco/tf] Adds getConstFloatTensor for InputTensorContext (#3447)

This adds getConstFloatTensor() method body for InputTensorContext, which is called by HDF5::Export.cpp

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[loco] Introduce TensorIndex class (#3445)

* [loco] Introduce TensorIndex class

This commit introduces TensorIndex class to loco IR.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix a typo

[MIR] Added Readme (#3271)

Added a readme for Model IR

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[nnkit/moco/tf] Fix bug while calling ModelSignature (#3446)

With this commit, node name (without, e.g., ":0") is passed to ModelSignature, not a tensor name with, e.g., ":0".

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnkit/moco/tf] Restructuring 'using' (#3438)

`using` is restructured.
ParsedTensors are common so move `using` with ParsedTensors to top level. Others were moved to method level.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnkit/moco/tf] backend of nnkit (#3444)

* [nnkit/moco/tf] backend of nnkit

This commit adds backend of nnkit for nnkit/moco/tf.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* indentation

[CMake] Check TensorFlow version (#3373)

* [CMake] Check TensorFlow version

This commit introduce check of tensorflow version.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>
* This commit introduce .FORMATCHECKED

Signed-off-by: seongwoo <sw4670.chae@samsung.com>
* This commit apply format.patch

Signed-off-by: seongwoo <sw4670.chae@samsung.com>
* This commit make code safe.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>
* This commit remove modification of 'format'

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[locomotiv] Session frees node annotations on destruction (#3441)

* [locomotiv] Session frees node annotations on destruction

This commit introduces destructor of Session. Previously node
annotations set by Session, like NodeDataImpl, remain even after
Session closed. They were not memory leak by definition, as they can
be accessed through another Session. However node annotations maybe
preserved until program ends, so it is like memory leak. This commit
would prevent that situation.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Delete unused using Index

* Session is final class

[loco] Introduce TensorShape class (#3443)

This commit introduces TensorShape class to loco IR.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Extract nnkit-tflite (#3442)

This commit extracts nnkit modules related with TensorFlow Lite as
nnkit-tflite.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit/tf] fix wrong name of method (#3440)

This commit renames isInt32Tensor to isS32Tensor.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tfldump] Add readme (#3297)

* [tfldump] Add readme

This will add readme for tfldump project

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix typo and some comments

[locomotiv] Support Forward node (#3436)

This commit starts to support loco::Forward node. In terms of node
execution, Forward calculation is same with Push's.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[locomotiv] Use break rather than return (#3437)

For Push node execution, let's use break rather than return inside
switch statement, as it feels more natural.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit] int32 support for nnkit::TensorContext (#3413)

* [nnkit] int32 support for nnkit::TensorContext

This commit adds methods to support int32 for nnkit::TensorContext

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* Int32->S32, added header

* cluster S32 function tegether

Extract nnkit-caffe (#3435)

This commit extracts nnkit-caffe from nnkit, and simplifes the depedency
check in CMakeLists.txt.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locomotiv] Use macro to iterate supported Nodes (#3429)

* [locomotiv] Use macro to iterate supported Nodes

This commit introduces list of supported Nodes for execution, and use
them with macro to iterate and do same thing through Nodes.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* clang-format off for comment indentation

[loco] Introduce ConstGen node (#3425)

* [loco] Introduce ConstGen node

This commit extends loco IR with ConstGen node.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Add assert

* Fix a bug and add a corresponding test

[nnkit/moco/tf] backend implementation (#3424)

* [nnkit/moco/tf] backend implementation

This commit adds backend implementation for nnkit/moco/tf.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* move using into class

* fixed for locomotiv set_input

Extract "nnkit-intf" from "nnkit" (#3433)

This commit extracts "nnkit-intf" from "nnkit" as the first step toward
nnkit directory restructuring.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Run onnx model using onnx runtime (#3432)

This patch has TensorContext class to run pre and post actions.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[loco] Introduce input_nodes/output_nodes helper (#3428)

* [loco] Introduce input_nodes/output_nodes helper

This commit introduces input_nodes/output_nodes helper functions which
allow users to easily enumerate graph-level input/output nodes.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Update test name

[nnkit] Add TensorSet class for managing TensorData of onnx model (#3427)

This patch adds TensorSet class.
And it also support to allocate and release the input and output tensor datas.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[nnkit] Remove finalize function of nnkit::Backend (#3430)

This patch does not remove the plugin unique_ptr directly.
Instead, it passes it in so that it is removed according to the unique_ptr policy.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[locomotiv] Implement Session::get_output() (#3423)

This commit implements how session get its output. Related test for this
feature added as well.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit] Add OnnxRunner for managing onnx runtime (#3417)

* [nnkit] Add OnnxRunner for managing onnx runtime

This patch adds the OnnxRunner class.
This class is for managing the onnx runtime to prepare input and output and to run the model.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Do not throw exception in constructor.

In this case, it will make an assertion.

[locomotiv] Implement inference for session (#3419)

This commit implements Session::infer() which does inference. It also
shows test how to use this.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit] Removed unused methods in TensorContext (#3418)

Two methods in TensorContext seems not to be used. So removed.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[locomotiv] Support Pull node (#3415)

This commit introduces support for Pull node execution. Pull node
basically do nothing, but aborts if input data annotation not ready.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[loco] Introduce DataTypeImpl trait (#3399)

This commit introduces DataTypeImpl traits which returns C++ type
corresponding to each DataType enum value.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add .c file to format-check-candidate (#3414)

This commit adds .c file to format-check-candidate.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[MIR] Added a Remove Dead Ends Pass (#3272)

Added a `RemoveDeadEnds` pass
that decreases compiler runtime memory usage.

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[locomotiv] Implement Push node execution (#3408)

This commit implements Push node execution and introduces related tests.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco/test/tf] test cases with Const (#3409)

This commit adds test cases with Const operation.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco/test/tf] test files for reshape (#3410)

This adds test files for reshape.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnkit] Add Allocator for onnx backend (#3372)

* [nnkit] Add Allocator for onnx backend

This class is for management onnx tensor memory.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Add comments

[locomotiv] Introduce NodeExecution helper class (#3402)

This commit introduces NodeExecution class. This class serves as helper
class for Session::infer(). This class is responsible to calculate one
specific node.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nncc-optimization] Sink transpose optimization added (#3292)

- Added the transpose sinking optimization
- Moved swapAdjacent to OptimizationUtils

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[nnkit/moco/tf] TensorContext for output tensor (#3406)

This commit adds OutputTensorContext, which is a child of TensorContext for output tensor.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnkit/moco/tf] Make cmake work only when Tensorflow is found (#3405)

This commits makes cmake builds nnkit/moco/tf only when TF is found

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnc] Refine Reduce operation implementation in interpreter (#3358)

Rename `ReduceFOp` to `ReduceOp`, `ReduceN` to `Reduce`.
Speed up `ReduceOp` operation implementation in interpreter.
Reformat according to coding style.
Remove unused files.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[locomotiv] Introduce NodeDataImpl annotation erase (#3400)

This commit introduces erase_annot_data() function to erase already
annotated NodeDataImpl. It also includes test for added function.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit/moco/tf] TensorContext for input tensor (#3392)

* [nnkit/moco/tf] TensorContext for input tensor

This commit adds InputTensorContext, which is a child of TensorContext for input tensor.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* absolute path for include dir to relative path

[locomotiv] Implement 'set_input' of Session (#3395)

* [locomotiv] Implement 'set_input' of Session

This commit introduces implementation of Session::set_input() and its
relevant test. This method now returns bool according to accomplishment.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Add docstring for 'set_input'

[nnkit] Error handling for dlopen/dlsym and dlclose (#3355)

* [nnkit] Error handling for dlopen/dlsym and dlclose

This patch allows to handle some error case of dlopen/dlsym and dlclose.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Remove runtime_error exception in comments

* Second version for error handling of dl related functions

[locomotiv] const type qualified fuction arguments (#3391)

This commit adds const type qualifier for relevant function arguments
for NodeData.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit/moco/tf] bug fix in CMakeLists.txt (#3388)

This commit fixes wrong directory name in CMakeLists.txt.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnkit/moco/tf] TensorContext class (#3387)

This commit adds TensorContext class, which will be inherited by InputTensorContext and OutputTensorContext in next PR.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco/ONNX] Introduce Identity testcase for moco ONNX frontend (#3380)

This commit will introduce a new testcase for moco ONNX frontend,
which is consisted of Identity operation.

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[locomotiv] Implement 'annot_data', wrapper for 'annot' (#3385)

* [locomotiv] Implement 'annot_data', wrapper for 'annot'

This commit makes implementation of 'annot_data', wrapper function for
annotating NodeDataImpl to loco Node object. It also adds relative
comments and test. 'annot_data' is for project-wide internal use only.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Use rvalue as argument for annot_data

[locomotiv] Reset unique pointer at NodeDataImpl ctor (#3382)

This commit use reset() of unique pointer for simple and efficient code
at NodeDataImpl class constructor.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[locomotiv] Use explicit float as constant (#3381)

This commit use explicit float constant for float NodeData test,
instead of double.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[locomotiv] Internal implementation of 'NodeData' (#3374)

Interal 'NodeDataImpl' implements public API of 'NodeData'. This commit
also introduces test framework and test for NodeData.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit] Add Status class for onnx backend (#3369)

* [nnkit] Add Status class for onnx backend

This class is for auto-release OrtStatus.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Return the lhs by reference in assignment operator overloading function

* Release status before assignment

* Change function name and add description

[moco/ONNX] Convert onnx graph to loco graph (#3368)

* [moco/ONNX] Convert onnx graph to loco graph

This commit will enable converting ONNX graph to loco graph

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* fix type name

[loco] Visit each node only once (#3378)

The current implementation of postorder_traversal may visits the same
node multiple times.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit/moco/tf] skeleton of backend for nnkit moco tf (#3371)

This commits adds early version of backend for nnkit moco tf and build script.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnc] Introduced 'FuseArithmeticOps' graph optimization (#3340)

Main purpose of this optimization - is to fuse 'Conv->BatchNorm' into 'Conv'
Currently 'BatchNorm' splitting by NNC frontends into 'Scale->Scale->BiasAdd'
This optimization performing in two steps (repeated while graph changing):

1. Merging two successive operations with constant weights into one (ex: 'Scale->Scale' becomes 'Scale')
2. Sinking 'BiasAdd' through 'Scale' (so 'Conv->BiasAdd->Scale' becomes 'Conv->Scale->BiasAdd')

This optimization increases performance by ~7.5% on caffe inception_v3 (which has ~90 Conv->BatchNorm edges)

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[CMake] Fix typo in TensorFlowConfig.cmake (#3367)

This commit fix typo in TensorFlowConfig.cmake

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[moco/ONNX] Load onnx model in moco (#3366)

This commit will enable loading ONNX model file in moco onnx frontend

[nnkit] Moving TensorInfoParser & ParsedTensor into util dir (#3356)

* [nnkit] Moving TensorInfoParser & ParsedTensor into util dir

This commit moves TensorInfoParser & ParsedTensor into util dir. These two files are used by `nnkit tf` and also `nnkit moco tf`. So it would be better to move these into common directory for better reuse.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* modify dir name from `util` to `tftestinfo`

* util -> tftestinfo

[moco/ONNX] Introduce Identity operation (#3365)

This commit will introduce Identity operation and add it to GraphBuilderRegisry

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[locomotiv] Set graph input data by NodeData (#3363)

This commit changes how Session gets its graph input. Using NodeData
instead of Buffer is for matching input and output type, and to avoid
use of template on header.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco] remove TF frontend op headers (#3364)

This will remove op headers as not needed anymore

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] use const string for map key (#3362)

This will add const keyword to string for op map key

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locomotiv] Introduce NodeData class (#3349)

NodeData class is responsible to data type and data value of node. It
serves as input and output interface for 'Session' class. Its
implementation would be hidden from outside.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco] Support operator self register for TF frontent (#3359)

* [moco] Support operator self register for TF frontent

This will provide self registeration for operator builder of TensorFlow frontend

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use const

[loco] Add "postorder_traversal" helper (#3354)

This commit adds "postorder_traversal" helper which generates a
postorder traversal sequence from a given "roots".

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/ONNX] Introduce symbolTable in GraphBuilderContext (#3353)

This commit will introduce symbolTable in GraphBuilderContext
symbolTable is needed for linking each nodes

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[mir] Introduce copy with changed input method to Operation (#3346)

Introduce "copy with changed input" method to Operation
to facilitate easier creation of optimizations

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[nnc] Simplify implementation of Softmax in interpreter (#3347)

Do not use `Fill` and `Reduce` in Softmax implementation in interpreter.
Fix coding style.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[enco] Skip tflite model generation if possible (#3351)

* [enco] Skip tflite model generation if possible

This will update TF lite test framework to skip code generation if there is no effective change

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove target depend

[nnc] Dump Graph Impl (#3001)

Add Option to Dump graph after pass
Dumping now creates `dot` files with meaningful names:
`0_importer.dot`, `1_opt_combine_transposes.dot`
Since backend do not return a dumpable graph, we do not dump them

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[nnc] Extract Elementwise interpreter logic into a separate file (#3339)

Extract handling of `ElementwiseOp` in interpreter into a separate file.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[moco] update test comment for shape (#3345)

This will update the comment of shape related test with output node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] add test of graph from load (#3343)

This will add test with graph from result of load

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] add include file (#3342)

This will add include file that is used in the source file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco] skip enco-basic test code gen if possible (#3344)

This will make skip enco-basic test code generation if there is no effective change

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[pp] README.md (#3315)

* [pp] Readme.md

This adds Readme.md file in contrib/pp.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* added code examples

[ann-ref] Add README.md (#3279)

Let's introduce README.md with a brief introduction.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove add_nncc_library function (#3328)

This commit removes deprecated add_nncc_library function from the
top-level CMakeLists.txt.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco] change to use string and add header (#3335)

This will change message of runtime_error() to use string concatenation
Additionally add header for using assert()

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locomotiv] Introduce Session class API (#3326)

This commit defines basic interpreter API using Session class. Session
class is responsible to loco graph inference. NodeData class is to store
node information that would be passed as output.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco] provide istream as input of conversion (#3334)

This will add another load() to parse from istream and a test code

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnkit] Revision of README.md (#3287)

* Draft: README.md for nnkit

This is a draft for README.md for nnkit.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* more content into design

* remove '\'