[nnkit/moco/tf] backend implementation (#3424)

* [nnkit/moco/tf] backend implementation

This commit adds backend implementation for nnkit/moco/tf.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* move using into class

* fixed for locomotiv set_input

Extract "nnkit-intf" from "nnkit" (#3433)

This commit extracts "nnkit-intf" from "nnkit" as the first step toward
nnkit directory restructuring.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit] Run onnx model using onnx runtime (#3432)

This patch has TensorContext class to run pre and post actions.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[loco] Introduce input_nodes/output_nodes helper (#3428)

* [loco] Introduce input_nodes/output_nodes helper

This commit introduces input_nodes/output_nodes helper functions which
allow users to easily enumerate graph-level input/output nodes.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Update test name

[nnkit] Add TensorSet class for managing TensorData of onnx model (#3427)

This patch adds TensorSet class.
And it also support to allocate and release the input and output tensor datas.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[nnkit] Remove finalize function of nnkit::Backend (#3430)

This patch does not remove the plugin unique_ptr directly.
Instead, it passes it in so that it is removed according to the unique_ptr policy.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[locomotiv] Implement Session::get_output() (#3423)

This commit implements how session get its output. Related test for this
feature added as well.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit] Add OnnxRunner for managing onnx runtime (#3417)

* [nnkit] Add OnnxRunner for managing onnx runtime

This patch adds the OnnxRunner class.
This class is for managing the onnx runtime to prepare input and output and to run the model.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Do not throw exception in constructor.

In this case, it will make an assertion.

[locomotiv] Implement inference for session (#3419)

This commit implements Session::infer() which does inference. It also
shows test how to use this.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit] Removed unused methods in TensorContext (#3418)

Two methods in TensorContext seems not to be used. So removed.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[locomotiv] Support Pull node (#3415)

This commit introduces support for Pull node execution. Pull node
basically do nothing, but aborts if input data annotation not ready.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[loco] Introduce DataTypeImpl trait (#3399)

This commit introduces DataTypeImpl traits which returns C++ type
corresponding to each DataType enum value.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add .c file to format-check-candidate (#3414)

This commit adds .c file to format-check-candidate.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[MIR] Added a Remove Dead Ends Pass (#3272)

Added a `RemoveDeadEnds` pass
that decreases compiler runtime memory usage.

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[locomotiv] Implement Push node execution (#3408)

This commit implements Push node execution and introduces related tests.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco/test/tf] test cases with Const (#3409)

This commit adds test cases with Const operation.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco/test/tf] test files for reshape (#3410)

This adds test files for reshape.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnkit] Add Allocator for onnx backend (#3372)

* [nnkit] Add Allocator for onnx backend

This class is for management onnx tensor memory.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Add comments

[locomotiv] Introduce NodeExecution helper class (#3402)

This commit introduces NodeExecution class. This class serves as helper
class for Session::infer(). This class is responsible to calculate one
specific node.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nncc-optimization] Sink transpose optimization added (#3292)

- Added the transpose sinking optimization
- Moved swapAdjacent to OptimizationUtils

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[nnkit/moco/tf] TensorContext for output tensor (#3406)

This commit adds OutputTensorContext, which is a child of TensorContext for output tensor.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnkit/moco/tf] Make cmake work only when Tensorflow is found (#3405)

This commits makes cmake builds nnkit/moco/tf only when TF is found

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnc] Refine Reduce operation implementation in interpreter (#3358)

Rename `ReduceFOp` to `ReduceOp`, `ReduceN` to `Reduce`.
Speed up `ReduceOp` operation implementation in interpreter.
Reformat according to coding style.
Remove unused files.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[locomotiv] Introduce NodeDataImpl annotation erase (#3400)

This commit introduces erase_annot_data() function to erase already
annotated NodeDataImpl. It also includes test for added function.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit/moco/tf] TensorContext for input tensor (#3392)

* [nnkit/moco/tf] TensorContext for input tensor

This commit adds InputTensorContext, which is a child of TensorContext for input tensor.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* absolute path for include dir to relative path

[locomotiv] Implement 'set_input' of Session (#3395)

* [locomotiv] Implement 'set_input' of Session

This commit introduces implementation of Session::set_input() and its
relevant test. This method now returns bool according to accomplishment.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Add docstring for 'set_input'

[nnkit] Error handling for dlopen/dlsym and dlclose (#3355)

* [nnkit] Error handling for dlopen/dlsym and dlclose

This patch allows to handle some error case of dlopen/dlsym and dlclose.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Remove runtime_error exception in comments

* Second version for error handling of dl related functions

[locomotiv] const type qualified fuction arguments (#3391)

This commit adds const type qualifier for relevant function arguments
for NodeData.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit/moco/tf] bug fix in CMakeLists.txt (#3388)

This commit fixes wrong directory name in CMakeLists.txt.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnkit/moco/tf] TensorContext class (#3387)

This commit adds TensorContext class, which will be inherited by InputTensorContext and OutputTensorContext in next PR.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco/ONNX] Introduce Identity testcase for moco ONNX frontend (#3380)

This commit will introduce a new testcase for moco ONNX frontend,
which is consisted of Identity operation.

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[locomotiv] Implement 'annot_data', wrapper for 'annot' (#3385)

* [locomotiv] Implement 'annot_data', wrapper for 'annot'

This commit makes implementation of 'annot_data', wrapper function for
annotating NodeDataImpl to loco Node object. It also adds relative
comments and test. 'annot_data' is for project-wide internal use only.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Use rvalue as argument for annot_data

[locomotiv] Reset unique pointer at NodeDataImpl ctor (#3382)

This commit use reset() of unique pointer for simple and efficient code
at NodeDataImpl class constructor.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[locomotiv] Use explicit float as constant (#3381)

This commit use explicit float constant for float NodeData test,
instead of double.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[locomotiv] Internal implementation of 'NodeData' (#3374)

Interal 'NodeDataImpl' implements public API of 'NodeData'. This commit
also introduces test framework and test for NodeData.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnkit] Add Status class for onnx backend (#3369)

* [nnkit] Add Status class for onnx backend

This class is for auto-release OrtStatus.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Return the lhs by reference in assignment operator overloading function

* Release status before assignment

* Change function name and add description

[moco/ONNX] Convert onnx graph to loco graph (#3368)

* [moco/ONNX] Convert onnx graph to loco graph

This commit will enable converting ONNX graph to loco graph

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* fix type name

[loco] Visit each node only once (#3378)

The current implementation of postorder_traversal may visits the same
node multiple times.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit/moco/tf] skeleton of backend for nnkit moco tf (#3371)

This commits adds early version of backend for nnkit moco tf and build script.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnc] Introduced 'FuseArithmeticOps' graph optimization (#3340)

Main purpose of this optimization - is to fuse 'Conv->BatchNorm' into 'Conv'
Currently 'BatchNorm' splitting by NNC frontends into 'Scale->Scale->BiasAdd'
This optimization performing in two steps (repeated while graph changing):

1. Merging two successive operations with constant weights into one (ex: 'Scale->Scale' becomes 'Scale')
2. Sinking 'BiasAdd' through 'Scale' (so 'Conv->BiasAdd->Scale' becomes 'Conv->Scale->BiasAdd')

This optimization increases performance by ~7.5% on caffe inception_v3 (which has ~90 Conv->BatchNorm edges)

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[CMake] Fix typo in TensorFlowConfig.cmake (#3367)

This commit fix typo in TensorFlowConfig.cmake

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[moco/ONNX] Load onnx model in moco (#3366)

This commit will enable loading ONNX model file in moco onnx frontend

[nnkit] Moving TensorInfoParser & ParsedTensor into util dir (#3356)

* [nnkit] Moving TensorInfoParser & ParsedTensor into util dir

This commit moves TensorInfoParser & ParsedTensor into util dir. These two files are used by `nnkit tf` and also `nnkit moco tf`. So it would be better to move these into common directory for better reuse.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* modify dir name from `util` to `tftestinfo`

* util -> tftestinfo

[moco/ONNX] Introduce Identity operation (#3365)

This commit will introduce Identity operation and add it to GraphBuilderRegisry

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[locomotiv] Set graph input data by NodeData (#3363)

This commit changes how Session gets its graph input. Using NodeData
instead of Buffer is for matching input and output type, and to avoid
use of template on header.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco] remove TF frontend op headers (#3364)

This will remove op headers as not needed anymore

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] use const string for map key (#3362)

This will add const keyword to string for op map key

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locomotiv] Introduce NodeData class (#3349)

NodeData class is responsible to data type and data value of node. It
serves as input and output interface for 'Session' class. Its
implementation would be hidden from outside.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco] Support operator self register for TF frontent (#3359)

* [moco] Support operator self register for TF frontent

This will provide self registeration for operator builder of TensorFlow frontend

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use const

[loco] Add "postorder_traversal" helper (#3354)

This commit adds "postorder_traversal" helper which generates a
postorder traversal sequence from a given "roots".

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/ONNX] Introduce symbolTable in GraphBuilderContext (#3353)

This commit will introduce symbolTable in GraphBuilderContext
symbolTable is needed for linking each nodes

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[mir] Introduce copy with changed input method to Operation (#3346)

Introduce "copy with changed input" method to Operation
to facilitate easier creation of optimizations

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[nnc] Simplify implementation of Softmax in interpreter (#3347)

Do not use `Fill` and `Reduce` in Softmax implementation in interpreter.
Fix coding style.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[enco] Skip tflite model generation if possible (#3351)

* [enco] Skip tflite model generation if possible

This will update TF lite test framework to skip code generation if there is no effective change

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove target depend

[nnc] Dump Graph Impl (#3001)

Add Option to Dump graph after pass
Dumping now creates `dot` files with meaningful names:
`0_importer.dot`, `1_opt_combine_transposes.dot`
Since backend do not return a dumpable graph, we do not dump them

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[nnc] Extract Elementwise interpreter logic into a separate file (#3339)

Extract handling of `ElementwiseOp` in interpreter into a separate file.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[moco] update test comment for shape (#3345)

This will update the comment of shape related test with output node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] add test of graph from load (#3343)

This will add test with graph from result of load

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] add include file (#3342)

This will add include file that is used in the source file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco] skip enco-basic test code gen if possible (#3344)

This will make skip enco-basic test code generation if there is no effective change

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[pp] README.md (#3315)

* [pp] Readme.md

This adds Readme.md file in contrib/pp.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* added code examples

[ann-ref] Add README.md (#3279)

Let's introduce README.md with a brief introduction.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove add_nncc_library function (#3328)

This commit removes deprecated add_nncc_library function from the
top-level CMakeLists.txt.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco] change to use string and add header (#3335)

This will change message of runtime_error() to use string concatenation
Additionally add header for using assert()

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locomotiv] Introduce Session class API (#3326)

This commit defines basic interpreter API using Session class. Session
class is responsible to loco graph inference. NodeData class is to store
node information that would be passed as output.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco] provide istream as input of conversion (#3334)

This will add another load() to parse from istream and a test code

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnkit] Revision of README.md (#3287)

* Draft: README.md for nnkit

This is a draft for README.md for nnkit.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* more content into design

* remove '\'

[moco/ONNX] Introduce GraphBuilder and GraphBuilderRegistry (#3322)

This commit will introduce GraphBuilder for building graph
and GraphBuilderRegistry for registering each operation's graph building

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[moco] register op and do convert (#3329)

This will register two operators conversion and enable conversion

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] convert two nodes (#3283)

This will fill two Placeholder and Identity node converters

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[encodump] Introduce README.md (#3325)

This commit will introduction, howto and examples of encodump

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Update TensorFlow Lite 1.7 Package (#3327)

Now, it is possible to build TensorFlow Lite 1.7 and 1.12 at the same
time (if necessary).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[cwrap] Update README.md (#3324)

This commit will update README.md

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[mir] Remove add_nncc_library call (#3294)

This commit removes add_nncc_library call from mir build script.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Remove add_nncc_library call (#3295)

This commit removes add_nncc_library call from nnc build script.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locomotiv] Rename loco interpreter project (#3323)

locomotiv, loco interperter outside of loco itself

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[onnxkit] Update README.md (#3321)

This commit will update README.md for onnxkit

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[moco/ONNX] Introduce ONNX GraphBuilderContext (#3300)

This commit will introduce GraphBuilderContext for ONNX

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[enco] Skip Caffe codegen if possible (#3320)

This commit updates enco Caffe test framework to skip codegen if there
is no effective change.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Skip caffemodel generation if possible (#3312)

With this commit, enco caffe test framework skips caffemodel generation
if there is no change on the input prototxt itself.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[coco] Update README.md (#3317)

README.md states that coco is a compiler, but it does not hold. coco is
just an intermediate representation for compilers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Copy comment related with FlatBuffer version (#3319)

This commit moves the comment related with FlatBuffers vesion from
FlatBuffersSource package into TensorFlow Lite package as the first
step to remove non-versioned FlatBuffersSource package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce FlatBuffersSource v1.8 package (#3318)

This commit introduces FlatBuffersSource v1.8 package.

NOTE TensorFlow Lite 1.7 depends on this version.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit/TF] tensor name and shape validation (#3288)

* [nnkit/TF] tensor name and shape validation

This code adds validation code for tensor name and shape.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* more comment about the structure of tensor name

[angkor] Remove Tensor IndexRange (#3314)

This commit removes deprecated code related with Tensor IndexRange
iteration.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[cli] README.md (#3313)

This is a readme file for `contrib/cli`.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnkit] Use IndexEnumerator instead of IndexRange (#3310)

This commit replaces all the occurrences of IndexRange (range function)
in nnkit code with IndexEnumerator.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnkit/TF] TF backend working with zero input (#3303)

This commit adds TF backend working with zero input.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[stdex] README.md file (#3298)

* [stdex] README.md file

This commids adds README.md for stdex.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* revision

[loco] Introduce NodeAnnotation (#3296)

This commit introduces NodeAnnotation class and attach these annotations
into Node (via inheriting AnnotatedItem).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco-interp] Initial commit (#3306)

This would introduce loco interpreter empty project

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco/test/tf] Testcase where there is no input (#3305)

This is to check if moco works with a model that has no input.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Use FlatBufferSource with Explicit Version (#3302)

This commit updates FlatBuffers package to mention 1.10 explicitly.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[enco] Do NOT copy test.prototxt if there is no change (#3301)

With this commit, enco's caffe test frmework will not copy test.prototxt
if there is no change.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Build TensorFlow Lite with FlatBuffer source (#3299)

It turns out that TensorFlow Lite does not require FlatBuffer library.
Rather TensorFlow Lite needs only FlatBuffer header.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce FlatBuffersSource (v1.10) package (#3286)

This commit allows users to explicitly access FlatBuffers (v1.10) source
code via nncc_find_package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce AnnotatedItem class (#3289)

* [loco] Introduce AnnotatedItem class

This commit introduces AnnotatedItem<T> class which makes it easy to
define classs with annotation feature.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix a typo (stdext -> stdex)

[angkor] Do not use add_nncc_library (#3293)

This commit removes add_nncc_library call in angkor build script.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove add_nncc_example_executable (#3291)

This commit removes add_nncc_example_executable as it is no longer used.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnc] Remove add_nncc_example_executable calls (#3290)

This commit replaces all the occurrences of add_nncc_example_executable
with add_executable.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>