[locomotiv] Remove GraphInput/Output node method calls (#6719)

This commit removes all the GraphInput::node and GraphOutput::node
method calls in locomotiv. This is a step toward loco GraphInput/Output
class redesign.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] Canonicalize TFConcatV2 (#6703)

* [moco-tf] Canonicalize TFConcatV2

This will implement Canonicalize of TFConcatV2 to TensorConcat

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix log msg

Add ONNX sources v1.5 (#6642)

Add a cmake configs for fetching ONNX v1.5 sources.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo-tflite] Do NOT invoke GraphInput/Output node (#6717)

This commit removes all the GraphInput::node and GraphOutput::node
method calls in exo-tflite. This is a step toward loco GraphInput/Output
class redesign.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] Introduce TFStopGradient (#6715)

* [moco-tf] Introduce TFStopGradient

This will introduce TFStopGradient IR for TensorFlow StopGradient node and required codes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix comment

[moco-tf] Do NOT invoke GraphInput/Output node (#6716)

As a step to loco redesign, this commit removes all
GraphInput::node and GraphOutput::node method calls in moco-tf.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Introduced ITimer, CPUTimer and CLTimer (#6690)

* [neurun] Introduced ITimer, CPUTimer and CLTimer

* Introduced ITimer, CPUTimer and CLTimer
* Added timer getters to backends config
* Made ProfileObserver to measure time with ITimer

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* Review fixes

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[loco] Implement DepthwiseConv2D shape inference (#6569)

* [loco] Implement DepthwiseConv2D shape inference

This commit extends CanonicalShapeInferenceRule to accept
DepthwiseConv2D nodes.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>
* fix a typo.

[res] TensorFlow StopGradient_000 (#6710)

This will introduce TensorFlow StopGradient_000 test material for basic StopGradient operator test

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mocotest-tf] Enable Sqrt and SquaredDifference (#6711)

This will enable Sqrt and SquaredDifference basic testing

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2tflite] Enable Sqrt and SquaredDifference (#6712)

This will enable Sqrt and SquaredDifference basic testing

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Introduce TypeInferencePass (#6702)

This will introduce TypeInferencePass class to provide type inference as a Transform

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Introduce ShapeInferencePass (#6701)

This will introduce ShapeInferencePass class to provide shape inference as a Transform

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Make FeatureShape supports NCHW layout (#6705)

This commit makes FeatureShape supports NCHW layout.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Removed some dead code (#6709)

Removed some dead code from ExecTime test

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[exo-tflite] Basic Classes for TFLDialect (#6682)

These commit adds basic classes for TFLDialect.

Namespace is 'locoex' since this is an extension of `loco`.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco-tf] Type inference for TFSoftmax (#6700)

This will add type inference for TFSoftmax node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Use unified coverage report command (#6537)

- Use unified coverage report command in docker_coverage_report.sh
- Update Makefile.template to package infra
- Update test_coverage.sh to archive test data and codes

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Introduce push_node/pull_node helper (#6684)

This commit introduces push_node/pull_node helper which serves as an
alternative to "node"  method in GraphInput/GraphOutput class.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Replace nnapi shim headers into libs (#6588)

Introduce libs/nnapi
Replace NeuralNetworksShims.h, NeuralNetworksExShims.h NeuralNetworksLoadHelpers.h to libs/nnapi

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco-tf] GraphBuilder for TFConcatV2 (#6673)

This will fill GraphBuilder for TFConcatV2 and tests. Also ShapeInference implementation that is required by the test code.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2tflite] Test REGRESSION_0000 (#6681)

From this commit, REGRESSION_0000 is tested by tf2tflite

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[mir] Remove Dropout operation (#6675)

This is a no-op in inference mode.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Remove GivenTensorFill converter (#6666)

This operation is not a part of the ONNX specification.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Add missing include guard (#6655)

Added missing include guard in onnx to mir converter

Signed-off-by: Efimov Alexander <a.efimov@samsung.com>

[mir2loco] Support DepthwiseConv operation in transformer (#6574)

* Added DepthwiseConv2DOp convertion and test for this

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnpkg_run] add load option (#6688)

This patch adds `load` option.
It does not load input files yet.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[mocotest-tf] Test REGRESSION_0000 (#6678)

REGRESSION_0000 test is now run for mocotest-tf

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Introduce ShapeInference (#6679)

This will introduce ShapeInference for loco graph and query for loco node that will do shape inference for all dialects used in moco

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mocotest-tf] Add divide comment for refactoring (#6680)

This comment will be removed after test case convention refactoring
project.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2tflite] Enable Softmax_001 test (#6687)

This commit will enable `Softmax_001` test in `tf2tflite`

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[mocotest-tf] Enable Softmax_001 test (#6685)

This commit will enable `Softmax_001` test

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

Find ignore directory using ls-files (#6676)

Instead of using find command, use git ls-files to find .FORMATDENY file to make format check ignore directory list

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[custom op] Update node for new custom op design (#6286)

Now `_id` and `userdata` are stored directly in `CustomNode` as now custom ops are defined using pure C api
- Use string id
- return id by const reference

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[loco] Introduce DepthwiseConv2D Layer (#6662)

This commit introduce DepthwiseConv2D layer and related GraphTestcase.

Related: #6569

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[exo-tflite] Add TensorSoftmax (#6623)

* [exo-tflite] Add TensorSoftmax

This commit will add `TensorSoftmax` in `exo-tflite`

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* add assert

* add axis assert

[moco-tf] Support TFSoftmax Canonicalization (#6672)

* [moco-tf] Support TFSoftmax Canonicalization

This commit will enable TFSoftmax Canonicalization

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* remove comment

[moco-tf] Introduce TFShapeInferenceRule (#6665)

* [moco-tf] Introduce TFShapeInferenceRule

This will introduce empty TFShapeInferenceRule that utilizies existing ShapeInferenceData

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix comment, remove override

[res] Regression test for Add (#6513)

This commit adds Regression test for Add network with Placeholder and
Const operations as inputs.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[loco] Introduce DepthwiseFilerEncode layer (#6668)

This commit introduce DepthwiseFilterEncode layer to GraphBuilder.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[moco_tf] Remover override for final method (#6671)

This will remove override keyword for final method that is redundant

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locomotiv] Support TensorSoftmax (#6620)

* [locomotiv] Support TensorSoftmax

This commit will enable supporting `TensorSoftmax` in `locomotiv`

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* Modify domain assert

[moco-tf] Introduce Restart PhaseRunner (#6667)

This will introduce Restart type PhaseRunner that restarts from the beginning when there is any change in the transformation list

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Update TFConcatV2 IR to have variadic arity (#6663)

This will update TFConcatV2 IR to have variadic arity

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Eq operato for NodeShape (#6661)

This will introduce Eq(==) operator for NodeShape

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Write comments for class Index (#6608)

This commit adds comments for class `util::Index`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Clearify Scheduler::ESTAndExecTime with comments (#6649)

Add comments to clearify return values in case of non-parallel-executor

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[moco-tf] Add TFFormattedGraph for TFSoftmax (#6647)

* [moco-tf] Add TFFormattedGraph for TFSoftmax

This commit will add `TFSoftmax` summary function in `TFFormattedGraph.cpp`

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* fix name

Introduce a map storing layouts into TensorBuilders (#6641)

This commit introduces a map storing layouts for each operand into TensorBuilders.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix to proper check on non-empty string (#6659)

Previously checking whether shell variable is non-empty worked not as
expected. This commit fixes to do this function as expected.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] GraphBuilder for SquaredDifference (#6631)

* [moco-tf] GraphBuilder for SquaredDifference

This will introduce GraphBuilder for SquaredDifference to import SquaredDifference node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix comment

[locop] Add TensorSoftmax visit function (#6648)

This commit will add `TensorSoftmax` visit function

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[res] Remove obsolete TF_SMALL_NET_XXXX tests (#6650)

This commit removes obsolete TF_SMALL_NET_XXXX test cases. Note that
they are copied to NET_XXXX

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[loco] Introduce constgen layer (#6645)

This commit introduce constgen layer to GraphBuilder.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[moco-tf] Enable importing Softmax (#6646)

This commit will enable importing `Softmax` in `moco-tf`

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[mir] Remove Gemm operation (#6654)

`GemmOp` is almost the same  operation as `FullyConnectedOp`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Remove redundant include (#6652)

Remove inclusion of `DropoutOp.h` popped up as a result of merge conflict.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Remove support for GemmOp (#6625)

`GemmOp` is almost the same as `FullyConnectedOp`. It will be removed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir_onnx] Introduce ConverterContext for using in NodeConverters (#6457)

* Implemented ConverterContext
* Fix NodeConverter interface to accept ConverterContext
* Fix all NodeConverters according to new interface
* Fix ONNX IR version checking.

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[tf2tflite] Use NET_XXXX for test list (#6639)

This commit use NET_XXXX for tf2tflite test listing instead of
TF_SMALL_NET_XXXX

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[mocotest-tf] Use NET_XXXX for test list (#6638)

This commit uses NET_XXXX for mocotest-tf test list instead of
TF_SMALL_NET_XXXX

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnpackage_run] Introduce tensor_dumper (#6602)

- Introduce `dump` option in args.*
- Introduce tensor_dumper
- Use tensor_dumper in nnpackage_run

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[nnpackage_run] Fix wrong allocation size for output (#6640)

outputs[i] is vector<float>. sizeof(float) should not be multiplied.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add missing copyright for tflite_run's tensor dumper (#6600)

Add copyright in tensor_dumper.cc and tensor_dumper.h .
It has 2018 year since this files were created in 2018.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Refactor scheduler a little bit (#6636)

* Simplified makeRank method
* Renamed some variables
* Fixed some typos

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[moco-tf] Enable SquaredDifference canonicalizer (#6629)

This will enable SquaredDifference canonicalizer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Enable type inf for TFSquaredDifference (#6628)

This will enable type inference for TFSquaredDifference node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo-tflite] Enable EltwiseSqrt (#6610)

* [exo-tflite] Enable EltwiseSqrt

This will enable export for EltwiseSqrt node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove for shapeinf

* remove not related new line

[res] NET_XXXX to replace SMALL_NET_XXXX (#6621)

This commit adds NET_XXXX tests which copies SMALL_NET_XXXX tests

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Register Reshape elimination transforms (#6624)

This commit registers following Reshape elimination transforms to
canonical optimization stage:
- ResolveDuplicateReshape
- ResolveRedundantReshape

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Introduce TFDialect for Softmax (#6568)

* [moco-tf] Introduce TFDialect for Softmax

This commit will introduce `TFSoftmax`

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* add fix transforms

* remove fix_pad

* use logits instead of input

Make helper converting functions support NCHW (#6606)

This commit makes converting functions support NCHW.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[bug] [custom op] Add back _t suffix for size_t type (#6619)

Was previously removed by error

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Make cpu KernelGenerator supports NCHW frontend layout (#6605)

This commit makes cpu KernelGenerator supports NCHW frontend layout.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Make ContantInitializers support NCHW frontend layout (#6555)

This commit makes ContantInitializers support NCHW frontend layout.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[mir_onnx] Fix border type in Average pooling (#6637)

* Fix come from debuging InceptionV3

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[mir_onnx] Remove Scale converter (#6633)

This operation is not a part of the ONNX specification. It is probably a copy&paste from the Caffe2 importer.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnc] Remove batchnorm code snippet (#6626)

It was left behind when the rest of the support of `BatchNormOp` was removed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Refine neurun-core CMakeLists (#6635)

Refine `target_link_libraries`.

- One target per line
- Remove duplicated lib - `dl`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Let xdata and xprobe be installed (#6634)

Update `CMakeLists.txt` to install xdata and xprobe.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce CMakeLists.txt for test lib (#6615)

This commit moves test library build from `neurun/CMakeLists.txt` to
`neurun/test/CMakeLists.txt` which is newly created.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Show dlerror on dlopen/dlsym failure (#6632)

Show dlerror on dlopen/dlsym failure

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[loco] add ctor of DepthwiseFilter PermutingEncoder (#6627)

This commit adds ctor of DepthwiseFilter PermutingEncoder.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[moco-tf] Canonicalizer for TFSquaredDifference (#6612)

* [moco-tf] Canonicalizer for TFSquaredDifference

This will introduce Canonicalizer for TFSquaredDifference node
For now this will decompose to EltwiseSub and EltwiseMul

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

[res] TensorFlow SquaredDifference_000 (#6618)

This will introduce TensorFlow basic test for SquaredDifference node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[res] TensorFlow Sqrt_000 (#6617)

This will introduce TensorFlow basic test for Sqrt node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[loco] Clean up GraphTestcase (#6613)

Let's remove deprecated code in GraphTestcase.h

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[mir_onnx] Reimplement Gemm converter through FullyConnected (#6604)

`GemmOp` is almost the same thing as `FullyConnectedOp`. It was only used in the ONNX importer.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[tf2tflite] Enabled test by FixedReshape support (#6609)

This commit adds several enabled tests in tf2tflite by newly supported
FixedReshape

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Fix fining scheduler and tryBackend (#6616)

CPU_DELAY must be just for parallel executor.
Also tryBackend: PR 5894  commented a line and this
reduced performance by 10%

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[mir] Accout for data format in shape inference (#6584)

* Add several convenient functions to work with data format.
* Use the functions to implement data format aware shape inference.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[moco-tf] Enable TFSqrt Canonicalizer (#6614)

This will enable TFSqrt canonicalizer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Knobs for Reshape elimination transform (#6611)

This commit introduces knobs for following Reshape elimination
transforms
- ResolveDuplicateReshape
- ResolveRedundantReshape

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] TypeInference (#6593)

* [moco-tf] TypeInference

This will introduce TF dialect TypeInference and rule class

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* explicit use name space

* update commentf for TypeInference

* add todo

* update class name and comment

* comment for not supported yet node

[moco-tf] Resolve Alloc-Dealloc mismatch (#6599)

Let's use std::unique_ptr<float []> instead of std::unique_ptr<float>!

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] TFSqrt Canonicalizer (#6592)

* [moco-tf] TFSqrt Canonicalizer

This will introduce TFSqrt node Canonicalizer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove unused header

[loco] Forward Type inference (#6607)

This commit introduces type inference for forward node

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] GraphBuilder for TFSqrt (#6581)

* [moco-tf] GraphBuilder for TFSqrt

This will introduce GraphBuilder for TFSqrt to import Sqrt node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* rename var

[loco/Service] FixedReshape shape inference (#6594)

This commit introduces shape inference logic of FixedReshape and its
test

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[loco/service] ShapeInferenceRule for multiple dialects (#6587)

* [loco/service] ShapeInferenceRule for multiple dialects

This adds a loco service, a ShapeInferenceRule for multiple dialects.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* fix typo

* modified include

* add #include <map>

* Remove always true assert