Merge nncc repo branch 'master' into master

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update .clang-format (#4361)

This commit updates .clang-format based on internal policy.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove legacy ConstantInitializer (#5718)

This commit removes legacy ConstantInitializer.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Support Mean op for acl_neon backend (#5707)

This commit Supports Mean op for acl_neon backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[dotdump] Show Backend ID for each Subgraph (#5716)

This commit makes it to show Backend ID for each Subgraph. `fillcolor`
member is introduced but not used yet.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add performance test for scheduler and profiler (#5675)

* Add performance test for scheduler and profiler

Add a script to test performance of scheduler and profiler.
Since each model it compiles and executes 9 times, it takes
much time to finish.
Related issue: 5660

Signed-off-by: Dilshodzhon Poshshoev <d.poshshoev@samsung.com>
* Fix comment of PROFILING_RUN_CNT

Signed-off-by: Dilshodzhon Poshshoev <d.poshshoev@samsung.com>
* Move exec_time.json to log dir, not remove

Signed-off-by: Dilshodzhon Poshshoev <d.poshshoev@samsung.com>
* Add some more fixes

Signed-off-by: Dilshodzhon Poshshoev <d.poshshoev@samsung.com>

Apply refactored ConstantInitializers (#5713)

This commit applies refactored ConstantInitialzers.
  - Introduce ConstantInitializer into each backend.
  - Replace legacy ConstantInitializer with refactored ConstantInitializer.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Support SquaredDifference operation for acl_neon backend (#5704)

This commit supports SquaredDifference operation for acl_neon backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Redo exec::IFunction::runSync to abstract (#5697)

If its new derived class is created and forgot to override
profiling will work incorrectly. So, making it abstract
garantees that it will be overridden

Signed-off-by: Dilshodzhon Poshshoev <d.poshshoev@samsung.com>

Support SUB operation for acl_neon backend (#5703)

This commit supports SUB operation for acl_neon backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Gather info in Execution class setInput & setOutput (#5701)

Fill _io_desc field in setInput/setOutput method
Check length correctness (setInput/setOutput in IExecutor  family will be removed)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Save mean of exec times during profiling (#5698)

Since just one run/measurement isn't robust, user may
want to run profiling several times. There fore instead
of rewriting existing measurements, save the mean

Signed-off-by: Dilshodzhon Poshshoev <d.poshshoev@samsung.com>

[moco/tf] Record Graph-Level Input/Output Shape (#4357)

moco.tf frontend now records graph-level input/output shape.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce ConstantInitializer into cpu backend (#5694)

This commit introduces ConstantInitializer into cpu backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Support RSQRT operation for acl_neon backend (#5705)

This commit supports RSQRT operation for acl_neon backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Relocate CMakeLists.txt (#4358)

* Relocate CMakeLists.txt

Now, CMakeLists.txt in in infra/nncc directory.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix nncc_find_resource

Relocate documents in docs (#5683)

* Relocate documents in docs

Relocate documents in docs into docs/nnfw to
- Avoid conflict when repo merging
- Avoid confusion when document merging after repo merging

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Fix Readme and move doxygen config into infra

* Fix link to 2018_high_level_design.md

Revise planTensors in Linear (#5689)

* Revise planTensors in Linear

- Introduce tensor_builder_map instead of iterTensorBuilders
- Replace the type of constants from std::vector<model::OperandIndex>
to model::OperandIndexSequence constants
- Add model::OperandIndexMap<uint32_t> def_map
- Append the step for disposing and validation

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Avoid cases where insertion of unordered_map could happen

[locomotiv] Session for subgraph (#4348)

* [locomotiv] Session for subgraph

This commit supports locomotiv Session to run inference on subgraph
only, by setting user defined custom outputs. Compatibility to existing
'full graph' Session is preserved.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Review fix: get output by node

* Review fix: efficient ctor call

* Add warning

[res/TensorflowTests] Add Rsqrt_000 (#4359)

This will add basic TensorFlow Rsqrt node test material

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Use compiler for compiler modules (#4349)

* Use compiler for compiler modules

This will change to use compiler for previous contrib in CMakeLists.txt file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* omit nncc

Derive both INETensor and ICLTensor from common base IACLTensor (#5706)

This is to reduce code duplication (almost all code from derived classes has been moved to base) and simplify their usages through base class.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[shape_inference] Implemented shape inference for convolutions (#5667)

* Implemented shape inference for conv 2d
* Implemented shape inference for depthwise conv 2d

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[angkor] fix readme to use compiler (#4353)

This will fix readme to use compiler from old contrib

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[caffegen] fix readme (#4352)

This will fix readme with folder to use compiler from previous contrib
And fix sample prototxt file path to current existing file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] tidy FixShapeTransform logging (#4347)

This will make FixShapeTransform logging to use stream out of TensorShape, FilterShape and FeatureShape.
Also some tidy to match like other functions.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[stdex] Fix readme to use compiler (#4351)

This will fix readme folder name to compiler from previous contrib

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[docs] fix folder name to compiler (#4350)

This will fix folder name to compiler for previous contrib in contribution guide

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix coverage report command (#5688)

Fix coverage report command because libs and include are moved into runtimes

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix inclusion guard for Subgraphs (#5696)

SubgraphContext was renamed. Thus, inclusion guard is renamed.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Refine implementation of Subgraphs (#5691)

Refine implementation of Subgraphs as suggested in #5658.

- Rename `findOperation` to `getOperation`
- Introduce a common base function for `getOperation` and
  `containsOperation`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce ConstantInitializer into acl neon backend (#5693)

This commit introduces ConstantInitializer into acl neon backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce ConstantInitializer into acl cl backend (#5692)

This commit introduces ConstantInitializer into acl cl backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[encodump] Use 'compiler' directory for documentation (#4346)

* [encodump] Use 'compiler' directory for documentation

This commit fixes encoduemp documentation to use recently changed
'compiler' directory. It also updates sample code to valid one.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Fix to 'path/to/encodump'

Ignore nncc-related directories in format-check (#5686)

Ignore nncc-related directories
- clang-format style mismatch
- nncc don't have format for python yet
- Exec file permission in infra/nncc

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce IODescription struct (#5678)

Introduce IODescription, InputDesc, and OutputDesc struct to gather input and output buffer information in execution instance
Introduce IODescription field in Execution class

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[shape_inference] Implemented shape inference for max pooling (#5654)

* [neurun] Made ShapeInference to consume shapes instead of nodes

Made ShapeInference to consume shapes instead of nodes

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>
* [shape_inference] Implemented shape inference for max pooling

Implemented shape inference for max pooling

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[dotdump] Show operation color (#5687)

- Show operation's color according to the assigned backend
- Simplify color scheme selection

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Copyright checker use 'compiler' directory (#4345)

Copyright checker now use 'compiler' directory instead of 'contrib'

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Introduce IConstantInitializer (#5677)

Introduce IConstantInitializer into backend to initialize constant for each operation.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Rename contrib as compiler (#4342)

* Rename contrib as compiler

This commit renames the top-level contrib directory as "compiler".

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix CMakeLists.txt

[locomotiv] Node execution for DepthwiseFilterEncode (#4294)

* [locomotiv] Node execution for DepthwiseFilterEncode

This commit supports node execution for DepthwiseFilterEncode and adds
related tests.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Additional docstring stating tensor mapping layout

[moco/tf] move dump tensorshape to loghelper (#4337)

This will relocate stream output of TensorShape to LogHelper module

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locomotiv] Support DepthwiseConv2D (#4338)

This commit supports node execution for DepthwiseConv2D. It also
includes related test for valid padding case.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[testcase] Custom op test case (#4320)

This is a test case discussed in https://github.sec.samsung.net/STAR/nnfw/issues/5607.
This test case will be used to check the first integration of custom op features of nncc and nnfw.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Introduce TensorFlow Squeeze_000 test (#4341)

This commit introduces Squeeze_000 test which includes one Placeholder
and one Squeeze nodes.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[locoex/customop] (#4319)

Rewritter for changed name (`COp...`) and dir name.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Relocate doc directory (#4340)

Relocate doc directory to docs/nncc
Update linked path

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[locoex/customop] setter / getter for attributes (#4305)

* [locoex/customop] setter / getter for Tensorflow attributes

This commit adds setter / getter of Tensorflow attributes of custom op.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove unused header to avoid link error

* adding a test

* used range-based for loop

* making sure int case and float case were called once

[moco/tf] Introduce TFNodeSummaryBuilderBase (#4335)

This commit introduces TFNodeSummaryBuilderBase which provides a default
pretty printer for all TF nodes.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add Squared Difference for nnapi_delegate (#5685)

- Add tflite::BuiltinOperator_SQUARED_DIFFERENCE into nnapi_delegate.cpp

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Rename SubgraphContext (#5679)

Rename `SubgraphContext` to `Subgraphs` so it follows the naming rule
like `Operations` and `Operands`. Variable name `subg_ctx` is also
replaced with `subgraphs`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco/tf] FuseBinaryIntoPreceding (#4285)

* [moco/tf] FuseBinaryIntoPreceding

This will implement FuseBinaryIntoPreceding transformation that fuses TFAdd and TFMul into preceding nodes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix comment and check shape

* fix method name

* skip fuse if mul rank not 1

* update comment

* fuse only add rank is 1

[moco/tf] Apply TFNodeSummaryBuilder (#4336)

This will apply TFNodeSummaryBuilder so that TF dialects are shown in graph dump

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Relocate include directory (#5684)

Relocated include directory to runtimes/include

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[loco] Shaped Graph Input/Output (#4325)

This commit extends GraphInput & GraphOutput with the field and methods
related with shape.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce EigenSource package for TensorFlow 1.12. (#4328)

This commit introduces "EigenSource-fd6845384b86" for TensorFlow 1.12.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[loco] Introduce DepthwiseConv2D (#4322)

This commit introduce DepthwiseConv2D which represents depthwise
2D convolutional operation.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco/tf] fix TFNodeSummaryBuilder TFRsqrt (#4334)

This will add TFRsqrt for TFNodeSummaryBuilder that was recently added

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] TF Formatted Graph support (#4310)

* [moco/tf] TF Formatted Graph support

This will introduce TF node summary builder and related classes to dump valid TF dialect names in graph dump

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* rename class

* remove not ready node

[moco/tf] Log helper (#4323)

* [moco/tf] Log helper

This will add helper functions to dump Feature or Filter to stream

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use loco namespace

Chnage DotDumper implementation (#5661)

This commit changes `DotDumper`'s dumping procedure so we can change
attributes of `Node` after creation.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco/tf] Remove Knob in Const Importer unittest (#4316)

This commit removes all the use of "Knob" in Const Importer unittest.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[shape_inference] Implemened shape inference for fully connected node (#5671)

Implemened shape inference for fully connected node

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

[xray-mux] Build as a shared library (#5674)

It turns out that "xprobe" cannot access "pipe" implementation in "mux"
if it is built as a static library.

Let's fix this issue by building "xray-mux" as a shared library.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco/tf] more logs in fix shape for const (#4315)

* [moco/tf] more logs in fix shape for const

This will log Const node shape information in shape inference

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use helper

* include header

[loco] Introduce CanonicalNodeDef interface (#4302)

This commit introduces CanonicalNodeDef interfaces which takes multiple
Mixins all at once.

Compared with existing CanonicalNodeImpl, CanonicalNodeDef emits uniform
declarations that begin with "CanonicalNodeDef<OPCODE, ...>", which makes
it easy to read the code.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use execution instance on frontend (#5664)

Use execution instance on nnapi, tflite loader, nnfw api

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Made concat axis int32_t type (#5670)

Made concat axis int32_t type instead of OperandIndex

Signed-off-by: Ivan Vagin <ivan.vagin@samsung.com>

Fix pointless string warning in operation.py (#5672)

Pylint warning: pointless-string-statement
Change to comment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Refactor SubgraphContext (#5658)

- `SubgraphContext` inherits `ObjectManager`
- Rename method `append` to `emplace`
- Rename method `hasNode` to `containsOperation`
- Rename method `findNode` to `findOperation`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco/tf] Introduce TFRsqrt IR (#4317)

This will introduce TFRsqrt IR and related codes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add gtest to prepare multiple execution instance run (#5568)

* Test to prepare multiple execution instance run

Introduce gtest to prepare multiple execution instance using one executor
Move interpreter gtest into exec to match with core directory structure

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Use expected value array

[moco/tf] Remove Knob in Conv2D importer test (#4303)

This commit removes Knob in Conv2D importer test. Each unittest run
now tests both loco.TF and loco.Canonical importers at once.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo/tflite] Use Visitor in Operation Exporter (#4300)

This commit revises the implementation of Operation Exporter using loco
visitor interface.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo/tflite] Visitor-based Type Inference (#4296)

* [exo/tflite] Visitor-based Type Inference

This commit revises the implemenation of TypeInference module using loco
visitor interface.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix subobject-linkage warning

* Explain why there is type context update

[exo/tflite] Visitor-based Shape Inference (#4299)

* [exo/tflite] Visitor-based Shape Inference

This commit revises the implementation of ShapeInference using loco
visitor interface.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix subobject-linkage warning

Relocate contrib and libs  (#5663)

* Relocate contrib and libs

Move contrib and libs into runtimes
Update CMakeLists.txt
Fix typo in CMakeLists.txt

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Update .gitignore and remove generated files

[moco/tf] ResolveFBN for only active nodes (#4311)

This will change ResolveFusedBatchNorm transformation to iterate only active nodes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco/tf] Canonicalize Const (#4312)

This will add canonicalization for Const node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Relocate CMake extensions (#4308)

This commit relocates top-level cmake directory into infra/nncc, and
updates relevant top-level CMakeLists.txt

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Relocate nncc commands (#4307)

All the nncc commands are now in infra/nncc/command.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add comments for notifying Observers (#5668)

Using only 0th operation of the subgraph is a workaround.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[model parser] Fix operation.py (#5626)

Change to instance method in _OperationComputeMethod class
Not working now because static method don't have "__name__" field
Change operation comment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Relocate nncc configurations (#4248)

This commit introduces "infra/nncc/config" directory, and move all the
.configuration files into this directory.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco-tf] Setting basic data of constgen in test (#4304)

After creating `constgen` in `optimizer.test.cpp`, `dtype` and `size` are now set to proper values.
Some transforms (which is being written) needs dtype and values and this commit enables these transforms to run OK.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Remove accidently commited file (#5659)

Remove `format.patch` accidently commited recently.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Move command and dockerfile (#5662)

Move command to infra/nnfw/command
Move dockerfile to infra/nnfw/docker

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce Execution class (#5655)

Introduce Execution class to support execution instance
Execution object will gather input/output info and prepare executor's run

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Use noWaitingJobs in ParallelExecutor and fix wait in its executeImpl (#5657)

Waiting just for `!_ready_jobs.empty()` is wrong, because when wait returns false
and unlocks the lock, some other thread may finish the waiting jobs and
`_ready_jobs` may never been inserted

Signed-off-by: Dilshodzhon Poshshoev <d.poshshoev@samsung.com>

[res] TF_SMALL_NET_0010 (#4301)

This will add TF_SMALL_NET_0010 test that has "BiasAdd" + "Add" network

This is to test fusion of Add into BiasAdd

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Schedule ops in holes/gaps of a backends (#5557)

So far scheduler assumed a backend is occupied totally and there is no
gaps/holes between two tasks. This change adds this support.
Also, this change adds the concideration of occupation of cpu bywq! permutation

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Fix linear interpolation in ExecTime::getOperationExecTime (#5614)

In some cases ops with smaller inputs is executed slower than the one
with larger inputs, more likely because of a backend's load difference.
In such cases result of lin-interpolation is negative, which is wrong

Signed-off-by: Dilshodzhon Poshshoev <d.poshshoev@samsung.com>

Move cmake directory (#5648)

* Move cmake directory

Move cmake script directory to infra/nnfw/cmake
Move root CMakeLists.txt to infra/nnfw

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Define NNFW_SOURCE_ROOT and use

Enable acl layout test again (#5650)

* Enable acl layout test again

This commit enables acl layout test again.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>
* Apply layout for padding data of PadLayer

This commit applies layout for padding data of PadLayer.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Update install-githooks command (#5647)

- Use NNFW_PROJECT_PATH instead of relative path
- Check pre-push hook existance and update with backup or remove

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[locomotiv] Prevent input/output index overflow (#4286)

This commit make assertion on input and output index to be less than
their size.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[res/test] TF_SMALL_NET_0009 (#4287)

This network is Conv2D + BiasAdd + Add to check fusion of BiasAdd + Add to BiasAdd

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[locoex/customop] Adding COpCall node (#4290)

COpCall node (previously merged as Call node) is added with some methods.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco/tf] Test BiasAdd Importer without Knob (#4265)

This commit removes Knob from BiasAdd test implementation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>