Introduce to set layout of io tensors into nnfw api (#8715)

This commit introduces to set layout of io tensors into nnfw api.
  - Introduce NNFW_LAYOUT into nnfw_api
  - Introduce nnfw_set_input_layout and nnfw_set_output_layout into nnfw api

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove LowerInfoMap from IKernelGenerator (#8780)

This commit removes LowerInfoMap from IKernelGenerator.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[moco] Fix comment for input type (#8770)

This will fix comment of file name for supporting types of graph input

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[doc] Update xu4 tizen setting document (#8757)

Update xu4 tizen setting document for latest environment (tested on tizen 5.5)
- Merge flashing boot and image
- Remove expand rfs: already expanded on /opt/usr

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add LowerInfoMap and frontend_layout into ShapeFixer of srcn (#8776)

This commit adds LowerInfoMap and frontend_layout as members into ShapeFixer of srcn.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce asKernelShape into Convert of ncnn (#8772)

This commit introduces asKernelShape into Convert of ncnn for converting operand of weights.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add copyright for add operation (#8771)

Added copyright since binaryop.{h,cpp} are modified.

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>

[compute,ncnn] Add copyright and licence for instance_norm (#8765)

I added copyright and license since instance_norm.{h,cpp} are modified.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Loader support PReLU operation (#8769)

- Add PReLU into base_loader.h

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[nnpackge_tools] introduce gen_golden.py (#8719)

It introduces `gen_golden.py` tool.
You can generate golden data with

```
$ gen_golden.py -o out_dir /your/path/to/pb
```

Then, you will get out_dir/{input,expected}.h5.

No need to specify inputs and outputs.
No need to build nncc.

Prerequisite: tensorflow running environment.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[tf2tflite-dredd-pbtxt-test] introducing rule-lib.sh (#8761)

* [tf2tflite-dredd-pbtxt-test] introducing rule-lib.sh

rule-lib.sh is a library of shell script functions that are used by dredd rule.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* Update compiler/tf2tflite-dredd-pbtxt-test/rule-lib.sh

Co-Authored-By: hyunsik-yoon <hyunsik.yoon@samsung.com>

[res/TensorFlowTests] Adding dredd rule for NET_0025 (#8763)

This adds dredd rule into NET_0025.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] Adding assert (#8762)

This adds `assert` to check parameter.
for https://github.sec.samsung.net/STAR/nnfw/pull/8752#discussion_r295727

Signed-off-by: Hyun Sik Yoon hyunsik.yoon@samsung.com

[moco] Remove temporary graph output shape settings (#8767)

This will remove temporary graph output shape settings in Importer as it is now set in moco-tf frontend

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add TF2CIRCLE_EXIST and TF2CIRCLE_RUNNABLE check (#8754)

From now on, "nnas verify-package" command is able to verify whether
there is tf2circle (TF2CIRCLE_EXIST), and it has no missing dependencies
(TF2CIRCLE_RUNNABLE).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Support SpaceToBatch from BaseLoader (#8727)

Support SpaceToBatch operation from frontend BaseLoader.

Draft PR: #8404

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add LowerInfoMap as member into class IKernelGenerator (#8742)

This commit LowerInfoMap as member into class IKernelGenerator.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

 [ncnn-backend] Support instance norm operation for NCHW layout  (#8721)

NCNN instance norm kernel porting
- Write updated values to output tensor instead of input tensor
- This commit supports NCHW layout only
  - Later PR will support instance norm for NHWC layout

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>

[nnpkg-test] Update tf2tflite test name (#8759)

Test is renamed: tf2tflite_value_pbtxt_test
Test path: compiler/tf2tflite-value-pbtxt-test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Type & shape inference for TFLMean (#8739)

This commit introduces type and shape inference for TFLMean

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2tflite-dredd-pbtxt-test] Adding CMakeLists.txt and runner.sh (#8744)

* [tf2tflite-dredd-pbtxt-test] Adding CMakeLists.txt and runner.sh

CMakeLists.txt and runner.sh files were added.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* modify comment

* rules -> rule

* TARGET_FILENAME -> TARGET_TESTNAME

[exo] Refactoring EltwiseBinaryConverter using DomainConverter (#8752)

This refactors EltwiseBinaryConverter using DomainConverter (and input handler).

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun/cker] Add Elementwise sub support in cpu (#8554)

* [neurun/cker] Add Elementwise sub support in cpu

Added Sub operation to neurun cpu backend and kernel to cker.
It is copied from Add and renamed -i add to sub and changed
+ to -
Related issue: 7814

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>
* Remove sub from framework test since just broadcast is tests

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>
* Templatize Sub and Add for float

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>
* Fix rebase issue because of renaming runtimes to runtime

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun/cker] Add Logistic operation support in cpu (#8572)

* [neurun/cker]Add Logistic operation support in cpu

Added support of logistic operation (which is sigmoid)

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>
* Address feedback: use std::exp instead of exp

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Print error when a test was not found (#8728)

Print error when a framework test was not found. It is printed in file
`framework_test.log`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco] Set graph input shape in Importer (#8746)

This will enable graph input shape setting after loading in Importer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Remove oneco-integration-test (#8747)

This commit removes oneco-integration-test, which is replaced by
oneco-value-pbtxt-test

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Remove tf2tflite-integration-test (#8748)

This commit removes tf2tflite-integration-test, which is replaced by
tf2tflite-value-pbtxt-test.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Remove tf2tflite-model-test (#8749)

This commit removes tf2tflite-model-test, which is replaced by
tf2tflite-value-pb-test

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Remove moco-integration-test (#8750)

This commit removes moco-integration-test, which replaced by
moco-value-pbtxt-test

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Register Fuse Rsqrt and SquaredDifference (#8705)

This commit registers FuseRsqrtPass and FuseSquaredDifferencePass to exo
TFL optimize stage. Note that FuseSquaredDifferencePass is turn off by
default.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nncc] Install tf2circle (#8725)

Let's include tf2circle in nncc package. Please note that tf2nnpkg
still uses tf2ftlite and tflite2circle instead of this tf2circle.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo] Export TFLMean (#8740)

This commit implements export stage of TFLMean for both tflite and
circle output

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nncc] Show configure progress (#8679)

* [nncc] Show configure progress

From now on, running nncc configure shows configuration progress for
each individual components.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix a typo

Introduce oneco-value-pbtxt-test (#8737)

This commit introduces oneco value test for pbtxt input model. It copies
existing oneco-integration-test only with renaming.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Introduce moco-value-pbtxt-test (#8738)

This commit introduces moco value test for pbtxt input model. It copies
existing moco-integration-test only with renaming.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Introduce tf2tflite-value-pb-test (#8735)

This commit introduces tf2tflite value test for pb input model. It copies
existing tf2tflite-model-test only with renaming.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Introduce tf2tflite-value-pbtxt-test (#8736)

This commit introduces tf2tflite value test for pbtxt input model. It copies
existing tf2tflite-integration-test only with renaming.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] introducing DomainConverter (#8745)

This adds DomainConverter and InputHandler, which are helpers used while converting a canonical node in Feature domain into a TFL node (Tensor domain).

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[moco] GraphOutputIndexQueryService in TF dialect (#8726)

This will add GraphOutputIndexQueryService in TF dialect

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Enable ncnn(srcn) tensor to support NCHW (#8723)

This commit enables ncnn(srcn) tensor to support NCHW(row major).

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tf2tflite-dredd-pbtxt-test] renaming tf2tflite-quality-test to tf2tflite-dredd-pbtxt-test (#8717)

* [tf2tflite-dredd-pbtxt-test] renaming tf2tflite-quality-test

As discussed offlie, tf2tflite-qualit-test is renamed to tf2tflite-dredd-pbtxt-test.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* removed compiler/tf2tflite-quality-test/.gitignore

[loader] Fix infinite recursive call (#8724)

Explicit call parent class's method

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco] TFPlaceholder helpers for index query (#8720)

This will add two helper methods for GraphInputIndex query service

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Replace OperandIndex in DepthToSpace and SpaceToDepth Params (#8707)

Replace `OperandIndex` in `DepthToSpace::Param` and `SpaceToDepth::Param` with `int32_t`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Introduce a configuration for layout of ncnn (#8621)

This commit introduces a configuration for layout of ncnn.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[loco] GraphInputIndexQueryService and input_nodes() (#8713)

This will introduce GraphInputIndexQueryService interface and input_nodes() method to gather Graph Input nodes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Make ExecutorBase supports NCHW frontend layout (#8692)

This commit makes ExecutorBase supports NCHW frontend layout.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Replace OperandIndex in LocalResponseNormalization::Param (#8708)

Replace `OperandIndex` in `LocalResponseNormalization::Param` with `int32_t` / `float`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[lib/ncnn] Fix depthwise conv NCHW kernel bug (#8711)

Fix depthwise convolution NCHW 3x3 weight same padding kernel bug

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[base_loader] Throw when file open failed (#8706)

Throw with a brief message when file open failed

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] TFLMean IR (#8698)

This commit introduces TFLMean IR

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco] Fix typo on TFMean shape inference (#8699)

This commit fixes typo on TFMean shape inference

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nnpackage_run] Use HDF5 C++ interface (#8671)

Use HDF5 C++ interface instead of C.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Do NOT install locomotiv (#8690)

locomotiv is now built as a static library, and thus it is no longer
necessary to install this library.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[moco] Use moco Importer.h (#8702)

This will update to use moco/Importer.h in moco and remove old file in sub folder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[test] Fix misleading path (#8693)

Nit: fix path in `test_arm_neurun_acl_cl.sh`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce InstanceNorm op (#8526)

This commit introduces InstanceNorm op into runtime frontend.
  - Introduce InstanceNormNode into neurun
  - Introduce InstanceNorm op into frontend
  - Use default value if value of epsilon is zero

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>

[exo] Knob for fuse SquaredDifference (#8696)

This commit introduces UseFuseSquaredDifferencePass knob

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Register EltwiseSqrt Converter (#8697)

This commit registers EltwiseSqrt Converter to exo conversion stage

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Remove redundant steps of type and shape inference (#8695)

This removes redundant steps of type and shape inference.

Note that convert() and optimize() has already performed type and shape inference.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[angkor] Change num_elements behavior (#8684)

The current implementation treats rank-0 tensors as a special tensor
which has no elements.

This semantics has a conflict with the well-known standard which treats
a rank-0 tensor as a scalar.

This commit resolves this semantic conflict.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo] Fuse Squared Difference (#8654)

This commit introduces a pass to fuse Squared Difference pattern

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Remove alias and use moco (#8688)

This will remove moco::tf alias for moco and update to use moco types

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce Readers for nchw (#8663)

This commit introduces Readers for nchw.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo] Export Sqrt, Rsqrt, SquaredDifference (#8652)

This commit implements export stage for TFLSqrt, TFLRsqrt and
TFLSquaredDifference. Note that both TFLite exporter and Circle exporter
implemented.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Use moco/Importer.h (#8686)

This will update to use moco/Importer.h in moco-tf

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnkit-mocotf] Use moco namespace types not alias (#8682)

This will update to not to use alias moco::tf namespace

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tf2circle] Use moco namespace types not alias (#8681)

This will update to not to use alias moco::tf namespace

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnkit-tf] Throw T/F error message (#8673)

The exception thrown inside run method now contains detailed message
that comes from TensorFlow itself.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Update ifdef guards of operations (#8683)

Update `#ifdef` guards of operations which were not updated when it was
renamed.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[nnapi] Remove skipping Gather operation on cpu tests (#8667)

* Enabled tests for Gather operation on cpu backends

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[tf2tflite] Use moco namespace types not alias (#8680)

This will update to not to use alias moco::tf namespace

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco] Tidy import unused dependency (#8676)

This will remove unused dependency headers and libraries

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] Fuse Rsqrt (#8655)

This commit introduces a pass to fuse Rsqrt pattern

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Convert EltwiseSqrt (#8653)

This commit implements conversion from canonical EltwiseSqrt to
TFL-dialect TFLSqrt

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco] Provide Importer header in moco folder (#8672)

This will provide Importer header in moco folder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

 [neurun] Rename operation classes (#8666)

This commit removes suffix 'Node' from operation class names since
redundant.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tflite_loader] Introduce tflite_loader test list (#8660)

Itnroduce tflite_loader test list for tflite_loader validation test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime] Move runtimes and rename runtime directory (#8472)

Move logging and pacl runtime into contrib
Rename runtime directory: runtimes -> runtime

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco] Update Importer comment (#8657)

This will update Importer comment with input and output nodes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-tf] Remove output node handle for Push (#8656)

This will remove not needed anymore handle for Canonical Push as output node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[base_loader] Remove unused variable (#8659)

Remove unused variable in `BaseLoader::loadOperand`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Inline Graph::linearize (#8627)

This is to remove dependency of `Graph` on `Linear`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Make Readers and Views support both ITensor and buffer (#8644)

This commit makes Readers and Views support both ITensor and buffer.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Allow same inputs multiple times (#8567)

Allow same inputs multiple times for an operation.
Remove redundant assertion

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Support 1x1x1x1 input for Squeeze (#8646)

Squeeze will handle 1x1x1x1 input using ShapeFixer.
Scalar output will be fixed to rank-1 one element tensor.
The output value will be transfer to app without trouble since nnfw
runtime API get output values using buffer pointer and buffer length.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[moco] Produce TFPush for graph output (#8647)

* [moco] Produce TFPush for graph output

This will update to produce TFPush for graph output node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* update comment

[exo] Type & shape infer. for Sqrt, Rsqrt, SquaredDifference (#8649)

This commit introduces type and shape inferences or TFLSqrt, TFLRsqrt,
TFLSquaredDifference.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[circle-verify] Add VerifyFlatBuffers (#8648)

This will add and enable VerifyFlatBuffers verify Circle file in flatbuffer file format level

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] Note on Pass name convention (#8645)

This commit adds note on Pass name convention

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Rename to have Pass suffix (#8643)

This commit renames following classes (and related files) to have 'Pass'
suffix like other Passes:
- FoldReshapeOfConst -> FoldReshapeOfConstPass
- FoldTransposeOfConst -> FoldTransposeOfConstPass

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] TFL nodes for Sqrt, Rsqrt, SquaredDifference (#8623)

This commit introduces simple TFL-dialect nodes:
- locoex::TFLSqrt
- locoex::TFLRsqrt
- locoex::TFLSquaredDifference

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[circle-verify] Introduce Model and empty Driver (#8641)

* [circle-verify] Introduce Model and empty Driver

This will introdue Model that will provide mmapped buffer and empty Driver

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

[moco-tf] Prepare to handle TFPush instead of Push (#8636)

This will update Frontend to support output as TFPush and Push while updating to produce TFPush as Output

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Remove workaround after switching to ACL v19.05 (#8629)

Prior versions had a bug which did not take into accout the activation fused into CLDepthwiseConvolutionLayer. The workaround for this is now removed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg_run] Fix hdf5 file dump (#8575)

Value group have to be created only once for file
Remove blank line

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

Change the dimension order of Reader and Views in nhwc (#8509)

This commit changes dimension order of Reader and Views in nhwc to nhwc.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[circle-verify] Readme (#8635)

* [circle-verify] Readme

This will introduce circle-verify readme file explaining it's usage

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* edit about

* change output format

[moco-tf] Add TFPush NodeSummaryBuilder (#8634)

This will add TFPush node to NodeSummmaryBuilder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>