Move logging of FillOperandData to the time filling data (#9139)

This commit moves logging of FillOperandData to the time filling data.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Introduce an API to set which backends to use (#9099)

* [neurun] Introduce an API to set which backends to use

Define `nnfw_set_preferred_backends` API to set `BACKENDS` configuration variable
- Only the backends specified at `BACKENDS` are loaded on prepare phase

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>
* Rename nnfw_set_default_backend to nnfw_set_available_backends

nnfw_set_available_backends set BACKENDS

[docs] Update System Test Document (STD) (#9079)

Added output of NN Compiler and NN Runtime system tests

Signed-off-by: Alexander Efimov <a.efimov@samsung.com>

[exo] Supported export Fully Connected node (#9017)

* Created TFLFullyConnected node on exo dialect
* Added TypeInference and ShapeInference for this node
* Created MatMulConverter
* Added some helpers with MatrixEncode and MatrixDecode

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[neurun/benchmark] Use linear scheduler for operator kernel test (#9133)

Operator kernel test don't need to check each scheduler's performance, so use linear only

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce pepper-assert (#9124)

This commit introduces "pepper-assert" library. This library will
provides various helpers that makes it easy to manage asserts in
the code base.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[gen_golden] replace deprecated tf.ConfigProto (#9131)

tf.Config.Proto is deprecated. I replaced it with tf.compat.v1.Proto.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[nncc] Skeleton of README.md for nncc in nnas SDK 1.0 (#9034)

* [nncc] Skeleton of README.md for SDK 1.0

This is a skeleton README document for SDK 1.0.
Note that main readers are developers who want to compile Tensorflow models.
Please, write any part you want to write after making an issue.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* adding contents about nnpackage

* explaining nnas sdk

* NNCC to nncc

* numbering on section

* moving license into 1. nnas SDK 1.0

* added semantic versioning. Changed version 1.0 to 1.0.0

[gen_golden] suppress warnings (#9097)

It suppresses two kinds of warnings:

- Future warnings
- TensorFlow Information

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[gen_golden] Dynamically allocate GPU memory for TensorFlow (#9125)

Without this PR, running gen_golden.py on nvidia-docker produces errors

Setting one gpu option for session
- `config.gpu_options.allow_growth = True`

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>

[moco-tf] Fix typo scalar (#9123)

This will fix scalar type in ConcatV2Canonicalizer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Do not use name to check Operation type (#9110)

Do not use name to check Operation type, use OpCode instead

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tf2circle-ui-check] fix typos (#9111)

Fix types from "circel" to "circle".

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Introduce TensorRegister registering tensor info of cpu (#9108)

This comit introduces TensorRegister registering tensor info of cpu.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce TensorRegister registering tensor info of srcn (#9107)

This commit introduces TensorRegister registering tensor info of srcn.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[res/TensorFlowTests] Wrong models: UI_0002, UI_0003 (#9109)

This adds two wrong models:
- UI_0002: Cannot find node whose name is input node name of Conv2D
- UI_0003: two nodes have the same name

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Introduce AclTensorRegister registering tensor info of acl (#9106)

This commit introduces Introduce AclTensorRegister registering tensor info of acl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[docs] Added Unit Test Report (#9080)

Added UTR for DR2

Signed-off-by: Alexander Efimov <a.efimov@samsung.com>

[nnc] Supported HardSwish operation on Interpreter (#9118)

* Implemented realization of HardSwishOp on iterpreter

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[mir-tflite-importer] Supported HardSwish operation on tflite frontend (#9119)

* Implemented HardSwishOp converter on tflite frontend

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnc] Fix compiler warnings (#9117)

Fix compiler warnings breaking release build.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Fix compiler warnings (#9115)

Fix a couple compiler warnings breaking release build.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[adtidas] Fix compiler warnings (#9116)

Fix compiler warnings breaking release build.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[compiler] Introducing oops (user exception, internal exception) (#9063)

* [compiler] Introducing oops

_oops_ is a project for user exception and internal exception.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* Stone -> InfinityStones

* internalExn takes FILE, LINE, then msg

* separator typo

* preparing 4 variables

[neurun] Introduce SUBG_MAX_NODE feature (#9085)

* [neurun] Introduce SUBG_MAX_NODE feature

Introduce SUBG_MAX_NODE feature on lower phase
- SUBG_MAX_NODE=n : a subg has a maximum of n node
- SUBG_MAX_NODE=0(default) : a subg has a node or nodes without limit

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* cast by static_cast

[exo] Clarify commutative_args_of(...).is(...) intension (#9092)

* [exo] Clarify commutative_args_of(...).is(...) intension

There has been confusion on meaning and usage of helper
`commutative_args_of(...).is(...)`. This commit tries to clarify them.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Fix typo

Introduce ITensorRegister registering tensor info (#9089)

This commit instroduces ITensorRegister registering tensor info.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[dredd-rule-lib] Enhancing rule-lib.sh (#9102)

This enhances rule-lib.sh: 1) error check with function (for clean code) 2) replacing `grep .. | wc -l` with `grep -c` (-c is for counting), 3) processing grep error when exit code is not 0

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Refactor too big Graph::lower() (#9087)

Separate Graph::lower() into multiple methods such as makeSubgraphs and
manipulateLowerInfo

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[exo] Refactor to is_1D_with_dummy_dim() (#9096)

This commit refactors:
`is_1D_with_dummy_rank()` to `is_1D_with_dummy_dim()`

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] CommutativeArgsGetter::is() implementation (#9093)

This commit introduces implementation of CommutativeArgsGetter::is()

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] is_instance_mean() implementation (#9095)

This commit implements `is_instance_mean()` helper

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[res/TensorFlowTests] UI_000: wrong network (kernel is missing in Conv2D) (#9091)

This is a wrong network (kernel is missing in Conv2D) to see error message of the compiler.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] is_1D_with_dummy_rank() implementation (#9094)

This commit implements `is_1D_with_dummy_rank()` helper

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Introduce tf2circle-ui-check (#9083)

tf2circle-ui-check makes it easy to check the console output of
tf2circle for each testcases.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix wrong calculating strides of srcn backend (#9073)

This commit fixeswrong calculating strides of srcn backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Simplify code using Operand::asVector (#9038)

Simplify code using newly introduced `Operand::asVector`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Instance Norm pattern match logic (#9054)

This commit implements Instance Norm pattern match logic. Used helper
function's detail not implemented yet.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Refactor knob and log prefix (#9059)

This commit refactors prefix 'EXOTFLITE_' to 'EXO_' as knob and log
structrue is not only for exo-tflite, but about all exo.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Separate benchmark scripts for neurun and pacl (#8945)

1. Rename run_benchmark_op.sh to run_benchmark_pacl.sh
2. Change run_benchmark.sh to use neurun
3. run_benchmark.sh can handle --benchmark_op option using neurun (porting from run_benchmark_pacl.sh)
4. Remove LD_LIBRARY_PATH from usage msg
5. Append _neurun to script name

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[exo] Fix for unused variables in Release build (#9081)

* [exo] Fix for unused variables in Release build

This will fix unused variables warning/error in Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix build error

[neurun] Apply nnfw_benchmark_lib to nnpackage_run and tflite_run (#9046)

Apply nnfw_benchmark_lib to nnpackage_run and tflite_run

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[cwrap] Fix unused function for Rel build (#9071)

This will fix unused function warning/error for Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove use of type_index (#9072)

Now that we have OpCode, we do not need type_index.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco-import] Fix for unused variables in Release build (#9069)

This will fix unused variabled warning/error in Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Refine BackendManager ctor (#9058)

- Use `split` helper function rather than directly parsing
- Use container's `empty()` method rather than checking size is 0

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add a method isRegistered into TensorBuilder (#9043)

This commit addes a method isRegistered into TensorBuilder.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tf2circle-dredd-pb-test] renaming test.* to model.* (#9068)

Previously test.pb and test.info were input to this test. They were renamed to model.*.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tf2tflite-dredd-pb-test] renaming test.* to model.* (#9067)

Previously test.pb and test.info were input to this test. They were renamed to model.*.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] Fix visitor fallback: throw, not assert (#8979)

This commit fixes visitor fallback behavior from assert to throw runtime
error. This is regarding release build.

Fixed visitors:
- TFLNodeVisitor
- TFLMutableNodeVisitor
- CircleNodeVisitor
- CircleMutableNodeVisitor

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Add a tool for extracting subgraph from a pb file (#8911)

This commit adds a tool for extracting subgraph from a pb file.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[nnfw/gbs] Enable test on tizen (#9053)

- Include gtest source files to remove error by gtest & gmock version mismatch and use on gbs build
- Update skiplist: skip transpose conv until error resolved

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun/cpu] Enable squeeze operation (#9057)

Enable squeeze operation on neurun cpu backend
Squeeze operation use reshape kernel

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[xtrace] Move Event tools to libs/misc (#9056)

Move EventRecorder and EventCollector to `libs/misc` from
`contrib/xtrace` so that those can be used from neurun.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Eliminate OperandIndex in Transpose::Param (#9016)

Replace `OperandIndex` in `ArgMax::Param` with `vector<int>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Register Circle service to exo pass (#8996)

* [exo] Register Circle service to exo pass

This commit registers circle shape and type inference service to exo
shape and type inference passes, respectively.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Add todo

[neurun/acl_neon] Simplify code using Operand::asVector (#9039)

Simplify code using newly introduced `Operand::asVector`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[locomotiv] Fix release build unused var (#9045)

This will fix release build for unused variable warning/error

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-svc] Fix release build unused var (#9047)

* [moco-svc] Fix release build unused var

This will fix release build for unused variable warning/error
and throw runtime error to usef for invalid model file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix message

[logo] Added redundant Matrix conversion (#9018)

* Added elimination -- MatrixDecode -- MatrixEncode --
* Added elimination -- MatrixEncode -- MatrixDecode --

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[loco] inline method only used in assert (#9044)

This will inline method only used in assert to prevent Release build warning/error

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Call dlclose for all backends (#9035)

Call dlclose for all backends before termination. The handle pointer is
wrapped as unique_ptr and the handle map's order is changed since the
deletion order matters(backend objects must be deleted first).

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Fuse Instance Norm (intro) (#9012)

* [exo] Fuse Instance Norm (intro)

This commit introduces basic code structure for FuseInstanceNormPass. It
also shows subgraph pattern to fuse.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Review feedback: refactoring, new helper, comment

[exo] NET_0028(Instance Norm) dredd rule (#9010)

This commit introduces dredd rule for 1.0 release requirement: tf2circle
should merge Instance Norm pattern

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[xtrace] Extract out EventCollectingListener (#9031)

Extract EventCollectingListener into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce benchmark_lib as benchmark util (#8995)

* [neurun] Introduce benchmark_lib as benchmark util

- Accumulator: accumulates performance value
- CsvWriter: writes data aligning header to csv file
- MemoryPoller: gets memory by polling specific file status

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Remove Accumulator.h

[neurun] Introduce `Operand::asVector` (#9030)

Add `Operand::asVector` method (analogous to `asScalar`) for extracting vectors from constant operands. It is useful in loader (circle/tflite) and NNAPI importer.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg-run] remove tensor_dumper not used any longer (#9025)

It removes tensor_dumper.{h,cc}, which are not used any longer.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[xtrace] Decouple EventCollector from xray (#9024)

- Introduce new EventCollector class that is not dependent on xray
  framework
- Rename as-is `EventCollector` to `EventCollectingListener`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Fix for const model ouput (again) (#9002)

* [neurun] Fix for const model ouput (again)

Handle properly when a model has const model outputs.
This makes it not crash however the results are still incorrect since
Const values are not initialized yet.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Fix failure

It is wrong that assuming just one use for inputs.

* Merge fix

[neurun] Eliminate OperandIndex in ArgMax::Param (#9015)

Replace `OperandIndex` in `ArgMax::Param` with `int`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Introduce toString for OpCode (#9005)

Introduce toString for OpCode so Operation derivatives do not need to
override `name()` method. At first, I wanted to get rid of `name()`
method but left it due to Custom op.

NOTE : We could get rid of `name()` method if we handle custom
operations specially.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Remove commented code (#8992)

This commit removes commented 'set_new_shape' code

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[dredd] more error handling (#8978)

* [dredd] more error handling

This adds two error handling: 1) error log into $ERROR_LOG file 2) catching error in pipe

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* fixing wrong rule

* another fix for rule file.

Update README (#9019)

Update link for HowToContribute document
- HowToContribute document relocated from docs/nnfw to docs

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>

[exo] Instance Norm summary (#9009)

This commit implements summary for Circle Instance Norm IR.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[xtrace] nit : Fix inclusion (#9013)

Including `str.h` includes `sstream` indirectly, but it should directly
`sstream` rather than `str.h`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Do not use Graph::release* methods in Linear (#8957)

Moving subgraphs, lowerinfo, etc. from Graph to Linear and then to Executors makes it difficult to understand who is the owner of these entities. It is enough to pass `Graph` to `Linear` by reference.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[moco-svc] Shape and Type inference for FakeQuant (#9004)

This will add Shape and Type inference for FakeQuantWithMinMaxVars node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[logo] Use logo-core (#9007)

This will update to use logo-core and remove files that have migrated

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-pass] Use logo-core instead of logo (#9006)

This will update moco-pass to use logo-core as it only uses Pass and Phase class

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix flatbuffers build with gcc versions >= 8.0 (#8954)

gcc 8.0+ adds `class-memaccess` diagnostic, making flatbuffers build fail when Werror is enabled
This disables class-memaccess diagnostic for gcc versions greater than 8.0

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[logo-core] logo-core from logo (#8991)

* [logo-core] logo-core from loco

This will introduce logo-core copied from logo with Pass and Phase class

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix typo

[doc] Update howto xu4 tizen (#8981)

- Slow down fan speed using cpu governor
- Mount writable root file stsyem
- Install OpenCL

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Move OpCode hash to OpCode file (#9001)

Since OpCode hash can be used in different modules, move it and put it
as `std::hash` specialization so we do not need to pass it to containers
manually.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[nnpkg-run] templatize randomData and introduce unnamed namespace (#9000)

It is a preparation step to support qint8 input/output.
It templatize randomData and introduce unnamed namespace.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo] Type & Shape inference of Instance Norm (#8993)

This commit introduces type and shape inference for Instance Norm IR.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[logo] Fix typo on README (#8997)

This commit fixes typo on README

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Add Circle node summary builder for logging (#8994)

This commit adds Circle node summary builder to log Circle nodes

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Extract out Observee from Executor (#8970)

* [neurun] Extract out Observee from Executor

- Remove observee(subject) methods from Executor
- Introduce `ExecutionObservee` class

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Remove DataflowExecutor::addObserver

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun/interp] Use model opcode enum (#8999)

Remove interpreter internal opcode enum and use model opcode enum neurun::model::OpCode

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[nnpackage-run] Backend resolve for operation type (#8919)

Can resolve backend for each operation type using environment variable
- Support conv, depthwise conv, transpose conv, mean, average pool, max pool, instance norm, add
- Update api operation map for instance norm and add operation backend set

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Revert "[neurun] Fix for const model ouput (#8799)" (#8998)

This reverts commit 0bc930bd7d816b48c148c6043a6a8abb08badf51.

Fix push builder failure.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Remove specialized visitor fallback (#8980)

This commit removes specialized visitor fallback for type and shape
inference for TFL and Circle dialects. These visitors now use default
fallback defined by their bases.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Introduce OpCode enum type (#8977)

Introduce OpCode enum type for operations. Each operation has its unique
OpCode value.

Resolve #8858

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Extract out set_new_shape() for TFLReshape (#8950)

This commit extracts out `set_new_shape()`, a helper function to set
both of TFLReshape's new shape information.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Fix for const model ouput (#8799)

* [neurun] Fix for const model ouput

Handle properly when a model has const model outputs.
This makes it not crash however the results are still incorrect since
Const values are not initialized yet.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Do not force NHWC for unused const tensors

* Add more comments

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Remove fix in Source and Sink

[neurun] Remove useless dependency in Operation (#8971)

Operation used to own a `LowerInfo` class in it, but it is no longer
needed.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Selective TFLNode summary impl (#8968)

With this commit, developer can implement TFLNode summary selectively

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Remove unnecessary map in base_loader (#8955)

Set Operand data right when creating it from Tensor, `_tensor_to_operand` map is not needed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>