Dump manifest for tf2circle UI check (#9176)

This commit dumps test manifest for each test case of
tf2circe UI check

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle] setenv for knobs required for Instance Norm fusion (#9172)

This commit sets environment variable turned on for following knobs
in tf2circle:
- EXO_UseFuseInstanceNormPass
- EXO_UseFuseSquaredDifferencePass

These knobs are required to fuse Instance Norm pattern.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Use oops for error msg (#9171)

* [moco-tf] Use oops for error msg

This will update to use oops for error msg and refines some error messages

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove unintended change

[neurun] Eliminate OperandIndex in Reduce*::Param (#9008)

Replace `Param::axis_index` of type `OperandIndex` with `Param::axes` of type `vector<int>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Register Instance Norm fuse (#9169)

This commit registers Instance norm fusion to exo optimize pass

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle-value-pbtxt-remote-test] Introduce circle value verification (#9074)

This commit will introduce `tf2circle-value-pbtxt-remote-test`,
which is for verifying circle value.

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[res/TensorFlowTests] test cases to check errors (continued) (#9168)

This is test cases for wrong model or info files.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[packaging] Add oops and pepper-assert (#9150)

* [packaging] Add oops and pepper-assert

This will add recently added oops and pepper-assert project to Release package build list

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add logo-core

[exo] Knob for fusing Instance Norm (#9166)

This commit introduces UseFuseInstanceNormPass knob

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-lang] Refine error message with header (#9152)

This will add comments and refine error message in headers

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-import] Refine error handling in validate and build (#9149)

This will refine error handling way and message in validate and build methods

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-support] Refine error with oops (#9156)

* [moco-support] Refine error with oops

This will refine error messages with oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use InternalExn

* use macro

[moco-svc] Refine error with oops (#9154)

This will refine error message with oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] Alternative helper for commutative args (#9140)

* [exo] Alternative helper for commutative args

This commit introduces alternative helper to extract and set commutative
argument of the node.

Current:
`bool ok = commutative_args_of(node).is(arg1, arg2);`

Suggested alternative:
`bool ok = set(&arg1, &arg2).with_commutative_args_of(node);`

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Fill!

Apply copying for permuteInit of ConstantInitializer (#9147)

This commit applies copying for permuteInit of ConstantInitializer.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun/api] Comment for nnfw_session (#9137)

Add more comment for nnfw_session
It contains brief how to use nnfw_session for inference

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco-pass] Refine error with oops (#9153)

This will refine error message using oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-import] Refine error message using oops (#9151)

* [moco-import] Refine error message using oops

This will refine error handling and message using oops for GraphBuilderContext and others

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use GraphDef

[moco] Update requires with oops (#9155)

This will add oops target to moco requires.cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce TensorRegister into BackendContext (#9148)

This commit introduces TensorRegister into BackendContext.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[runtime/CI] Use BACKENDS envvar to select backend (#9143)

To select backend, use BACKENDS Instead of OP_BACKENDS_ALLOPS

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce ChromeTracingObserver (#9113)

Introduce Chrome Tracing Observer and bind with DataflowExecutor.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco-import] Fix AvgPool for error handling (#9144)

This will change error handling for AvgPool import to throw for invalid input model instead of using assert, which will do nothing in Release build. Error checking in build() method is also moved to validate() method as the responsibility is in validate().

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco] Resolve warning in release configuration (#9145)

This commit resolve all the compiler warnings in enco codebase.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo] 1st try to replace throw to oops (#9142)

This is the start of replacing throw to oops message for exo.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[coco] Fix Build Warnings in Release Configuration (#9138)

This commit resolves build warnings in release configuration.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo] Fuse Instance Norm logic (#9103)

This commit implements logic for Instance Norm fusion.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle-ui-check] Print tf2circle's exitcode (#9128)

The current implementation shows the exitcode of the last "echo"
command, and thus it always print 0.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce tf2circle internal error handler (#9129)

This commit implements the basic infrastructure for handling internal
errors.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Move logging of FillOperandData to the time filling data (#9139)

This commit moves logging of FillOperandData to the time filling data.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Introduce an API to set which backends to use (#9099)

* [neurun] Introduce an API to set which backends to use

Define `nnfw_set_preferred_backends` API to set `BACKENDS` configuration variable
- Only the backends specified at `BACKENDS` are loaded on prepare phase

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>
* Rename nnfw_set_default_backend to nnfw_set_available_backends

nnfw_set_available_backends set BACKENDS

[docs] Update System Test Document (STD) (#9079)

Added output of NN Compiler and NN Runtime system tests

Signed-off-by: Alexander Efimov <a.efimov@samsung.com>

[exo] Supported export Fully Connected node (#9017)

* Created TFLFullyConnected node on exo dialect
* Added TypeInference and ShapeInference for this node
* Created MatMulConverter
* Added some helpers with MatrixEncode and MatrixDecode

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[neurun/benchmark] Use linear scheduler for operator kernel test (#9133)

Operator kernel test don't need to check each scheduler's performance, so use linear only

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce pepper-assert (#9124)

This commit introduces "pepper-assert" library. This library will
provides various helpers that makes it easy to manage asserts in
the code base.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[gen_golden] replace deprecated tf.ConfigProto (#9131)

tf.Config.Proto is deprecated. I replaced it with tf.compat.v1.Proto.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[nncc] Skeleton of README.md for nncc in nnas SDK 1.0 (#9034)

* [nncc] Skeleton of README.md for SDK 1.0

This is a skeleton README document for SDK 1.0.
Note that main readers are developers who want to compile Tensorflow models.
Please, write any part you want to write after making an issue.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* adding contents about nnpackage

* explaining nnas sdk

* NNCC to nncc

* numbering on section

* moving license into 1. nnas SDK 1.0

* added semantic versioning. Changed version 1.0 to 1.0.0

[gen_golden] suppress warnings (#9097)

It suppresses two kinds of warnings:

- Future warnings
- TensorFlow Information

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[gen_golden] Dynamically allocate GPU memory for TensorFlow (#9125)

Without this PR, running gen_golden.py on nvidia-docker produces errors

Setting one gpu option for session
- `config.gpu_options.allow_growth = True`

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>

[moco-tf] Fix typo scalar (#9123)

This will fix scalar type in ConcatV2Canonicalizer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Do not use name to check Operation type (#9110)

Do not use name to check Operation type, use OpCode instead

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tf2circle-ui-check] fix typos (#9111)

Fix types from "circel" to "circle".

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Introduce TensorRegister registering tensor info of cpu (#9108)

This comit introduces TensorRegister registering tensor info of cpu.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce TensorRegister registering tensor info of srcn (#9107)

This commit introduces TensorRegister registering tensor info of srcn.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[res/TensorFlowTests] Wrong models: UI_0002, UI_0003 (#9109)

This adds two wrong models:
- UI_0002: Cannot find node whose name is input node name of Conv2D
- UI_0003: two nodes have the same name

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Introduce AclTensorRegister registering tensor info of acl (#9106)

This commit introduces Introduce AclTensorRegister registering tensor info of acl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[docs] Added Unit Test Report (#9080)

Added UTR for DR2

Signed-off-by: Alexander Efimov <a.efimov@samsung.com>

[nnc] Supported HardSwish operation on Interpreter (#9118)

* Implemented realization of HardSwishOp on iterpreter

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[mir-tflite-importer] Supported HardSwish operation on tflite frontend (#9119)

* Implemented HardSwishOp converter on tflite frontend

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnc] Fix compiler warnings (#9117)

Fix compiler warnings breaking release build.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Fix compiler warnings (#9115)

Fix a couple compiler warnings breaking release build.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[adtidas] Fix compiler warnings (#9116)

Fix compiler warnings breaking release build.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[compiler] Introducing oops (user exception, internal exception) (#9063)

* [compiler] Introducing oops

_oops_ is a project for user exception and internal exception.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* Stone -> InfinityStones

* internalExn takes FILE, LINE, then msg

* separator typo

* preparing 4 variables

[neurun] Introduce SUBG_MAX_NODE feature (#9085)

* [neurun] Introduce SUBG_MAX_NODE feature

Introduce SUBG_MAX_NODE feature on lower phase
- SUBG_MAX_NODE=n : a subg has a maximum of n node
- SUBG_MAX_NODE=0(default) : a subg has a node or nodes without limit

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* cast by static_cast

[exo] Clarify commutative_args_of(...).is(...) intension (#9092)

* [exo] Clarify commutative_args_of(...).is(...) intension

There has been confusion on meaning and usage of helper
`commutative_args_of(...).is(...)`. This commit tries to clarify them.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Fix typo

Introduce ITensorRegister registering tensor info (#9089)

This commit instroduces ITensorRegister registering tensor info.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[dredd-rule-lib] Enhancing rule-lib.sh (#9102)

This enhances rule-lib.sh: 1) error check with function (for clean code) 2) replacing `grep .. | wc -l` with `grep -c` (-c is for counting), 3) processing grep error when exit code is not 0

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Refactor too big Graph::lower() (#9087)

Separate Graph::lower() into multiple methods such as makeSubgraphs and
manipulateLowerInfo

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[exo] Refactor to is_1D_with_dummy_dim() (#9096)

This commit refactors:
`is_1D_with_dummy_rank()` to `is_1D_with_dummy_dim()`

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] CommutativeArgsGetter::is() implementation (#9093)

This commit introduces implementation of CommutativeArgsGetter::is()

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] is_instance_mean() implementation (#9095)

This commit implements `is_instance_mean()` helper

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[res/TensorFlowTests] UI_000: wrong network (kernel is missing in Conv2D) (#9091)

This is a wrong network (kernel is missing in Conv2D) to see error message of the compiler.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] is_1D_with_dummy_rank() implementation (#9094)

This commit implements `is_1D_with_dummy_rank()` helper

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Introduce tf2circle-ui-check (#9083)

tf2circle-ui-check makes it easy to check the console output of
tf2circle for each testcases.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix wrong calculating strides of srcn backend (#9073)

This commit fixeswrong calculating strides of srcn backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Simplify code using Operand::asVector (#9038)

Simplify code using newly introduced `Operand::asVector`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Instance Norm pattern match logic (#9054)

This commit implements Instance Norm pattern match logic. Used helper
function's detail not implemented yet.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Refactor knob and log prefix (#9059)

This commit refactors prefix 'EXOTFLITE_' to 'EXO_' as knob and log
structrue is not only for exo-tflite, but about all exo.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Separate benchmark scripts for neurun and pacl (#8945)

1. Rename run_benchmark_op.sh to run_benchmark_pacl.sh
2. Change run_benchmark.sh to use neurun
3. run_benchmark.sh can handle --benchmark_op option using neurun (porting from run_benchmark_pacl.sh)
4. Remove LD_LIBRARY_PATH from usage msg
5. Append _neurun to script name

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[exo] Fix for unused variables in Release build (#9081)

* [exo] Fix for unused variables in Release build

This will fix unused variables warning/error in Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix build error

[neurun] Apply nnfw_benchmark_lib to nnpackage_run and tflite_run (#9046)

Apply nnfw_benchmark_lib to nnpackage_run and tflite_run

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[cwrap] Fix unused function for Rel build (#9071)

This will fix unused function warning/error for Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove use of type_index (#9072)

Now that we have OpCode, we do not need type_index.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco-import] Fix for unused variables in Release build (#9069)

This will fix unused variabled warning/error in Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Refine BackendManager ctor (#9058)

- Use `split` helper function rather than directly parsing
- Use container's `empty()` method rather than checking size is 0

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add a method isRegistered into TensorBuilder (#9043)

This commit addes a method isRegistered into TensorBuilder.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tf2circle-dredd-pb-test] renaming test.* to model.* (#9068)

Previously test.pb and test.info were input to this test. They were renamed to model.*.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tf2tflite-dredd-pb-test] renaming test.* to model.* (#9067)

Previously test.pb and test.info were input to this test. They were renamed to model.*.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] Fix visitor fallback: throw, not assert (#8979)

This commit fixes visitor fallback behavior from assert to throw runtime
error. This is regarding release build.

Fixed visitors:
- TFLNodeVisitor
- TFLMutableNodeVisitor
- CircleNodeVisitor
- CircleMutableNodeVisitor

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Add a tool for extracting subgraph from a pb file (#8911)

This commit adds a tool for extracting subgraph from a pb file.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[nnfw/gbs] Enable test on tizen (#9053)

- Include gtest source files to remove error by gtest & gmock version mismatch and use on gbs build
- Update skiplist: skip transpose conv until error resolved

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun/cpu] Enable squeeze operation (#9057)

Enable squeeze operation on neurun cpu backend
Squeeze operation use reshape kernel

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[xtrace] Move Event tools to libs/misc (#9056)

Move EventRecorder and EventCollector to `libs/misc` from
`contrib/xtrace` so that those can be used from neurun.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Eliminate OperandIndex in Transpose::Param (#9016)

Replace `OperandIndex` in `ArgMax::Param` with `vector<int>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Register Circle service to exo pass (#8996)

* [exo] Register Circle service to exo pass

This commit registers circle shape and type inference service to exo
shape and type inference passes, respectively.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Add todo

[neurun/acl_neon] Simplify code using Operand::asVector (#9039)

Simplify code using newly introduced `Operand::asVector`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[locomotiv] Fix release build unused var (#9045)

This will fix release build for unused variable warning/error

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-svc] Fix release build unused var (#9047)

* [moco-svc] Fix release build unused var

This will fix release build for unused variable warning/error
and throw runtime error to usef for invalid model file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix message

[logo] Added redundant Matrix conversion (#9018)

* Added elimination -- MatrixDecode -- MatrixEncode --
* Added elimination -- MatrixEncode -- MatrixDecode --

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[loco] inline method only used in assert (#9044)

This will inline method only used in assert to prevent Release build warning/error

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Call dlclose for all backends (#9035)

Call dlclose for all backends before termination. The handle pointer is
wrapped as unique_ptr and the handle map's order is changed since the
deletion order matters(backend objects must be deleted first).

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Fuse Instance Norm (intro) (#9012)

* [exo] Fuse Instance Norm (intro)

This commit introduces basic code structure for FuseInstanceNormPass. It
also shows subgraph pattern to fuse.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Review feedback: refactoring, new helper, comment

[exo] NET_0028(Instance Norm) dredd rule (#9010)

This commit introduces dredd rule for 1.0 release requirement: tf2circle
should merge Instance Norm pattern

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[xtrace] Extract out EventCollectingListener (#9031)

Extract EventCollectingListener into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce benchmark_lib as benchmark util (#8995)

* [neurun] Introduce benchmark_lib as benchmark util

- Accumulator: accumulates performance value
- CsvWriter: writes data aligning header to csv file
- MemoryPoller: gets memory by polling specific file status

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Remove Accumulator.h

[neurun] Introduce `Operand::asVector` (#9030)

Add `Operand::asVector` method (analogous to `asScalar`) for extracting vectors from constant operands. It is useful in loader (circle/tflite) and NNAPI importer.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg-run] remove tensor_dumper not used any longer (#9025)

It removes tensor_dumper.{h,cc}, which are not used any longer.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[xtrace] Decouple EventCollector from xray (#9024)

- Introduce new EventCollector class that is not dependent on xray
  framework
- Rename as-is `EventCollector` to `EventCollectingListener`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Fix for const model ouput (again) (#9002)

* [neurun] Fix for const model ouput (again)

Handle properly when a model has const model outputs.
This makes it not crash however the results are still incorrect since
Const values are not initialized yet.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Fix failure

It is wrong that assuming just one use for inputs.

* Merge fix

[neurun] Eliminate OperandIndex in ArgMax::Param (#9015)

Replace `OperandIndex` in `ArgMax::Param` with `int`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>