[neurun] Support Tracing in LinearExecutor (#9183)

Support Tracing in LinearExecutor

- Let LinearExecutor have info along with functions
- Make use of Observee object

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[oops] Enabling constructor of UserExn to get pairs of attr, val (#9196)

* [oops] Enabling constructor of UserExn to get pairs of attr, val

This enables constructor of UserExn to get pairs of attr and val.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove universal reference

* split one fat test into two lean tests

* stringstream, which is temporarily used to build msg, as param

* leave build_info with const type only

* _out -> out

[moco-tf] Use oops for ConcatV2Canonicalizer (#9206)

* [moco-tf] Use oops for ConcatV2Canonicalizer

This will update ConcatV2Canonicalizer to use oops
- modify internal method to handle error a bit easier

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add todo comment

Remove param frontend_layout from registering tensor info (#9205)

This commit removes param frontend_layout from registering tensor info.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[rt/misc] Do not flush buffer when Event Recording (#9198)

EventRecorder does not have to flush buffer while recording an event.
Flushing buffer every time may cause unnecessary overhead.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[res/TF] Circle rule for SquaredDifference (#9195)

* [res/TF] Circle rule for SquaredDifference

This commit adds rule file to verify SquaredDifference operation is not
divided in circle file.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* 0 > O

[exo] fix typo (#9204)

This commit fixes a typo in exo.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[moco-tf] Fix for ui_0004 seg-fault (#9185)

This will handle invalid info file error as oops::UserExn

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nncc-pkg] Pass extra package build option (#9174)

Pass extra package build option by using '--'
CI infra use this parameter setting for external volume setting

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Refactor to ExoOptimize (#9194)

This commit refactor file name: TFLOptimize > ExoOptimize.
Rationale: the optimize stage is not dedicated only to TFLite, but also
both exo backend TFLite and Circle.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

NET_0028(IN) dredd testcase for tf2circle (#9190)

This commit registers NET_0028(Instance Norm pattern) dredd testcase for
tf2circle. It tests whether tf2circle can fuse Instance Norm pattern.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle-ui-check] Update README.md (#9179)

The instruction in README.md is incorrect.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix clang build issue (#9192)

Clang 10 does not support no-psabi flag ,so build fails due to Werror flag set

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[exo] Remove deprecated CommutativeArgsGetter (#9188)

This commit removes deprecated `CommutativeArgsGetter`. This is replaced
by `NodeFiller`. Comment for helper also updated.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun/cpu] Add constant pad for float data type (#9159)

Add pad operation on cpu backend for float data type

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Remove registering tensor info from ShapeFixer of srcn (#9191)

This commit removes registering tensor info from ShapeFixer of srcn.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Remove unused variable (#9160)

Remove unused private variable `_elements` in `LinearExecutor`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun/loader] Use Operand::asVector for extracting values (#9077)

Use `Operand::asVector` to extract values from constant operands. As a result of the change, `_op_to_subgraph` is no longer needed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Replace resistering tensors with using TensorRegister (#9158)

This commit replaces resistering tensors with using TensorRegister.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo] Refactor to fill() (#9170)

This commit do following refactoring:
Before: `commutative_args_of(node).is(arg1, arg2)`
After : `fill(&arg1, &arg2).with_commutative_args_of(node)`

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Dump manifest for tf2circle UI check (#9176)

This commit dumps test manifest for each test case of
tf2circe UI check

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle] setenv for knobs required for Instance Norm fusion (#9172)

This commit sets environment variable turned on for following knobs
in tf2circle:
- EXO_UseFuseInstanceNormPass
- EXO_UseFuseSquaredDifferencePass

These knobs are required to fuse Instance Norm pattern.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Use oops for error msg (#9171)

* [moco-tf] Use oops for error msg

This will update to use oops for error msg and refines some error messages

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove unintended change

[neurun] Eliminate OperandIndex in Reduce*::Param (#9008)

Replace `Param::axis_index` of type `OperandIndex` with `Param::axes` of type `vector<int>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Register Instance Norm fuse (#9169)

This commit registers Instance norm fusion to exo optimize pass

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle-value-pbtxt-remote-test] Introduce circle value verification (#9074)

This commit will introduce `tf2circle-value-pbtxt-remote-test`,
which is for verifying circle value.

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[res/TensorFlowTests] test cases to check errors (continued) (#9168)

This is test cases for wrong model or info files.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[packaging] Add oops and pepper-assert (#9150)

* [packaging] Add oops and pepper-assert

This will add recently added oops and pepper-assert project to Release package build list

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add logo-core

[exo] Knob for fusing Instance Norm (#9166)

This commit introduces UseFuseInstanceNormPass knob

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-lang] Refine error message with header (#9152)

This will add comments and refine error message in headers

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-import] Refine error handling in validate and build (#9149)

This will refine error handling way and message in validate and build methods

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-support] Refine error with oops (#9156)

* [moco-support] Refine error with oops

This will refine error messages with oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use InternalExn

* use macro

[moco-svc] Refine error with oops (#9154)

This will refine error message with oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] Alternative helper for commutative args (#9140)

* [exo] Alternative helper for commutative args

This commit introduces alternative helper to extract and set commutative
argument of the node.

Current:
`bool ok = commutative_args_of(node).is(arg1, arg2);`

Suggested alternative:
`bool ok = set(&arg1, &arg2).with_commutative_args_of(node);`

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Fill!

Apply copying for permuteInit of ConstantInitializer (#9147)

This commit applies copying for permuteInit of ConstantInitializer.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun/api] Comment for nnfw_session (#9137)

Add more comment for nnfw_session
It contains brief how to use nnfw_session for inference

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco-pass] Refine error with oops (#9153)

This will refine error message using oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-import] Refine error message using oops (#9151)

* [moco-import] Refine error message using oops

This will refine error handling and message using oops for GraphBuilderContext and others

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use GraphDef

[moco] Update requires with oops (#9155)

This will add oops target to moco requires.cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce TensorRegister into BackendContext (#9148)

This commit introduces TensorRegister into BackendContext.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[runtime/CI] Use BACKENDS envvar to select backend (#9143)

To select backend, use BACKENDS Instead of OP_BACKENDS_ALLOPS

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce ChromeTracingObserver (#9113)

Introduce Chrome Tracing Observer and bind with DataflowExecutor.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco-import] Fix AvgPool for error handling (#9144)

This will change error handling for AvgPool import to throw for invalid input model instead of using assert, which will do nothing in Release build. Error checking in build() method is also moved to validate() method as the responsibility is in validate().

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco] Resolve warning in release configuration (#9145)

This commit resolve all the compiler warnings in enco codebase.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo] 1st try to replace throw to oops (#9142)

This is the start of replacing throw to oops message for exo.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[coco] Fix Build Warnings in Release Configuration (#9138)

This commit resolves build warnings in release configuration.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo] Fuse Instance Norm logic (#9103)

This commit implements logic for Instance Norm fusion.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle-ui-check] Print tf2circle's exitcode (#9128)

The current implementation shows the exitcode of the last "echo"
command, and thus it always print 0.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce tf2circle internal error handler (#9129)

This commit implements the basic infrastructure for handling internal
errors.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Move logging of FillOperandData to the time filling data (#9139)

This commit moves logging of FillOperandData to the time filling data.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Introduce an API to set which backends to use (#9099)

* [neurun] Introduce an API to set which backends to use

Define `nnfw_set_preferred_backends` API to set `BACKENDS` configuration variable
- Only the backends specified at `BACKENDS` are loaded on prepare phase

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>
* Rename nnfw_set_default_backend to nnfw_set_available_backends

nnfw_set_available_backends set BACKENDS

[docs] Update System Test Document (STD) (#9079)

Added output of NN Compiler and NN Runtime system tests

Signed-off-by: Alexander Efimov <a.efimov@samsung.com>

[exo] Supported export Fully Connected node (#9017)

* Created TFLFullyConnected node on exo dialect
* Added TypeInference and ShapeInference for this node
* Created MatMulConverter
* Added some helpers with MatrixEncode and MatrixDecode

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[neurun/benchmark] Use linear scheduler for operator kernel test (#9133)

Operator kernel test don't need to check each scheduler's performance, so use linear only

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce pepper-assert (#9124)

This commit introduces "pepper-assert" library. This library will
provides various helpers that makes it easy to manage asserts in
the code base.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[gen_golden] replace deprecated tf.ConfigProto (#9131)

tf.Config.Proto is deprecated. I replaced it with tf.compat.v1.Proto.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[nncc] Skeleton of README.md for nncc in nnas SDK 1.0 (#9034)

* [nncc] Skeleton of README.md for SDK 1.0

This is a skeleton README document for SDK 1.0.
Note that main readers are developers who want to compile Tensorflow models.
Please, write any part you want to write after making an issue.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* adding contents about nnpackage

* explaining nnas sdk

* NNCC to nncc

* numbering on section

* moving license into 1. nnas SDK 1.0

* added semantic versioning. Changed version 1.0 to 1.0.0

[gen_golden] suppress warnings (#9097)

It suppresses two kinds of warnings:

- Future warnings
- TensorFlow Information

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[gen_golden] Dynamically allocate GPU memory for TensorFlow (#9125)

Without this PR, running gen_golden.py on nvidia-docker produces errors

Setting one gpu option for session
- `config.gpu_options.allow_growth = True`

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>

[moco-tf] Fix typo scalar (#9123)

This will fix scalar type in ConcatV2Canonicalizer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Do not use name to check Operation type (#9110)

Do not use name to check Operation type, use OpCode instead

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tf2circle-ui-check] fix typos (#9111)

Fix types from "circel" to "circle".

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Introduce TensorRegister registering tensor info of cpu (#9108)

This comit introduces TensorRegister registering tensor info of cpu.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce TensorRegister registering tensor info of srcn (#9107)

This commit introduces TensorRegister registering tensor info of srcn.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[res/TensorFlowTests] Wrong models: UI_0002, UI_0003 (#9109)

This adds two wrong models:
- UI_0002: Cannot find node whose name is input node name of Conv2D
- UI_0003: two nodes have the same name

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Introduce AclTensorRegister registering tensor info of acl (#9106)

This commit introduces Introduce AclTensorRegister registering tensor info of acl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[docs] Added Unit Test Report (#9080)

Added UTR for DR2

Signed-off-by: Alexander Efimov <a.efimov@samsung.com>

[nnc] Supported HardSwish operation on Interpreter (#9118)

* Implemented realization of HardSwishOp on iterpreter

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[mir-tflite-importer] Supported HardSwish operation on tflite frontend (#9119)

* Implemented HardSwishOp converter on tflite frontend

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnc] Fix compiler warnings (#9117)

Fix compiler warnings breaking release build.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Fix compiler warnings (#9115)

Fix a couple compiler warnings breaking release build.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[adtidas] Fix compiler warnings (#9116)

Fix compiler warnings breaking release build.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[compiler] Introducing oops (user exception, internal exception) (#9063)

* [compiler] Introducing oops

_oops_ is a project for user exception and internal exception.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* Stone -> InfinityStones

* internalExn takes FILE, LINE, then msg

* separator typo

* preparing 4 variables

[neurun] Introduce SUBG_MAX_NODE feature (#9085)

* [neurun] Introduce SUBG_MAX_NODE feature

Introduce SUBG_MAX_NODE feature on lower phase
- SUBG_MAX_NODE=n : a subg has a maximum of n node
- SUBG_MAX_NODE=0(default) : a subg has a node or nodes without limit

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* cast by static_cast

[exo] Clarify commutative_args_of(...).is(...) intension (#9092)

* [exo] Clarify commutative_args_of(...).is(...) intension

There has been confusion on meaning and usage of helper
`commutative_args_of(...).is(...)`. This commit tries to clarify them.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Fix typo

Introduce ITensorRegister registering tensor info (#9089)

This commit instroduces ITensorRegister registering tensor info.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[dredd-rule-lib] Enhancing rule-lib.sh (#9102)

This enhances rule-lib.sh: 1) error check with function (for clean code) 2) replacing `grep .. | wc -l` with `grep -c` (-c is for counting), 3) processing grep error when exit code is not 0

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Refactor too big Graph::lower() (#9087)

Separate Graph::lower() into multiple methods such as makeSubgraphs and
manipulateLowerInfo

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[exo] Refactor to is_1D_with_dummy_dim() (#9096)

This commit refactors:
`is_1D_with_dummy_rank()` to `is_1D_with_dummy_dim()`

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] CommutativeArgsGetter::is() implementation (#9093)

This commit introduces implementation of CommutativeArgsGetter::is()

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] is_instance_mean() implementation (#9095)

This commit implements `is_instance_mean()` helper

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[res/TensorFlowTests] UI_000: wrong network (kernel is missing in Conv2D) (#9091)

This is a wrong network (kernel is missing in Conv2D) to see error message of the compiler.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] is_1D_with_dummy_rank() implementation (#9094)

This commit implements `is_1D_with_dummy_rank()` helper

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Introduce tf2circle-ui-check (#9083)

tf2circle-ui-check makes it easy to check the console output of
tf2circle for each testcases.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix wrong calculating strides of srcn backend (#9073)

This commit fixeswrong calculating strides of srcn backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Simplify code using Operand::asVector (#9038)

Simplify code using newly introduced `Operand::asVector`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Instance Norm pattern match logic (#9054)

This commit implements Instance Norm pattern match logic. Used helper
function's detail not implemented yet.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Refactor knob and log prefix (#9059)

This commit refactors prefix 'EXOTFLITE_' to 'EXO_' as knob and log
structrue is not only for exo-tflite, but about all exo.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Separate benchmark scripts for neurun and pacl (#8945)

1. Rename run_benchmark_op.sh to run_benchmark_pacl.sh
2. Change run_benchmark.sh to use neurun
3. run_benchmark.sh can handle --benchmark_op option using neurun (porting from run_benchmark_pacl.sh)
4. Remove LD_LIBRARY_PATH from usage msg
5. Append _neurun to script name

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[exo] Fix for unused variables in Release build (#9081)

* [exo] Fix for unused variables in Release build

This will fix unused variables warning/error in Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix build error

[neurun] Apply nnfw_benchmark_lib to nnpackage_run and tflite_run (#9046)

Apply nnfw_benchmark_lib to nnpackage_run and tflite_run

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[cwrap] Fix unused function for Rel build (#9071)

This will fix unused function warning/error for Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove use of type_index (#9072)

Now that we have OpCode, we do not need type_index.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco-import] Fix for unused variables in Release build (#9069)

This will fix unused variabled warning/error in Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Refine BackendManager ctor (#9058)

- Use `split` helper function rather than directly parsing
- Use container's `empty()` method rather than checking size is 0

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add a method isRegistered into TensorBuilder (#9043)

This commit addes a method isRegistered into TensorBuilder.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tf2circle-dredd-pb-test] renaming test.* to model.* (#9068)

Previously test.pb and test.info were input to this test. They were renamed to model.*.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tf2tflite-dredd-pb-test] renaming test.* to model.* (#9067)

Previously test.pb and test.info were input to this test. They were renamed to model.*.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] Fix visitor fallback: throw, not assert (#8979)

This commit fixes visitor fallback behavior from assert to throw runtime
error. This is regarding release build.

Fixed visitors:
- TFLNodeVisitor
- TFLMutableNodeVisitor
- CircleNodeVisitor
- CircleMutableNodeVisitor

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Add a tool for extracting subgraph from a pb file (#8911)

This commit adds a tool for extracting subgraph from a pb file.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>