[res/TensorFlowTests] UI_000: wrong network (kernel is missing in Conv2D) (#9091)

This is a wrong network (kernel is missing in Conv2D) to see error message of the compiler.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] is_1D_with_dummy_rank() implementation (#9094)

This commit implements `is_1D_with_dummy_rank()` helper

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Introduce tf2circle-ui-check (#9083)

tf2circle-ui-check makes it easy to check the console output of
tf2circle for each testcases.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix wrong calculating strides of srcn backend (#9073)

This commit fixeswrong calculating strides of srcn backend.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Simplify code using Operand::asVector (#9038)

Simplify code using newly introduced `Operand::asVector`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Instance Norm pattern match logic (#9054)

This commit implements Instance Norm pattern match logic. Used helper
function's detail not implemented yet.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Refactor knob and log prefix (#9059)

This commit refactors prefix 'EXOTFLITE_' to 'EXO_' as knob and log
structrue is not only for exo-tflite, but about all exo.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Separate benchmark scripts for neurun and pacl (#8945)

1. Rename run_benchmark_op.sh to run_benchmark_pacl.sh
2. Change run_benchmark.sh to use neurun
3. run_benchmark.sh can handle --benchmark_op option using neurun (porting from run_benchmark_pacl.sh)
4. Remove LD_LIBRARY_PATH from usage msg
5. Append _neurun to script name

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[exo] Fix for unused variables in Release build (#9081)

* [exo] Fix for unused variables in Release build

This will fix unused variables warning/error in Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix build error

[neurun] Apply nnfw_benchmark_lib to nnpackage_run and tflite_run (#9046)

Apply nnfw_benchmark_lib to nnpackage_run and tflite_run

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[cwrap] Fix unused function for Rel build (#9071)

This will fix unused function warning/error for Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove use of type_index (#9072)

Now that we have OpCode, we do not need type_index.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco-import] Fix for unused variables in Release build (#9069)

This will fix unused variabled warning/error in Release build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Refine BackendManager ctor (#9058)

- Use `split` helper function rather than directly parsing
- Use container's `empty()` method rather than checking size is 0

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add a method isRegistered into TensorBuilder (#9043)

This commit addes a method isRegistered into TensorBuilder.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[tf2circle-dredd-pb-test] renaming test.* to model.* (#9068)

Previously test.pb and test.info were input to this test. They were renamed to model.*.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[tf2tflite-dredd-pb-test] renaming test.* to model.* (#9067)

Previously test.pb and test.info were input to this test. They were renamed to model.*.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] Fix visitor fallback: throw, not assert (#8979)

This commit fixes visitor fallback behavior from assert to throw runtime
error. This is regarding release build.

Fixed visitors:
- TFLNodeVisitor
- TFLMutableNodeVisitor
- CircleNodeVisitor
- CircleMutableNodeVisitor

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Add a tool for extracting subgraph from a pb file (#8911)

This commit adds a tool for extracting subgraph from a pb file.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[nnfw/gbs] Enable test on tizen (#9053)

- Include gtest source files to remove error by gtest & gmock version mismatch and use on gbs build
- Update skiplist: skip transpose conv until error resolved

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun/cpu] Enable squeeze operation (#9057)

Enable squeeze operation on neurun cpu backend
Squeeze operation use reshape kernel

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[xtrace] Move Event tools to libs/misc (#9056)

Move EventRecorder and EventCollector to `libs/misc` from
`contrib/xtrace` so that those can be used from neurun.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Eliminate OperandIndex in Transpose::Param (#9016)

Replace `OperandIndex` in `ArgMax::Param` with `vector<int>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Register Circle service to exo pass (#8996)

* [exo] Register Circle service to exo pass

This commit registers circle shape and type inference service to exo
shape and type inference passes, respectively.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Add todo

[neurun/acl_neon] Simplify code using Operand::asVector (#9039)

Simplify code using newly introduced `Operand::asVector`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[locomotiv] Fix release build unused var (#9045)

This will fix release build for unused variable warning/error

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-svc] Fix release build unused var (#9047)

* [moco-svc] Fix release build unused var

This will fix release build for unused variable warning/error
and throw runtime error to usef for invalid model file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix message

[logo] Added redundant Matrix conversion (#9018)

* Added elimination -- MatrixDecode -- MatrixEncode --
* Added elimination -- MatrixEncode -- MatrixDecode --

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[loco] inline method only used in assert (#9044)

This will inline method only used in assert to prevent Release build warning/error

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Call dlclose for all backends (#9035)

Call dlclose for all backends before termination. The handle pointer is
wrapped as unique_ptr and the handle map's order is changed since the
deletion order matters(backend objects must be deleted first).

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Fuse Instance Norm (intro) (#9012)

* [exo] Fuse Instance Norm (intro)

This commit introduces basic code structure for FuseInstanceNormPass. It
also shows subgraph pattern to fuse.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Review feedback: refactoring, new helper, comment

[exo] NET_0028(Instance Norm) dredd rule (#9010)

This commit introduces dredd rule for 1.0 release requirement: tf2circle
should merge Instance Norm pattern

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[xtrace] Extract out EventCollectingListener (#9031)

Extract EventCollectingListener into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce benchmark_lib as benchmark util (#8995)

* [neurun] Introduce benchmark_lib as benchmark util

- Accumulator: accumulates performance value
- CsvWriter: writes data aligning header to csv file
- MemoryPoller: gets memory by polling specific file status

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Remove Accumulator.h

[neurun] Introduce `Operand::asVector` (#9030)

Add `Operand::asVector` method (analogous to `asScalar`) for extracting vectors from constant operands. It is useful in loader (circle/tflite) and NNAPI importer.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg-run] remove tensor_dumper not used any longer (#9025)

It removes tensor_dumper.{h,cc}, which are not used any longer.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[xtrace] Decouple EventCollector from xray (#9024)

- Introduce new EventCollector class that is not dependent on xray
  framework
- Rename as-is `EventCollector` to `EventCollectingListener`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Fix for const model ouput (again) (#9002)

* [neurun] Fix for const model ouput (again)

Handle properly when a model has const model outputs.
This makes it not crash however the results are still incorrect since
Const values are not initialized yet.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Fix failure

It is wrong that assuming just one use for inputs.

* Merge fix

[neurun] Eliminate OperandIndex in ArgMax::Param (#9015)

Replace `OperandIndex` in `ArgMax::Param` with `int`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Introduce toString for OpCode (#9005)

Introduce toString for OpCode so Operation derivatives do not need to
override `name()` method. At first, I wanted to get rid of `name()`
method but left it due to Custom op.

NOTE : We could get rid of `name()` method if we handle custom
operations specially.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Remove commented code (#8992)

This commit removes commented 'set_new_shape' code

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[dredd] more error handling (#8978)

* [dredd] more error handling

This adds two error handling: 1) error log into $ERROR_LOG file 2) catching error in pipe

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* fixing wrong rule

* another fix for rule file.

Update README (#9019)

Update link for HowToContribute document
- HowToContribute document relocated from docs/nnfw to docs

Signed-off-by: JiHwan Yeo <jihwan.yeo@samsung.com>

[exo] Instance Norm summary (#9009)

This commit implements summary for Circle Instance Norm IR.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[xtrace] nit : Fix inclusion (#9013)

Including `str.h` includes `sstream` indirectly, but it should directly
`sstream` rather than `str.h`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Do not use Graph::release* methods in Linear (#8957)

Moving subgraphs, lowerinfo, etc. from Graph to Linear and then to Executors makes it difficult to understand who is the owner of these entities. It is enough to pass `Graph` to `Linear` by reference.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[moco-svc] Shape and Type inference for FakeQuant (#9004)

This will add Shape and Type inference for FakeQuantWithMinMaxVars node

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[logo] Use logo-core (#9007)

This will update to use logo-core and remove files that have migrated

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-pass] Use logo-core instead of logo (#9006)

This will update moco-pass to use logo-core as it only uses Pass and Phase class

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix flatbuffers build with gcc versions >= 8.0 (#8954)

gcc 8.0+ adds `class-memaccess` diagnostic, making flatbuffers build fail when Werror is enabled
This disables class-memaccess diagnostic for gcc versions greater than 8.0

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[logo-core] logo-core from logo (#8991)

* [logo-core] logo-core from loco

This will introduce logo-core copied from logo with Pass and Phase class

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix typo

[doc] Update howto xu4 tizen (#8981)

- Slow down fan speed using cpu governor
- Mount writable root file stsyem
- Install OpenCL

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Move OpCode hash to OpCode file (#9001)

Since OpCode hash can be used in different modules, move it and put it
as `std::hash` specialization so we do not need to pass it to containers
manually.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[nnpkg-run] templatize randomData and introduce unnamed namespace (#9000)

It is a preparation step to support qint8 input/output.
It templatize randomData and introduce unnamed namespace.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo] Type & Shape inference of Instance Norm (#8993)

This commit introduces type and shape inference for Instance Norm IR.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[logo] Fix typo on README (#8997)

This commit fixes typo on README

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Add Circle node summary builder for logging (#8994)

This commit adds Circle node summary builder to log Circle nodes

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Extract out Observee from Executor (#8970)

* [neurun] Extract out Observee from Executor

- Remove observee(subject) methods from Executor
- Introduce `ExecutionObservee` class

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Remove DataflowExecutor::addObserver

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun/interp] Use model opcode enum (#8999)

Remove interpreter internal opcode enum and use model opcode enum neurun::model::OpCode

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[nnpackage-run] Backend resolve for operation type (#8919)

Can resolve backend for each operation type using environment variable
- Support conv, depthwise conv, transpose conv, mean, average pool, max pool, instance norm, add
- Update api operation map for instance norm and add operation backend set

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Revert "[neurun] Fix for const model ouput (#8799)" (#8998)

This reverts commit 0bc930bd7d816b48c148c6043a6a8abb08badf51.

Fix push builder failure.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Remove specialized visitor fallback (#8980)

This commit removes specialized visitor fallback for type and shape
inference for TFL and Circle dialects. These visitors now use default
fallback defined by their bases.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Introduce OpCode enum type (#8977)

Introduce OpCode enum type for operations. Each operation has its unique
OpCode value.

Resolve #8858

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Extract out set_new_shape() for TFLReshape (#8950)

This commit extracts out `set_new_shape()`, a helper function to set
both of TFLReshape's new shape information.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Fix for const model ouput (#8799)

* [neurun] Fix for const model ouput

Handle properly when a model has const model outputs.
This makes it not crash however the results are still incorrect since
Const values are not initialized yet.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Do not force NHWC for unused const tensors

* Add more comments

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Remove fix in Source and Sink

[neurun] Remove useless dependency in Operation (#8971)

Operation used to own a `LowerInfo` class in it, but it is no longer
needed.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Selective TFLNode summary impl (#8968)

With this commit, developer can implement TFLNode summary selectively

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Remove unnecessary map in base_loader (#8955)

Set Operand data right when creating it from Tensor, `_tensor_to_operand` map is not needed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Remove unnecessary maps in base_loader (#8953)

Maps `_op_code_to_builtin_op` and `_opcode_index_to_custom_opcode` aren't necessary -- all the data they provide can be got from `_model` private variable.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Rename opname to tfl_opname explicitly (#8964)

This commit renames opname to tfl_opname explicitly.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Export CircleInstanceNorm (#8961)

This commit implements export stage for CircleInstanceNorm

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Fix indentation of DataflowExecutor (#8966)

This commit fixes indentation of DataflowExecutor

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Good to remove TODO comment (#8965)

Removing condition for TODO comment satisfied. Let's remove this.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[dredd-rule-lib] functions to check error conditions (#8942)

* [dredd-rule-lib] functions to check error conditions

This removes duplicated if statements and adds some functions for error conditions.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* using vars instead of  and

[exo] Rename FormattedGraph file name (#8951)

This commit renames following file name:
- TFLFormattedGraph.* > ExoFormattedGraph.*

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Type and Shape inference for Circle dialect (#8949)

This commit introduces type and shape inference service for Circle
dialect

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[exo] Visit CircleNode to export operation (#8948)

* [exo] Visit CircleNode to export operation

This commit registers Circle dialect visitor to export operation

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Remove unused arg

Fix a bug of tconv layer of ncnn (#8947)

This commit fixes a bug of tconv layer of ncnn.
  - Add initializing output buffer to zero

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo] Remove unused stdex header (#8952)

This commit removes unused stdex header for exo conversions.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[mir-onnx-importer] Fix paddings during import (#8893)

Fix paddings if they are too big: remove redundant from right padding

Signed-off-by: Alexander Efimov <a.efimov@samsung.com>

[nnc/interpreter] Quantized kernels for supporting InceptionV4 (#8669)

* Supported quantized kernels for operations: Concat, FC, MaxPool,
Softmax

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[mir-tflite-importer] Support fused bias on FullyConnected (#8670)

* Supported creation FC with fused bias for quantized models

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>

[nnc] make interpreter faster in debug (#8931)

Rewrite FC layer for 2d case using no mir datatypes
This makes FC layer 20-40 times faster in debug mode

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[runtime/gbs] Fix coverage build (#8940)

- Update build type setting for test (coverage) build
- Move optimization level setting to ApplyCompileFlags.cmake
  - Optimization level and debug setting in target_compile_option is not working
  - COVERAGE_BUILD is not used any more

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Circle IR for Instance norm (#8878)

* [exo] Circle IR for Instance norm

This commit introduces CircleInstanceNorm IR

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Note on input

[moco] Introduce find_node_byname (#8938)

This will intrdocue moco GraphHelper with find_node_byname() that quries node by name.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[dredd] applying error handling code to runner.sh (#8935)

* [dredd] applying error handling code to runner.sh

This applies error handling code into runner.sh that was applied in #8888, #8910

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* change comment

Refactory benchmark scripts to unify (#8838)

1. Most of the script weren't up-to-date
2. Most of the steps are the same, so move them as a separate functions to
common.sh

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Disable ABI compatibility warning (#8625)

Disable annoying ABI compatibility warnings.

There are lots of such warnings when building the runtime (with GCC >= 7.1).

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Compiler: remove ENABLE_CONTRIB_BUILD cmake option (#8941)

This will remove nncc ENABLE_CONTRIB_BUILD cmake option that is not used anymore

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Eliminate OperandIndex in Split::Param (#8917)

Make `axis` and `num_splits` static attributes of the operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg_tools] remove debug print and unnecessary line (#8937)

- fuse_instance_norm.js
  : remove all console.debug statement to suppress output
- gen_golden.py
  : remove dead code

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Eliminate OperandIndex in StridedSlice::Param (#8916)

* Make `starts`, `ends` and `strides` inputs to the operation.
* Make `begin_axis_mask`, `end_axis_mask`, `shrink_axis_mask` static attributes of the operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Eliminate OperandIndex in TopKV2::Param (#8930)

Make `k` static attribute of the operation.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[pb2nnpkg] introduce pb_select_graph (#8936)

pb2nnpkg uses python script to select subgraph.
It does not require you to build tensorflow any longer.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[moco] Set name for TFNode when importing (#8933)

This will set name for TFNode when importing from TensorFlow NodeDef

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnpkg-tools] introduce pb2nnpkg (#8920)

It introduces pb2nnpkg, which gets pb file, input name, output name.
Then, generates pb of selected subgraph, and nnpackage with golden data.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Inline one-liner of ProfileObserver (#8914)

This commit inlines one-liner function which is only used once for
simplicity.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco] Add TFNode name attribute (#8927)

This will introduce name attribute for TFNode so that we can store and fetch string name of each nodes from TensorFlow NodeDef

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[mir] FullyConnected ctor with fused bias (#8668)

* Added FC ctor with fused bias
* Fixed FC copying

Signed-off-by: Pavel Iliutchenko <p.iliutchenk@samsung.com>