Enable model::Operand to copy (#9295)

This commit enables model::Operand to copy.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Avoid using Model in nnapi frontend (#9231)

Create `Graph` early and use its methods instead of accessing `Model` fields.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpackage_run] Make csv, memory poller options off (#9273)

* [nnpackage_run] Make csv, memory poller options off

Make nnpackage_run's options 'csv & memory poller' off. It makes ci
slow.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix svace error

* Fix argument to write_report

[nnpkg-run] generate random input for qint8 type (#9033)

nnpackage_run can generate random input for qint8 type input tensor.
Note that load and dump needs more work.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Change OperationPass to use callback (#9285)

This commit change OperationPass to use callback.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Fix uninitialized ctor (#9282)

Fix uninitialized ctor reported by SVACE.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Remove member backend of Job (#9281)

`Job` should not have a backend, and it is never used.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Extract WorkQueue into a separate file (#9279)

Extract WorkQueue into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add ndarray library (#7858)

It's a library to work with multidimesional arrays
- make Shape::dim and Shape::rank non-constexpr due to c++11 defect
- make Strides::operator[] non-constexpr due to c++11 defect
- build ndarray with fPIC. Fixes gcc build

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
Co-Authored-By: v-plazun <v.plazun@samsung.com>

[tfinfo] Trimming each token before processing (#9249)

This enables tfinfo to trim each token before processing.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Avoid using Model in ExecManager (#9260)

Pass Graph instead of Model to ExecManager.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[base_loader] base_loader can load a quantization parameter (#9274)

It enables to load quantization parameter where element size is 1.
That is, a pair of (scale, zero_point) is applied to a whole tensor values.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Add notify calls for ParallelExecutor (#9272)

Add notify calls for ParallelExecutor and this enables Chrome Tracing
for ParallelExecutor.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun/coverage] Set build source path for coverage report (#9245)

Set build source path
Build source path by gbs can be different with report host path

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun/cpu] Fix broadcast handling in HEScheduler (#9258)

Broadcast for Mul/Sub/Add isn't support on cpu backend. Add them to skip
condition and throw exception in ShapeFixer

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Add ChromeTrace to ParallelExecutor (#9270)

Add `ChromeTracingObserver` to `ParallelExecutor` which was only added
to `DataflowExecutor`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[rt/misc] Make EventRecorder thread-safe (#9268)

Make EventRecorder thread-safe for parallel execution.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[rt/misc] nit: Hide `_str` (#9265)

Hide `_str` from other modules which is a helper of `str`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[cmake] Fix bug checking argument existance (#9267)

Fix invalid argument check - check using DEFINED instead of value

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[cmake] Change external package rebuild policy (#9239)

* [cmake] Change external package rebuild policy

- Divide build stamp and install stamp
- Introduce identifier and check version
- Skip if build stamp exists (build success/fail on  workspace)
- Skip if install stamp exists (installed)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Imporved `command_exist()` to check the parameters. (#9193)

- Check if parameter exists and return error explicitly. Because the `commend -v` does not generate an error even if the parameter is null.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[neurun] Avoid using Model in Executors (#9259)

Pass Graph instead of Model, Subgraphs and LowerInfo to Executors.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Dump Operand in order of OperandIndex (#9254)

`Graph::lower` dumps operands but its order is random since it iterates
over the unordered container. This commit makes it to dump in the order
of operand index.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Change some calls of Operation::name to Operation::opcode (#9261)

Replace some calls to `Operation::name` with `Operation::opcode`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[rt/misc] Merge str.h into string_helper.h (#9257)

`str.h` was moved from another module and this commit merges it into
`string_helper.h`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[res/TensorFlowTests] error case UI_0009 ~ UI_0012 (#9248)

This adds error case UI_0009 ~ UI_0012.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] Replacing throw to oops InternalExn (#9238)

This replaces throw statements to oops InternalExn.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[dredd-rule-lib] Adding README.md (#9048)

* [dredd-rule-lib] Adding README.md

This adds README.md. This README.md will be referenced by other dredd-related sub-projects.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* rewriting definition

* liib -> lib

* better visual

* description about info file

* test.pb/info -> model.pb/info

[runtime/api] Update nnfw_close_session comment (#9246)

- Fix doxygen format
- Update comment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Fix DotDumper bug (#9253)

DotDumper crashes when it meets an operands that is never used by any
operation.

Fix #9229

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Remove unused header (#9244)

This removes unused header, #include <cassert>

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[gen_golden] support qint8 for tflite model (#9242)

gen_golden generates uint8 [0, 255) random input for uint8 type.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo] Throw exception when building flatbuffer fails (#9243)

This throws exception when building flatbuffer fails.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[heap_trace] Introduce tool for making heap trace (#9114)

This commit adds initial version of tool for making heap trace.
Now it can show:
 - peak memory usage on CPU and GPU separately in bytes
 - total allocated memory on CPU and GPU separately during analyzed code execution
 - total deallocated memory on CPU and GPU separately during analyzed code execution

Signed-off-by: Kuksov Pavel <p.kuksov@partner.samsung.com>

[nnpkg_tool] Add missing copyright and license in *.{py,js} (#9234)

Add missing copyright and license in *.{py.js} under nnpackage_tool.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun/gbs] Collect gcov data (#9100)

- On gbs build, collect .gcno files and install with test package
- Set prefix strip on coverage test run
- Remove unused parameter in tizen_xu4_test.sh

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Update nnfw_create_session comment (#9228)

* [runtime/api] Update nnfw_create_session comment

- Fix doxygen format
- Add more comment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Fix comment

tf2circle dredd test for Squared Difference (#9218)

This commit register tf2circle dredd test for Squared Difference unit
test. It checks whether tf2circle generates Squared Difference.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nncc/pkg] Release build for packaging (#9222)

Use release build for nncc packaging

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Update nnfw_tensorinfo (#9224)

Merge typedef and struct definition
Add comment for nnfw_tensorinfo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[cmake] Introduce external package build helper (#9210)

Introduce cmake helper function for external package build and install in overlay directory

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Print better name in Chrome Trace (#9227)

Before it dumped "Subgraph" for all node

- 0 Operations : `Empty Subgraph`
- 1 Operations : `${FirstOpIndex} ${FirstOpName}`
- 2 or more Operations : `${FirstOpIndex} ${FirstOpName}
  (+${NumOps - 1})`

For example, if there are 5 operations and the first one is Add
operation with index 3, it dumps `$0 Add +4`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco-tf] Use oops for Conv2DBackpropInputCanonicalizer (#9207)

* [moco-tf] Use oops for Conv2DBackpropInputCanonicalizer

This will update Conv2DBackpropInputCanonicalizer to use oops
- modify internal methods to handle error a bit easier

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use input_sizes as-is

[docs] Fix project documentation (#9187)

Fix unit test report and system test document:
- added commit information
- fixed actual dates
- fixed typos

Signed-off-by: Alexander Efimov <a.efimov@samsung.com>

 [neurun/cpu] Add mul and unify add/sub/mul  (#9184)

* [neurun/cpu] Add mull and unify add/sub/mul

Create a unified function that is used for all of add/sub/mul

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>
* Address review feedbacks

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Remove Subgraph::name override (#9220)

We do not need to have an override for Subgraph::name.
This should have been done in #9005.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[nncc/pkg] Remove skip configure and build (#9215)

Remove skip configure and skip build option on package build
We can pass build option using '--', so don't need to use command for additional configuration

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Comment for with_commutative_args_of() (#9217)

This commit adds comment for `with_commutative_args_of()` helper

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Change param type of ExecutionObserver (#9209)

Let ExecutionObserver's handler functions accept `Subgraph` rather than
`Operation` since the execution unit is Subgraph.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[gen_golden] support tflite (#9101)

Now, gen_golden can genereates input from tflite model.

- `gen_golden` will generate golden data based on input file's extension name.

- To support both in tensorflow and tensorflow flite, tensorflow-specific
data structure is factored out into tensor {name/value/dtype}.

- `gen_golden` does not support selecting a subgraph like pb model.
 : Use `tflite_filetool` in our repository for that purpose

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Improved checking of running environments. (#9197)

- Check if `$flatc` path is executable.
- Check if `*.fbs` files actually exists.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[neurun/loader] Add mapping Tensor index -> OperandIndex (#9199)

Previous behavior relied on `OperandIndex`es being sequentially generated from 0 to n when calling `graph.addOperand()`.
The change will allow to switch to pointer-based operands.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[moco-tf] Use oops for RsqrtCanonicalizer (#9208)

This will update RsqrtCanonicalizer to use oops
- modify internal method to handle error a bit easier

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Support Tracing in LinearExecutor (#9183)

Support Tracing in LinearExecutor

- Let LinearExecutor have info along with functions
- Make use of Observee object

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[oops] Enabling constructor of UserExn to get pairs of attr, val (#9196)

* [oops] Enabling constructor of UserExn to get pairs of attr, val

This enables constructor of UserExn to get pairs of attr and val.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove universal reference

* split one fat test into two lean tests

* stringstream, which is temporarily used to build msg, as param

* leave build_info with const type only

* _out -> out

[moco-tf] Use oops for ConcatV2Canonicalizer (#9206)

* [moco-tf] Use oops for ConcatV2Canonicalizer

This will update ConcatV2Canonicalizer to use oops
- modify internal method to handle error a bit easier

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add todo comment

Remove param frontend_layout from registering tensor info (#9205)

This commit removes param frontend_layout from registering tensor info.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[rt/misc] Do not flush buffer when Event Recording (#9198)

EventRecorder does not have to flush buffer while recording an event.
Flushing buffer every time may cause unnecessary overhead.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[res/TF] Circle rule for SquaredDifference (#9195)

* [res/TF] Circle rule for SquaredDifference

This commit adds rule file to verify SquaredDifference operation is not
divided in circle file.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* 0 > O

[exo] fix typo (#9204)

This commit fixes a typo in exo.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[moco-tf] Fix for ui_0004 seg-fault (#9185)

This will handle invalid info file error as oops::UserExn

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nncc-pkg] Pass extra package build option (#9174)

Pass extra package build option by using '--'
CI infra use this parameter setting for external volume setting

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Refactor to ExoOptimize (#9194)

This commit refactor file name: TFLOptimize > ExoOptimize.
Rationale: the optimize stage is not dedicated only to TFLite, but also
both exo backend TFLite and Circle.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

NET_0028(IN) dredd testcase for tf2circle (#9190)

This commit registers NET_0028(Instance Norm pattern) dredd testcase for
tf2circle. It tests whether tf2circle can fuse Instance Norm pattern.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle-ui-check] Update README.md (#9179)

The instruction in README.md is incorrect.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix clang build issue (#9192)

Clang 10 does not support no-psabi flag ,so build fails due to Werror flag set

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[exo] Remove deprecated CommutativeArgsGetter (#9188)

This commit removes deprecated `CommutativeArgsGetter`. This is replaced
by `NodeFiller`. Comment for helper also updated.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun/cpu] Add constant pad for float data type (#9159)

Add pad operation on cpu backend for float data type

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Remove registering tensor info from ShapeFixer of srcn (#9191)

This commit removes registering tensor info from ShapeFixer of srcn.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Remove unused variable (#9160)

Remove unused private variable `_elements` in `LinearExecutor`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun/loader] Use Operand::asVector for extracting values (#9077)

Use `Operand::asVector` to extract values from constant operands. As a result of the change, `_op_to_subgraph` is no longer needed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Replace resistering tensors with using TensorRegister (#9158)

This commit replaces resistering tensors with using TensorRegister.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo] Refactor to fill() (#9170)

This commit do following refactoring:
Before: `commutative_args_of(node).is(arg1, arg2)`
After : `fill(&arg1, &arg2).with_commutative_args_of(node)`

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Dump manifest for tf2circle UI check (#9176)

This commit dumps test manifest for each test case of
tf2circe UI check

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle] setenv for knobs required for Instance Norm fusion (#9172)

This commit sets environment variable turned on for following knobs
in tf2circle:
- EXO_UseFuseInstanceNormPass
- EXO_UseFuseSquaredDifferencePass

These knobs are required to fuse Instance Norm pattern.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Use oops for error msg (#9171)

* [moco-tf] Use oops for error msg

This will update to use oops for error msg and refines some error messages

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove unintended change

[neurun] Eliminate OperandIndex in Reduce*::Param (#9008)

Replace `Param::axis_index` of type `OperandIndex` with `Param::axes` of type `vector<int>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Register Instance Norm fuse (#9169)

This commit registers Instance norm fusion to exo optimize pass

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle-value-pbtxt-remote-test] Introduce circle value verification (#9074)

This commit will introduce `tf2circle-value-pbtxt-remote-test`,
which is for verifying circle value.

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[res/TensorFlowTests] test cases to check errors (continued) (#9168)

This is test cases for wrong model or info files.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[packaging] Add oops and pepper-assert (#9150)

* [packaging] Add oops and pepper-assert

This will add recently added oops and pepper-assert project to Release package build list

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add logo-core

[exo] Knob for fusing Instance Norm (#9166)

This commit introduces UseFuseInstanceNormPass knob

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-lang] Refine error message with header (#9152)

This will add comments and refine error message in headers

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-import] Refine error handling in validate and build (#9149)

This will refine error handling way and message in validate and build methods

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-support] Refine error with oops (#9156)

* [moco-support] Refine error with oops

This will refine error messages with oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use InternalExn

* use macro

[moco-svc] Refine error with oops (#9154)

This will refine error message with oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] Alternative helper for commutative args (#9140)

* [exo] Alternative helper for commutative args

This commit introduces alternative helper to extract and set commutative
argument of the node.

Current:
`bool ok = commutative_args_of(node).is(arg1, arg2);`

Suggested alternative:
`bool ok = set(&arg1, &arg2).with_commutative_args_of(node);`

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Fill!

Apply copying for permuteInit of ConstantInitializer (#9147)

This commit applies copying for permuteInit of ConstantInitializer.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun/api] Comment for nnfw_session (#9137)

Add more comment for nnfw_session
It contains brief how to use nnfw_session for inference

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[moco-pass] Refine error with oops (#9153)

This will refine error message using oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-import] Refine error message using oops (#9151)

* [moco-import] Refine error message using oops

This will refine error handling and message using oops for GraphBuilderContext and others

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use GraphDef

[moco] Update requires with oops (#9155)

This will add oops target to moco requires.cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce TensorRegister into BackendContext (#9148)

This commit introduces TensorRegister into BackendContext.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[runtime/CI] Use BACKENDS envvar to select backend (#9143)

To select backend, use BACKENDS Instead of OP_BACKENDS_ALLOPS

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce ChromeTracingObserver (#9113)

Introduce Chrome Tracing Observer and bind with DataflowExecutor.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco-import] Fix AvgPool for error handling (#9144)

This will change error handling for AvgPool import to throw for invalid input model instead of using assert, which will do nothing in Release build. Error checking in build() method is also moved to validate() method as the responsibility is in validate().

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[enco] Resolve warning in release configuration (#9145)

This commit resolve all the compiler warnings in enco codebase.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo] 1st try to replace throw to oops (#9142)

This is the start of replacing throw to oops message for exo.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[coco] Fix Build Warnings in Release Configuration (#9138)

This commit resolves build warnings in release configuration.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[exo] Fuse Instance Norm logic (#9103)

This commit implements logic for Instance Norm fusion.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>