Add to initialize a member of ConvolutionLayer of srcn (#9317)

This commit adds to initialize a member of ConvolutionLayer of srcn

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Change GatherLayer's constructor of cpu to initialize members (#9315)

This commit changes GatherLayer's constructor of cpu to initialize members

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[runtime/api] Update enum value comment (#9247)

Add more comment for each enum value

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Make ChromeTrace trace the entire graph (#9300)

Make ChromeTrace trace the entire graph

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[CI/script] Introduce common function script (#9296)

Introduce common function script infra/scripts/common.sh
Update x64 test script to use common function

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Prevent overflow by cast in KernelGenerator of acl_cl (#9303)

This commit prevents overflow by cast in KernelGenerator of acl_cl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Extract ThreadPool into a separate file (#9302)

Extract ThreadPool into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Make backend acl_cl to support InstanceNorm op (#9301)

This commit makes ackend acl_cl to support InstanceNorm op.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Replace Model with Graph in ExecEnv (#9287)

* Change `ExecEnv` to accept `Graph` instead of `Model`.
* Replace `ExecEnv::model` with `ExecEnv::graph`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Organise Chrome Trace data by backend (#9277)

Organise Chrome Trace data by backend

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Use Graph instead of Model in tests (#9288)

Replace uses of `Model` class with equivalent uses of `Graph` class.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Replace IExecutor::model with IExecutor::graph (#9286)

Replace IExecutor::model (returning Model) with IExecutor::graph, which returns graph. Do the same in derived classes also.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Enable model::Operand to copy (#9295)

This commit enables model::Operand to copy.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Avoid using Model in nnapi frontend (#9231)

Create `Graph` early and use its methods instead of accessing `Model` fields.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpackage_run] Make csv, memory poller options off (#9273)

* [nnpackage_run] Make csv, memory poller options off

Make nnpackage_run's options 'csv & memory poller' off. It makes ci
slow.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix svace error

* Fix argument to write_report

[nnpkg-run] generate random input for qint8 type (#9033)

nnpackage_run can generate random input for qint8 type input tensor.
Note that load and dump needs more work.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Change OperationPass to use callback (#9285)

This commit change OperationPass to use callback.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Fix uninitialized ctor (#9282)

Fix uninitialized ctor reported by SVACE.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Remove member backend of Job (#9281)

`Job` should not have a backend, and it is never used.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Extract WorkQueue into a separate file (#9279)

Extract WorkQueue into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add ndarray library (#7858)

It's a library to work with multidimesional arrays
- make Shape::dim and Shape::rank non-constexpr due to c++11 defect
- make Strides::operator[] non-constexpr due to c++11 defect
- build ndarray with fPIC. Fixes gcc build

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
Co-Authored-By: v-plazun <v.plazun@samsung.com>

[tfinfo] Trimming each token before processing (#9249)

This enables tfinfo to trim each token before processing.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Avoid using Model in ExecManager (#9260)

Pass Graph instead of Model to ExecManager.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[base_loader] base_loader can load a quantization parameter (#9274)

It enables to load quantization parameter where element size is 1.
That is, a pair of (scale, zero_point) is applied to a whole tensor values.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Add notify calls for ParallelExecutor (#9272)

Add notify calls for ParallelExecutor and this enables Chrome Tracing
for ParallelExecutor.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun/coverage] Set build source path for coverage report (#9245)

Set build source path
Build source path by gbs can be different with report host path

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun/cpu] Fix broadcast handling in HEScheduler (#9258)

Broadcast for Mul/Sub/Add isn't support on cpu backend. Add them to skip
condition and throw exception in ShapeFixer

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Add ChromeTrace to ParallelExecutor (#9270)

Add `ChromeTracingObserver` to `ParallelExecutor` which was only added
to `DataflowExecutor`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[rt/misc] Make EventRecorder thread-safe (#9268)

Make EventRecorder thread-safe for parallel execution.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[rt/misc] nit: Hide `_str` (#9265)

Hide `_str` from other modules which is a helper of `str`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[cmake] Fix bug checking argument existance (#9267)

Fix invalid argument check - check using DEFINED instead of value

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[cmake] Change external package rebuild policy (#9239)

* [cmake] Change external package rebuild policy

- Divide build stamp and install stamp
- Introduce identifier and check version
- Skip if build stamp exists (build success/fail on  workspace)
- Skip if install stamp exists (installed)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Imporved `command_exist()` to check the parameters. (#9193)

- Check if parameter exists and return error explicitly. Because the `commend -v` does not generate an error even if the parameter is null.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[neurun] Avoid using Model in Executors (#9259)

Pass Graph instead of Model, Subgraphs and LowerInfo to Executors.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Dump Operand in order of OperandIndex (#9254)

`Graph::lower` dumps operands but its order is random since it iterates
over the unordered container. This commit makes it to dump in the order
of operand index.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Change some calls of Operation::name to Operation::opcode (#9261)

Replace some calls to `Operation::name` with `Operation::opcode`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[rt/misc] Merge str.h into string_helper.h (#9257)

`str.h` was moved from another module and this commit merges it into
`string_helper.h`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[res/TensorFlowTests] error case UI_0009 ~ UI_0012 (#9248)

This adds error case UI_0009 ~ UI_0012.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] Replacing throw to oops InternalExn (#9238)

This replaces throw statements to oops InternalExn.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[dredd-rule-lib] Adding README.md (#9048)

* [dredd-rule-lib] Adding README.md

This adds README.md. This README.md will be referenced by other dredd-related sub-projects.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* rewriting definition

* liib -> lib

* better visual

* description about info file

* test.pb/info -> model.pb/info

[runtime/api] Update nnfw_close_session comment (#9246)

- Fix doxygen format
- Update comment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Fix DotDumper bug (#9253)

DotDumper crashes when it meets an operands that is never used by any
operation.

Fix #9229

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Remove unused header (#9244)

This removes unused header, #include <cassert>

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[gen_golden] support qint8 for tflite model (#9242)

gen_golden generates uint8 [0, 255) random input for uint8 type.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo] Throw exception when building flatbuffer fails (#9243)

This throws exception when building flatbuffer fails.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[heap_trace] Introduce tool for making heap trace (#9114)

This commit adds initial version of tool for making heap trace.
Now it can show:
 - peak memory usage on CPU and GPU separately in bytes
 - total allocated memory on CPU and GPU separately during analyzed code execution
 - total deallocated memory on CPU and GPU separately during analyzed code execution

Signed-off-by: Kuksov Pavel <p.kuksov@partner.samsung.com>

[nnpkg_tool] Add missing copyright and license in *.{py,js} (#9234)

Add missing copyright and license in *.{py.js} under nnpackage_tool.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun/gbs] Collect gcov data (#9100)

- On gbs build, collect .gcno files and install with test package
- Set prefix strip on coverage test run
- Remove unused parameter in tizen_xu4_test.sh

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Update nnfw_create_session comment (#9228)

* [runtime/api] Update nnfw_create_session comment

- Fix doxygen format
- Add more comment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Fix comment

tf2circle dredd test for Squared Difference (#9218)

This commit register tf2circle dredd test for Squared Difference unit
test. It checks whether tf2circle generates Squared Difference.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nncc/pkg] Release build for packaging (#9222)

Use release build for nncc packaging

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Update nnfw_tensorinfo (#9224)

Merge typedef and struct definition
Add comment for nnfw_tensorinfo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[cmake] Introduce external package build helper (#9210)

Introduce cmake helper function for external package build and install in overlay directory

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Print better name in Chrome Trace (#9227)

Before it dumped "Subgraph" for all node

- 0 Operations : `Empty Subgraph`
- 1 Operations : `${FirstOpIndex} ${FirstOpName}`
- 2 or more Operations : `${FirstOpIndex} ${FirstOpName}
  (+${NumOps - 1})`

For example, if there are 5 operations and the first one is Add
operation with index 3, it dumps `$0 Add +4`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco-tf] Use oops for Conv2DBackpropInputCanonicalizer (#9207)

* [moco-tf] Use oops for Conv2DBackpropInputCanonicalizer

This will update Conv2DBackpropInputCanonicalizer to use oops
- modify internal methods to handle error a bit easier

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use input_sizes as-is

[docs] Fix project documentation (#9187)

Fix unit test report and system test document:
- added commit information
- fixed actual dates
- fixed typos

Signed-off-by: Alexander Efimov <a.efimov@samsung.com>

 [neurun/cpu] Add mul and unify add/sub/mul  (#9184)

* [neurun/cpu] Add mull and unify add/sub/mul

Create a unified function that is used for all of add/sub/mul

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>
* Address review feedbacks

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Remove Subgraph::name override (#9220)

We do not need to have an override for Subgraph::name.
This should have been done in #9005.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[nncc/pkg] Remove skip configure and build (#9215)

Remove skip configure and skip build option on package build
We can pass build option using '--', so don't need to use command for additional configuration

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Comment for with_commutative_args_of() (#9217)

This commit adds comment for `with_commutative_args_of()` helper

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Change param type of ExecutionObserver (#9209)

Let ExecutionObserver's handler functions accept `Subgraph` rather than
`Operation` since the execution unit is Subgraph.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[gen_golden] support tflite (#9101)

Now, gen_golden can genereates input from tflite model.

- `gen_golden` will generate golden data based on input file's extension name.

- To support both in tensorflow and tensorflow flite, tensorflow-specific
data structure is factored out into tensor {name/value/dtype}.

- `gen_golden` does not support selecting a subgraph like pb model.
 : Use `tflite_filetool` in our repository for that purpose

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Improved checking of running environments. (#9197)

- Check if `$flatc` path is executable.
- Check if `*.fbs` files actually exists.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[neurun/loader] Add mapping Tensor index -> OperandIndex (#9199)

Previous behavior relied on `OperandIndex`es being sequentially generated from 0 to n when calling `graph.addOperand()`.
The change will allow to switch to pointer-based operands.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[moco-tf] Use oops for RsqrtCanonicalizer (#9208)

This will update RsqrtCanonicalizer to use oops
- modify internal method to handle error a bit easier

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Support Tracing in LinearExecutor (#9183)

Support Tracing in LinearExecutor

- Let LinearExecutor have info along with functions
- Make use of Observee object

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[oops] Enabling constructor of UserExn to get pairs of attr, val (#9196)

* [oops] Enabling constructor of UserExn to get pairs of attr, val

This enables constructor of UserExn to get pairs of attr and val.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove universal reference

* split one fat test into two lean tests

* stringstream, which is temporarily used to build msg, as param

* leave build_info with const type only

* _out -> out

[moco-tf] Use oops for ConcatV2Canonicalizer (#9206)

* [moco-tf] Use oops for ConcatV2Canonicalizer

This will update ConcatV2Canonicalizer to use oops
- modify internal method to handle error a bit easier

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add todo comment

Remove param frontend_layout from registering tensor info (#9205)

This commit removes param frontend_layout from registering tensor info.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[rt/misc] Do not flush buffer when Event Recording (#9198)

EventRecorder does not have to flush buffer while recording an event.
Flushing buffer every time may cause unnecessary overhead.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[res/TF] Circle rule for SquaredDifference (#9195)

* [res/TF] Circle rule for SquaredDifference

This commit adds rule file to verify SquaredDifference operation is not
divided in circle file.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* 0 > O

[exo] fix typo (#9204)

This commit fixes a typo in exo.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[moco-tf] Fix for ui_0004 seg-fault (#9185)

This will handle invalid info file error as oops::UserExn

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nncc-pkg] Pass extra package build option (#9174)

Pass extra package build option by using '--'
CI infra use this parameter setting for external volume setting

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Refactor to ExoOptimize (#9194)

This commit refactor file name: TFLOptimize > ExoOptimize.
Rationale: the optimize stage is not dedicated only to TFLite, but also
both exo backend TFLite and Circle.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

NET_0028(IN) dredd testcase for tf2circle (#9190)

This commit registers NET_0028(Instance Norm pattern) dredd testcase for
tf2circle. It tests whether tf2circle can fuse Instance Norm pattern.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle-ui-check] Update README.md (#9179)

The instruction in README.md is incorrect.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix clang build issue (#9192)

Clang 10 does not support no-psabi flag ,so build fails due to Werror flag set

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[exo] Remove deprecated CommutativeArgsGetter (#9188)

This commit removes deprecated `CommutativeArgsGetter`. This is replaced
by `NodeFiller`. Comment for helper also updated.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun/cpu] Add constant pad for float data type (#9159)

Add pad operation on cpu backend for float data type

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Remove registering tensor info from ShapeFixer of srcn (#9191)

This commit removes registering tensor info from ShapeFixer of srcn.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Remove unused variable (#9160)

Remove unused private variable `_elements` in `LinearExecutor`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun/loader] Use Operand::asVector for extracting values (#9077)

Use `Operand::asVector` to extract values from constant operands. As a result of the change, `_op_to_subgraph` is no longer needed.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Replace resistering tensors with using TensorRegister (#9158)

This commit replaces resistering tensors with using TensorRegister.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[exo] Refactor to fill() (#9170)

This commit do following refactoring:
Before: `commutative_args_of(node).is(arg1, arg2)`
After : `fill(&arg1, &arg2).with_commutative_args_of(node)`

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Dump manifest for tf2circle UI check (#9176)

This commit dumps test manifest for each test case of
tf2circe UI check

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle] setenv for knobs required for Instance Norm fusion (#9172)

This commit sets environment variable turned on for following knobs
in tf2circle:
- EXO_UseFuseInstanceNormPass
- EXO_UseFuseSquaredDifferencePass

These knobs are required to fuse Instance Norm pattern.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-tf] Use oops for error msg (#9171)

* [moco-tf] Use oops for error msg

This will update to use oops for error msg and refines some error messages

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove unintended change

[neurun] Eliminate OperandIndex in Reduce*::Param (#9008)

Replace `Param::axis_index` of type `OperandIndex` with `Param::axes` of type `vector<int>`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[exo] Register Instance Norm fuse (#9169)

This commit registers Instance norm fusion to exo optimize pass

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[tf2circle-value-pbtxt-remote-test] Introduce circle value verification (#9074)

This commit will introduce `tf2circle-value-pbtxt-remote-test`,
which is for verifying circle value.

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[res/TensorFlowTests] test cases to check errors (continued) (#9168)

This is test cases for wrong model or info files.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[packaging] Add oops and pepper-assert (#9150)

* [packaging] Add oops and pepper-assert

This will add recently added oops and pepper-assert project to Release package build list

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add logo-core

[exo] Knob for fusing Instance Norm (#9166)

This commit introduces UseFuseInstanceNormPass knob

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[moco-lang] Refine error message with header (#9152)

This will add comments and refine error message in headers

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-import] Refine error handling in validate and build (#9149)

This will refine error handling way and message in validate and build methods

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[moco-support] Refine error with oops (#9156)

* [moco-support] Refine error with oops

This will refine error messages with oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use InternalExn

* use macro

[moco-svc] Refine error with oops (#9154)

This will refine error message with oops

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[exo] Alternative helper for commutative args (#9140)

* [exo] Alternative helper for commutative args

This commit introduces alternative helper to extract and set commutative
argument of the node.

Current:
`bool ok = commutative_args_of(node).is(arg1, arg2);`

Suggested alternative:
`bool ok = set(&arg1, &arg2).with_commutative_args_of(node);`

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Fill!

Apply copying for permuteInit of ConstantInitializer (#9147)

This commit applies copying for permuteInit of ConstantInitializer.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>