[CI/scripts] Enable tizen tflite loader test tool build (#9344)

Enable tizen tflite loader test tool build for loader test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[infra/cmake] Clean external dir and overlay (#9356)

- Remove NNCC_EXTERNAL_DIR
- Remove NNAS_OVERLAY_DIR
  - Use NNFW_OVERLAY_DIR for runtime (cross build)
  - Use NNCC_OVERLAY_DIR for compiler
  - Set EXT_OVERLAY_DIR on each cmake script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Fix uninitialized member in ctor (#9355)

This fixes uninitialized member in ctor detected by SVACE.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce LAYOUT_191215 check (#9326)

This commit introduces LAYOUT_191215 check rule.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[CI/script] Fix error by old bash version (#9343)

Fix for loop bug on tizen by old bash version (3.x)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Merge Model into Graph (#9328)

Move `Model` fields into `Graph` and remove `Model`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Make acl_neon to support InstanceNorm op (#9333)

This commit makes acl_neon to support InstanceNorm op.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[CI/script] Fix mixed backend test list bug (#9345)

- Don't find acl_cl test list file: not defined, use default setting
- Fix for loop for tizen bash version (3.x)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace IObject with ITensor in ConstantInitializer (#9336)

Replace uses of `IObject` with `ITensor` in `ConstantInitializer`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Replace IObject with ITensor in OperandContext (#9335)

Replace uses of `IObject` with `ITensor` in `OperandContext`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[runtime/api] Update input/output info cuntion comment (#9299)

- Fix doxygen format
- Add more comment for nnfw_output_size, nnfw_output_tensorinfo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Update load and run comment (#9298)

- Fix doxygen format
- Add more comment for nnfw_run

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[CI/script] Use linux test script on tizen (#9329)

Instead of using tizen own test script, share linux test script and remove tizen test script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace IObject with ITensor in ACL CL backend (#9338)

Replace uses of `IObject` with `ITensor` in ACL CL backend

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Replace IObject with ITensor in CPU backend (#9337)

Replace uses of `IObject` with `ITensor` in CPU backend

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[CI/script] Revise test scripts (#9327)

Source common script and use variable

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add `access` method to tensors (#9334)

Add virtual method `access` to `ITensor` and derived classes.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Add comparison operations (#9308)

Operations Greater, Less, Equal (elementwise) were added to MIR.

Signed-off-by: Dmitry Gusev <d.gusev@partner.samsung.com>

Introduce ConstantInsertionPass into neurun (#9312)

This commit introduces ConstantInsertionPass into neurun.
  - Creates new operands as a constant operand to be used on other backend
  - Makes to enable using a constant operand on other backend

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[cmake] Use more cores in building nncc-package (#9324)

Currently it does not use parallel build in build nncc-package. It is so slow.
It will use half of cores that is available in build machine.
It uses half of core since we don't want to allocate all cores in CI machine.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[runtime/api] Update I/O buffer set function comment (#9322)

- Fix doxygen format
- Add more comment for nnfw_set_input and nnfw_set_output

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace Execution::model with Execution::graph (#9289)

Replace `model()` method of `Execution` class with `graph()` method.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[CI/script] Revise armv7l test script (#9319)

- Use common script function
- Update argument comment in common script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[CI/script] Use overlay setting (#9316)

Use docker volume mount overlay

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Add tensorinfo field comment (#9314)

Add doxygen comment at nnfw_tensorinfo field

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add to initialize a member of Reader and View (#9318)

This commit adds to initialize a member of Reader and View

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add to initialize a member of ConvolutionLayer of srcn (#9317)

This commit adds to initialize a member of ConvolutionLayer of srcn

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Change GatherLayer's constructor of cpu to initialize members (#9315)

This commit changes GatherLayer's constructor of cpu to initialize members

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[runtime/api] Update enum value comment (#9247)

Add more comment for each enum value

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Make ChromeTrace trace the entire graph (#9300)

Make ChromeTrace trace the entire graph

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[CI/script] Introduce common function script (#9296)

Introduce common function script infra/scripts/common.sh
Update x64 test script to use common function

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Prevent overflow by cast in KernelGenerator of acl_cl (#9303)

This commit prevents overflow by cast in KernelGenerator of acl_cl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Extract ThreadPool into a separate file (#9302)

Extract ThreadPool into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Make backend acl_cl to support InstanceNorm op (#9301)

This commit makes ackend acl_cl to support InstanceNorm op.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Replace Model with Graph in ExecEnv (#9287)

* Change `ExecEnv` to accept `Graph` instead of `Model`.
* Replace `ExecEnv::model` with `ExecEnv::graph`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Organise Chrome Trace data by backend (#9277)

Organise Chrome Trace data by backend

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Use Graph instead of Model in tests (#9288)

Replace uses of `Model` class with equivalent uses of `Graph` class.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Replace IExecutor::model with IExecutor::graph (#9286)

Replace IExecutor::model (returning Model) with IExecutor::graph, which returns graph. Do the same in derived classes also.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Enable model::Operand to copy (#9295)

This commit enables model::Operand to copy.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Avoid using Model in nnapi frontend (#9231)

Create `Graph` early and use its methods instead of accessing `Model` fields.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpackage_run] Make csv, memory poller options off (#9273)

* [nnpackage_run] Make csv, memory poller options off

Make nnpackage_run's options 'csv & memory poller' off. It makes ci
slow.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix svace error

* Fix argument to write_report

[nnpkg-run] generate random input for qint8 type (#9033)

nnpackage_run can generate random input for qint8 type input tensor.
Note that load and dump needs more work.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Change OperationPass to use callback (#9285)

This commit change OperationPass to use callback.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Fix uninitialized ctor (#9282)

Fix uninitialized ctor reported by SVACE.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Remove member backend of Job (#9281)

`Job` should not have a backend, and it is never used.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Extract WorkQueue into a separate file (#9279)

Extract WorkQueue into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add ndarray library (#7858)

It's a library to work with multidimesional arrays
- make Shape::dim and Shape::rank non-constexpr due to c++11 defect
- make Strides::operator[] non-constexpr due to c++11 defect
- build ndarray with fPIC. Fixes gcc build

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
Co-Authored-By: v-plazun <v.plazun@samsung.com>

[tfinfo] Trimming each token before processing (#9249)

This enables tfinfo to trim each token before processing.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Avoid using Model in ExecManager (#9260)

Pass Graph instead of Model to ExecManager.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[base_loader] base_loader can load a quantization parameter (#9274)

It enables to load quantization parameter where element size is 1.
That is, a pair of (scale, zero_point) is applied to a whole tensor values.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Add notify calls for ParallelExecutor (#9272)

Add notify calls for ParallelExecutor and this enables Chrome Tracing
for ParallelExecutor.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun/coverage] Set build source path for coverage report (#9245)

Set build source path
Build source path by gbs can be different with report host path

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun/cpu] Fix broadcast handling in HEScheduler (#9258)

Broadcast for Mul/Sub/Add isn't support on cpu backend. Add them to skip
condition and throw exception in ShapeFixer

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Add ChromeTrace to ParallelExecutor (#9270)

Add `ChromeTracingObserver` to `ParallelExecutor` which was only added
to `DataflowExecutor`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[rt/misc] Make EventRecorder thread-safe (#9268)

Make EventRecorder thread-safe for parallel execution.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[rt/misc] nit: Hide `_str` (#9265)

Hide `_str` from other modules which is a helper of `str`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[cmake] Fix bug checking argument existance (#9267)

Fix invalid argument check - check using DEFINED instead of value

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[cmake] Change external package rebuild policy (#9239)

* [cmake] Change external package rebuild policy

- Divide build stamp and install stamp
- Introduce identifier and check version
- Skip if build stamp exists (build success/fail on  workspace)
- Skip if install stamp exists (installed)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Imporved `command_exist()` to check the parameters. (#9193)

- Check if parameter exists and return error explicitly. Because the `commend -v` does not generate an error even if the parameter is null.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[neurun] Avoid using Model in Executors (#9259)

Pass Graph instead of Model, Subgraphs and LowerInfo to Executors.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Dump Operand in order of OperandIndex (#9254)

`Graph::lower` dumps operands but its order is random since it iterates
over the unordered container. This commit makes it to dump in the order
of operand index.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Change some calls of Operation::name to Operation::opcode (#9261)

Replace some calls to `Operation::name` with `Operation::opcode`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[rt/misc] Merge str.h into string_helper.h (#9257)

`str.h` was moved from another module and this commit merges it into
`string_helper.h`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[res/TensorFlowTests] error case UI_0009 ~ UI_0012 (#9248)

This adds error case UI_0009 ~ UI_0012.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[exo] Replacing throw to oops InternalExn (#9238)

This replaces throw statements to oops InternalExn.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[dredd-rule-lib] Adding README.md (#9048)

* [dredd-rule-lib] Adding README.md

This adds README.md. This README.md will be referenced by other dredd-related sub-projects.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* rewriting definition

* liib -> lib

* better visual

* description about info file

* test.pb/info -> model.pb/info

[runtime/api] Update nnfw_close_session comment (#9246)

- Fix doxygen format
- Update comment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Fix DotDumper bug (#9253)

DotDumper crashes when it meets an operands that is never used by any
operation.

Fix #9229

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[exo] Remove unused header (#9244)

This removes unused header, #include <cassert>

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[gen_golden] support qint8 for tflite model (#9242)

gen_golden generates uint8 [0, 255) random input for uint8 type.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[exo] Throw exception when building flatbuffer fails (#9243)

This throws exception when building flatbuffer fails.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[heap_trace] Introduce tool for making heap trace (#9114)

This commit adds initial version of tool for making heap trace.
Now it can show:
 - peak memory usage on CPU and GPU separately in bytes
 - total allocated memory on CPU and GPU separately during analyzed code execution
 - total deallocated memory on CPU and GPU separately during analyzed code execution

Signed-off-by: Kuksov Pavel <p.kuksov@partner.samsung.com>

[nnpkg_tool] Add missing copyright and license in *.{py,js} (#9234)

Add missing copyright and license in *.{py.js} under nnpackage_tool.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun/gbs] Collect gcov data (#9100)

- On gbs build, collect .gcno files and install with test package
- Set prefix strip on coverage test run
- Remove unused parameter in tizen_xu4_test.sh

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Update nnfw_create_session comment (#9228)

* [runtime/api] Update nnfw_create_session comment

- Fix doxygen format
- Add more comment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Fix comment

tf2circle dredd test for Squared Difference (#9218)

This commit register tf2circle dredd test for Squared Difference unit
test. It checks whether tf2circle generates Squared Difference.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[nncc/pkg] Release build for packaging (#9222)

Use release build for nncc packaging

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Update nnfw_tensorinfo (#9224)

Merge typedef and struct definition
Add comment for nnfw_tensorinfo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[cmake] Introduce external package build helper (#9210)

Introduce cmake helper function for external package build and install in overlay directory

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Print better name in Chrome Trace (#9227)

Before it dumped "Subgraph" for all node

- 0 Operations : `Empty Subgraph`
- 1 Operations : `${FirstOpIndex} ${FirstOpName}`
- 2 or more Operations : `${FirstOpIndex} ${FirstOpName}
  (+${NumOps - 1})`

For example, if there are 5 operations and the first one is Add
operation with index 3, it dumps `$0 Add +4`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[moco-tf] Use oops for Conv2DBackpropInputCanonicalizer (#9207)

* [moco-tf] Use oops for Conv2DBackpropInputCanonicalizer

This will update Conv2DBackpropInputCanonicalizer to use oops
- modify internal methods to handle error a bit easier

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use input_sizes as-is

[docs] Fix project documentation (#9187)

Fix unit test report and system test document:
- added commit information
- fixed actual dates
- fixed typos

Signed-off-by: Alexander Efimov <a.efimov@samsung.com>

 [neurun/cpu] Add mul and unify add/sub/mul  (#9184)

* [neurun/cpu] Add mull and unify add/sub/mul

Create a unified function that is used for all of add/sub/mul

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>
* Address review feedbacks

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Remove Subgraph::name override (#9220)

We do not need to have an override for Subgraph::name.
This should have been done in #9005.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[nncc/pkg] Remove skip configure and build (#9215)

Remove skip configure and skip build option on package build
We can pass build option using '--', so don't need to use command for additional configuration

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Comment for with_commutative_args_of() (#9217)

This commit adds comment for `with_commutative_args_of()` helper

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Change param type of ExecutionObserver (#9209)

Let ExecutionObserver's handler functions accept `Subgraph` rather than
`Operation` since the execution unit is Subgraph.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[gen_golden] support tflite (#9101)

Now, gen_golden can genereates input from tflite model.

- `gen_golden` will generate golden data based on input file's extension name.

- To support both in tensorflow and tensorflow flite, tensorflow-specific
data structure is factored out into tensor {name/value/dtype}.

- `gen_golden` does not support selecting a subgraph like pb model.
 : Use `tflite_filetool` in our repository for that purpose

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Improved checking of running environments. (#9197)

- Check if `$flatc` path is executable.
- Check if `*.fbs` files actually exists.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[neurun/loader] Add mapping Tensor index -> OperandIndex (#9199)

Previous behavior relied on `OperandIndex`es being sequentially generated from 0 to n when calling `graph.addOperand()`.
The change will allow to switch to pointer-based operands.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[moco-tf] Use oops for RsqrtCanonicalizer (#9208)

This will update RsqrtCanonicalizer to use oops
- modify internal method to handle error a bit easier

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Support Tracing in LinearExecutor (#9183)

Support Tracing in LinearExecutor

- Let LinearExecutor have info along with functions
- Make use of Observee object

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[oops] Enabling constructor of UserExn to get pairs of attr, val (#9196)

* [oops] Enabling constructor of UserExn to get pairs of attr, val

This enables constructor of UserExn to get pairs of attr and val.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove universal reference

* split one fat test into two lean tests

* stringstream, which is temporarily used to build msg, as param

* leave build_info with const type only

* _out -> out

[moco-tf] Use oops for ConcatV2Canonicalizer (#9206)

* [moco-tf] Use oops for ConcatV2Canonicalizer

This will update ConcatV2Canonicalizer to use oops
- modify internal method to handle error a bit easier

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add todo comment

Remove param frontend_layout from registering tensor info (#9205)

This commit removes param frontend_layout from registering tensor info.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[rt/misc] Do not flush buffer when Event Recording (#9198)

EventRecorder does not have to flush buffer while recording an event.
Flushing buffer every time may cause unnecessary overhead.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[res/TF] Circle rule for SquaredDifference (#9195)

* [res/TF] Circle rule for SquaredDifference

This commit adds rule file to verify SquaredDifference operation is not
divided in circle file.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* 0 > O

[exo] fix typo (#9204)

This commit fixes a typo in exo.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>

[moco-tf] Fix for ui_0004 seg-fault (#9185)

This will handle invalid info file error as oops::UserExn

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nncc-pkg] Pass extra package build option (#9174)

Pass extra package build option by using '--'
CI infra use this parameter setting for external volume setting

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>