[encodump] Build only when prepared (#9406)

This commit amends encodump build policy: encodump will not be built
when its dependency not built.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Introduce run_profile_neurun.sh for profiling (#9381)

* Introduce run_benchmark_model.sh for benchmark

This script runs to benchmark models which listed in
benchmark_model_list.txt.
tflite_cpu, acl_cl, acl_neon and cpu backends are benchmarked with
models.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Change file names

* Apply changed file name and recent changes from PRs

* Move quant models down

* Move profile_model_list.txt into list/

* Fix wrong dir of list and wrong result name

[libbenchmark] Introduce enum class Phase (#9361)

* [libbenchmark] Introduce enum class Phase

MODEL_LOAD, PREPARE and EXECUTE will be sections to be benchmarked

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* add inline keyword to GetPhaseString

* Add handling default of switch

[neurun] Remove IObject.h (#9407)

All the use of IObjects were removed but `IObject.h`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tf2tflite] make proto sources shared (#9409)

* [tf2tflite] make proto sources shared

This commit changes proto sources from STATIC to SHARED.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>
* add install command

[infra/cmd] Pass workspace into docker container (#9404)

Pass workspace NNAS_WORKSPACE, NNCC_WORKSPACE, NNFW_WORKSPACE into docker container

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/test] Remove all op and profile argument (#9410)

- Remove unused all operation test
- Remove oprofile test argument

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/test] Move test list files (#9397)

Move test list files into tests/scripts/list

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/test] Remove unused part in test driver (#9395)

- Remove USE_NNAPI related argument; use environment variable directly
- Remove ACL_ENV_ON related argument and implementation: not used

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Using ofstream with binary mode (#9393)

Previously, there is no mode setting with dumpToFile, so it worked with text mode by default. This PR fixed the bug.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Add NNAS SDK 2019/12/15 preset (#9376)

This commit add a SDK preset for NNAS 2019/12/15 release. Please note
that this commit does not change the default preset.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[gen_golden] Fix passing wrong parameter for random_sample. (#9387)

random_sample, used in generating fp32 radom numbers, accepts only 1 parameter.
It fixes the python runtime error for this case.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[runtime/test] Remove unused benchmark script (#9382)

Remove unused benchmark script
- pacl benchmark
- tflite model benchmark

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[min_onnx] Update ONNX schema (#9392)

Update ONNX schema to version 1.6.0.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Remove `IObject` and derived classes (#9388)

Remove `IObject` and derived classes.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Remove no longer used template parameter (#9384)

Remove template parameter `T_Object` of TensorBuilder, TensorManager, MemoryManager classes.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[CI/script] Remove scripts for pacl (#9380)

Remove pacl build and test scripts

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/test] Remove unused python scripts (#9379)

Remove unused python test scripts

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[tflite_run] Turn options memory polling and writing report off as default (#9377)

Turn options memory polling and writing report off as default

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[libbenchmark] Introduce Result class (#9364)

Data class between runners(nnpackage_run and tflite_run) and libbenchmark

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Prevent to deallocate constant tensor of acl (#9370)

This commit prevents to deallocate acl's constant tensor used in several nodes.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Rename `graph` to `ir` (#9362)

Rename `src/graph/` and `include/graph/` to `src/ir/` and `include/ir/`, respectively

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg_run] support qint8 in h5 load and save (#9373)

nnpackage_run can load and save qint8.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[gen_golden] Use u1 dtype for loading/dumping uint8 type (#9374)

Previously it used float type for uint8 case. It fixes the bug.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Remove wrapTensor methods (#9358)

Remove `wrapTensor` methods of TensorBuilder and TensorManager.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg_run] rename namespace NNPackageRun to nnpkg_run (#9369)

It renames namespace name for nnpackage_run.
It was snake style. However, I would like to use same naming style of `neurun`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[runtime/api] Fix doxygen format (#9368)

- Add file description
- Move or remove note tag
- Disable autolink: autolink makes invalid link to class because of same class name (ex. Tensor)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add preset support to create-package (#9366)

This commit allows users to change the SDK configuration (a.k.a preset)
using --preset option.

Please note that this does not change the default behavior.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[infra/cmd] Introduce nnas docker command (#9348)

Introduce nnas docker-run command

Ex) format check
./nnas docker-run ./nnas format

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[compiler] Remove newline character in CMakeLists.txt (#9367)

This commit will substitute `\n` character to ` `,
since the blank works not only for linux but also for windows.

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[nnpkg_run] Bring out h5 load/dump, allocation to separate files (#9342)

nnpackge_run grows bigger and bigger.
This patch factor out the feature implementation into separate files.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[tf2circle-value-pbtxt-remote-test] Introduce README of circle value verification (#9175)

* [tf2circle-value-pbtxt-remote-test] Introduce README of circle value verification

This commit will introduce README of `tf2circle-value-pbtxt-remote-test`,
which is for verifying circle value

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* do not write at sudo

First commit for release documents of compiler (#9354)

This commit includes `tutorial.md` and `getting_started.md`.
`tutorial.md` contains the simple actions for compiling inception_v3
`getting_started.md` contains more detailed sections about compiler

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

Remove default check from verify-package (#9350)

TF2TFLITE may not exist in NNAS SDK package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add ONNX-1.6.0 sources (#9363)

Add cmake scripts to download ONNX-1.6.0 sources.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir-onnx-importer] Import comparison operations from ONNX format (#9339)

Operation Greater, Less, Equal were added.

Signed-off-by: Dmitry Gusev <d.gusev@partner.samsung.com>

[CI/scripts] Enable tizen tflite loader test tool build (#9344)

Enable tizen tflite loader test tool build for loader test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[infra/cmake] Clean external dir and overlay (#9356)

- Remove NNCC_EXTERNAL_DIR
- Remove NNAS_OVERLAY_DIR
  - Use NNFW_OVERLAY_DIR for runtime (cross build)
  - Use NNCC_OVERLAY_DIR for compiler
  - Set EXT_OVERLAY_DIR on each cmake script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Fix uninitialized member in ctor (#9355)

This fixes uninitialized member in ctor detected by SVACE.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce LAYOUT_191215 check (#9326)

This commit introduces LAYOUT_191215 check rule.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[CI/script] Fix error by old bash version (#9343)

Fix for loop bug on tizen by old bash version (3.x)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Merge Model into Graph (#9328)

Move `Model` fields into `Graph` and remove `Model`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Make acl_neon to support InstanceNorm op (#9333)

This commit makes acl_neon to support InstanceNorm op.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[CI/script] Fix mixed backend test list bug (#9345)

- Don't find acl_cl test list file: not defined, use default setting
- Fix for loop for tizen bash version (3.x)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace IObject with ITensor in ConstantInitializer (#9336)

Replace uses of `IObject` with `ITensor` in `ConstantInitializer`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Replace IObject with ITensor in OperandContext (#9335)

Replace uses of `IObject` with `ITensor` in `OperandContext`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[runtime/api] Update input/output info cuntion comment (#9299)

- Fix doxygen format
- Add more comment for nnfw_output_size, nnfw_output_tensorinfo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Update load and run comment (#9298)

- Fix doxygen format
- Add more comment for nnfw_run

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[CI/script] Use linux test script on tizen (#9329)

Instead of using tizen own test script, share linux test script and remove tizen test script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace IObject with ITensor in ACL CL backend (#9338)

Replace uses of `IObject` with `ITensor` in ACL CL backend

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Replace IObject with ITensor in CPU backend (#9337)

Replace uses of `IObject` with `ITensor` in CPU backend

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[CI/script] Revise test scripts (#9327)

Source common script and use variable

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add `access` method to tensors (#9334)

Add virtual method `access` to `ITensor` and derived classes.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Add comparison operations (#9308)

Operations Greater, Less, Equal (elementwise) were added to MIR.

Signed-off-by: Dmitry Gusev <d.gusev@partner.samsung.com>

Introduce ConstantInsertionPass into neurun (#9312)

This commit introduces ConstantInsertionPass into neurun.
  - Creates new operands as a constant operand to be used on other backend
  - Makes to enable using a constant operand on other backend

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[cmake] Use more cores in building nncc-package (#9324)

Currently it does not use parallel build in build nncc-package. It is so slow.
It will use half of cores that is available in build machine.
It uses half of core since we don't want to allocate all cores in CI machine.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[runtime/api] Update I/O buffer set function comment (#9322)

- Fix doxygen format
- Add more comment for nnfw_set_input and nnfw_set_output

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace Execution::model with Execution::graph (#9289)

Replace `model()` method of `Execution` class with `graph()` method.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[CI/script] Revise armv7l test script (#9319)

- Use common script function
- Update argument comment in common script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[CI/script] Use overlay setting (#9316)

Use docker volume mount overlay

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Add tensorinfo field comment (#9314)

Add doxygen comment at nnfw_tensorinfo field

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add to initialize a member of Reader and View (#9318)

This commit adds to initialize a member of Reader and View

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add to initialize a member of ConvolutionLayer of srcn (#9317)

This commit adds to initialize a member of ConvolutionLayer of srcn

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Change GatherLayer's constructor of cpu to initialize members (#9315)

This commit changes GatherLayer's constructor of cpu to initialize members

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[runtime/api] Update enum value comment (#9247)

Add more comment for each enum value

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Make ChromeTrace trace the entire graph (#9300)

Make ChromeTrace trace the entire graph

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[CI/script] Introduce common function script (#9296)

Introduce common function script infra/scripts/common.sh
Update x64 test script to use common function

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Prevent overflow by cast in KernelGenerator of acl_cl (#9303)

This commit prevents overflow by cast in KernelGenerator of acl_cl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Extract ThreadPool into a separate file (#9302)

Extract ThreadPool into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Make backend acl_cl to support InstanceNorm op (#9301)

This commit makes ackend acl_cl to support InstanceNorm op.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Replace Model with Graph in ExecEnv (#9287)

* Change `ExecEnv` to accept `Graph` instead of `Model`.
* Replace `ExecEnv::model` with `ExecEnv::graph`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Organise Chrome Trace data by backend (#9277)

Organise Chrome Trace data by backend

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Use Graph instead of Model in tests (#9288)

Replace uses of `Model` class with equivalent uses of `Graph` class.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Replace IExecutor::model with IExecutor::graph (#9286)

Replace IExecutor::model (returning Model) with IExecutor::graph, which returns graph. Do the same in derived classes also.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Enable model::Operand to copy (#9295)

This commit enables model::Operand to copy.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Avoid using Model in nnapi frontend (#9231)

Create `Graph` early and use its methods instead of accessing `Model` fields.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpackage_run] Make csv, memory poller options off (#9273)

* [nnpackage_run] Make csv, memory poller options off

Make nnpackage_run's options 'csv & memory poller' off. It makes ci
slow.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix svace error

* Fix argument to write_report

[nnpkg-run] generate random input for qint8 type (#9033)

nnpackage_run can generate random input for qint8 type input tensor.
Note that load and dump needs more work.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Change OperationPass to use callback (#9285)

This commit change OperationPass to use callback.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Fix uninitialized ctor (#9282)

Fix uninitialized ctor reported by SVACE.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Remove member backend of Job (#9281)

`Job` should not have a backend, and it is never used.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Extract WorkQueue into a separate file (#9279)

Extract WorkQueue into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add ndarray library (#7858)

It's a library to work with multidimesional arrays
- make Shape::dim and Shape::rank non-constexpr due to c++11 defect
- make Strides::operator[] non-constexpr due to c++11 defect
- build ndarray with fPIC. Fixes gcc build

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
Co-Authored-By: v-plazun <v.plazun@samsung.com>

[tfinfo] Trimming each token before processing (#9249)

This enables tfinfo to trim each token before processing.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Avoid using Model in ExecManager (#9260)

Pass Graph instead of Model to ExecManager.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[base_loader] base_loader can load a quantization parameter (#9274)

It enables to load quantization parameter where element size is 1.
That is, a pair of (scale, zero_point) is applied to a whole tensor values.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Add notify calls for ParallelExecutor (#9272)

Add notify calls for ParallelExecutor and this enables Chrome Tracing
for ParallelExecutor.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun/coverage] Set build source path for coverage report (#9245)

Set build source path
Build source path by gbs can be different with report host path

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun/cpu] Fix broadcast handling in HEScheduler (#9258)

Broadcast for Mul/Sub/Add isn't support on cpu backend. Add them to skip
condition and throw exception in ShapeFixer

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Add ChromeTrace to ParallelExecutor (#9270)

Add `ChromeTracingObserver` to `ParallelExecutor` which was only added
to `DataflowExecutor`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[rt/misc] Make EventRecorder thread-safe (#9268)

Make EventRecorder thread-safe for parallel execution.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[rt/misc] nit: Hide `_str` (#9265)

Hide `_str` from other modules which is a helper of `str`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[cmake] Fix bug checking argument existance (#9267)

Fix invalid argument check - check using DEFINED instead of value

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[cmake] Change external package rebuild policy (#9239)

* [cmake] Change external package rebuild policy

- Divide build stamp and install stamp
- Introduce identifier and check version
- Skip if build stamp exists (build success/fail on  workspace)
- Skip if install stamp exists (installed)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Imporved `command_exist()` to check the parameters. (#9193)

- Check if parameter exists and return error explicitly. Because the `commend -v` does not generate an error even if the parameter is null.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[neurun] Avoid using Model in Executors (#9259)

Pass Graph instead of Model, Subgraphs and LowerInfo to Executors.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Dump Operand in order of OperandIndex (#9254)

`Graph::lower` dumps operands but its order is random since it iterates
over the unordered container. This commit makes it to dump in the order
of operand index.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Change some calls of Operation::name to Operation::opcode (#9261)

Replace some calls to `Operation::name` with `Operation::opcode`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[rt/misc] Merge str.h into string_helper.h (#9257)

`str.h` was moved from another module and this commit merges it into
`string_helper.h`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[res/TensorFlowTests] error case UI_0009 ~ UI_0012 (#9248)

This adds error case UI_0009 ~ UI_0012.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>