Protobuf module mode import for Windows build (#9447)

* Protobuf module mode import for Windows build

Windows native build only can import with legacy 'module' mode import.
This commit is to give a Windows build a way to import Protobuf. Note
that this will not affect existing default behavior.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>
* Move option to top

* USE_PROTOBUF_LEGACY_IMPORT

Change-Id: I8963f857a9b5be23fa7e958e25d1003a81444e28
Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[moco-import] Register FakeQuantWithMinMaxVars (#9460)

This commit register FakeQuantWithMinMaxVars node to Nodes.h

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[neurun] Introduce EventCollectorGlobal (source) (#9457)

Add source file `EventCollectorGlobal.cc` which should have been
included in #9443.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Move some files from model into ir directory (#9448)

* Move some files from `model` into `ir` directory.
* Move contained symbols into `neurun::ir` namespace, fixing uses where possible.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Introduce EventCollectorGlobal (#9443)

Introduce EventCollectorGlobal for event collection from anywhere

Part of #9241

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Check backend initialization success (#9454)

Backend initialize() function return boolean to check initialization success/fail

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun/gbs] Fix gbs aarch64 build (#9435)

Fix gbs build error when there is no skiplist for target architecture

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[build] Use aarch64 for arm64 (#9417)

Change naming arm64 to aarch64
Naming arm64 is used for external tools and libraries
Update build rootfs script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[libbenchmark] Apply Phase into runners and MemoryPoller (#9421)

Apply enum class Phase into nnpackage_run, tflite_run and MemoryPoller

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[neurun] Move TypeInfo.h and Shape.h into ir directory (#9427)

* Move `TypeInfo.h` and `Shape.h` in `ir` directory.
* Move `TypeInfo`, `Shape`, `FeatureShape` to `neurun::ir` namespace, fixing uses where possible.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Move InternalType.h into ir directory (#9390)

* Move `InternalType.h` in `ir` directory.
* Move `Activation`, `PaddingType`, `ExplicitPadding`, `Padding`, `Stride` to `neurun::ir` namespace.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[min_onnx] Support models stored as text (#9426)

Add support for models stored as text.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Adjust out of range values generated by RandomGenerator (#9418)

This commit adjusts out of range values generated by RandomGenerator to be mapped to end points of the range.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Move DataType.h into ir directory (#9389)

* Move `DataType.h` in `ir` directory.
* Move `DataType` to `neurun::ir` namespace.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Propagate user's cmake generator setting (#9442)

This commit propagates user's (or default) cmake generator setting to
external build setting.

External build project identifiers also changed for CI maintenance.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[docker] Fix docker image blocking (#9433)

Fix ubuntu 18.04 docker image blocking by waiting interactive input for tzdata configuration

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[rt/misc] Change implementation of EventRecorder (#9424)

As `EventRecorder` does not have to write to file on-the-fly,
this commit has the following changes.

- Remove ostream object from the member list
- Introduce `writeToFile` method and remove `init and `fini`

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[infra] Added comment for GTest (#9430)

Added comment for GTest. Handling GTest is different from other package so this comment explains about that.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[nnkit] Build only when prepared (#9428)

This commit builds target `nnkit-benchmark` and `nnkit-run` only when
their pre-requisites prepared.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

[infra/docker] Update install package (#9405)

* [infra/docker] Update install package

- pylint: check python format
- aarch64 build tool

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Update Dockerfile.1804

[neurun] Move Layout.h into ir directory (#9391)

* Move `Layout.h` in `ir` directory.
* Move `Layout` to `neurun::ir` namespace, fixing uses where possible.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[encodump] Build only when prepared (#9406)

This commit amends encodump build policy: encodump will not be built
when its dependency not built.

Signed-off-by: Cheongyo Bahk <ch.bahk@samsung.com>

Introduce run_profile_neurun.sh for profiling (#9381)

* Introduce run_benchmark_model.sh for benchmark

This script runs to benchmark models which listed in
benchmark_model_list.txt.
tflite_cpu, acl_cl, acl_neon and cpu backends are benchmarked with
models.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Change file names

* Apply changed file name and recent changes from PRs

* Move quant models down

* Move profile_model_list.txt into list/

* Fix wrong dir of list and wrong result name

[libbenchmark] Introduce enum class Phase (#9361)

* [libbenchmark] Introduce enum class Phase

MODEL_LOAD, PREPARE and EXECUTE will be sections to be benchmarked

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* add inline keyword to GetPhaseString

* Add handling default of switch

[neurun] Remove IObject.h (#9407)

All the use of IObjects were removed but `IObject.h`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tf2tflite] make proto sources shared (#9409)

* [tf2tflite] make proto sources shared

This commit changes proto sources from STATIC to SHARED.

Signed-off-by: seongwoo <sw4670.chae@samsung.com>
* add install command

[infra/cmd] Pass workspace into docker container (#9404)

Pass workspace NNAS_WORKSPACE, NNCC_WORKSPACE, NNFW_WORKSPACE into docker container

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/test] Remove all op and profile argument (#9410)

- Remove unused all operation test
- Remove oprofile test argument

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/test] Move test list files (#9397)

Move test list files into tests/scripts/list

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/test] Remove unused part in test driver (#9395)

- Remove USE_NNAPI related argument; use environment variable directly
- Remove ACL_ENV_ON related argument and implementation: not used

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[exo] Using ofstream with binary mode (#9393)

Previously, there is no mode setting with dumpToFile, so it worked with text mode by default. This PR fixed the bug.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Add NNAS SDK 2019/12/15 preset (#9376)

This commit add a SDK preset for NNAS 2019/12/15 release. Please note
that this commit does not change the default preset.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[gen_golden] Fix passing wrong parameter for random_sample. (#9387)

random_sample, used in generating fp32 radom numbers, accepts only 1 parameter.
It fixes the python runtime error for this case.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[runtime/test] Remove unused benchmark script (#9382)

Remove unused benchmark script
- pacl benchmark
- tflite model benchmark

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[min_onnx] Update ONNX schema (#9392)

Update ONNX schema to version 1.6.0.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Remove `IObject` and derived classes (#9388)

Remove `IObject` and derived classes.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Remove no longer used template parameter (#9384)

Remove template parameter `T_Object` of TensorBuilder, TensorManager, MemoryManager classes.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[CI/script] Remove scripts for pacl (#9380)

Remove pacl build and test scripts

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/test] Remove unused python scripts (#9379)

Remove unused python test scripts

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[tflite_run] Turn options memory polling and writing report off as default (#9377)

Turn options memory polling and writing report off as default

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[libbenchmark] Introduce Result class (#9364)

Data class between runners(nnpackage_run and tflite_run) and libbenchmark

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Prevent to deallocate constant tensor of acl (#9370)

This commit prevents to deallocate acl's constant tensor used in several nodes.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Rename `graph` to `ir` (#9362)

Rename `src/graph/` and `include/graph/` to `src/ir/` and `include/ir/`, respectively

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg_run] support qint8 in h5 load and save (#9373)

nnpackage_run can load and save qint8.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[gen_golden] Use u1 dtype for loading/dumping uint8 type (#9374)

Previously it used float type for uint8 case. It fixes the bug.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Remove wrapTensor methods (#9358)

Remove `wrapTensor` methods of TensorBuilder and TensorManager.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpkg_run] rename namespace NNPackageRun to nnpkg_run (#9369)

It renames namespace name for nnpackage_run.
It was snake style. However, I would like to use same naming style of `neurun`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[runtime/api] Fix doxygen format (#9368)

- Add file description
- Move or remove note tag
- Disable autolink: autolink makes invalid link to class because of same class name (ex. Tensor)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add preset support to create-package (#9366)

This commit allows users to change the SDK configuration (a.k.a preset)
using --preset option.

Please note that this does not change the default behavior.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[infra/cmd] Introduce nnas docker command (#9348)

Introduce nnas docker-run command

Ex) format check
./nnas docker-run ./nnas format

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[compiler] Remove newline character in CMakeLists.txt (#9367)

This commit will substitute `\n` character to ` `,
since the blank works not only for linux but also for windows.

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[nnpkg_run] Bring out h5 load/dump, allocation to separate files (#9342)

nnpackge_run grows bigger and bigger.
This patch factor out the feature implementation into separate files.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[tf2circle-value-pbtxt-remote-test] Introduce README of circle value verification (#9175)

* [tf2circle-value-pbtxt-remote-test] Introduce README of circle value verification

This commit will introduce README of `tf2circle-value-pbtxt-remote-test`,
which is for verifying circle value

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>
* do not write at sudo

First commit for release documents of compiler (#9354)

This commit includes `tutorial.md` and `getting_started.md`.
`tutorial.md` contains the simple actions for compiling inception_v3
`getting_started.md` contains more detailed sections about compiler

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

Remove default check from verify-package (#9350)

TF2TFLITE may not exist in NNAS SDK package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add ONNX-1.6.0 sources (#9363)

Add cmake scripts to download ONNX-1.6.0 sources.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir-onnx-importer] Import comparison operations from ONNX format (#9339)

Operation Greater, Less, Equal were added.

Signed-off-by: Dmitry Gusev <d.gusev@partner.samsung.com>

[CI/scripts] Enable tizen tflite loader test tool build (#9344)

Enable tizen tflite loader test tool build for loader test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[infra/cmake] Clean external dir and overlay (#9356)

- Remove NNCC_EXTERNAL_DIR
- Remove NNAS_OVERLAY_DIR
  - Use NNFW_OVERLAY_DIR for runtime (cross build)
  - Use NNCC_OVERLAY_DIR for compiler
  - Set EXT_OVERLAY_DIR on each cmake script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Fix uninitialized member in ctor (#9355)

This fixes uninitialized member in ctor detected by SVACE.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce LAYOUT_191215 check (#9326)

This commit introduces LAYOUT_191215 check rule.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[CI/script] Fix error by old bash version (#9343)

Fix for loop bug on tizen by old bash version (3.x)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Merge Model into Graph (#9328)

Move `Model` fields into `Graph` and remove `Model`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Make acl_neon to support InstanceNorm op (#9333)

This commit makes acl_neon to support InstanceNorm op.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[CI/script] Fix mixed backend test list bug (#9345)

- Don't find acl_cl test list file: not defined, use default setting
- Fix for loop for tizen bash version (3.x)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace IObject with ITensor in ConstantInitializer (#9336)

Replace uses of `IObject` with `ITensor` in `ConstantInitializer`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Replace IObject with ITensor in OperandContext (#9335)

Replace uses of `IObject` with `ITensor` in `OperandContext`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[runtime/api] Update input/output info cuntion comment (#9299)

- Fix doxygen format
- Add more comment for nnfw_output_size, nnfw_output_tensorinfo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Update load and run comment (#9298)

- Fix doxygen format
- Add more comment for nnfw_run

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[CI/script] Use linux test script on tizen (#9329)

Instead of using tizen own test script, share linux test script and remove tizen test script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace IObject with ITensor in ACL CL backend (#9338)

Replace uses of `IObject` with `ITensor` in ACL CL backend

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Replace IObject with ITensor in CPU backend (#9337)

Replace uses of `IObject` with `ITensor` in CPU backend

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[CI/script] Revise test scripts (#9327)

Source common script and use variable

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add `access` method to tensors (#9334)

Add virtual method `access` to `ITensor` and derived classes.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[mir] Add comparison operations (#9308)

Operations Greater, Less, Equal (elementwise) were added to MIR.

Signed-off-by: Dmitry Gusev <d.gusev@partner.samsung.com>

Introduce ConstantInsertionPass into neurun (#9312)

This commit introduces ConstantInsertionPass into neurun.
  - Creates new operands as a constant operand to be used on other backend
  - Makes to enable using a constant operand on other backend

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[cmake] Use more cores in building nncc-package (#9324)

Currently it does not use parallel build in build nncc-package. It is so slow.
It will use half of cores that is available in build machine.
It uses half of core since we don't want to allocate all cores in CI machine.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[runtime/api] Update I/O buffer set function comment (#9322)

- Fix doxygen format
- Add more comment for nnfw_set_input and nnfw_set_output

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace Execution::model with Execution::graph (#9289)

Replace `model()` method of `Execution` class with `graph()` method.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[CI/script] Revise armv7l test script (#9319)

- Use common script function
- Update argument comment in common script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[CI/script] Use overlay setting (#9316)

Use docker volume mount overlay

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[runtime/api] Add tensorinfo field comment (#9314)

Add doxygen comment at nnfw_tensorinfo field

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add to initialize a member of Reader and View (#9318)

This commit adds to initialize a member of Reader and View

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add to initialize a member of ConvolutionLayer of srcn (#9317)

This commit adds to initialize a member of ConvolutionLayer of srcn

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Change GatherLayer's constructor of cpu to initialize members (#9315)

This commit changes GatherLayer's constructor of cpu to initialize members

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[runtime/api] Update enum value comment (#9247)

Add more comment for each enum value

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Make ChromeTrace trace the entire graph (#9300)

Make ChromeTrace trace the entire graph

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[CI/script] Introduce common function script (#9296)

Introduce common function script infra/scripts/common.sh
Update x64 test script to use common function

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Prevent overflow by cast in KernelGenerator of acl_cl (#9303)

This commit prevents overflow by cast in KernelGenerator of acl_cl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Extract ThreadPool into a separate file (#9302)

Extract ThreadPool into a separate file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Make backend acl_cl to support InstanceNorm op (#9301)

This commit makes ackend acl_cl to support InstanceNorm op.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Replace Model with Graph in ExecEnv (#9287)

* Change `ExecEnv` to accept `Graph` instead of `Model`.
* Replace `ExecEnv::model` with `ExecEnv::graph`.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Organise Chrome Trace data by backend (#9277)

Organise Chrome Trace data by backend

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Use Graph instead of Model in tests (#9288)

Replace uses of `Model` class with equivalent uses of `Graph` class.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[neurun] Replace IExecutor::model with IExecutor::graph (#9286)

Replace IExecutor::model (returning Model) with IExecutor::graph, which returns graph. Do the same in derived classes also.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Enable model::Operand to copy (#9295)

This commit enables model::Operand to copy.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Avoid using Model in nnapi frontend (#9231)

Create `Graph` early and use its methods instead of accessing `Model` fields.

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

[nnpackage_run] Make csv, memory poller options off (#9273)

* [nnpackage_run] Make csv, memory poller options off

Make nnpackage_run's options 'csv & memory poller' off. It makes ci
slow.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix svace error

* Fix argument to write_report

[nnpkg-run] generate random input for qint8 type (#9033)

nnpackage_run can generate random input for qint8 type input tensor.
Note that load and dump needs more work.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Change OperationPass to use callback (#9285)

This commit change OperationPass to use callback.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>