[neurun] Remove kernel source from build (#2216)

SOURCES_KERNEL is an empty variable.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Remove unused includes for Initializer in compilation.cc (#2214)

This commit removes unused includes for Initializer in compilation.cc

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Graph : Introduce operand IndexSet (#2209)

`neurun::graph::operand::IndexSet` is a list of `Index`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Update tensorflow submodule for tflite_benchmark_model (#2212)

tflite_benchmark_model in v1.9.0 does not build nor work.
This patch fixes build failure with two cherry-picked patches.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Graph : Introduce operand Set (#2208)

`neurun::graph::operand::Set` holds operands and also has ownership of
them.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Graph : Introduce Operation `Node` (#2206)

Class `neurun::graph::operation::Node` is a wrapper class of
`internal::tflite::op::Node` with input/output tensor info.
Input/Output info will be used for graph traversing.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Set input/output as common tensor,Implement tensor conversion kernels (#2211)

Related : #2142, #2040

- Set input/output as common tensor
- Implement tensor conversion kernels

Tests are matched.

Signed-off-by: sjsujinkim sjsujin.kim@samsung.com

Remove newruntime_frameworktest_list.txt (#2207)

Remove newruntime_frameworktest_list.txt file
It is not used any more

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Change parameters for TensorConversion kernels (#2187)

Related : #2142

This commit changes parameters for TensorConversion kernels.

- Introduce Tensor Shape parameter for iterating tensors by shape info
- Change CPU Data parameter from a pointer to Tensor

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Graph : Introduce Operand Index (#2205)

Introduce `neurun::graph::operand::Index` which is an alias of
`neurun::graph::Index`.

Note that, with the additional template parameter `DummyTag`, aliased
types are treated as different types(strong typedef).

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Graph : Introduce Operation Index (#2204)

Introduce `neurun::graph::operation::Index` which is an alias of
`neurun::graph::Index`.

Note that, with the additional template parameter `DummyTag`, aliased
types are treated as different types(strong typedef).

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce Index (#2200)

Class `Index` is an integer index wrapper which will be used for
operand, operation and so on.
With template parameter `DummyTag` we can reuse code for many kinds of
indices without adding any code.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Build graph sources (#2201)

Revise CMakeLists.txt to build source files in `graph` directory.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Handle more operand type (#2190)

- Handle more operand type: ANEURALNETWORKS_TENSOR_INT32, ANEURALNETWORKS_TENSOR_QUANT8_ASYMM
- Handle exception case related with type
- Update unittest skiplist

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Allow to have multi objects in an one index. (#2182)

This commit allows to have multi objects in an one index.

It's for objects of heterogeneous backends in an one index.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Setup unittest infra (#2191)

Setup unittest infra with GTest with a sample test.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Use std::nothrow for exception handling (#2184)

Use std::nothrow for
- Handle exception
- Set returned reference by parameter nullptr

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Mark FromCommon for all of ifm indexes in concat (#2185)

This commit marks FromCommon for all of ifm indexes in concat.

It'was a bug.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Test driver: report directory (#2188)

Add parameter to set report directory

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update unittest skiplist: validation test (#2181)

Update validation unittest skiplist
- Remove CreateModel in pacl & neurun
- Remove Model.finish in neurun

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Model finish flag (#2176)

Introduce model finish flag to check duplicated finish call & modification after finished

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce docker-shell and docker-run (#2177)

Change script name docker_runs.sh to docker-shell
Introduce docker-run
These scripts' name are same as nncc

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[pacl] NNAPI frontend exception handling by nullptr (#2164)

Handle exception by nullptr parameter in NNAPI frontend implementation
Same implementation as neurun

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Fix convolution cpu backend debug build bug (#2150)

Fix convolution cpu backend debug build bug by check code in tflite kernel

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update TestValidation.cpp (#2161)

Update TestValication.cpp from android code
Update skiplist

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix for Android build (#2160)

This will for for Android build to reflect recent changes

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Implement StageGenerator for TensorConvert nodes (#2151)

This commit implements StageGenerator for TensorConvert nodes.

Signed-off-by: sjsujinkim sjsujin.kim@samsung.com

[neurun] NNAPI frontend exception handling by nullptr (#2157)

Handle exception by nullptr parameter in NNAPI frontend implementation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Split execution NNAPI implementation into frontend (#2152)

Split exeution NNAPI implementation into frontend
Move Sink and Source class into internal

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Bug fix: ANeuralNetworksCompilation_finish (#2153)

Remove duplicated return in ANeuralNetworksCompilation_finish

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce Common Operands in Plan (#2144)

Related : #2142

This commit introduces common operands in Plan, since we should set input/output as Common Tensor.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Insert TensorConvert nodes (#2127)

* [neurun] Insert TensorConvert nodes

This commit inserts TensorConvert nodes. Those will be inserted to between all of nodes.

Signed-off-by: sjsujinkim sjsujin.kim@samsung.com
* Change to plugin type

* Fix build failure

Disable submodule update for obs build (#2149)

Submodule update is disabled in obs build

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add logging of input/output tensors of Mul_1 quicktest (#2140)

By this commit, Mul_1 quicktest logs input/output tensor values into specified log file.
The log file is used to create a new Generated File.

Related PR: #2100 (Logger),
            #2105 (#2105 used log file data of this PR to create a new generated test)

Please refer to the comment in #2100 to see how to convert quicktest to generated test.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Update tensorflow submodule (#2143)

Update tensorflow submodule to update nnapi_delegate and NeuralNetworksEx.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] split compilation NNAPI implementation into frontend (#2145)

Split compilation NNAPI implementation into frontend
Define ANeuralNetworksCompilation::finish() to divide NNAPI implementation with internal

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Environment variable to set all configurable operators' backend (#2141)

Introduce new environment variable to set all configurable operators' backend: OP_BACKEND_ALLOPS

none: use each operator's backend configuration (default)
acl_cl: use acl for all configurable operators' backend
cpu: use cpu for all configurable operators' backend

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] change logging environment variable name (#2138)

Change logging environment variable name: NEURUN_LOG_ENABLE

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Detect framework test failure (#2137)

Return exit code in run_test.sh to detect framework test error in run_frameworktest.sh
Fix bug (by additional space) in run_frameworktest.sh

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Bug fix: support strided slice (#2136)

Support strided slice operator
STRIDED_SLICE_EX is removed

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move memory and model NNAPI implementation to frontend (#2133)

- Move NNAPI implementation in model.cc into frontend
- Move NNAPI implementation in memory.cc into frontend

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update NeuralNetworksEx.h (#2134)

- Remove redundant operator
- Remove unittest
- Remove implementation in runtime
- Add SPLIT operator

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

More `mul` tests for generated test (#2105)

1. converts quick tests for adas to generated test
2. remove successful tests from skip files

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Introduce frontend directory (#2130)

- Make frontend directory
- Move event.cc into frontend
- Modify cmake to build frontend

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Logging of input and output tensor of quicktest (#2100)

This is for #2047.
By providing `tensor_logging` param to `RandomTestRunner`,
input and output tensor of quicktest will be saved into specified file.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Change namespace of kernels (#2126)

This commit changes namespace of kernels from internal::kernel to neurun::kernel.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Change namespace of cpu backend (#2123)

Change namespace `internal::cpu` to `neurun::backend::cpu`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Framework test list file (#2121)

- Remove pacl framework test list: use default setting
- Define neurun framework test list: newruntime_framworktest_list.txt will be removed

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add skeleton of tensor conversion kernels (#2065)

* [neurun] Add skeleton of tensor conversion kernels

Related : #1974

This commit adds skeleton of tensor conversion kernels inherited arm_compute::IFunction.

It's part PR of #2056(https://github.sec.samsung.net/STAR/nnfw/pull/2056#issuecomment-128722)

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Seperate specific layers and apply common tensor

Remove docker_env_runtime file (#2122)

Remove docker_env_runtime file: not used any more

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Squeeze 2D input test (for neural_networks_test/generated) (#2087)

This commit adds Squeeze against 2D input test.

C++ files are generated by `./runtimes/tests/neural_networks_test/specs/generate_test.sh`

How to run:
`$ LD_LIBRARY_PATH=Product/out/lib Product/out/unittest/runtime_run_android_nn_test --gtest_filter=GeneratedTests.squeeze_2D*`

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Add optimizeGraph to model_freezer_util (#2118)

This function calls optimize_for_inference of tensorflow and
generates '*_optimized.pb'.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Removed passed test cases from skip files (#2117)

For armv7l-linux: pevious (33 test cases) -> now (64 test cases)

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

removed passed CONV tests from skip list of Generated Test (#2112)

Three `CONV`-related tests were passed and removed from skip file.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Change namespace for acl_cl backend (#2106)

Change namespace `internal::arm_compute` to `neurun::backend::acl_cl`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Update Inputcount Restriction (#2108)

Update ANEURALNETWORKS_CONV_2D explicit inputCount from 9 to 10
Update ANEURALNETWORKS_MAX_POOL_2D explicit inputCount from 9 to 10
Update ANEURALNETWORKS_AVERAGE_POOL_2D explicit inputCount from 9 to 10

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[neurun] Update library info string (#2107)

Update library info string `new` to `neurun`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Add Common Tensor/TensorBuilder (#2082)

* [neurun] Add Common Tensor/TensorBuilder

This commit adds Common Tensor/TensorBuilder for converting between backends.

The name of 'Common' would be changed or kept.

* Remove common tensor info context

* Replace common_tensor_builder to BackendManager

Add python script of run_unittest (#2050)

Parent Issue : #1896
Working Issue : #1019

This commit will add python script of run_unittest

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[model_parser] Read BuiltinOptions dynamically (#2094)

This commit removes the hardcoded implementation of BuiltinOptions
Generator table. It now reads the list of Builtin Options from
`BuiltinOptions.py` and automatically imports the corresponding
classes and build the generator map dynamically. All these were
possible with reflection.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Update Library Information Name (#2102)

Apply our new runtime name `neurun` to library information name

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[neurun] Build acl_cl kernel as a separate lib (#2095)

Build acl_cl kernel as a separate static lib `libkernel_acl_cl.a`.
Likewise #2084 for cpu kernel.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

ACL patch for mean operation (#2093)

This commit introduce ACL patch for mean operation.

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>

[model_parser] Print activation function as name (#2092)

Print Activation Function Type as its name, not the integer code.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Removed GeneratedTests.squeeze_float_1 from test skip list (#2089)

`GeneratedTests.squeeze_float_1` works so removed from test skip list.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[model_parser] Generalize `SetBuiltinOpcodeStr` (#2073)

Generalize the function `SetBuiltinOpcodeStr` so it can be used from
other enum classes as well. Plus, introduce `EnumStrMaps` which is a
collection of these kind of map(enum to string conversion).

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Build cpu kernel as separate lib (#2084)

Build cpu kernel as separate lib `libkernel_cpu.a`.

Part of #1960

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce tensor conversion Nodes (#2064)

* [neurun] Introduce tensor conversion Nodes

Related : #1974

This commit introduces tensor conversion Nodes.

- FromCommon : "common order shape" -> " specific shape of next op".
- ToCommon : "specific shape of prev op" -> "common shape".

The name of 'Common' would be changed to another.

It's part PR of #2056(https://github.sec.samsung.net/STAR/nnfw/pull/2056#issuecomment-128722)

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Remove unnecessary op list

* Seperate ACL/CPU converter Nodes

Introduce addShapeConstr considering broadcasting for ADD, SUB, DIV, MUL (#1852)

* Introduce addShapeConstr considering broadcasting

This commit introduces addShapeConstr considering broadcasting for ADD, SUB, DIV, MUL

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>
* Delete useless cout statement

This commit deletes useless cout statement

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>
* Modify description and typos

This commit modifies description and typos.

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>

Introduce ADD broadcast for inputs without initialized data (#1780)

This commit introduces ADD broadcast for inputs without initialized data

-In case input data is not initialized.
-related with #1765 (inputs with initialized data)

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>

Change to use RandomGenerator outside the RandomTestRunner. (#1922)

This commit changes to use RandomGenerator outside of RandomTestRunner because some inputs are able to set the value outside of RandomTestRunner.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Not disable all test when setting framework test list (#2081)

Not disable all test when setting framework test list
It will be used for neurun test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Generated.tanh_ test for armv7l-linux (#2045)

Generated.tanh_ test in armv7l-linux was passed (#1993)
Therefore this commit will enable the test

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[Pure ACL] Squeeze operation (#2038)

This commit introduces Squeeze operation. 2D, 3D are tested with generated test.
Note that 4D test (squeeze.mod.py) does not work. 4D will be worked as a separate PR.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Remove unused scripts and change script name (#2083)

Remove unused script: pureacl
Change name: neurun
Remain docker_env_newruntime: CI issue

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Do not compile cpu backend from runtime (#2080)

Do not compile cpu backend sources when building runtime.
These sources was supposed to be excluded when cpu backend is built
separately but it wasn't yet.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[model_parser] Change `GetBuiltinOptions` usage (#2072)

* [model_parser] Rename `GetBuiltinOptions` and usage

Rename `GetBuiltinOptions` to `GetOptions` and change the arguments.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Revert renaming

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Unittest list (#2076)

- Remove unittest skiplist for legacy runtime
- New unittest skiplit for neurun
- Fix cmake to install skiplist pacl or neurun

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Build backends as static lib (#2074)

To reduce packaging maintanance change backend build as static.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[Model Parser] Prepare argument (#2068)

Prepare argument input

- verbose level (-v, -vv)
- tensor list (-t ...)
- operator list (-o ...)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Move `kernel` to upper directory (#2071)

Move `kernel` directory to be the top level.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Change install directory (#2070)

Change install directory name: lib/new_runtime -> lib/neurun

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Revise computing instructions of operator on model parser (#2060)

Revise computing instructions of operator on model parser.
To do it, intrudece Operation class which has each instruction members
and _OperationComputeMethod, internal class, which compute for each
operator type.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Define build option for nnapi_quickcheck (#2067)

Define build option for nnapi_quickcheck
Set default value as off (not build nnapi_quickcheck)
To build nnapi_quickcheck, set OPTIONS="-DBUILD_NNAPI_QUICKCHECK=on"

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update CrossBuildForArm.md (#2063)

- `ROOTFS_ARM`(or `ROOTFS_ARM`) is not necessary to set if you installed
rootfs in default path.

- Explanation for installing cross toolchain is modified

Related Issue: #2035, #2048

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Rename nnapi_unittest (#2046)

Rename nnapi_unittest to nnapi_quickcheck to avoid confusing

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Migration to tensorflow v1.9.0 (#2054)

Fix test using tensorflow function
Update nnapi_delegate.cpp/h
Update supporting custom operation
Add submodules for dependency

To use this, need to update tensorflow submodule

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[model_parser] Print activation function type (#2052)

* [model_parser] Print activation function type

Parse activation function type of the operator and print. This also
make it possible to print other options in BuiltinOptions for all
BuiltinOperators.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Extract GetBuiltinOptions to be global function

[neurun] Extract acl_cl backend as a separate lib (#2055)

Extract acl_cl backend as a separate lib.
Note that kernel implementation still is included in neruun lib.
Same for cpu backend is done with #2042.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Fix arm rootfs for user installed compilers (#2047)

This will fix sysroot option in cmake configure time try_compile to work correctly

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[neurun] Extract cpu backend as a separate lib (#2042)

Extract cpu backend as a separate lib but still kernel implementation is
included in this lib.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[Doc] Docker image version 1.4 -> 1.5 (#2041)

Modify the document to have the latest version of docker image.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Remove unnecessary log (#2044)

Remove unnecessary log from acl_cl Concat StageGenerator which were
accidentally added.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Enable more pacl framework test (#2037)

Enable more pacl framework test: add/1D, concat2, tensorflowmax
Fix list as alphabet order

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neuron] Fix enabling reshape test (#2028)

This fixes #2026 which did not affect for our tests.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Tidy cmake, add help for external given defines (#2029)

This will add help comment of defines that can be given outside of cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix and Modify typos (#2036)

This commit fixes and modifies typoes.

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>

Add explanation how to enable nn generated test (#2034)

Add explanation for installing g++ >= 6.
Some subtitles are also changed.

Related Issue: #2031

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add functions for Tanh in pure acl runtime (#1993)

Add appendTanh function in ActivationBuilder
Add visit function
Add tanh case in addOperation function

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

Remove legacy runtime dependency (#2025)

This commit removes all the legacy runtime dependency from repo

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>