Introduce cpu kernel in libs (#4886)

* Introduce cpu kernel in libs

Introduce cpu kernel in libs for cpu backend and interpreter
Introduce shape implementation from tflite

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Fix header define and license format

Move cmake compile flag setting (#4880)

* Move cmake compile flag setting

Move target independent/dependent copmile flag setting into ApplyCompileFlags.cmake

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Remove setting duplication

Introduce ExecEnv for intepreter (#4882)

Define ExecEnv to gather interpreter environment - status, memory, etc
Assign input and output tensor into ExecEnv
Fix unittest

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enable setting the data type of mode operand::Object (#4881)

This commit Enable setting the data type of made operand::Object.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix cl codes' format (#4820)

Fix cl codes' format using c++ format

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move cmake platform identifier (#4878)

* Move cmake platform identifier

Move cmake file for platform identify

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Move IdentifyPlatform.cmake and use nnfw_include

GBS neurun build (#4876)

Build neurun as default on gbs build

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix build error by conflict (#4873)

Fix build error by operationFactory parameter change

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move backend unittest (#4870)

Move backend unittest into each backend

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enable LocalResponseNorm, DepthToSpace, ReduceMin ops (#4714)

Related : #3708

This commit enables `LocalResponseNormalization`, `DepthToSpace`, `ReduceMin` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Reuse code in Executor::execute (#4869)

Reuse setting inputs and outputs part with template method pattern.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Add passing a param of operand::Set when creating the Node (#4867)

This commit adds passing a param of operand::Set when creating the Node in order to adjust operand information for each operation.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Coverage test with log (#4868)

Enable logging and dot-dump on coverage test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Bugfix - running with multiple backends (#4866)

Due to not defining DefBackend for model inputs, there was a problem
when running with multiple backends.

Fix #4828

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Promote OperandContext to ExecutorBase (#4864)

As all the executors have OperandContext in common, we can promote it to
its base class `ExecutorBase`.

Part of #4823

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Enable external IO memory set validation test (#4860)

Implement NNAPI to set input and output using external memory

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable supported validation test (#4862)

Enable validation test
- SetInput
- SestOutput
- EventWait

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Make sure standalone scripts are not source'd (#4853)

Scripts under standalone are supposed to run, not sourced.
On error, it would exit, it may cause the shell terminated.
To prevent unintended use style, each script is checked whether
it is sourced or not.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Remove gbs build check for cpu backend build (#4858)

To build neurun cpu backend, check tensorflow lite internal source code instead of gbs build flag

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Move out of the graph of neurun to collect the model's information (#4838)

This commit moves out of the graph of neurun to collect the model's infomation.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove architecture check for backend build (#4854)

To build neurun acl_cl backend, check acl support instead of target architecture name
Fix arm architecture flag bug

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Check invalid NNAPI input and output index (#4849)

* Check invalid NNAPI input and output index

Check too large index by return invalid index value in wrppaer function

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Fix validation check log

[neurun] Enable ArgMax, Dequantize, Mean ops (#4751)

* [neurun] Enable ArgMax, Dequantize, Mean ops

This commit enables `ArgMax`, `Dequantize`, `Mean` ops for `acl_cl`.

* fix build break

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Check input and output tensor length (#4847)

Check correctness of length for input and output tensor setting based on NNAPI spec

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix test script bug (#4837)

* Fix test script bug

- Check copy and script failure
- Fix test driver parameter

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Add set -e for all standalone scripts

Fix rootfs default setting bug (#4846)

Fix rootfs default setting bug by changing path

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Extract OperandContext from Plan (#4834)

Extract OperandContext from Plan so OperandContext can be merged in
ExecutorBase. (Both Executor and DataflowExecutor contains
OperandContext so we can promote it to ExecutorBase, later.)

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Move util for frontend only  (#4843)

* Move util for frontend only

Move util implementation for NNAPI frontend only

* Define static function for convert

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Change compiler::TensorInfo to model::operand::Info (#4830)

Change compiler::TensorInfo to model::operand::Info
All data fields in TensorInfo is model operand's info

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Redo TensorBuilderSet as unordered_set (#4836)

Redo TensorBuilderSet as unordered_set since we don't care if it is
sorted or not

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Rename toolchain setting files (#4839)

- Rename toolchain setting directory and files for cross build to cmake/buildtool/cross/toolchain_$(TARGET_ARCH_LC)-$(TARGET_OS).cmake
- Remove needless x86-64 cross build toolchain setting

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move cmake options (#4841)

Move cmake options for build and download into cmake/CfgOptionFlgs.cmake

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce tensor interface and class for interpreter (#4818)

Introduce tensor interface for interpreter
Introduce ROTensor (read-only tensor) and Tensor (writable tensor) class
Generate interpreter tensor when input/output is set

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Abstract compilation into functions (#4803)

* [neurun] Abstract compilation into functions

Abstract compilation procedure as a function for each Executors.
They are introduced as static, private and has a parameter and a return
value. It is intended to explicitly show which is input and output for
compilation.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Rename functions prefix - compile to create

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Replace uint32_t with Index in Set (#4816)

operand::Set and operation::Set have hardcoded uint32_t and assertion,
which is based on wrong assumption that Index is always uint32_t.
This patch replaces uint32_t with Index.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Fix tizen cross build bug (#4831)

Fix to use nnfw command in tizen cross build script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Cleanup virtual function declarations in neurun backends (#4791)

Cleanup virtual function declarations in neurun cpu and acl_cl backends

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[neurun] Remove unneeded dependency of neurun-core on tflite (#4817)

Looks like it is a remnant of times when neurun was being built as a single library (now it is divided into several parts, such as core, front end and back end).

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Remove skiplist for pacl x86-64 (#4821)

Remove skiplist for pacl x86-64 because pacl is not available for x86-64

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable NNAPI compilation validation test (#4808)

* Enable NNAPI compilation validation test

Enable ValidationTestCompilation.Finish test
Define compile state STARTED

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Rename NONE to CREATED

Remove simple operation in ARMComputeEx (#4814)

Remve simple operation in ARMComputeEx except pack/unpack

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

make distclean should remove nnapi generated tests (#4812)

`make distclean` should remove all derived files after git cloned.
nnapi generated tests are among them.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add reduce max and custom operator framework test (#4811)

Add custom op for reduce max and reduce sum test (for tizen build)
Add custom op squared difference and abs test
Add reduce_max op test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Set input and output tensor info for interpreter (#4798)

- Set input and output tensor info for interpreter
- Fix TensorInfo bug
- Remove sink/source implementation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove NENormalizationLayer (#4813)

Remove deprecated NENormalizationLayer and NENormalizationLayerExKernel implementation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enable Gather, Neg, Abs ops (#4740)

This commit enables `Gather`, `Neg`, `Abs` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable NNAPI I/O identify validation check (#4810)

Enable ValidationTestIdentify.DuplicateInputs and ValidationTestIdentify.DuplicateOutputs for acl_cl kernel
Enable all ValidationTestIdentify test for cpu kernel

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add additional skip lists related to unsupported U8 (#4809)

As We've discussed in #4797 and already merged skip list PR #4805, but some tests related to unsupported U8 are also failed.
This commit adds additional skip lists related to unsupported U8.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[Tools] tool to convert pb file (binary) to pbtxt file (text) (#4788)

* [Tools] Convert pb file to pbtxt file

This tool converts frozen pb file in tensorflow to pbtxt text file.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove common.py

* remove underbar from parameter

Introduce paramter checker (#4804)

Introduce parameter checker. As a first commit,
- Check add node only
- Check activation paramter is constant only

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Rename reduce max operation (#4806)

Rename NNAPI Ex operation for reduce max
TENSORFLOW_MAX_EX -> REDUCE_MAX_EX
Update NeuralNetworksEx.h comment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove const keyword from converting functions in NNAPIConvert (#4802)

This commit removes const keyword from converting functions in NNAPIConvert.
In general, const is used on a return value of RVO because const affect move semantics.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Append nnapi tests of comparison into skiplist of neurun (#4805)

This commit appends nnapi tests of comparison into skiplist of neurun.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Cleanup build warnings (#4794)

Remove redundant `virtual` declarations and use `override` instead( as per Core Guidelines C.128 )

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[neurun] Merge Equal and NotEqual to Comparison op (#4797)

In https://github.sec.samsung.net/STAR/nnfw/pull/4738#discussion_r156180, we've discussed to group all operations in `::arm_compute::ComparisonOperation`.
This commit introduces `ComparisonNode` that includes operations in `::::arm_compute::ComparisonOperation` and intergrate `Equal` and `NotEqual` to `ComparisonNode`

`ComparisonNode` can be support below.

```
enum class ComparisonType
 {
   Equal,
   NotEqual,
   Greater,
   GreaterEqual,
   Less,
   LessEqual
 };
```

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Fix cmake regular expression bug (#4790)

Use variable setting instead of regular expression
because option setting by cmake configure is not working
It is temporary solution until changing option setting for each architecture

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enable Equal, SquaredDifference, TopKV2 ops (#4738)

* [neurun] Enable Equal, SquaredDifference, TopKV2 ops

This commit enables `Equal`, `SquaredDifference`, `TopKV2` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Fix build break

[neurun] Remove unnecessary target include dirs (#4787)

Remove `target_include_directories` for NEURUN_INCLUDE_DIR.
However variable NEURUN_INCLUDE_DIR cannot be removed for now since
cpu/acl_cl kernel module improperly depend on this dir.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Fix missing symbol in logging backend (#4793)

* Fix missing symbol in logging backend

Add missing ANeuralNetworksCompilation_free in logging backend

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
* Format fix

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[neurun] Extract core module CMakeLists.txt (#4789)

Extract CMakeLists.txt file for neurun/core.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Save backend dlopen handle (#4784)

Save backend dlopen handle in map member variable
It uses to avoid warning by handle lost without dlclose(), but it will be used to other purpose later

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enable LogicalOr, LogicalNot ops (#4734)

* [neurun] Enable LogicalOr, LogicalNot ops

Related : #3708

This commit enables `LogicalOr`, `LogicalNot` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Change LogicalOr kernel to CLBitwiseOr

* Fix build break

Introduce TensorInfo for interpreter (#4780)

Introduce TensorInfo for interpreter
Current implementation is copy of compiler::TensorInfo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Interpreter unittest (#4783)

* Interpreter unittest

Introduce interpreter unittest: unittest for ExecManager

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Add comment and namespace

[neurun] Re-organize neurun core directories (#4781)

Introduce core directory and separate headers into two types - private
and public. Public header may be used by frontend and backend
implemenatations.

New directory structure is as follows:

```
- neurun
  - frontend (as-is)
  - backend  (as-is)
  - core
    - include
    - src
```

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove "externals/CMakeLists.txt" (#4777)

This commit moves all the scripts related android support into contrib/
directory, and removes "externals/CMakeLists.txt" from the repo.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use pre-built TensorFlow Lite (#4779)

This commit updates TensorFlow Lite CMake package to lookup pre-built
binaries from the system if BUILD_TENSORFLOW_LITE is set as OFF.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Check format all files as default (#4775)

Check format all c and c++ files as default

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Require TensorFlow Lite when building nnfw_lib_tflite (#4774)

nnfw_lib_tflite depends on TensorFlow Lite, but there is no explicit
find_package statement.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Organize directories of backend impls (#4773)

Extract backend implementations outside of `src` directory.

Now the directory structure is:

```
- neurun
  - frontend
    - nnapi
  - backend
    - acl_cl
    - cpu
  - src (will be `core`)
```

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce interpreter ExecManager (#4747)

To introduce interpreter ExecManager, rename Interpereter class
ExecManager will handle execution environment and invoke intepreter
Execution environment and interpreter will be introduced as separated module later

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move scripts related with tflite_benchmark_model (#4770)

This commit extracts scripts related with tflite_benchmark_model
from "externals/CMakeLists.txt", and move these scripts into
tflite_benchmark_model project.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Allow multiple TensorFlowLite package request (#4771)

The current implementation does not work in the presence of multiple
nnfw_find_package(TensorFlowLite ...) invocations.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Enable PReLU, TransposeConv, SQRT ops (#4733)

This commit enables `PReLU`, `TransposeConv`, `SQRT` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Fix format in contrib (#4762)

Fix format in contrib except benchmark_acl
(bencmark_acl is ported codes from arm compute)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Fix NNAPI frontend directory structure (#4769)

Reduce redundant frontend directory.

From `neurun/frontend/nnapi/frontend` to `neurun/frontend/nnapi`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce TensorFlow Lite package (#4766)

This commit extracts TensorFlow Lite build script from
"external/CMakeLists.txt", and makes is as a separate TensorFlow
Lite package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use regular expression to check arm architecture (#4765)

Use regular arm* and aarch* to check arm architecture

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enable EmbeddingLookup, L2Normalization, HashtableLookup ops (#4707)

* [neurun] Enable EmbeddingLookup, L2Normalization, HashtableLookup ops

This commit enables `EmbeddingLookup`, `L2Normalization`, `HashtableLookup` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Add comment

Set initialize member in PermuteLayer (#4764)

Set initialize member _type in PermuteLayer

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix logging runtime format (#4767)

Fix logging runtime format and check all runtimes

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Do NOT use CMAKE_CURRENT_SOURCE_DIR for tflite build (#4761)

The current tflite build script uses the hardcoded location of TensorFlow
source code.

This commit removes such hardcoded location and uses TensorFlowSource_DIR
variable instead.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Separate CMakeLists for frontend/nnapi (#4760)

Separate CMakeLists for frontend/nnapi. And corresponding inclusion path
fixes.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Cache generated tests (#4755)

Do not generate generated tests unless related files are changed.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce boolean types into internal operand (#4759)

This commit introduces boolean types into internal operand.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Off downloading ACL Source on gbs build (#4741)

- Off downloading ACL Source on gbs build

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Use nnfw command in Makefile (#4746)

This commit updates Makefile to access nnfw internal through top-level
nnfw command (instead of using cmake directly).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove SetIO test's dependency with frontend (#4742)

Remove SetIO test's dependency by using neurun core
Prepare divide frontend-unittest, core-unittest and backend-unittest,

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix OperationCodeEx of nnapi (#4749)

This commit fixes OperationCodeEx number.
  - ANEURALNETWORKS_REDUCE_MIN_EX : 500021 -> 50021
  - ANEURALNETWORKS_PRELU_EX : 500022 -> 50022

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Remove the things related to "NN API name". (#4748)

This commit Removes the things related to "NN API name".

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove runtime in Makefile (#4744)

Remove deprecated build option runtime

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[acl] Use lws_hint() instead of default parameter (#4745)

This commit applies `lws_hint()` in the case of below operators.
TensorFlowMax, TensorFlowSum, EXP, GATHER, CAST, PAD

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Introduce ONE_HOT, GREATER_EQUAL and LESS operation into NeuralNetworsEx.h (#4736)

* Introduce ONE_HOT_EX operation in NeuralNetworksEx.h

This commit introduces ONE_HOT_EX operation in NeuralNetworsEx.h.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>
* Introduce GREATER_EQUAL_EX and LESS_EX operations in NeuralNetworksEx.h

This commit introduces GREATER_EQUAL_EX and LESS_EX operations in NeuralNetworksEx.h

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Check aarch for arm-related build option (#4735)

Check aarch32 and aarch64 for BUILD_ARMCOMPUTE and BUILD_PURE_ARM_COMPUTE default

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add mobiilenet to model benchmark list (#4732)

Add mobiilenet to model benchmark list

Fix gbs build script (#4731)

Use nnfw command instead of run (removed)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove unused header inclusions (#4730)

Remove unused header inclusions which causes unnecessary coupling.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove CMake branch for Android build (#4729)

Let's use fine-control over each component later.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Revert same padding calculation (#4727)

Revert same padding calculation because current padding calculation is incorrect

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add missing generated tests (#4725)

In #4667, I've missed generated tests related that ops because of rebasing.
This commit adds missing generated tests.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>