Introduce tensor interface and class for interpreter (#4818)

Introduce tensor interface for interpreter
Introduce ROTensor (read-only tensor) and Tensor (writable tensor) class
Generate interpreter tensor when input/output is set

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Abstract compilation into functions (#4803)

* [neurun] Abstract compilation into functions

Abstract compilation procedure as a function for each Executors.
They are introduced as static, private and has a parameter and a return
value. It is intended to explicitly show which is input and output for
compilation.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Rename functions prefix - compile to create

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Replace uint32_t with Index in Set (#4816)

operand::Set and operation::Set have hardcoded uint32_t and assertion,
which is based on wrong assumption that Index is always uint32_t.
This patch replaces uint32_t with Index.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Fix tizen cross build bug (#4831)

Fix to use nnfw command in tizen cross build script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Cleanup virtual function declarations in neurun backends (#4791)

Cleanup virtual function declarations in neurun cpu and acl_cl backends

Signed-off-by: Andrei Shedko <a.shedko@samsung.com>

[neurun] Remove unneeded dependency of neurun-core on tflite (#4817)

Looks like it is a remnant of times when neurun was being built as a single library (now it is divided into several parts, such as core, front end and back end).

Signed-off-by: Sergei Barannikov <s.barannikov@samsung.com>

Remove skiplist for pacl x86-64 (#4821)

Remove skiplist for pacl x86-64 because pacl is not available for x86-64

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable NNAPI compilation validation test (#4808)

* Enable NNAPI compilation validation test

Enable ValidationTestCompilation.Finish test
Define compile state STARTED

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Rename NONE to CREATED

Remove simple operation in ARMComputeEx (#4814)

Remve simple operation in ARMComputeEx except pack/unpack

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

make distclean should remove nnapi generated tests (#4812)

`make distclean` should remove all derived files after git cloned.
nnapi generated tests are among them.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add reduce max and custom operator framework test (#4811)

Add custom op for reduce max and reduce sum test (for tizen build)
Add custom op squared difference and abs test
Add reduce_max op test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Set input and output tensor info for interpreter (#4798)

- Set input and output tensor info for interpreter
- Fix TensorInfo bug
- Remove sink/source implementation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove NENormalizationLayer (#4813)

Remove deprecated NENormalizationLayer and NENormalizationLayerExKernel implementation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enable Gather, Neg, Abs ops (#4740)

This commit enables `Gather`, `Neg`, `Abs` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable NNAPI I/O identify validation check (#4810)

Enable ValidationTestIdentify.DuplicateInputs and ValidationTestIdentify.DuplicateOutputs for acl_cl kernel
Enable all ValidationTestIdentify test for cpu kernel

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add additional skip lists related to unsupported U8 (#4809)

As We've discussed in #4797 and already merged skip list PR #4805, but some tests related to unsupported U8 are also failed.
This commit adds additional skip lists related to unsupported U8.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[Tools] tool to convert pb file (binary) to pbtxt file (text) (#4788)

* [Tools] Convert pb file to pbtxt file

This tool converts frozen pb file in tensorflow to pbtxt text file.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>
* remove common.py

* remove underbar from parameter

Introduce paramter checker (#4804)

Introduce parameter checker. As a first commit,
- Check add node only
- Check activation paramter is constant only

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Rename reduce max operation (#4806)

Rename NNAPI Ex operation for reduce max
TENSORFLOW_MAX_EX -> REDUCE_MAX_EX
Update NeuralNetworksEx.h comment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove const keyword from converting functions in NNAPIConvert (#4802)

This commit removes const keyword from converting functions in NNAPIConvert.
In general, const is used on a return value of RVO because const affect move semantics.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Append nnapi tests of comparison into skiplist of neurun (#4805)

This commit appends nnapi tests of comparison into skiplist of neurun.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Cleanup build warnings (#4794)

Remove redundant `virtual` declarations and use `override` instead( as per Core Guidelines C.128 )

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[neurun] Merge Equal and NotEqual to Comparison op (#4797)

In https://github.sec.samsung.net/STAR/nnfw/pull/4738#discussion_r156180, we've discussed to group all operations in `::arm_compute::ComparisonOperation`.
This commit introduces `ComparisonNode` that includes operations in `::::arm_compute::ComparisonOperation` and intergrate `Equal` and `NotEqual` to `ComparisonNode`

`ComparisonNode` can be support below.

```
enum class ComparisonType
 {
   Equal,
   NotEqual,
   Greater,
   GreaterEqual,
   Less,
   LessEqual
 };
```

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Fix cmake regular expression bug (#4790)

Use variable setting instead of regular expression
because option setting by cmake configure is not working
It is temporary solution until changing option setting for each architecture

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enable Equal, SquaredDifference, TopKV2 ops (#4738)

* [neurun] Enable Equal, SquaredDifference, TopKV2 ops

This commit enables `Equal`, `SquaredDifference`, `TopKV2` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Fix build break

[neurun] Remove unnecessary target include dirs (#4787)

Remove `target_include_directories` for NEURUN_INCLUDE_DIR.
However variable NEURUN_INCLUDE_DIR cannot be removed for now since
cpu/acl_cl kernel module improperly depend on this dir.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Fix missing symbol in logging backend (#4793)

* Fix missing symbol in logging backend

Add missing ANeuralNetworksCompilation_free in logging backend

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>
* Format fix

Signed-off-by: Vladimir Plazun <v.plazun@samsung.com>

[neurun] Extract core module CMakeLists.txt (#4789)

Extract CMakeLists.txt file for neurun/core.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Save backend dlopen handle (#4784)

Save backend dlopen handle in map member variable
It uses to avoid warning by handle lost without dlclose(), but it will be used to other purpose later

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enable LogicalOr, LogicalNot ops (#4734)

* [neurun] Enable LogicalOr, LogicalNot ops

Related : #3708

This commit enables `LogicalOr`, `LogicalNot` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Change LogicalOr kernel to CLBitwiseOr

* Fix build break

Introduce TensorInfo for interpreter (#4780)

Introduce TensorInfo for interpreter
Current implementation is copy of compiler::TensorInfo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Interpreter unittest (#4783)

* Interpreter unittest

Introduce interpreter unittest: unittest for ExecManager

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Add comment and namespace

[neurun] Re-organize neurun core directories (#4781)

Introduce core directory and separate headers into two types - private
and public. Public header may be used by frontend and backend
implemenatations.

New directory structure is as follows:

```
- neurun
  - frontend (as-is)
  - backend  (as-is)
  - core
    - include
    - src
```

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove "externals/CMakeLists.txt" (#4777)

This commit moves all the scripts related android support into contrib/
directory, and removes "externals/CMakeLists.txt" from the repo.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use pre-built TensorFlow Lite (#4779)

This commit updates TensorFlow Lite CMake package to lookup pre-built
binaries from the system if BUILD_TENSORFLOW_LITE is set as OFF.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Check format all files as default (#4775)

Check format all c and c++ files as default

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Require TensorFlow Lite when building nnfw_lib_tflite (#4774)

nnfw_lib_tflite depends on TensorFlow Lite, but there is no explicit
find_package statement.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Organize directories of backend impls (#4773)

Extract backend implementations outside of `src` directory.

Now the directory structure is:

```
- neurun
  - frontend
    - nnapi
  - backend
    - acl_cl
    - cpu
  - src (will be `core`)
```

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce interpreter ExecManager (#4747)

To introduce interpreter ExecManager, rename Interpereter class
ExecManager will handle execution environment and invoke intepreter
Execution environment and interpreter will be introduced as separated module later

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move scripts related with tflite_benchmark_model (#4770)

This commit extracts scripts related with tflite_benchmark_model
from "externals/CMakeLists.txt", and move these scripts into
tflite_benchmark_model project.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Allow multiple TensorFlowLite package request (#4771)

The current implementation does not work in the presence of multiple
nnfw_find_package(TensorFlowLite ...) invocations.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Enable PReLU, TransposeConv, SQRT ops (#4733)

This commit enables `PReLU`, `TransposeConv`, `SQRT` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Fix format in contrib (#4762)

Fix format in contrib except benchmark_acl
(bencmark_acl is ported codes from arm compute)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Fix NNAPI frontend directory structure (#4769)

Reduce redundant frontend directory.

From `neurun/frontend/nnapi/frontend` to `neurun/frontend/nnapi`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce TensorFlow Lite package (#4766)

This commit extracts TensorFlow Lite build script from
"external/CMakeLists.txt", and makes is as a separate TensorFlow
Lite package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use regular expression to check arm architecture (#4765)

Use regular arm* and aarch* to check arm architecture

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Enable EmbeddingLookup, L2Normalization, HashtableLookup ops (#4707)

* [neurun] Enable EmbeddingLookup, L2Normalization, HashtableLookup ops

This commit enables `EmbeddingLookup`, `L2Normalization`, `HashtableLookup` ops for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Add comment

Set initialize member in PermuteLayer (#4764)

Set initialize member _type in PermuteLayer

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix logging runtime format (#4767)

Fix logging runtime format and check all runtimes

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Do NOT use CMAKE_CURRENT_SOURCE_DIR for tflite build (#4761)

The current tflite build script uses the hardcoded location of TensorFlow
source code.

This commit removes such hardcoded location and uses TensorFlowSource_DIR
variable instead.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Separate CMakeLists for frontend/nnapi (#4760)

Separate CMakeLists for frontend/nnapi. And corresponding inclusion path
fixes.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Cache generated tests (#4755)

Do not generate generated tests unless related files are changed.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce boolean types into internal operand (#4759)

This commit introduces boolean types into internal operand.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Off downloading ACL Source on gbs build (#4741)

- Off downloading ACL Source on gbs build

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Use nnfw command in Makefile (#4746)

This commit updates Makefile to access nnfw internal through top-level
nnfw command (instead of using cmake directly).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove SetIO test's dependency with frontend (#4742)

Remove SetIO test's dependency by using neurun core
Prepare divide frontend-unittest, core-unittest and backend-unittest,

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix OperationCodeEx of nnapi (#4749)

This commit fixes OperationCodeEx number.
  - ANEURALNETWORKS_REDUCE_MIN_EX : 500021 -> 50021
  - ANEURALNETWORKS_PRELU_EX : 500022 -> 50022

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Remove the things related to "NN API name". (#4748)

This commit Removes the things related to "NN API name".

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove runtime in Makefile (#4744)

Remove deprecated build option runtime

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[acl] Use lws_hint() instead of default parameter (#4745)

This commit applies `lws_hint()` in the case of below operators.
TensorFlowMax, TensorFlowSum, EXP, GATHER, CAST, PAD

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Introduce ONE_HOT, GREATER_EQUAL and LESS operation into NeuralNetworsEx.h (#4736)

* Introduce ONE_HOT_EX operation in NeuralNetworksEx.h

This commit introduces ONE_HOT_EX operation in NeuralNetworsEx.h.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>
* Introduce GREATER_EQUAL_EX and LESS_EX operations in NeuralNetworksEx.h

This commit introduces GREATER_EQUAL_EX and LESS_EX operations in NeuralNetworksEx.h

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Check aarch for arm-related build option (#4735)

Check aarch32 and aarch64 for BUILD_ARMCOMPUTE and BUILD_PURE_ARM_COMPUTE default

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add mobiilenet to model benchmark list (#4732)

Add mobiilenet to model benchmark list

Fix gbs build script (#4731)

Use nnfw command instead of run (removed)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove unused header inclusions (#4730)

Remove unused header inclusions which causes unnecessary coupling.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove CMake branch for Android build (#4729)

Let's use fine-control over each component later.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Revert same padding calculation (#4727)

Revert same padding calculation because current padding calculation is incorrect

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add missing generated tests (#4725)

In #4667, I've missed generated tests related that ops because of rebasing.
This commit adds missing generated tests.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Update same_padding helper (#4723)

In #3629, `same_padding` helper is updated to correct.
This commit updates to the same as `same_padding` of `PACL`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Enable L2Pool2D op (#4688)

This commit enables `L2Pool2D` op for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Prepend license to wrapper/execution.cc (#4718)

License block for this file was missing.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove testbuild in Makefile (#4693)

Remove deprecated build option testbuild
Now svace and coverity use make all

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove `run` script that is not used any more (#4717)

`run` is replaced with `nnfw` script.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Do NOT update global link directory setting (#4716)

This commit removes global link_directories in the top-level
CMakeLists.txt.

This command was introduced as a workaround for CI build failure, but is
no longer required.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Coverage report for neurun (#4706)

Change coverage report target to neurun, not pure runtime

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix SetIO test (#4715)

- Remove dynamic casting
- Remove unused header
- Remove unused alias

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Make clean and distclean for external handling (#4649)

* Make clean and clean_all for external handling

make clean: clean only workdir
make clean_all: clean workdir and external stamp file

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* change command clean_all to distclean

[neurun] Enable Floor, SpaceToDepth ops (#4686)

This commit enables `Floor`, `SpaceToDepth` for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Set the default value of BUILD_PURE_ARM_COMPUTE (#4710)

Now, the default value of BUILD_PURE_ARM_COMPUTE is decided according to
the target architecture.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use add_subdirectories for contrib and tools (#4708)

This commit simplifies "contrib/CMakeLists.txt" and
"tools/CMakeLists.txt" using "add_subdirectories" function.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Allow explicit control over CMake with configure command (#4702)

This commit updates "nnfw configure" to pass all of its command-line arguments
to CMake, which allows users to control all the CMake options explicitly.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Extract NNAPI frontend from src (#4705)

This commit extracts NNAPI implementations (e.g. ANeuralNetworksModel_create)
from "src" and moves it to newly introduced frontend/nnapi directory.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove duplicated '-Wno-ignore-attributes' FLAG (#4704)

- Remove duplicated '-Wno-ignore-attributes' FLAG from option files
- Add the FLAG into option_linux.cmake

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Remove unnecessary if for BUILD_ARMCOMPUTE (#4703)

Now, the default value of BUILD_ARMCOMPUTE for x86_64 is OFF.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Disable warning ignore-atrribute for aarch64 (#4701)

- To fix tizen gbs build error on aarch64 ( aarch64 cross build,too)
- related issue : https://github.com/ARM-software/ComputeLibrary/issues/330

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add comments for nnfw_find_package (#4700)

* Add comments for nnfw_find_package

This will add some example comments for nnfw_find_package in CMakeLists.txt file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply comments

[neurun] Enable ResizeBilinear, ReLU1, ReLU6 ops (#4667)

Related : #4259

This commit enables `ResizeBilinear`, `ReLU1`, `ReLU6` for `acl_cl`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Fix coverage report bug (#4666)

Fix coverage report bug setting SRC_PREFIX: use default value
gen-coverage-report command use default variable for command

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Pass GENERATE_NNAPI_TESTS to docker container (#4695)

Pass host's GENERATE_NNAPI_TESTS setting to docker container

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove default constructors (#4694)

Remove default consturctor for TypeInfo and TensorInfo
Block implicit using of default constructor

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Do NOT use quote in CMAKE_DEPENDENT_OPTIONS (#4692)

This does not work as expected.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Set BUILD_ARMCOMPUTE according to TARGET_ARCH (#4684)

Now, the default vaule of BUILD_ARMCOMPUTE option will be
set according to TARGET_ARCH.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Enable ReLU, RSQRT ops (#4642)

This commit enables `ReLU`, `RSQRT` for `acl_ac`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Add Squeeze Operation (#4678)

Add squeeze operation.
The implementation comes from pure arm compute runtime.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Update build toolchain in dockerfile (#4669)

- Remove deprecated build tool: gcc-5 softfp
- Install gcc-6 for x64 build

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Simplify ARM Compute function includes (#4682)

In #4636, `PACL` uses a set of meta headers that includes all the functions.
This commit applies this to neurun.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introduce BUILD_LOGGING option (#4679)

This commit introduces BUILD_LOGGING option which allows users to
enable/disable logging runtime build, and updates CMakeLists.txt to
use it instead of OBS_BUILD.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove OBS_BUILD from GTest package (#4663)

This commit removes OBS_BUILD occurences from GTest package, and uses
BUILD_GTEST instead.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Update document to use docker image (#4677)

Update command usage and standalone scripts using docker image

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Build independent with download option (#4648)

* Build independent with download option

If download option is off and there is correct external directory & stamp, try to build.

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* ExternalSource_Get use ExternalSource_Download

* Remove variables not used

* Fix typo