Introduce nnfw::util::env::IntAccessor (#392)

This commit introduces nnfw::util::env::IntAccessor which makes it easy
to access environmets (for configuration).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce util::benchmark (#391)

This commit extracts benchmark-related helpers (implemented inside
tflite_benchmark) as a shared library.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use float-compare on NN API testing (#389)

* Use float-compare on NN API testing

This commit revises nnapi_test to use float-compare on NN API
implementation testing.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use std::isnan instead of isnan

Introduce nnapi_template (#388)

This commit introduces nnapi_template which provides a dummy NN API
implementation in order to make it easy to introduce an experimental NN
API implementation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Support STRIDE configuration (#386)

This commit revises nnapi_unittest_conv1 to support STRIDE
configuration.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Manage bias_data lifetime correclty (#385)

T/F Lite Interpreter assumes that buffer passed via
SetTensorParametersReadOnly method lives longer than the interpreter
itself.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce simple .tflite model generator for CONV2D (#381)

This commit introduces a simple .tflite model generator.
This first version only supports CONV2D for now.

Usage:
`$ modelgen.py` generates model.json
`$ modelgen.sh model.json` generates model.tflite

You can modify parameters `kernel_shape` and `input_shape` in modelgen.py
to generate different sizes of the kernel and input.

You can execute modelgen.py and modelgen.sh in any directory because
they find where they located at.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

build test-suite for test on target (#375)

* build test-suite for test on target

1. test-suite.tar.gz contains tests and Product/out
2. cross-build on CI generates test-suite

Fix SIGFPE of CpuExecutor (#395)

Enable following helpers
- getScalarData(const RunTimeOperandInfo& info)
- IsNullInput(const RunTimeOperandInfo *input) {

This resiolves SIGFPE reported at #370

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Rename nnapi_unitest_common to nnapi_unittest_common (#384)

This patch adds a missing 't' to the lib name.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Export nnfw_util's include path (#387)

This commit exports nnfw_util's include path as PUBLIC to make it
easy to use nnfw_util.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add Tizen rootfs for arm cross compilation (#378)

- Add Tizen rootfs for arm cross compilation

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix build break on Ubuntu 14.04 (#383)

This commit fixes build break on Ubuntu 14.04.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

add the hal interfaces of neuralnetworks@1.1 to android_nn of labs (#371)

This commit adds the hal interfaces of the neuralnetworks@1.1 to android_nn of labs.

The interfaces of neuralnetworks have been included in o-mr1-iot-preview-7 android-o-mr1-iot-preview-7 android-p-preview-1.
Ref : https://android.googlesource.com/platform/hardware/interfaces/+/7df64ea2fd8c8e501ac1ba5cb05def96f8a8d49e
Additionally, This is the history log) related to android nn of o-mr1-iot-preview-7 branch.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce add_nnapi_unittest function (#380)

This commit introduces add_nnapi_unittest function in 'CMakeLists.txt'
to make it easy to add new unittests.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix wrong setting libneuralnetworks.so (#372)

Set right libneuralnetworks.so. To do this, revise some options such as
OPTIONS_LD_LIB_NNAPI and USE_NNAPI.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Introduce NNAPI Unittest through T/F Lite (#374)

This commit introduces a convolution NNAPI unittest which
invokes NN API via T/F Lite interpreter and compare it with
the output of T/F Lite pure interpreter.

This testcase is derived from a convolution example in tflite_examples.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Compare with CPU and ACL result in kernel conv test (#368)

This will enable convolution test to get expected from CPU and result from ACL and compare the two.
Some changes was done not directly related with tis change but to fix compile and linking.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

install libneuralnetworks.so into lib (#369)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add make check for run_test.sh (#361)

* Add make check for run_test.sh

This make check executes run_test.sh to test scripts in test/framework/

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Apply other comments

- Separate `make install` & `make check`
- Only tests for x86 (NOT cross-build for arm)
- Add LD_LIBRARY_PATH on USE_NNAPI=1

Add compareData for kernel test lab (#362)

This will add compareData that compares result and expected of convolution.
Success will do nothing and show error with exit -1 when fails.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Get rid of cmake find_package(Threads) (#357)

We cannot use find_package(Threads) since some of our build
system use old version cmake. pthread is linked directly now.
So I removed find_package(Threads) and related statements.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable setInputFromMemory and setOutputFromMemory from Execution (#360)

This commit enables setInputFromMemory and setOutputFromMemory from Execution.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Modify output log in simple_model (#359)

This commit modifies output log in simple_model.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

 Change test script construction (#354)

* Change test script construction

- Make directory for each test
- Make config.sh file for each test setting

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Labs - kernel unit test - add convFloat32 method (#352)

* Labs - kernel unit test - add convFloat32 method

This will add convFloat32 method from NN runtime to prepare binding ACL convolution

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove empty line

* add space for readability

docker arm cross build with no acl/rootfs build (#342)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Separate Cross build for arm document (#358)

This will separate cross build for arm section in main readme into docs folder file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add manual conv with excel (#356)

This will add and simple 3x3 convolution in excel file.
It uses excel built-in SUMPRODUCT() method.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix a failure to set RunTimePoolInfo (#355)

* Fix creating ashmem fail

This commit fixes creating ashmem fail.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>
* Fix the fail to set RunTimePoolInfo

This commit fixes the fail to set RunTimePoolInfo.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix creating ashmem fail (#350)

This commit fixes creating ashmem fail.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Make readme file for tflite file tool (#353)

Make reaeme file for

- model parser
- model generator

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

T/F Lite Conv Example: Use non-squared IFM & Kernel (#337)

This commit revises T/F Lite Conv Example to use non-squred IFM and
Kernel to make it easy to distinguish dimensions.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce weights extractor from .tflite (#288)

This commit introduces weight/bias extractor from .tflite file.
You can execute this script like below:

`$ extract_from_tflite.sh inception.tflite`

Then, you can find *.npy files in the current working directory.
Those *.npy files contain weight or bias values.
The name of each file is set to be the name of each layer.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Modify add sample (#349)

This commit modifies add sample to fix the bug and show printing results.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Update TODO of NeuralNetworks.cpp (#344)

- Update TODO comment to use REF-ANN and TODO-NNRT
- Implment some TODO-NNRT

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable MUL of CpuExecutor (#345)

- Enable MUL of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable the methods of `RunTimePoolInfo` to prepare to use memory (#343)

This commit enables the methods of `RunTimePoolInfo` to prepare to use memory.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable StepExecutor::startComputeOnCpu (#341)

- Enable StepExecutor::startComputeOnCpu

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Skip pthread TRY_RUN when cross build (#340)

Enable Conv2D and FullyConnected operations (#333)

- Introduce Conv2D and FullyConnected operations
- Enable OperationType::CONV_2D and OperationType::FULLY_CONNECTED
  of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix NN_RUNTIME build option (#336)

This will move BUILD_NN_RUNTIME option into src of cmake as src has separate util project

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix link fail for pthread on obs (#338)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Rename experiments to labs (#296)

As external and experiments both start with ex, it makes more typing.
This will change experiments folder name to labs to work more efficiently.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix name of target in nn/runtime/CMakeLists.txt

- Fix name of target in nn/runtime/CMakeLists.txt

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable three operation of CpuExecutor

- Introduce Concatenation operation
- Enable OperationType::CONCATENATION, OperationType::SOFTMAX
  and OperationType::MAX_POOL_2D of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add target external_acl for docker build (#325)

To skip acl build on docker env, `make external_acl` will copy shared libs
to lib folder.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Fix compilation errors in StepExecutor::startComputeOnCpu

- Link pthread for NNRuntime test executables
- Add using statement for Status
- IExecutionCallback to ExecutionCallback

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable Pooling of CpuExecutor

- Enable Poolinig of CpuExecutor
- Enable OperationType::AVERAGE_POOL_2D of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Copy `Status.cpp` from libhidl of Android

This commit copies `Status.cpp` from libhidl of Android.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

T/F Lite Conv Example: Use NN API (if possible)

This commit revises T/F Lite Conv Example to use NN API (if possible).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Do not build ACL static libraries (#306)

* Do not build ACL static libraries

This commit updates acl.cmake not to build static libraries in order to
reduce build time.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add arm ubuntu cross build script (#312)

* Add arm ubuntu cross build script

build step
1. prepare rootfs for arm ubuntu
2. run docker/docker_build_cross_arm_ubuntu.sh

TODO
Cache ACL build artifacts

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* Add install target

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* apply comment and extract long command string

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Introduce 'tflite_conv_example' (#317)

This commit introduce 'tflite_conv_example' which creates and runs a simple
NN model with one convolution with T/F Lite interpreter.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable SimpleMath of CpuExecutor

- Enable SimpleMath of CpuExecutor
- Enable OperationType::ADD of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Change comment

Add TODO comment into ExecutionBuilder::startCompute

This commit adds TODO comment into ExecutionBuilder::startCompute for future plan.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove dummy return in Execution::create()

This commit removes dummy return which causes 'NeuralNetworksExecution_setInput passed a nullptr' in Execution::create().

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Memory::create()

This commit implements Memory::create().

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce CPU operation of NN runtime

- Introduce CPU operation of NN runtime
- Also introduce eigen and gemmlowp in depend/external

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Remove dummy return in CompilationBuilder::createExecution

This commit removes dummy return which causes 'NeuralNetworksExecution_setInput passed a nullptr' in CompilationBuilder::createExecution.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add std::endl before logging by LOG

Currently, we can see the log logging by LOG only in one line. It is very hard to read.
This commit adds std::endl before logging by LOG helper for easy to read.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Execution_setOutput

This commit implements Execution_setOutput.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add empty template code for kernel testing (#311)

This will add initial empty code for kernel testing programs
Main purpose of this change is to add add_kerneltesting method in cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix acl expierments cmake

This will fix cmake of acl experiment to use common variables defined in root cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Tflite file operator selection tool (#310)

User select operators in input tflite model, and write these operators' number in text file.
This tool read input tflite model and text file,
then generate tflite model including selected operator only

This version can select operations in inception v3 nonslim

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce OperationsUtils

- Introduce OperationsUtils
- Make use of types introduced from OperationUtils in CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Implement Execution_startCompute for only CPU

This commit implements Execution_startCompute for only CPU.

- Add StepExecutor(const ExecutionBuilder* executionBuilder, const ModelBuilder* model)
- enable StepExecutor::mapInputsAndOutputsTrivially

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Execution_setInput

This commit implements Execution_setInput.

- Enables
  - ModelArgumentInfo::setFromPointer
  - ModelArgumentInfo::updateDimensionInfo
  - DataLocation

Introduce cmake vars for acl (#304)

This will introduce NNFW_ACL_INCLUDES and NNFW_ALC_LIBS to cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Allow users to skip NN Runtime and experimental projects (#292)

This commit updates CMakeLists.txt to allow users to skip NN Runtime and
experimental project build.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Change arm gcc version to 5.4 (#301)

arm gcc 4.9 does not support cross build on docker image.
This fixes such build fail.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Introduce 'tflite_benchmark' tool (#298)

This commit introduces 'tflite_benchmakr' which repeats 'Invoke' call
and measures elapsed time for each 'Invoke' call.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Implement Event_wait Event_free

This commit implements Event_wait, Event_free and enables android::sp in NeuralNetworks.cpp.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[NN Runtime] Add `StringPointer.cpp` to libutils

This commit adds `StringPointer.cpp` to libutils.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix build error in ExecutionBuilder

- Fix build error in ExecutionBuilder
- We don't have ExecutionPlan member in ExecutionBuilder

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add missed ExecutionBuilder constructor

This commit adds missed ExecutionBuilder constructor.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable CpuExecutor::executeOperation

- Enable CpuExecutor::executeOperation by introducing required types

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Handle NNRuntime's testcases consistently

- Put all testcases in ref/nn/runtime/sample
- Use same naming style for source code and binaries

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add Callbacks without inheritance of IExecuteCallback (#272)

* Add Callbacks without inheritance of IExecuteCallback

This commit adds Callbacks without inhritance of IExecuteCallback.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Inherit RefBase

Use shared library for convolution examples

This commit updates acl.cmake to use shared library for convolution
examples (instead of static one).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce nnapi_test tool (#290)

* Introduce nnapi_test tool

This commit introduces nnapi_test tool, which runs T/F Lite interpreter
with and without NNAPI, and compare their result.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Test script prototype for framework (#266)

* Test script prototype

Make new directory for test script
Add gitignore: cache directory for model download
Define test script

- Download inception v3 model
- Run tflite_run

HOWTO:
Ex) At root directory
DRIVER_BIN=Product/out/bin/tflite_run tests/framework/inception_v3.sh

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Set default for DRIVER_DIR

Set default value for DRIVER_DIR
Define variable for download server

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Run 'warming-up' iterations before measurement

This commit updates 'run_benchmark' function to run 3 warming-up
iterations before actual measurement.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Generate a single shared library for NN runtime

- Generate a single shared library for NN runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Introduce NNFW_INCLUDE_DIR for cmake (#285)

This will add common NNFW_INCLUDE_DIR for cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Change default to use OpenCL for experiments (#284)

This will change ACL to use OpenCL for default for experiments

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix bindacl, convacl experiment to use environment (#280)

This will fix bindacl and convacl expierment to use envionment variable to choose NEON/OpenCL
And also remove alc's utils methods

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Do measure tensor update/extraction time (#279)

This commit revises tflite_run not to measure tensor setting & extraction time (for Invoke).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce 'Inception v3' benchmark (#283)

This commit introduces 'inception v3' benchmark (which is derived from
inception v3 ACL Graph API example).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Build ExecutionBuilder

This commit builds ExecutionBuilder which is not included to build.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Change the library name of NN Runtime to `neuralnetworks`

This commit changes the library name of NN Runtime to `neuralnetworks`.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Update gitignore for acl build outputs

This will add git ignore file/folders for acl

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix convacl to use unique_ptr

This will fix convacl experiment to use std::unique_ptr

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix bindacl experiment (#274)

* Fix bindacl experiment

This will fix bindacl experiment by adding its own dummy accessor

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use new for unique_ptr

Update acl.cmake for v18.03

This commit updates acl.cmake to build ARM Compute Library v18.03
correctly.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable members of CpuExecutor and required types

- Enable members of CpuExecutor and required types

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Implement Execution_free

This commit implements Execution_free.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove including duplicate of CompilationBuilder.h

This commit removes including duplicate of CompilationBuilder.h in NeuralNetworks.cpp

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Update cmake rule for reference NN runtime (#254)

* Update cmake rule for reference NN runtime

- Create a single libneuralnetworks_ref.so for a reference NN runtime
- Later we will remove unnecessary targets after unit tests are updated

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Update cmake rules

- Move TODO-NNRT comment to correct location
- Update rules to correctly include source files

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>