Support skip test in run_test.sh (#466)

Support skip test in run_test.sh
Can skip by setting STATUS="disabled" in config.sh

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove verbose in run_test.sh (#461)

Remove verbose in run_test.sh to reduce CI record

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add tools/test_driver on build_test_suite in Makefile (#458)

Adds tools/test_driver on build_test_suite in Makefile. test_driver.sh
is going to be included in the test-suite.tar.gz.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Introduce nnfw::support::tflite::TensorView (#456)

This commit introduces 'nnfw::support::tflite::TensorView' which allows
users to easily access elements in TensorFlow Lite Tensor object.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add test_driver.sh for verification (#439)

* Add test_driver.sh for verification

This commits add test_driver.sh to Product/out/bin for verification.
Additional tests would be appended in this script soon.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Add more test scripts for TF Lite models (#422)

Related issues #84 and #402

This patch adds test scripts for TF Lite models created in #402.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Support Enable/Disable VLOG (#451)

Introduce environment variable VLOG for Enable/Disable VLOG outputs.
`VLOG` is disabled by default.

Example usage

```
VLOG=1 ./tests/framework/run_test.sh # Enable VLOG
```

Introduce 'nnfw_support_tflite' lib (#452)

This commit introduces 'nnfw_support_tflite' lib which provides various
helpes for accessing TensorFlow Lite internals.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL NN Runtime] Implement ANeuralNetworksMemory (#424)

This commit implements ANeuralNetworksMemory in experimental pure ACL NN
runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce IndexIterator (for feature) (#428)

This commit introduces IndexIterator class and relevent helpers in
nnfw::util::feature namespace to make it easy to iterate over feature
elements.

This commit includes updates on NNAPI Conv1 Unittest to demonstrate how
to use these helpers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Print shape info in model parser tool (#449)

* Print shape info in model parser tool

Print shape info in model parser tool to get tensor size

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Update README.md

Update README.md to show shape info

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Support update in TfLiteFeatureView (#425)

This commit introduces a (in-place) update method into TfLiteFeatureView
class.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce 'nnfw::util::fp32' namespace (#445)

This commit introduces 'nnfw::util::fp32' namespace which includes
various helps for handling floating-pointer numbers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce 'nnfw::util::tensor' namespace (#440)

This commit introduces 'nnfw::util::tensor' namespace which will include
various helpers for tensor (ND-array) object.

Currently, 'nnfw::util::tensor' namespace includes the following
classes and funtiont:
 - class Index
 - class Shape
 - class IndexIterator
 - method iterate

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Bring android NN runtime tests (#438)

This PR introduces TestMain.cpp, TestTrivialModel and TestValidation
from Android NN tests.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable ModelBuilder::sortIntoRunOrder() (#435)

This commit enables ModelBuilder::sortIntoRunOrder() which is missed in implementation.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Comment out the unnecessary assertion in CONV2D Op. (#430)

This commit comments out the unnecessary assertion in CONV2D Op.

Related #403

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introduce 'nnfw::util::vector' namespace (#421)

This commit introduces 'nnfw::util::vector' namespace which includes
various helpers for vector objects.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix wrong return value (#436)

This commit fixes wrong return value.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove the dependency on hal and hidl from interfaces related to the memory. (#399)

This commit removes the dependency on hal and hidl from interfaces related to the memory.

- IMemory@1.0
- IAllocator@1.0

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Change tools/nnapi_test to install (#429)

This commits enables tools/nnapi_test moved to Product/out/bin on
installed.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Add md5hash check for test files (#418)

To verify cached files are good

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce 'nnfw::util::kernel' namespace (#414)

This commit introduces 'nnfw::util::kernel' namespace which holds
various helpers for handling convolution kernels.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnapi_test] Show details on test failure (#407)

This commit allows users to check details on test failure via
environment variable (VERBOSE).

Note that this feature is turned off by default.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI unittest] Show configurations before run (#417)

This commit revises 'nnapi_unittest_conv_1' to show configurations
before run (to make it easy to analyze issues).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce TfLiteFeatureView (#412)

This commit implements TfLiteFeatureView in NN API Unittest (conv_1).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI Unittest] Fix environment variable setup (#411)

This commit fix IntVar class to set an internal variable correctly from
environments.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix bug in run_test.sh (#415)

Fix bug when finding test directory

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add ActivationLayer to kernel test lab (#409)

This will add ActivationLayer with Relu to convolution kernel test lab

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnapi_test] Fix float equality condition (#408)

0.0f is not equal to 0.0f in the current equality condition.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove the dependency on hal and hidl from interfaces of neuralnetworks (#397)

This commit removes the dependency on hal and hidl from interfaces of neuralnetworks.

- version 1.0 : IDevice, IPreparedModel, IExecutionCallcak, IPreparedModelCallback and types
- version 1.1 : IDevice and types

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable remaining helpers in OperationsUtils (#396)

- Enable remaining helpers using activation type in OperationsUtils

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable googletest for unittesting (#398)

0. Support arm-cross, x64-native, arm-native, and tizen-obs build
1. Introduce googletest at top level
2. Add simple test tflite_test.cc : this should be removed
3. Add howto doc

Setup NN API without NN Runtime project (#390)

This commit adds a room for NN API implementation without NN Runtime
(for experiments).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add git to docker image for nnfw (#405)

- Add git package to docker image for nnfw

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add USE_LOGNN option for make check (#400)

Enables having choice for LD_LIBRARY. The default LD_LIBRARY is out/lib
while obj/tools/nnapi_bindings/bindings/logging on USE_LOGNN=1. This is
supported for debugging.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Use docker image of nnfw repo in CI (#401)

- Use docker image of nnfw repo in CI, i.e. nnfw_docker

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Introduce nnfw::util::feature namespace (#393)

* Introduce nnfw::util::feature namespace

This commit introduces nnfw::util::feature namespace which will contain
various helpers for 3D tensor object.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix a typo(utils -> util)

* Implement feature::Shape's consturctor in its header

Introduce nnfw::util::env::IntAccessor (#392)

This commit introduces nnfw::util::env::IntAccessor which makes it easy
to access environmets (for configuration).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce util::benchmark (#391)

This commit extracts benchmark-related helpers (implemented inside
tflite_benchmark) as a shared library.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use float-compare on NN API testing (#389)

* Use float-compare on NN API testing

This commit revises nnapi_test to use float-compare on NN API
implementation testing.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use std::isnan instead of isnan

Introduce nnapi_template (#388)

This commit introduces nnapi_template which provides a dummy NN API
implementation in order to make it easy to introduce an experimental NN
API implementation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Support STRIDE configuration (#386)

This commit revises nnapi_unittest_conv1 to support STRIDE
configuration.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Manage bias_data lifetime correclty (#385)

T/F Lite Interpreter assumes that buffer passed via
SetTensorParametersReadOnly method lives longer than the interpreter
itself.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce simple .tflite model generator for CONV2D (#381)

This commit introduces a simple .tflite model generator.
This first version only supports CONV2D for now.

Usage:
`$ modelgen.py` generates model.json
`$ modelgen.sh model.json` generates model.tflite

You can modify parameters `kernel_shape` and `input_shape` in modelgen.py
to generate different sizes of the kernel and input.

You can execute modelgen.py and modelgen.sh in any directory because
they find where they located at.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

build test-suite for test on target (#375)

* build test-suite for test on target

1. test-suite.tar.gz contains tests and Product/out
2. cross-build on CI generates test-suite

Fix SIGFPE of CpuExecutor (#395)

Enable following helpers
- getScalarData(const RunTimeOperandInfo& info)
- IsNullInput(const RunTimeOperandInfo *input) {

This resiolves SIGFPE reported at #370

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Rename nnapi_unitest_common to nnapi_unittest_common (#384)

This patch adds a missing 't' to the lib name.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Export nnfw_util's include path (#387)

This commit exports nnfw_util's include path as PUBLIC to make it
easy to use nnfw_util.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add Tizen rootfs for arm cross compilation (#378)

- Add Tizen rootfs for arm cross compilation

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix build break on Ubuntu 14.04 (#383)

This commit fixes build break on Ubuntu 14.04.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

add the hal interfaces of neuralnetworks@1.1 to android_nn of labs (#371)

This commit adds the hal interfaces of the neuralnetworks@1.1 to android_nn of labs.

The interfaces of neuralnetworks have been included in o-mr1-iot-preview-7 android-o-mr1-iot-preview-7 android-p-preview-1.
Ref : https://android.googlesource.com/platform/hardware/interfaces/+/7df64ea2fd8c8e501ac1ba5cb05def96f8a8d49e
Additionally, This is the history log) related to android nn of o-mr1-iot-preview-7 branch.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce add_nnapi_unittest function (#380)

This commit introduces add_nnapi_unittest function in 'CMakeLists.txt'
to make it easy to add new unittests.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix wrong setting libneuralnetworks.so (#372)

Set right libneuralnetworks.so. To do this, revise some options such as
OPTIONS_LD_LIB_NNAPI and USE_NNAPI.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Introduce NNAPI Unittest through T/F Lite (#374)

This commit introduces a convolution NNAPI unittest which
invokes NN API via T/F Lite interpreter and compare it with
the output of T/F Lite pure interpreter.

This testcase is derived from a convolution example in tflite_examples.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Compare with CPU and ACL result in kernel conv test (#368)

This will enable convolution test to get expected from CPU and result from ACL and compare the two.
Some changes was done not directly related with tis change but to fix compile and linking.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

install libneuralnetworks.so into lib (#369)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add make check for run_test.sh (#361)

* Add make check for run_test.sh

This make check executes run_test.sh to test scripts in test/framework/

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Apply other comments

- Separate `make install` & `make check`
- Only tests for x86 (NOT cross-build for arm)
- Add LD_LIBRARY_PATH on USE_NNAPI=1

Add compareData for kernel test lab (#362)

This will add compareData that compares result and expected of convolution.
Success will do nothing and show error with exit -1 when fails.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Get rid of cmake find_package(Threads) (#357)

We cannot use find_package(Threads) since some of our build
system use old version cmake. pthread is linked directly now.
So I removed find_package(Threads) and related statements.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable setInputFromMemory and setOutputFromMemory from Execution (#360)

This commit enables setInputFromMemory and setOutputFromMemory from Execution.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Modify output log in simple_model (#359)

This commit modifies output log in simple_model.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

 Change test script construction (#354)

* Change test script construction

- Make directory for each test
- Make config.sh file for each test setting

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Labs - kernel unit test - add convFloat32 method (#352)

* Labs - kernel unit test - add convFloat32 method

This will add convFloat32 method from NN runtime to prepare binding ACL convolution

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove empty line

* add space for readability

docker arm cross build with no acl/rootfs build (#342)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Separate Cross build for arm document (#358)

This will separate cross build for arm section in main readme into docs folder file

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add manual conv with excel (#356)

This will add and simple 3x3 convolution in excel file.
It uses excel built-in SUMPRODUCT() method.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix a failure to set RunTimePoolInfo (#355)

* Fix creating ashmem fail

This commit fixes creating ashmem fail.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>
* Fix the fail to set RunTimePoolInfo

This commit fixes the fail to set RunTimePoolInfo.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix creating ashmem fail (#350)

This commit fixes creating ashmem fail.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Make readme file for tflite file tool (#353)

Make reaeme file for

- model parser
- model generator

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

T/F Lite Conv Example: Use non-squared IFM & Kernel (#337)

This commit revises T/F Lite Conv Example to use non-squred IFM and
Kernel to make it easy to distinguish dimensions.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce weights extractor from .tflite (#288)

This commit introduces weight/bias extractor from .tflite file.
You can execute this script like below:

`$ extract_from_tflite.sh inception.tflite`

Then, you can find *.npy files in the current working directory.
Those *.npy files contain weight or bias values.
The name of each file is set to be the name of each layer.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Modify add sample (#349)

This commit modifies add sample to fix the bug and show printing results.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Update TODO of NeuralNetworks.cpp (#344)

- Update TODO comment to use REF-ANN and TODO-NNRT
- Implment some TODO-NNRT

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable MUL of CpuExecutor (#345)

- Enable MUL of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable the methods of `RunTimePoolInfo` to prepare to use memory (#343)

This commit enables the methods of `RunTimePoolInfo` to prepare to use memory.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable StepExecutor::startComputeOnCpu (#341)

- Enable StepExecutor::startComputeOnCpu

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Skip pthread TRY_RUN when cross build (#340)

Enable Conv2D and FullyConnected operations (#333)

- Introduce Conv2D and FullyConnected operations
- Enable OperationType::CONV_2D and OperationType::FULLY_CONNECTED
  of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix NN_RUNTIME build option (#336)

This will move BUILD_NN_RUNTIME option into src of cmake as src has separate util project

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix link fail for pthread on obs (#338)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Rename experiments to labs (#296)

As external and experiments both start with ex, it makes more typing.
This will change experiments folder name to labs to work more efficiently.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix name of target in nn/runtime/CMakeLists.txt

- Fix name of target in nn/runtime/CMakeLists.txt

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable three operation of CpuExecutor

- Introduce Concatenation operation
- Enable OperationType::CONCATENATION, OperationType::SOFTMAX
  and OperationType::MAX_POOL_2D of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add target external_acl for docker build (#325)

To skip acl build on docker env, `make external_acl` will copy shared libs
to lib folder.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Fix compilation errors in StepExecutor::startComputeOnCpu

- Link pthread for NNRuntime test executables
- Add using statement for Status
- IExecutionCallback to ExecutionCallback

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable Pooling of CpuExecutor

- Enable Poolinig of CpuExecutor
- Enable OperationType::AVERAGE_POOL_2D of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Copy `Status.cpp` from libhidl of Android

This commit copies `Status.cpp` from libhidl of Android.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

T/F Lite Conv Example: Use NN API (if possible)

This commit revises T/F Lite Conv Example to use NN API (if possible).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Do not build ACL static libraries (#306)

* Do not build ACL static libraries

This commit updates acl.cmake not to build static libraries in order to
reduce build time.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add arm ubuntu cross build script (#312)

* Add arm ubuntu cross build script

build step
1. prepare rootfs for arm ubuntu
2. run docker/docker_build_cross_arm_ubuntu.sh

TODO
Cache ACL build artifacts

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* Add install target

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* apply comment and extract long command string

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Introduce 'tflite_conv_example' (#317)

This commit introduce 'tflite_conv_example' which creates and runs a simple
NN model with one convolution with T/F Lite interpreter.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable SimpleMath of CpuExecutor

- Enable SimpleMath of CpuExecutor
- Enable OperationType::ADD of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Change comment

Add TODO comment into ExecutionBuilder::startCompute

This commit adds TODO comment into ExecutionBuilder::startCompute for future plan.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove dummy return in Execution::create()

This commit removes dummy return which causes 'NeuralNetworksExecution_setInput passed a nullptr' in Execution::create().

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Memory::create()

This commit implements Memory::create().

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce CPU operation of NN runtime

- Introduce CPU operation of NN runtime
- Also introduce eigen and gemmlowp in depend/external

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Remove dummy return in CompilationBuilder::createExecution

This commit removes dummy return which causes 'NeuralNetworksExecution_setInput passed a nullptr' in CompilationBuilder::createExecution.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add std::endl before logging by LOG

Currently, we can see the log logging by LOG only in one line. It is very hard to read.
This commit adds std::endl before logging by LOG helper for easy to read.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>