fix a typo in nnapi_test (#510)

This commit fixes a typo in nnapi_test.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[Pure ACL NN Runtime] Partailly implement addOperation (#501)

This commit implements ANeuralNetworksModel_addOperation partially for
Conv2D operation with implicit paddings.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI Test] Support dynamic tolerance (#509)

This commit allows 'nnapi_test' to dynamically adjust its tolerance level.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Rename libtensorflow_lite.a to -lite.a (#504)

Makefile on tensorflow-lite repo uses -lite.a
To enable obs build, need to follow orignal naming.

Extract Tensor IndexFormatter as utility (#489)

This commit extracts TensorIndexFormatter (implemented in NNAPI test) as
utility.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

HowTo documentation for docker image of nnfw (#427)

* HowTo documentation for docker image of nnfw

- Add HowToUseDockerImage.md

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Add private registery configuration for different docker daemon

- Add private registery configuration for different docker daemon

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Apply review feedbacks

- Apply review feedbacks

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Introduce nnfw kernel Initialize (#502)

This will introduce initialize function for nnfw acl kernels

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Labs convolution with acl runtime (#500)

This will update labs convolution test using acl runtime layer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce tensor::NonIncreasingStride (#499)

This commit extracts stride-related code from TensorView in nnfw::support::tflite
as NonIncreasingStride utility class (in nnfw::util::tensor).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Docs tizen on xu4 (#498)

* Docs tizen on xu4

This will add how-to document about tizen on xu4 from wiki page

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce NNFW_GTEST_LIBS for test programs (#497)

This will introduce NNFW_GTEST_LIBS variables having gtest libraries for test programs

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[Pure ACL NN Runtime] Implement setOperand functions (#490)

This commit implements setOperandValue and  setOperandValueFromMemory
functions for pure ACL NN Runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce an image generator (#426)

This commit introduces an image generator:

- How to execute:
`$ ./imagegen.py`
Two output images are generated: `image.bin` and `image.ppm`.

- Changing the size of the output image
Change variable `image_size` at the beginning of `imagegen.py`.

- Changing output image format
If you want to output another image format, you can use as below:
`im.save("image.jpg")`

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Introduce nnfw::util::tensor::Zipper (#495)

This commit introduces Zipper class and related helper methods.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI Test] Initialize IFM with float values (#494)

This commit revises 'nnapi_test' to initialize IFM with float values.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix CI build fail due to permission(for pipiline job) (#469)

On pipeline job, workspace clean is not a default option. Thus we have
to clean up WS manually on pipeline. Without this patch, cleanup is
not allowed due to permission error. It is based on c93d050642e196b0d667a9dee34117aa330f5fbc.

  1. fix permission error on CI
  2. supress wget output with `-nv`

Remove the dependency on hal and hidl from IServiceManager (#444)

This commit removes the dependency on hal and hidl from IServiceManager.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add kernels implementation placeholder (#448)

* Add kernels implementation placeholder

This will add empty kernels placeholder source and initial cmakefiles and empty test source

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Work around the github permission issue

This patch is to work around the access permission issue on github using
submodule.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Add tensorflow module

For issue #332

This patch adds https://github.sec.samsung.net/RS7-STAR/Tensorflow/tree/nnfw
as a submodule.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Remove externals/tensorflow

For issue #332

As the first step to use git submodule for TensorFlow, this commit first
removes externals/tensorflow.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Remove unused eq operator over TfLiteTensor (#483)

equality operator over TfLiteTensor is no longer used.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Print out max relative difference (#473)

* Print out max non-zero observed relative difference

- Print out max non-zero observed relative difference
  for both MATCHED and UNMATCHED

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Apply review feedbacks

- Apply review feedbacks

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Introduce equality over tensor::Shape (#488)

This commit introduces == operator over tensor::Shape, and use it to
check shape equality over two tensors under comparision.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce nnfw::support::tflite::interp::Builder (#487)

This commit introduces 'nnfw::support::tflite::interp::Builder' as a
common interface for NNAPI test & unittests.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnfw_support_tflite] Introduce TensorUtils.h (#486)

* [nnfw_support_tflite] Introduce TensorUtils.h

This commit introduces TensorUtils.h in nnfw_support_tfilte library.
This header provides various helper functions over TfLiteTensor objects.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove irrelevant change

[Pure ACL Runtime] Implement ANeuralNetworkModel (#477)

This commit partially implements ANeuralNetworkModel in Pure ACL Runtime
to record opearnd types.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Unify graphdef and graphdump (#453)

This commit unifies graphdef and graphdump projects into tf_model_tools
(to make it easy to understand what they are).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI Unittests] Add 'env' unittest (#442)

This commit adds a 'env' unittest in NNAPI unittests module.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fill feature object with random numbers (#472)

This commit renames nnfw::util::feature::RandomObject as nnfw::util::feature::Object,
and revises it to initialize its content with user-defined number generator.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add running unittest in test_driver.sh (#484)

Runs unittest binaries in Product/out/unittest when test_driver.sh is
executed.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Extract operator== over vector as utility (#481)

This commit extracts operator== (implemented in nnapi_test) into
'util/vector.h' (for future reuse).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add googletest deps to android_nn_test (#479)

This fix issue #475

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add gnueabi arm-cross toolchain (#474)

gnueabi cross toolchain is needed to support tizen cross build

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Reduce indent level in tflite_run (#464)

Reduce indent level in tflite_run

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add framework tests for mobilenet (#478)

Add framework tests for mobilenet
These tests will not be run as default

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Bug fix in run_test.sh for skip test (#480)

Fix bug skip all test after some test skipped

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add run_tests.sh in test_driver.sh (#462)

run_tests.sh with tflite_run as driver is going to be executed in
test_driver.sh.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Support skip test in run_test.sh (#466)

Support skip test in run_test.sh
Can skip by setting STATUS="disabled" in config.sh

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove verbose in run_test.sh (#461)

Remove verbose in run_test.sh to reduce CI record

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add tools/test_driver on build_test_suite in Makefile (#458)

Adds tools/test_driver on build_test_suite in Makefile. test_driver.sh
is going to be included in the test-suite.tar.gz.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Introduce nnfw::support::tflite::TensorView (#456)

This commit introduces 'nnfw::support::tflite::TensorView' which allows
users to easily access elements in TensorFlow Lite Tensor object.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add test_driver.sh for verification (#439)

* Add test_driver.sh for verification

This commits add test_driver.sh to Product/out/bin for verification.
Additional tests would be appended in this script soon.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Add more test scripts for TF Lite models (#422)

Related issues #84 and #402

This patch adds test scripts for TF Lite models created in #402.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Support Enable/Disable VLOG (#451)

Introduce environment variable VLOG for Enable/Disable VLOG outputs.
`VLOG` is disabled by default.

Example usage

```
VLOG=1 ./tests/framework/run_test.sh # Enable VLOG
```

Introduce 'nnfw_support_tflite' lib (#452)

This commit introduces 'nnfw_support_tflite' lib which provides various
helpes for accessing TensorFlow Lite internals.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL NN Runtime] Implement ANeuralNetworksMemory (#424)

This commit implements ANeuralNetworksMemory in experimental pure ACL NN
runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce IndexIterator (for feature) (#428)

This commit introduces IndexIterator class and relevent helpers in
nnfw::util::feature namespace to make it easy to iterate over feature
elements.

This commit includes updates on NNAPI Conv1 Unittest to demonstrate how
to use these helpers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Print shape info in model parser tool (#449)

* Print shape info in model parser tool

Print shape info in model parser tool to get tensor size

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Update README.md

Update README.md to show shape info

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Support update in TfLiteFeatureView (#425)

This commit introduces a (in-place) update method into TfLiteFeatureView
class.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce 'nnfw::util::fp32' namespace (#445)

This commit introduces 'nnfw::util::fp32' namespace which includes
various helps for handling floating-pointer numbers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce 'nnfw::util::tensor' namespace (#440)

This commit introduces 'nnfw::util::tensor' namespace which will include
various helpers for tensor (ND-array) object.

Currently, 'nnfw::util::tensor' namespace includes the following
classes and funtiont:
 - class Index
 - class Shape
 - class IndexIterator
 - method iterate

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Bring android NN runtime tests (#438)

This PR introduces TestMain.cpp, TestTrivialModel and TestValidation
from Android NN tests.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable ModelBuilder::sortIntoRunOrder() (#435)

This commit enables ModelBuilder::sortIntoRunOrder() which is missed in implementation.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Comment out the unnecessary assertion in CONV2D Op. (#430)

This commit comments out the unnecessary assertion in CONV2D Op.

Related #403

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introduce 'nnfw::util::vector' namespace (#421)

This commit introduces 'nnfw::util::vector' namespace which includes
various helpers for vector objects.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix wrong return value (#436)

This commit fixes wrong return value.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove the dependency on hal and hidl from interfaces related to the memory. (#399)

This commit removes the dependency on hal and hidl from interfaces related to the memory.

- IMemory@1.0
- IAllocator@1.0

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Change tools/nnapi_test to install (#429)

This commits enables tools/nnapi_test moved to Product/out/bin on
installed.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Add md5hash check for test files (#418)

To verify cached files are good

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce 'nnfw::util::kernel' namespace (#414)

This commit introduces 'nnfw::util::kernel' namespace which holds
various helpers for handling convolution kernels.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnapi_test] Show details on test failure (#407)

This commit allows users to check details on test failure via
environment variable (VERBOSE).

Note that this feature is turned off by default.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI unittest] Show configurations before run (#417)

This commit revises 'nnapi_unittest_conv_1' to show configurations
before run (to make it easy to analyze issues).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce TfLiteFeatureView (#412)

This commit implements TfLiteFeatureView in NN API Unittest (conv_1).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI Unittest] Fix environment variable setup (#411)

This commit fix IntVar class to set an internal variable correctly from
environments.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix bug in run_test.sh (#415)

Fix bug when finding test directory

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add ActivationLayer to kernel test lab (#409)

This will add ActivationLayer with Relu to convolution kernel test lab

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[nnapi_test] Fix float equality condition (#408)

0.0f is not equal to 0.0f in the current equality condition.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove the dependency on hal and hidl from interfaces of neuralnetworks (#397)

This commit removes the dependency on hal and hidl from interfaces of neuralnetworks.

- version 1.0 : IDevice, IPreparedModel, IExecutionCallcak, IPreparedModelCallback and types
- version 1.1 : IDevice and types

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable remaining helpers in OperationsUtils (#396)

- Enable remaining helpers using activation type in OperationsUtils

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable googletest for unittesting (#398)

0. Support arm-cross, x64-native, arm-native, and tizen-obs build
1. Introduce googletest at top level
2. Add simple test tflite_test.cc : this should be removed
3. Add howto doc

Setup NN API without NN Runtime project (#390)

This commit adds a room for NN API implementation without NN Runtime
(for experiments).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add git to docker image for nnfw (#405)

- Add git package to docker image for nnfw

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add USE_LOGNN option for make check (#400)

Enables having choice for LD_LIBRARY. The default LD_LIBRARY is out/lib
while obj/tools/nnapi_bindings/bindings/logging on USE_LOGNN=1. This is
supported for debugging.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Use docker image of nnfw repo in CI (#401)

- Use docker image of nnfw repo in CI, i.e. nnfw_docker

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Introduce nnfw::util::feature namespace (#393)

* Introduce nnfw::util::feature namespace

This commit introduces nnfw::util::feature namespace which will contain
various helpers for 3D tensor object.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Fix a typo(utils -> util)

* Implement feature::Shape's consturctor in its header

Introduce nnfw::util::env::IntAccessor (#392)

This commit introduces nnfw::util::env::IntAccessor which makes it easy
to access environmets (for configuration).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce util::benchmark (#391)

This commit extracts benchmark-related helpers (implemented inside
tflite_benchmark) as a shared library.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use float-compare on NN API testing (#389)

* Use float-compare on NN API testing

This commit revises nnapi_test to use float-compare on NN API
implementation testing.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use std::isnan instead of isnan

Introduce nnapi_template (#388)

This commit introduces nnapi_template which provides a dummy NN API
implementation in order to make it easy to introduce an experimental NN
API implementation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Support STRIDE configuration (#386)

This commit revises nnapi_unittest_conv1 to support STRIDE
configuration.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Manage bias_data lifetime correclty (#385)

T/F Lite Interpreter assumes that buffer passed via
SetTensorParametersReadOnly method lives longer than the interpreter
itself.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce simple .tflite model generator for CONV2D (#381)

This commit introduces a simple .tflite model generator.
This first version only supports CONV2D for now.

Usage:
`$ modelgen.py` generates model.json
`$ modelgen.sh model.json` generates model.tflite

You can modify parameters `kernel_shape` and `input_shape` in modelgen.py
to generate different sizes of the kernel and input.

You can execute modelgen.py and modelgen.sh in any directory because
they find where they located at.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

build test-suite for test on target (#375)

* build test-suite for test on target

1. test-suite.tar.gz contains tests and Product/out
2. cross-build on CI generates test-suite

Fix SIGFPE of CpuExecutor (#395)

Enable following helpers
- getScalarData(const RunTimeOperandInfo& info)
- IsNullInput(const RunTimeOperandInfo *input) {

This resiolves SIGFPE reported at #370

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Rename nnapi_unitest_common to nnapi_unittest_common (#384)

This patch adds a missing 't' to the lib name.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Export nnfw_util's include path (#387)

This commit exports nnfw_util's include path as PUBLIC to make it
easy to use nnfw_util.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add Tizen rootfs for arm cross compilation (#378)

- Add Tizen rootfs for arm cross compilation

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix build break on Ubuntu 14.04 (#383)

This commit fixes build break on Ubuntu 14.04.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

add the hal interfaces of neuralnetworks@1.1 to android_nn of labs (#371)

This commit adds the hal interfaces of the neuralnetworks@1.1 to android_nn of labs.

The interfaces of neuralnetworks have been included in o-mr1-iot-preview-7 android-o-mr1-iot-preview-7 android-p-preview-1.
Ref : https://android.googlesource.com/platform/hardware/interfaces/+/7df64ea2fd8c8e501ac1ba5cb05def96f8a8d49e
Additionally, This is the history log) related to android nn of o-mr1-iot-preview-7 branch.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce add_nnapi_unittest function (#380)

This commit introduces add_nnapi_unittest function in 'CMakeLists.txt'
to make it easy to add new unittests.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix wrong setting libneuralnetworks.so (#372)

Set right libneuralnetworks.so. To do this, revise some options such as
OPTIONS_LD_LIB_NNAPI and USE_NNAPI.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Introduce NNAPI Unittest through T/F Lite (#374)

This commit introduces a convolution NNAPI unittest which
invokes NN API via T/F Lite interpreter and compare it with
the output of T/F Lite pure interpreter.

This testcase is derived from a convolution example in tflite_examples.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Compare with CPU and ACL result in kernel conv test (#368)

This will enable convolution test to get expected from CPU and result from ACL and compare the two.
Some changes was done not directly related with tis change but to fix compile and linking.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

install libneuralnetworks.so into lib (#369)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add make check for run_test.sh (#361)

* Add make check for run_test.sh

This make check executes run_test.sh to test scripts in test/framework/

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Apply other comments

- Separate `make install` & `make check`
- Only tests for x86 (NOT cross-build for arm)
- Add LD_LIBRARY_PATH on USE_NNAPI=1

Add compareData for kernel test lab (#362)

This will add compareData that compares result and expected of convolution.
Success will do nothing and show error with exit -1 when fails.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Get rid of cmake find_package(Threads) (#357)

We cannot use find_package(Threads) since some of our build
system use old version cmake. pthread is linked directly now.
So I removed find_package(Threads) and related statements.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable setInputFromMemory and setOutputFromMemory from Execution (#360)

This commit enables setInputFromMemory and setOutputFromMemory from Execution.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Modify output log in simple_model (#359)

This commit modifies output log in simple_model.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>