Support ReLU activation (#571)

This commit revises Conv2D operation kernel to support ReLU activation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Gather acl kernel operator prototypes (#569)

* Gather acl kernel operator prototypes

This will gather acl kernel operator prototypes to root include folder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add reshape

Update convolution manual calculation xls (#562)

This will update xls file with 3x5 input with 2 kernels

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[NNOP] The first version of reshape layer (#566)

This commit introduces the first version of reshape layer using ACL.
Unit test will be added more in later commits.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Remove ext libs used to build TF Lite (#541)

For issue #491

This patch is to remove external libs that were used to build TF Lite and to use a script that brings
those libraries from the tensorflow directory.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Move conv kernel to cl folder (#561)

This will move Conv kernel source into cl folder for cl implementations

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

tflite_run: initialize _elapsed in ElapsedTime (#559)

Fixes issue #540

This patch initializes _elapsed in ElapsedTime as 0.0 to set a correct
time value.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Add 3x5 2 kernel convolution test (#552)

* Add 3x5 2 kernel convolution test

This will add 3x5 with 2 kernel convolution test and fix format conversions

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply review comments

Introduce interactive docker option (#545)

To build and test continuously in the docker environment, run as below:
`$ DOCKER_INTERACTIVE=1 ./docker/Docker_build_cross_arm_ubuntu_without_aclbuild.sh`

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[Pure ACL] Fix build break (#556)

This commit removes inputs/outputs field from Plan class (as it now has
a reference to Model class which has inputs/outputs) to fix build break.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix convolution kernel test failure (#557)

This will fix convolution kernel on acl test

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[NNOP] The first version of fullyConnectedFloat32 (#547)

This commit introduces the first version of fullyConnectedFloat32
to integrate ACL with NN runtime.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Remove functions used in only ExecutionPlan in ExecutionBuilder (#546)

This commit removes functions used in only ExecutionPlan in ExecutionBuilder

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introduce CLUniqueTensor (#551)

This commit introduces CLUniqueTensor which initialize and allocate
buffer in its constructor, and free that buffer in its destructor.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL] Pass NNAPI model to execution (#544)

The following functions need to access model information through
ANeuralNetworksExecution object:
 - ANeuralNetworksExecution_setInput
 - ANeuralNetworksExecution_setOutput

This commit renames class Model in internal::arm_compute namespace as
Plan, revises it to include a reference to NNAPI model.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Set arm_compute::TensorShape for bias correctly (#549)

This commit revises convFloat32 implementation based on ARM Compute to
correctly set bias shape. This change fixes clBuffer exception during
bias memory allocation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove comment from test_driver.sh (#542)

Invoke NNFW ACL kernels via runtime (#535)

* Invoke NNFW ACL kernels via runtime

This commit allows users to invoke NNFW ACL Conv2D kernel via runtime.
It also adds link directory for ARM Compute Library.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable RESHAPE of CpuExecutor. (#496)

Add the RESHAPE operation file and enable the
operation in CpuExecutor.

Signed-off-by: Tanuj Tekriwal <tanuj.tekri@samsung.com>

Bring Android NN Runtime Generated Tests (#463)

C++ Tests generated from python specs are added.
Its build is default off since it requires g++ >= 7.
You can enable it by defining BUILD_ANDROID_NN_RUNTIME_TEST=ON.

Simple tests (float_xxx and add) pass.
For others (conv_quants_xxx, depthwise_xxx, etc), we have to enable
the code from android NN (currently enclosed with comment).

I included generated C++ not python spec file and generator script.
Because i) It tooks about 12 sec in my machine to generate.
       ii) I belive the tests seldom change.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[Pure ACL] Store Network Inputs/Ouputs (#543)

This commit revises tflite::Model and arm_comput::Model to store the
inputs and outputs of a given network.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Extract general functions from Conv2D_acl.test.cpp (#539)

- TestEnvironment -> gtest_env.cpp
- initData() and compareData() -> util.cpp

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Update the TensorFlow submodule to the latest commit (#537)

This patch updates the TensorFlow submodule to the latest commit in the
nnfw branch.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Fix broken links to tensorflow (#538)

- Fix broken links to tensorflow

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix obs build fail on libkernelacl (#531)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Return correctly on NNAPI test failure (#536)

This commit revises TfLiteInterpMatchApp to return boolean instead of
integer.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL NNRT] Introduce Conv2D Param Constructor (#528)

This commit introduces a constructor for implicit Conv2D Param class
which initializes parameters using arrays.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use N/H/W/C ordering for fromNNShape (#530)

NNAPI assumes that N/H/W/C binding for 3D feature map tensor.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

generate xml test result for unittest (#527)

test results with xml format are generated on report dir.
This files will be used on junit of CI.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Clean includes in NeuralNetworks.cpp (#533)

This commit cleans includes in NeuralNetworks.cpp (except NeuralNetworksOEM.h)

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove unused includes and codes in CompilationBuilder (#529)

This commit removes unused includes and codes in CompilationBuilder.

- Remove partition codes
- enable VLOG in constructor
- Remove ExecutionPlan codes
- Remove unused includes

Related : #503
Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove unused functions and includes in ModelBuilder (#512)

This commit removes unused functions and includes in ModelBuilder.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introduce nnfw::util::tensor::Object (#505)

This commit introduces nnfw::util::tensor::Object, which makes it easy
to generate a random tensor object for testing.

This commit also simplifies nnapi_test and nnapi_unintest_conv_1
implementations using this new helper class.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL NN Runtime] Add Execution Placeholder (#526)

This commit partially implements functions related with ANeuralNetworksExecution
struct.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce nnfw_kernels (#517)

- Introduce nnfw_kernels to choose kernel for various target at runtime
- Apply nnfw_kernels to convFloat32 used at OperationType::CONV_2D
  - Introduce environment variable NNFW_KERNEL_convFloat32 to select target of convFloat32
  - Tested with convolution_test2.tflite

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[NNAPI Unittest] Add softmax (#471)

This commit adds softmax NNAPI unittest. It is related with #374.

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>

Implement convolution kernel with ACL (#521)

This will implement convolution kernel with ACL in the simplest way.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Early version of freezer ( Tensorflow model (code level) to frozen model ) (#419)

This commit introduces a tool to convert Tensorflow model (in code level) to frozen model file.
This could be used in future to generate many frozen model files for test cases.
The following samples to generate frozen model are included.

- relu(wx+b)
- softmax(wx+b)

Enable tizen cross/obs build (#482)

1. setup tizen cross/obs build
2. add tizen cross build script

Build assumes that libarmcl-devel, gtest-devel and tensorflow-lite are installed
on tizen's rootfs. Since libarmcl and tensorflow-lite is not present
on public tizen repo, please use private local repo like
`http://10.113.61.134/repo/` for obs build. For cross build, rootfs is
uploaded on `http://npuarchive.mooo.com/archive/nnfw/rootfs/rootfs_arm_tizen.tar.gz`.

[NNAPI Unittest] Use random kernel/bias for conv_1 (#524)

* [NNAPI Unittest] Use random kernel/bias for conv_1

This commit revises 'nnapi_unittest_conv_1' to use random kernel and
bias values for testing.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL NN Runtime] Implement Compilation (#522)

This commit partially implements ANeuralNetworksCompilation_create with
partially defined ANeuralNetworksCompilation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use common test driver for NN API tests (#514)

This commit extracts test driver implemented in 'nnapi_test' as utility,
and uses it to revises 'nnapi_unittest_conv_1'.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL NN Runtime] Support casting operations over Shape (#519)

This commit introduces various casting operations over operand::Shape
class in pure ACL NN runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Resolve TODO-NNRT (#518)

- Resolve TODO-NNRT
  - Remove including <limit> header file

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Handle reshape and depthwise convolution in operator selector (#476)

Operator selector (select_operator.py) can handle new two operators

- Reshape
- Depthwise convolution

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Clean declaration section in ModelBuilder.h (#511)

This commit cleans declaration section in ModelBuilder.h

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Revert remaining commented LOG codes to original (#506)

This commit reverts remaining commented LOG codes to original.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable static_assert in NeuralNetwors.cpp (#508)

This commit enables static_assert in NeuralNetwors.cpp
The assertions of 'OEM Operations' are commented out in current scope now.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Clean up cmake files in directory depends (#507)

This commit clean up cmake files in directory depends.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

typo fix: NNFw_OWNER_GID -> NNFW_ (#513)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

fix a typo in nnapi_test (#510)

This commit fixes a typo in nnapi_test.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[Pure ACL NN Runtime] Partailly implement addOperation (#501)

This commit implements ANeuralNetworksModel_addOperation partially for
Conv2D operation with implicit paddings.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI Test] Support dynamic tolerance (#509)

This commit allows 'nnapi_test' to dynamically adjust its tolerance level.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Rename libtensorflow_lite.a to -lite.a (#504)

Makefile on tensorflow-lite repo uses -lite.a
To enable obs build, need to follow orignal naming.

Extract Tensor IndexFormatter as utility (#489)

This commit extracts TensorIndexFormatter (implemented in NNAPI test) as
utility.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

HowTo documentation for docker image of nnfw (#427)

* HowTo documentation for docker image of nnfw

- Add HowToUseDockerImage.md

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Add private registery configuration for different docker daemon

- Add private registery configuration for different docker daemon

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Apply review feedbacks

- Apply review feedbacks

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Introduce nnfw kernel Initialize (#502)

This will introduce initialize function for nnfw acl kernels

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Labs convolution with acl runtime (#500)

This will update labs convolution test using acl runtime layer

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce tensor::NonIncreasingStride (#499)

This commit extracts stride-related code from TensorView in nnfw::support::tflite
as NonIncreasingStride utility class (in nnfw::util::tensor).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Docs tizen on xu4 (#498)

* Docs tizen on xu4

This will add how-to document about tizen on xu4 from wiki page

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce NNFW_GTEST_LIBS for test programs (#497)

This will introduce NNFW_GTEST_LIBS variables having gtest libraries for test programs

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[Pure ACL NN Runtime] Implement setOperand functions (#490)

This commit implements setOperandValue and  setOperandValueFromMemory
functions for pure ACL NN Runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce an image generator (#426)

This commit introduces an image generator:

- How to execute:
`$ ./imagegen.py`
Two output images are generated: `image.bin` and `image.ppm`.

- Changing the size of the output image
Change variable `image_size` at the beginning of `imagegen.py`.

- Changing output image format
If you want to output another image format, you can use as below:
`im.save("image.jpg")`

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Introduce nnfw::util::tensor::Zipper (#495)

This commit introduces Zipper class and related helper methods.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI Test] Initialize IFM with float values (#494)

This commit revises 'nnapi_test' to initialize IFM with float values.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix CI build fail due to permission(for pipiline job) (#469)

On pipeline job, workspace clean is not a default option. Thus we have
to clean up WS manually on pipeline. Without this patch, cleanup is
not allowed due to permission error. It is based on c93d050642e196b0d667a9dee34117aa330f5fbc.

  1. fix permission error on CI
  2. supress wget output with `-nv`

Remove the dependency on hal and hidl from IServiceManager (#444)

This commit removes the dependency on hal and hidl from IServiceManager.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add kernels implementation placeholder (#448)

* Add kernels implementation placeholder

This will add empty kernels placeholder source and initial cmakefiles and empty test source

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Work around the github permission issue

This patch is to work around the access permission issue on github using
submodule.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Add tensorflow module

For issue #332

This patch adds https://github.sec.samsung.net/RS7-STAR/Tensorflow/tree/nnfw
as a submodule.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Remove externals/tensorflow

For issue #332

As the first step to use git submodule for TensorFlow, this commit first
removes externals/tensorflow.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Remove unused eq operator over TfLiteTensor (#483)

equality operator over TfLiteTensor is no longer used.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Print out max relative difference (#473)

* Print out max non-zero observed relative difference

- Print out max non-zero observed relative difference
  for both MATCHED and UNMATCHED

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Apply review feedbacks

- Apply review feedbacks

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Introduce equality over tensor::Shape (#488)

This commit introduces == operator over tensor::Shape, and use it to
check shape equality over two tensors under comparision.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce nnfw::support::tflite::interp::Builder (#487)

This commit introduces 'nnfw::support::tflite::interp::Builder' as a
common interface for NNAPI test & unittests.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[nnfw_support_tflite] Introduce TensorUtils.h (#486)

* [nnfw_support_tflite] Introduce TensorUtils.h

This commit introduces TensorUtils.h in nnfw_support_tfilte library.
This header provides various helper functions over TfLiteTensor objects.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove irrelevant change

[Pure ACL Runtime] Implement ANeuralNetworkModel (#477)

This commit partially implements ANeuralNetworkModel in Pure ACL Runtime
to record opearnd types.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Unify graphdef and graphdump (#453)

This commit unifies graphdef and graphdump projects into tf_model_tools
(to make it easy to understand what they are).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI Unittests] Add 'env' unittest (#442)

This commit adds a 'env' unittest in NNAPI unittests module.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fill feature object with random numbers (#472)

This commit renames nnfw::util::feature::RandomObject as nnfw::util::feature::Object,
and revises it to initialize its content with user-defined number generator.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add running unittest in test_driver.sh (#484)

Runs unittest binaries in Product/out/unittest when test_driver.sh is
executed.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Extract operator== over vector as utility (#481)

This commit extracts operator== (implemented in nnapi_test) into
'util/vector.h' (for future reuse).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add googletest deps to android_nn_test (#479)

This fix issue #475

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add gnueabi arm-cross toolchain (#474)

gnueabi cross toolchain is needed to support tizen cross build

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Reduce indent level in tflite_run (#464)

Reduce indent level in tflite_run

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add framework tests for mobilenet (#478)

Add framework tests for mobilenet
These tests will not be run as default

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Bug fix in run_test.sh for skip test (#480)

Fix bug skip all test after some test skipped

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add run_tests.sh in test_driver.sh (#462)

run_tests.sh with tflite_run as driver is going to be executed in
test_driver.sh.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Support skip test in run_test.sh (#466)

Support skip test in run_test.sh
Can skip by setting STATUS="disabled" in config.sh

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove verbose in run_test.sh (#461)

Remove verbose in run_test.sh to reduce CI record

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add tools/test_driver on build_test_suite in Makefile (#458)

Adds tools/test_driver on build_test_suite in Makefile. test_driver.sh
is going to be included in the test-suite.tar.gz.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Introduce nnfw::support::tflite::TensorView (#456)

This commit introduces 'nnfw::support::tflite::TensorView' which allows
users to easily access elements in TensorFlow Lite Tensor object.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add test_driver.sh for verification (#439)

* Add test_driver.sh for verification

This commits add test_driver.sh to Product/out/bin for verification.
Additional tests would be appended in this script soon.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Add more test scripts for TF Lite models (#422)

Related issues #84 and #402

This patch adds test scripts for TF Lite models created in #402.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Support Enable/Disable VLOG (#451)

Introduce environment variable VLOG for Enable/Disable VLOG outputs.
`VLOG` is disabled by default.

Example usage

```
VLOG=1 ./tests/framework/run_test.sh # Enable VLOG
```

Introduce 'nnfw_support_tflite' lib (#452)

This commit introduces 'nnfw_support_tflite' lib which provides various
helpes for accessing TensorFlow Lite internals.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL NN Runtime] Implement ANeuralNetworksMemory (#424)

This commit implements ANeuralNetworksMemory in experimental pure ACL NN
runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce IndexIterator (for feature) (#428)

This commit introduces IndexIterator class and relevent helpers in
nnfw::util::feature namespace to make it easy to iterate over feature
elements.

This commit includes updates on NNAPI Conv1 Unittest to demonstrate how
to use these helpers.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Print shape info in model parser tool (#449)

* Print shape info in model parser tool

Print shape info in model parser tool to get tensor size

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Update README.md

Update README.md to show shape info

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Support update in TfLiteFeatureView (#425)

This commit introduces a (in-place) update method into TfLiteFeatureView
class.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>