Tizen gbs build TestGenerated from Android NN test (#678)

Tizen gbs uses g++-6.2, which had been applied with most g++-6.3.
In case of tizen gbs build, g++-6.2 would be ok.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

g++-6.3 can build TestGenerated from Android NN test (#676)

Currently g++ 6.3 is not permitted to compile TestGenerated.
The condition is fixed so that g++ 6.3 can try to build.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[NNOP] Process various dimensions of weights and ouput for FC (#687)

This commit improves processing various dimensions of weights and output for
FC. The fully connected layer's weight and output can have various
dimensions. There can be more dimensions to be supported, but for now,
we support as below:
- 4D or 2D for weights
- 4D or 1D for outputs

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add Softmax in NEON (#691)

This will add Softmax operator with ACL/NEON backend

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Substitue run_tests.sh to test_driver.sh for make check (#669)

Substitue run_tests.sh to test_driver.sh for make check.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[Pure ACL Runtime] Support 'Concat' operation (#693)

This commit introduces partial support on ANEURALNETWORKS_CONCATENATION
operation.

Only feature map concat over depth axis is supported currently.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Model parser: new operators by toco (#684)

Parse new operators generated by toco in tensroflow 1.7

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix softmax xls formula (#688)

This will fix and simplify softmax formula in xls
to e ^ x / sum(e ^ x)

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Separate Conv2D neon implementation (#686)

This will move Conv2D neon implementation to separate module
- also with the test

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Use hybrid epsilon comparison on test (#685)

This commit revises random testing framework to use hybrid epsilon
comparision (check realtive diff only when absolute diff is larger than
0.001).

This commit also revises testing framework to show some useful
information for analyizing failures.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Update cross build script (#675)

- Find common.sh correctly using SCRIPT_ROOT

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[Pure ACL Rumtime] Support AvgPool2D op execution (#683)

This commit implements AvgPool2D planner, which allows us to run
'avgpool_test1.tflite' testcase with Pure ACL NN runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL Runtime] Set Padding for Conv2D op (#681)

This commit revises Conv2D op planner to set padding similarly as in
MaxPool2D op.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI Random Tests] Add 'reshape_1' test (#679)

* [NNAPI Random Tests] Add 'reshape_1' test

This commit adds 'reshape_1' test which allows us to test reshape
operation with random data.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove unnecessary blank

Remove Flag and use global util IntAccessor (#682)

This will remove local Flag and use global IntAccessor to check CONV2D_VERBOSE flag

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[NNOP unittest] Use TensorWrapper for FC (#651)

Use TensorWrapper for FC unit tests instead of directly access primitives.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Move unused code for Conv2D (#677)

This will remove and move unused code from Conv2D using ACL kernel

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[Pure ACL] Record AvgPool2D operation in model (#671)

This commit allows pure ACL NN runtime to record AvgPool2D operation in its model.

Note that compilation and execution is not supported, yet.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL] Support valid padding for MaxPool2D (#670)

* [Pure ACL] Support valid padding for MaxPool2D

This commit supports valid padding for MaxPool2D.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove unnecessary blank line

Update document regarding docker image (#635)

- Add link to HowToUseDockerImage.md in README.md
- Update docker image version in HowTo document

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[NNAPI Random Test] Add 'concat_1' case (#674)

This commit adds 'concat_1' test which allows us to test the
implementation of 'concat' operation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix comment in extract.py (#672)

This commit fixes typo in extract.py

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Introduce print_op.py (#673)

`print_op.py` prints operations of a TF model in order
with input/output shapes.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Temporary separate support class from Conv2D (#665)

This will extract supporting class in Conv2D module to temporary file
- To separate NEON convFloat32() to it's own module

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Extract implementations into separate files (#668)

This commit extracts several implementations in Model.h/Model.cc into
separate files (to make it easy to read code).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Allow padding type configuration for 'max_pool_1' (#664)

This commit allows users to configure padding type for 'max_pool_1'.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL Runtime] Support ReLU activation for Conv2D (#653)

This commit introduces ReLU activation support for Conv2D operation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Apply nnfw_kernel to 6 kernels used by inception v3 (#636)

* Apply nnfw_kernel to 6 kernels used by inception v3

- Apply nnfw_kernel to 6 kernels used by inception v3
- Also introduce NNFWKernels.lst file

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Refine code to minimize diff

- Refine code to minimize diff

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[NNOP] Use CLUniqueTensor for FC (#652)

This commit uses CLUniqueTensor for fullyConnectedFloat32().

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add more tests of Softmax kernel on ACL (#647)

* Add more tests of Softmax kernel on ACL

This will add non uniform input for Softmax
- ss there is diff in float comparison, compareData() is changed to use epsilon_equal()
- and epsilon_equal() had compilation problem in Ubuntu 16.04, some headers was added

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix for tizen build

* use c++ header

Add tizen gbs build script (#625)

To run, build docker image of https://github.sec.samsung.net/chunseok-lee/gbs_docker

Update Android NN runtime TestGenerated (#645)

- Related Issue: #459, #611
- Base version of Android NN Test: efd22b6
Merge "Make convFloat32 and convQuant8 not segfault when asking too much memory."

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable NN Runtime unit tests in CI (#627)

This commit enabls NN Runtime unit test in CI

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[Pure ACL Runtime] Support weight initialization (#649)

This commit introduces basic weight initialization infrastructure for
Conv2D operation support.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNOP] Introduce various init functions in TensorWrapper (#644)

This commit introduces various init functions in TensorWrapper.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[NNAPI Random Test] Introduce 'avg_pool_1' (#646)

This commit introduces 'avg_pool_1' which allows us to test the
implementation of 'AvgPool2D' operation with random data.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI random test] Introduce 'max_poool_1' (#643)

This commit introduces 'max_pool_1' random test tool for testing
the implementation of MaxPool2D operation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNOP] Introduce MatrixWeightAccessor and VectorOutputAccessor (#637)

This commit introduces two classes:
- MatrixWeightAccessor
- VectorOutputAccessor

Those two classes will be used in fullyConnectedFloat32().

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add Softmax kernel on ACL (#642)

This will add Softmax kernel on ACL and a simple test

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[NNOP] support vector and matrix in fromNNShape() (#640)

This commit adds functionality to support converting 1D and 2D tensors
in fromNNShape()

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add Dockerfile_tizen (#634)

- Add Dockerfile_tizen which support gbs build of Tizen

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[Pure ACL Runtime] Support MaxPool2D op execution (#639)

This commit implements MaxPool2D operation execution for experimental
pure ACL NN runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Remove the original constructor of StepExecutor and parameters (#568)

* Remove the original constructor of StepExecutor and parameters

This commit removes the original constructor of StepExecutor, since we use only 2 parameter in our framework.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Remove blank line

Introduce RandomTestRunner (#633)

This commit introduces RandomTestRunner, and revises all the NNAPI tests
based on random number generator to share the same framework.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL Runtime] Introduce logging infrastructure (#624)

This commit introduces basic logging infrastructure for experiemental
pure ACL NN runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

add other test cases in pooling (#631)

Extract nnfw_kernel selection into a macro (#626)

- Extract nnfw_kernel selection into a macro

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix NNAPI implementation for logging (#630)

ANeuralNetworksExecution_setInput and ANeuralNetworksExecution_setOutput
are incorrectly defined currently.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Apply tap for test framework (#618)

Apply tap for test framework. The outputs .tap file is going
to be used by jenkins plugin for reporting test results.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Fix Tizen cross-build break (#628)

This commit inserts explicit type instantiation on abs method to fix
Tizen cross-build break.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add handling options to test_driver.sh (#622)

Enables test_driver.sh to handle options properly. Now test_driver.sh
can run only for unittest, frameworktest or verification.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Introduce TensorWrapper for unittesting (#619)

This commit introduces TensorWrapper for unittesting.
This class can be used various test cases in `src/kernel`.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Initial version of ACL pooling with NEON  (#621)

* remove unnecessary blanks

Signed-off-by: lotieye.choi <lotieye.choi@samsung.com>
* Initial version of ACL pooling with NEON

Signed-off-by: lotieye.choi <lotieye.choi@samsung.com>
* add pooing with NEON in cmake

Signed-off-by: lotieye.choi <lotieye.choi@samsung.com>
* remove blanks

Signed-off-by: lotieye.choi <lotieye.choi@samsung.com>

[Pure ACL NN Runtime] Add Source/Sink (#615)

This commit introduces the concept of Source and Sink which sets inputs
before execution, and gets outputs after execution.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use CPU kernel as a default kernel (#614)

* Use CPU kernel as a default kernel

- Use CPU kernel as a default kernel

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Apply review feedback

- restrict scope of it variable

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[Pure ACL Runtime] Set Conv2D strides (#608)

This commit set Conv2D stride parameter with values read from operands.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add missed TestGenerated.cpp in Android NN tests (#616)

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[NNOP]Introduce average pooling (#610)

Clean include section of Callbacks.h (#600)

This commit cleans include section of Callbacks.h

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Initial version of ACL Conv2D with NEON (#602)

This will add Conv2D with NEON backend.
- implementation will be moved to another module after common codes are moved

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[Pure ACL] Allow model to include MaxPool2D op (#606)

This commit revises Pure ACL NN Runtime to include MaxPool2D operation
while constructing a model.

Note that execution is not supported, yet.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Use correct ANeuralNetworksExecution_setOutput signature (#605)

ANeuralNetworksExecution_setOutput should take void * (not const void *)
according to NNAPI specification.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNOP] The first version of NEON FC layer (#573)

This commit introduces the first version of NEON FC Layer.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Introduce nnfw_support_nnapi (#603)

This commit introduces 'nnfw_support_nnapi' library which provides
various helpers for implementing NNAPI.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Extract CLUniqueTensor to another file (#578)

This commit extracts CLUniqueTensor to another file
in order to use this class in other OpenCL NN Layers.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[Pure ACL NN Runtime] Implement basic compilation (#596)

This commit implements basic compilation phase for (experiemntal) pure
ACL NN runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

FIX: build fail due to fromNNShape() (#599)

Build fail due to fromNNShape() is moved to namespace nnfw::kernel::acl::util.
This commit fixes this fail by chainging `fromNNShape()` to
`util::fromNNShape()`.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Implement naive feature map and kernel update (#585)

* Implement naive feature map and kernel update

This commit implement unoptimize, naitve offset calulation (which is
easy to debug).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove unused variables

[NNOP] First version of MaxPoolingFloat32 (#563)

* add softmax unittest

* fix typoes (IFM_H -> IFM_C)

* modify dims (batch_size and input_size)

* Fix softmax unnittest according to comments
-remove empty lines
-add empty lines to the end of codes
-resolve the conflict related with #472.
-modify equality between two floats by using nfw::util::fp32::epsilon_equal

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>
* add header files for softmax unittest

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>
* add new line

add new line at the end of file

* [NNOP] First version of MaxPoolingFloat32

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>
* initialize data with increasing value

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>
* Move maxpool kernel to cl folder

* add maxpool acl kernel operator prototypes

* add new line

* change maxpool names as #574

* change names to align function prototype  with NN runtime.

Fix tizen cross/obs build fail (#595)

1. For obs build, save downloaded_deps.tar.gz to nnfw/packaging
2. To distinguish obs build, introduce OBS_BUILD flag

New inception models test and change default (#579)

- New inception models: inception module (small inception), inception slim
- Test small inception as default, and disable slim and nonslim

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

exit when unittet fail (#587)

Uncomment remaining comment of LOG in ModelBuilder (#564)

This commit uncomments remaining comment of LOG in ModelBuilder.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable building Android NN tests (#580)

Building Android NN tests are on by default.
In case of g++ < 6.3, it is disabled to avoid build failure in
TestGenerated.cpp.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Bug fix in run_test.sh (#586)

Bug fix: parsing error by '/' when test have sub-directory

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Rename acl Conv2D filename (#574)

* Rename acl Conv2D filename

This will remove _acl suffix from filename as it's inside cl folder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* remove shape.cpp

Remove temporary include of ErrorStatus in ExecutionBuilder (#560)

This commit removes temporary include of ErrorStatus in ExecutionBuilder and enables that include in HallInterfaces.h

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove unused PreparedModelCallback (#555)

This commit removes unused PreparedModelCallback.
The PreparedModelCallback class is used to receive the error status of preparing a model as well as the prepared model from a task executing  asynchronously with respect to the runtime.
But in the environment of running on CPU only, it is no needed.

If it is needed later, can be copied from AndroidNN or implemented on our own.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove partitioning(device) functions in ExecutionBuilder (#550)

This commit removes partitioning(device) functions in ExecutionBuilder.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Initialize CLScheduler inside NN runtime (#548)

* Initialize CLScheduler inside NN runtime

ARM Compute Library requires CLScheduler to be initialized before any CL
operations.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use 'nnfw::kernel::acl::Initialize'

[NNOP] Remove unnecessary blank line (#576)

This commit removes an unnecessary blank line in
`src/kernel/acl/src/cl/FullyConnected.test.cpp`.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[NNAPI Unittest Conv1] Initialize inputs correctly (#575)

This commit fixes a bug in 'nnapi_unittest_conv_1' which incorrectly
initializes inputs.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Apply RELU to the FC layer. (#572)

This commit adds functionality of activation RELU into the FC layer.
This commit also adds a test case for RELU.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[NNOP] Introduce module shape (#570)

This commit introduces a module shape. This module includes
getSizeOfDimension(), fromVectorNNShape(), and fromNNShape().
These functions are commonly used in various layer implementations.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Support ReLU activation (#571)

This commit revises Conv2D operation kernel to support ReLU activation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Gather acl kernel operator prototypes (#569)

* Gather acl kernel operator prototypes

This will gather acl kernel operator prototypes to root include folder

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add reshape

Update convolution manual calculation xls (#562)

This will update xls file with 3x5 input with 2 kernels

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[NNOP] The first version of reshape layer (#566)

This commit introduces the first version of reshape layer using ACL.
Unit test will be added more in later commits.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Remove ext libs used to build TF Lite (#541)

For issue #491

This patch is to remove external libs that were used to build TF Lite and to use a script that brings
those libraries from the tensorflow directory.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Move conv kernel to cl folder (#561)

This will move Conv kernel source into cl folder for cl implementations

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

tflite_run: initialize _elapsed in ElapsedTime (#559)

Fixes issue #540

This patch initializes _elapsed in ElapsedTime as 0.0 to set a correct
time value.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Add 3x5 2 kernel convolution test (#552)

* Add 3x5 2 kernel convolution test

This will add 3x5 with 2 kernel convolution test and fix format conversions

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* apply review comments

Introduce interactive docker option (#545)

To build and test continuously in the docker environment, run as below:
`$ DOCKER_INTERACTIVE=1 ./docker/Docker_build_cross_arm_ubuntu_without_aclbuild.sh`

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[Pure ACL] Fix build break (#556)

This commit removes inputs/outputs field from Plan class (as it now has
a reference to Model class which has inputs/outputs) to fix build break.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix convolution kernel test failure (#557)

This will fix convolution kernel on acl test

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[NNOP] The first version of fullyConnectedFloat32 (#547)

This commit introduces the first version of fullyConnectedFloat32
to integrate ACL with NN runtime.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Remove functions used in only ExecutionPlan in ExecutionBuilder (#546)

This commit removes functions used in only ExecutionPlan in ExecutionBuilder

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introduce CLUniqueTensor (#551)

This commit introduces CLUniqueTensor which initialize and allocate
buffer in its constructor, and free that buffer in its destructor.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL] Pass NNAPI model to execution (#544)

The following functions need to access model information through
ANeuralNetworksExecution object:
 - ANeuralNetworksExecution_setInput
 - ANeuralNetworksExecution_setOutput

This commit renames class Model in internal::arm_compute namespace as
Plan, revises it to include a reference to NNAPI model.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Set arm_compute::TensorShape for bias correctly (#549)

This commit revises convFloat32 implementation based on ARM Compute to
correctly set bias shape. This change fixes clBuffer exception during
bias memory allocation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>