Unify NEON and OpenCL implementation of reshape layer (#800)

NEON and OpenCL implementations of reshape layer are very similar.
This commit
- extracts common features to `src/Reshape.h`
- implement different parts into `neon/Reshape.cpp` and `cl/Reshape.cpp`.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[NNOP] Unify NEON and OpenCL implementaion and tests (#798)

This commit unifies NEON and OpenCL implementation and tests.
- common statements are extracted to `acl/src/FullyConnected.h` and
  `acl/src/FullyConnected.test.h`
- Different parts are described in `cl` and `neon` directories.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Separate acl build and install step (#785)

This will separate acl library build and install step in Makefile
- this is needed for only want to copy libraries after make clean
- there is no change for 'make acl'

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Change realpath to readlink -f on test driver (#784)

Instead of realpath, use readlink -f because there
is no realpath on taos.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Introduce NEUniqueTensor (#779)

NEUniqueTensor is a tensor wrapper for arm_compute::Tensor.
This is similar to CLUniqueTensor.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Remove wget verbose in tizen cross build (#782)

Remove wget verbose in tizen cross build script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Enable Depthwiseconv2D of CpuExecutor (#617)

Add the DEPTHWISECONV2D operation file and enable the operation with float support.

Fix test driver not to print message on benchmark (#770)

Fix test driver not to print message such as ones from wget on benchmark
mode.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[Build] Add arch `arm64` in Makefile (#775)

Add archicture `arm64`.
For arm64, android is the only OS supported for now.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Enable acl/neon backend (#776)

This will add acl/neon kernel implementations to kernel lookup tables

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

TFLite Model tool: Use argparse library (#772)

Use argparse library to define and parse argument

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

TFLIte model parser: More tensor information (#732)

* TFLIte model parser: More tensor information

Print tensor debugging name
Print shape as scalar if data rank is 0

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Update README.md

Update README.md to print tensor name

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

TFLite run: Define more custom operator (#777)

Define more custom operator using updated model
Print only.

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Clean include section of ExecutionBuilder (#778)

This commit cleans include section of ExecutionBuilder.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Update TestValidation.cpp to android master branch for runtime (#742)

* Update TestValidation.cpp to android master branch for runtime

This commit updates TestValidation.cpp to anroid master branch(5596ca500) for runtime.
Related : #611

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Change master test to TestValidation2.cpp

Use const for readonly shape (#773)

This will add const reference to method that return value is used read only
- this will prevent memory copy

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Introduce 'make_alloc' helper (#769)

This commit introduces 'make_alloc' helper which makes it easy to use
malloc on a specific type, and revises random test implementations using
this new helper.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[CMake] Do not force TARGET_OS to be HOST_OS (#771)

Currently TARGET_OS was always forced to be HOST_OS.
It have not been an issue since all OS we handle was linux, so far.
For the future, we should TARGET_OS is set to HOST_OS only if it is not given.

Register concat to nnfw kernel table (#767)

This will add concatenationFloat32 on ACL to kernel lookup table

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix wrong report dir on test_driver.sh (#754)

When test_driver.sh run unittest, the report dir was changed by the
path where test_driver.sh run. This commit fixes the report dir.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Add format check package to docker image (#764)

Add clang-format-3.9, pip, and yapf for format checker

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add svace to gitignore (#766)

This will add SVACE data folder .svace-dir to .gitignore

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[CMake] Extract pthread as a variable (#760)

Instead of just writing `pthread`, use `${LIB_PTHREAD}`.
This is for the future, so Android config will override it to an empty value.
Since BIONIC libc library contains pthread library so it will emit an error if
`-lpthread` is passed to linker.

Update tflite file API (#711)

Update tflite file API generated by flatc
Using update schema file in tensorflow 1.7

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

resolve #757 (#765)

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>

Add lcov-to-cobertura conversion tool (#755)

* Add lcov-to-cobertura conversion tool

This script converts lcov result to covertura format.
This script will be used on CI side for publishing line coverage result.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* Add original source link

Show max absolute/relative diff (#761)

This commit revises NNAPI test framework to show max absolute/relative
diff information at the end.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Stringfy COVERAGE_BUILD (#762)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add a unit test of FC-FC (#759)

This commit adds a unit test of an FC layer followed by another FC
layer.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add test coverage build (#744)

* Add test coverage build

1. add flags for test coverage build
2. add script to enable on CI

* Add OPTION init

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add lcov to docker image (#752)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Fix wrong running benchmark test (#753)

Fixes wrong benchmark test. According to introducing run_test.sh's
options, it needs to add options properly.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Change input/weights/bias/output shape of FC according to NNAPI spec (#750)

This commit changes input/weights/bias/output shape
to follow the NNAPI specification.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Revise code of printing summary of framework test on test_driver.sh (#748)

Revises code of printing summary of framework test on test_driver.sh by
applying options from run_test.sh.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Add summary of verification on test driver (#749)

Enables test driver to print summary(tap) of the result on verification

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Initial code of Concatenation on ACL (#746)

This will add initial implementation of Concatenation on ACL CL and NEON

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Print summary of benchmark on test_driver.sh (#739)

Enables test_driver.sh to print summary of benchmark. The printed
summary has only 'mean' result of benchmark.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Change assertion of MatrixWeightAccessor to accept 1D and 2D (#747)

This commit change assertion condition to accept both 1D and 2D tensors
for MatrixWeightAccessor similar to MatrixOutputAccessor.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Coding rule check script (#730)

Check coding rule for c++ code and python code
Use clang-format to check c++ coding rule, and use yapf to use python coding  rule based on PEP8

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Clang format file for cpp coding rule (#712)

Define C++ coding rule

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[NNOP] Introduce MatrixOutputAccessor (#741)

This commit introduces MatrixOutputAccessor to process 2D output tensors.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Register ACL operators to NN runtime (#721)

This will add ACL operators to NN runtime "acl" items so that we can use them
- Operation itself is not verified yet, we need to test and fix if problems exist

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Rename and relocate logging for runtime (#713)

This commit renames and relocates logging for runtime (remove android dep.)

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Fix unusual assertion in CONV2D Op. (#707)

This commit fixes unusual assertion in CONV2D Op likes #430.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Usage of test_driver.sh (#727)

Fills Usage function which prints help messages for options.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Fix softmax with ACL (#733)

* Fix softmax with ACL

This will fix softmaxFloat32 implementation to use rank 2 input
- this change is to run Inception V3 model
- as ACL shrinks rank as high order size is 1, input/output actually be a vector

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* add test for rank 4

* apply for non-support ranks

* return false for release build

Remove original ExecutionCallback inheritance (#728)

This commit removes original ExecutionCallback inheritance.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove remaining ExecutionPlan codes in ExecutionBuilder (#723)

This commit removes remaining ExecutionPlan codes in ExecutionBuilder.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add NYI message instead of assertion in CpuExecutor (#706)

This commit adds NYI message instead of assertion which causes CI failure in CpuExecutor.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add options for run_test.sh (#715)

* Add options for run_test.sh

Adds handling options for run_test.sh

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Implement Usage of run_tests.sh

* Fix wrong description of --driverbin

Show total number of unittest set (#710)

- Show total number of unittest set

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add how-to-contribute document (#718)

* Add how-to-contribute document

For issue #694

This commit adds the how-to-contribute document.

The document is based on
https://github.sec.samsung.net/STAR/nncc/blob/master/doc/contribution_guide.md.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>
* Add a link to roadmap

* Add a note to mention the origin of this document

add pooling test cases which are similar to inception v3 slim (#735)

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>

[Pure ACL Runtime] Support Fully Connected (#731)

This commit partially implements ANEURALNETWORKS_FULLY_CONNECTED operation
in pure ACL Runtime to allow pure ACL runtime to execute inceptoin v3
non-slim model.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Build fix on nnfw_support_nnapi by adding -fPIC (#714)

This is required to enable test coverage build.
During building with `-fprofile-arcs -ftest-coverage`, build fails as
follows:
libnnfw_support_nnapi.a(Utils.o): relocation R_ARM_THM_MOVW_ABS_NC against `a local symbol' can not be used when making a shared object; recompile with -fPIC

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[NNAPI Random Test] Add 'fully_connected_1' test (#720)

This commit introduces 'fully_connected_1' test which allows us to test
the implementation of ANEURALNETWORKS_FULLY_CONNECTED operation with
random data.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL Runtime] Support Softmax (#726)

This commit implements 'softmax' operation support in Pure ACL Runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

contrib: add the top-level CMakeLists and example (#722)

For issue #680

This commit adds an example for the contrib directory as well as the
top-level CMakeLists.txt.

The files were copied from STAR/nncc/contrib and modified.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Print result of framework test on test_driver.sh (#708)

Prints framework_test.tap which is the result of framework test by
run_tests.sh.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[NNOP] Introduce VectorInputAccessor (#717)

this commit introduces VectorInputAccessor to get input for FC-FC.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add benchmark test to test_driver.sh (#648)

* Add benchmark test to test_driver.sh

Enables running tflite_benchmark in test_driver.sh. To do
tflite_benchmark, test_driver.sh needs --benchmark option.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix export statement and echo messages

Add a testcase of pooling with Activation RELU (#696)

* Add pooling testcases with RELU

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>
* changed location because of "Insufficient Padding!" error
-Actually, I don't know why this error happens.
-After I changed the position, it works without error.

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>
* Insert negative integers to input data in RELU cases.
Initialize input data with TensorWrapper

Signed-off-by: SungJin Choi <lotieye.choi@samsung.com>

[Pure ACL] Partially Support Reshape Operation (#709)

This commit implements partial support over reshape operation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Apply build type to ACL scons build (#701)

This will apply debug or release type to ACL scons build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Create a contrib directory and add README (#702)

For issue #680

This patch creates a contrib directory and adds README.md that describes
the purpose of the contrib directory.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

[NNOP] Introduce NEON Reshape layer (#705)

This commit introduces a reshape layer using NEON and its unittest.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[NNOP] Add more unit tests for FC (#703)

This commit inserts two additional unittests for FC
- conv_fc
- inceptionv3

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

[Pure ACL Runtime] Set Stride before setting padding (#700)

ANEURALNETWORKS_PADDING_SAME algorithm uses stride values when computing
padding values, but Conv2D implementation has a bug that compute padding
size using uninitialized stride values.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Tizen gbs build TestGenerated from Android NN test (#678)

Tizen gbs uses g++-6.2, which had been applied with most g++-6.3.
In case of tizen gbs build, g++-6.2 would be ok.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

g++-6.3 can build TestGenerated from Android NN test (#676)

Currently g++ 6.3 is not permitted to compile TestGenerated.
The condition is fixed so that g++ 6.3 can try to build.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[NNOP] Process various dimensions of weights and ouput for FC (#687)

This commit improves processing various dimensions of weights and output for
FC. The fully connected layer's weight and output can have various
dimensions. There can be more dimensions to be supported, but for now,
we support as below:
- 4D or 2D for weights
- 4D or 1D for outputs

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add Softmax in NEON (#691)

This will add Softmax operator with ACL/NEON backend

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Substitue run_tests.sh to test_driver.sh for make check (#669)

Substitue run_tests.sh to test_driver.sh for make check.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[Pure ACL Runtime] Support 'Concat' operation (#693)

This commit introduces partial support on ANEURALNETWORKS_CONCATENATION
operation.

Only feature map concat over depth axis is supported currently.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Model parser: new operators by toco (#684)

Parse new operators generated by toco in tensroflow 1.7

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix softmax xls formula (#688)

This will fix and simplify softmax formula in xls
to e ^ x / sum(e ^ x)

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Separate Conv2D neon implementation (#686)

This will move Conv2D neon implementation to separate module
- also with the test

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Use hybrid epsilon comparison on test (#685)

This commit revises random testing framework to use hybrid epsilon
comparision (check realtive diff only when absolute diff is larger than
0.001).

This commit also revises testing framework to show some useful
information for analyizing failures.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Update cross build script (#675)

- Find common.sh correctly using SCRIPT_ROOT

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[Pure ACL Rumtime] Support AvgPool2D op execution (#683)

This commit implements AvgPool2D planner, which allows us to run
'avgpool_test1.tflite' testcase with Pure ACL NN runtime.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL Runtime] Set Padding for Conv2D op (#681)

This commit revises Conv2D op planner to set padding similarly as in
MaxPool2D op.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[NNAPI Random Tests] Add 'reshape_1' test (#679)

* [NNAPI Random Tests] Add 'reshape_1' test

This commit adds 'reshape_1' test which allows us to test reshape
operation with random data.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove unnecessary blank

Remove Flag and use global util IntAccessor (#682)

This will remove local Flag and use global IntAccessor to check CONV2D_VERBOSE flag

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[NNOP unittest] Use TensorWrapper for FC (#651)

Use TensorWrapper for FC unit tests instead of directly access primitives.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Move unused code for Conv2D (#677)

This will remove and move unused code from Conv2D using ACL kernel

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[Pure ACL] Record AvgPool2D operation in model (#671)

This commit allows pure ACL NN runtime to record AvgPool2D operation in its model.

Note that compilation and execution is not supported, yet.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL] Support valid padding for MaxPool2D (#670)

* [Pure ACL] Support valid padding for MaxPool2D

This commit supports valid padding for MaxPool2D.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Remove unnecessary blank line

Update document regarding docker image (#635)

- Add link to HowToUseDockerImage.md in README.md
- Update docker image version in HowTo document

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[NNAPI Random Test] Add 'concat_1' case (#674)

This commit adds 'concat_1' test which allows us to test the
implementation of 'concat' operation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix comment in extract.py (#672)

This commit fixes typo in extract.py

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Introduce print_op.py (#673)

`print_op.py` prints operations of a TF model in order
with input/output shapes.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Temporary separate support class from Conv2D (#665)

This will extract supporting class in Conv2D module to temporary file
- To separate NEON convFloat32() to it's own module

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Extract implementations into separate files (#668)

This commit extracts several implementations in Model.h/Model.cc into
separate files (to make it easy to read code).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Allow padding type configuration for 'max_pool_1' (#664)

This commit allows users to configure padding type for 'max_pool_1'.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[Pure ACL Runtime] Support ReLU activation for Conv2D (#653)

This commit introduces ReLU activation support for Conv2D operation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Apply nnfw_kernel to 6 kernels used by inception v3 (#636)

* Apply nnfw_kernel to 6 kernels used by inception v3

- Apply nnfw_kernel to 6 kernels used by inception v3
- Also introduce NNFWKernels.lst file

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Refine code to minimize diff

- Refine code to minimize diff

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[NNOP] Use CLUniqueTensor for FC (#652)

This commit uses CLUniqueTensor for fullyConnectedFloat32().

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add more tests of Softmax kernel on ACL (#647)

* Add more tests of Softmax kernel on ACL

This will add non uniform input for Softmax
- ss there is diff in float comparison, compareData() is changed to use epsilon_equal()
- and epsilon_equal() had compilation problem in Ubuntu 16.04, some headers was added

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* fix for tizen build

* use c++ header

Add tizen gbs build script (#625)

To run, build docker image of https://github.sec.samsung.net/chunseok-lee/gbs_docker

Update Android NN runtime TestGenerated (#645)

- Related Issue: #459, #611
- Base version of Android NN Test: efd22b6
Merge "Make convFloat32 and convQuant8 not segfault when asking too much memory."

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>