Extract common code of docker image (#1150)

- Introduce nnfw_docker by extracting common code related to docker image nnfw_docker
- Use nnfw_docker in docker_run_test.sh to see it's working

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

[tflite_run] Remove OutputTensorDumper/Loader (#1145)

Remove old version and use TensorDumper/Loader instead.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Change unsuitable varable name (#1143)

* Change variable names start from `NPU_COMPILER_` to `NNFW_`

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

[tflite_run] Introduce TensorDumper/Loader (#1139)

Just copy of OutputTensorDumper/Loader and changed only class name.
These classes will dump/load input tensors as well as output tensors which
will eventually replace OutputTensorDumper/Loader.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tflite_run] Reorder print message (#1136)

Elapsed time message comes earlier than dump message.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add object allocation info to log message (#1134)

* Add object allocation info to log message

- display `--> (type: address)` information at the end of the log line for each allocation call.

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

Use docker image name from common.sh (#1126)

- Use docker image name from common.sh
  and use same convention with other scripts.

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update scripts for cross build (#1122)

* Update scripts for cross build

- Update docker_build_cross_arm_ubuntu.sh with changes in
  docker_build_cross_arm_ubuntu_without_aclbuild.sh

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update howto document of docker (#1121)

- Update howto document of docker to reflect recent changes

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update LD_LIBRARY_PATH in `howto.md` document (#1132)

* Update LD_LIBRARY_PATH in `howto.md` document

- reflect the path according to directory structure change.

Signed-off-by: Sung-Jae Lee <sjlee@mail.com>

Install sdb on nnfw_docker_tizen (#1131)

1. install sdb on nnfw_docker_tizen
2. install wget and unzip

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Pass env variable LD_LIBRARY_PATH while invoking test driver (#1130)

- introduce `-ldlibrary=` option
- set `$NNFW_HOME/Produce/out/lib` as default value fo LD_LIBRARY_PATH
- pass env variable `LD_LIBRARY_PATH` while invoking test driver

Signed-off-by: Sung-Jae Lee <sjlee@mail.com>

Support Android build for tflite_run (#1127)

Some include path were added manually since not all tools are supported on
Android yet.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add dependent libs for ACL libs (#1118)

This will add ACL dependent system libs to ACL for compiler versions don't add these for implicitly

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add `ctags` configuration file (#1120)

- exclude binary paths including `Product`, `rootfs`, `cache`
- include external source path
- set --extra=+f as default for easy file searching in project

Signed-off-by: Sung-Jae Lee <sjlee@mail.com>

Added content for minicom novice. (#1119)

added 1. where to find minicom setup info and 2. how to find serial device name.

Signed-off-by: Hyun Sik Yoon (hyunsik.yoon@samsung.com)

TF Lite C# API's Skeleto (#986)

Following are the part of this Pull Request

- TFLiteSharp package
- README.md
- C# api skeleton code

We have built the skeleton of the c# APIs taking Java APIs as the basis, as we discussed.

Signed-off-by: Kshitiz Bansal <kshitiz.b@samsung.com>

Add README.md to tflite_run (#1110)

A brief description for tflite_run

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove unused code from Diff.cpp (#1111)

This code was not removed to minimize diff from another commit.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Fix max_pool_float_2 test (#1109)

This will fix max_pool_float_2 test that has N>1

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Update the nnfw behavior figure (#1106)

The arrow from the runtime seemed to be directly connected to the
application, which is not correct.  This patch modifies the arrow to be
connected only to TF Lite and makes a single output arrow from TF Lite.

Thanks to SaeHie Park for this comment.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

[tflite_run] Support compare results (#1103)

With `--compare` or `-c` option, user can compare the results with output
tensor file which was dumped by `--dump` option.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Fix svace build script bug (#1107)

Fix svace build script bug: check  file exist

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update the SW high level design document (#1105)

For issue #942

This commit addresses two comments posted in #921.
- Fix the return path from the runtime in the nnfw_behavior figure
- Clarify the description about what compute interface is used in the
  runtime implementation

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Extract compareSingleTensorView from TfLiteTensorComparator::run (#1072)

So we can compare single TensorView. This method will be used from `tflite_run`.

OutputTensorDumper, which will be introduced later, restores TensorView from a
binary tensor file. So we need an interface for comparing two `TensorView`s.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

remove internal url from gbs.conf (#1090)

1. remove repo.localacl from gbs.conf

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Remove scripts/command/change_gitmodule.sh (#1085)

For issue #1071

This patch removes `scripts/command/change_gitmodule.sh`, since it is no
longer used, and updates its caller sites.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

[tflite_run] Introduce OutputTensorLoader (#1073)

As a pair with OutputTensorDumper, this class reads and builds
`TensorView<float>` from binary tensor file.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Apply insertFusedActivationLayer to NEON layers (#1083)

This commit applies insertFusedActivationLayer to NEON layers
such as Conv2D and Pooling.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Apply insertFusedActivationLayer() to other CL layers. (#1082)

This commit applies insertFusedActivationLayer() to CL layers
(Conv2D and Pooling).

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Change the git url for tensorflow submodule (#1070)

For issue #1069

This patch changes the git url and branch for the tensorflow submodule
as Tizen's.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

[BUGFIX] Do not insert activation layer for ANEURALNETWORKS_FUSED_NONE (#1080)

If the activation layer is ANEURALNETWORKS_FUSED_NONE,
just return the function instead of break to avoid
inserting an unconfigured activation layer.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Remove server information (#1075)

Remove server information from script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Use on-device AI instead of embedded AI (#1076)

For issue #939

This patch changes the term, embedded AI, used in the background section
of the requirement specification document as on-device AI for
consistency.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Apply CLUniqueTensor to Pooling and Softmax (#1051)

This commit applies CLUniqueTensor instead of directly using ACL's Tensor.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Apply NEUniqueTensor (#1054)

This commit applies NEUniqueTensor to Conv2D, Pooling, and Softmax
instead of directly using ACL's Tensor.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add xu4 tizen test script (#1038)

* Add xu4 tizen test script

For example, if you'd like to build & test for tizen xu4, do as
follows:
1. cross build and test
`$ ./run docker_build_tizen_cross.sh ; ./run tizen_xu4_test.sh --test-suite-path=Product/out/test-suite.tar.gz --unittest --verification`
2. gbs build and test
`$ ./run docker_gbs_build.sh ; ./run tizen_xu4_test.sh --rpm-dir=Product/out/rpm --verification --unittest`

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add 3-clause BSD license in LICENSE (#1048)

SOLVe complains 3-clause BSD license should be specified.
It will make SOLVe happy.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Use `BSD-3-Clause` for tizen build spec (#1061)

Related issue: #1059
All license identified in protex should be specified in tizen build spec.
Furthemore, SOLVe is happy with `BSD-3-Clause`, not `3-clause BSD License`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

enable coverage-suite on gbs build (#1058)

1. coverage-suite on gbs build
2. docker_gbs_build.sh accepts gbs define option

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Ignore changes externals/acl (#1047)

This commit adds `ignore = dirty` to ignore untracked or
modified files in `external/acl`

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

fix gbs build error & add return status (#1055)

1. Fix #1053
2. Add return status on docker_gbs_build.sh

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Enable depthwiseConvQuant8 (#1037)

- enable depthwiseConvQuant8, because we enabled tests
  for DEPTHWISE_CONV_2D with TENSOR_QUANT8_ASYMM.

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix softmax of ACL op for matrix input (#1020)

This will fix ACL softmax op that has matrix input
- this adds MatrixInputAccessor class to handle matrix input

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tflite_run] Change code format of argument addition (#1041)

One option per one line with clang-format on/off

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce insertFusedActivationLayer() (#1005)

This commit introduces insertFusedActivationLayer().
This function generates activation layer of ACL according to the
activation type spcified by NNAPI.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add MPL2, Apache-2.0, and BSD in tizen build spec (#1046)

SOLVe system complained that we don't specified the licenses
that are identified by Protex. This PR added those licenses,
and removed MIT license since we don't use MIT.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Integrate tflite_run argument parsing (#1030)

Currently the command line argument of `tflite_run` is parsed by
`boost::program_options` and directly from `argv`. This has introduced a
few problems. So this commit integrates argument parsing with introducing
positional options so we don't have to access `argv[1]` directly for `.tflite`
file.

Fix #1001

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add benchmark-acl test to test_driver.sh (#1026)

Enables test_driver.sh to run benchmark-acl tests such as
benchmark_googlenet. This benchmark-acl test will be run on daily
benchmark ci. To run the tests, the benchmark-acl test binaries should be
already built.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

removed since these files are under LGPL license (#1029)

Amd.h and SinplicialCholesky_impl.h in Eigen directory are under LGPL license.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Revise benchmark test in test script (#1013)

To prepare benchmark-acl test in test script, revises benchmark
test code in test driver and script for making json.

Fix googletest build for native (#1009)

This will remove CMAKE_TOOLCHAIN_FILE option for googltest native build

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix SVACE build script (#1010)

Fix SVACE build script to verify test package build

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Change ifdef guard to changed namespace rule (#1008)

This commit changes ifdef guard to changed namespace rule.

close : #1006

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add command line argument `dump` to tflite_run (#1011)

* Add command line argument `dump` to tflite_run

Argument `dump` specifies the file name of output tensors are stored.
If not given, outputs are not dumped.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Exclude frameworktest from test_driver's default tests (#998)

Now defult tests by test_driver run verification and unittest excluding
for frameworktest.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Introduce OutputTensorDumper (#991)

This class writes output tensors to generate golden data

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Build test only (#997)

Modify Makefile on root directory to build test only by "make testbuild"
Can build tensoflow lite only using "make tflite"

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

nnfw-test dir contains bin/lib directory (#1004)

Now, nnfw-test.rpm contains subdirectories(tests, tools, and Product) which is the same structure as
test-suite.tar.gz file

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

List up how-to documents in a separate document (#1003)

For #926

This commit puts together how-to documents in docs/howto and lists them up
in docs/howto.md.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Add missing header definition macro in shape.h (#1002)

This commit adds missing header definition macro
(#ifndef - #define - #endif) in shape.h

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add license sources in contrib/kerneltesting (#971)

Related issue: #840

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add license to sources in contrib/convacl/* (#970)

Related issue: #840

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add license to sources in contrib/bindacl/* (#969)

Related issue: #840

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Update README.md (#1000)

For issue #926

This commit updates README.md to better describe the project and
repository information.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Implement RELU6 with a test case of RELU6 (#995)

This commit introduces RELU6 implementation as a fused activation
function with its test case.
The parameter sizes of the test case are from the first depthwise conv2d
layer of MobileNet.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Move NeuralNetworksWrapper.h to tests/include (#990)

Related issue: #978

NeuralNetworksWrapper.h (C++ wrapper for NeuralNetworks.h) is used only
in runtime unit tests under runtime/tests/*. It is not official API that
there is no documentation on it. So I move it to tests/include.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add acl env options to test_driver.sh (#996)

Enables test_driver to handle setting acl environments by
--acl_envon option.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Change namespace from android::nn to nnfw::rt (#987)

* This commit changes namespace from android::nn to nnft::rt.

Related : #663
Close : #716

Signed-off-by: sjsujinkim sjsujin.kim@samsung.com

Change variable convention of Make and CMake (#993)

- HOST_OS   : Where we are compile (Linux)
- TARGET_OS : Where nnfw executable runs (Linux or Tizen or Android)

Fix #874

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

BringUpTests should not depends on Android NN Tests condition (#977)

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable to use ACL DepthwiseConv2D via NNAPI (#985)

This sets nnfw_kernel_* table for NN runtime to use ACL DepthwiseConv2D.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Remove android_nn from contrib. (#992)

This commit removes android_nn from contrib.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Use multicore when building ACL (#983)

This commit enables parallelizing build of ACL using scons -j.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Rename BringUpTest and NeuralNetworkTest in snake style (#989)

Related Issue: #831

Most directory names are in snake style.
For consistency, I rename them.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Prepend license to tools/* (#965)

Related issue: #840

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[BUGFIX] typo on translating the shape of weights (#984)

fixed typo. inputShapeACL -> weightsShapeACL

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Introduce xxx_driverbin in test_driver.sh (#976)

Now, we can pass proper driver binary depending on test
type(framework/verification/benchmark).

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add license to source in contrib/example (#975)

Related issue: #840

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Archiving nnfw rpms during gbs build (#964)

* Archiving nnfw rpms during gbs build

This is a prerequisite to enable test on tizen

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* update as commented

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* remove last slash

Add build command for benchmark/acl (#974)

Now `BENCHMARK_ACL_BUILD=1 make build` runs building benchmark/acl.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Introduce NEON DepthwiseConv2D (#973)

This commit introduces DepthwiseConv2D implementation for NEON.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Introduce a test code of multi-channel DepthwiseConv2D (#972)

This commit introduces a test code of multi-channel DepthwiseConv2D.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add tools and tests dir into nnfw-test.rpm (#966)

nnfw-test rpm contains tools and tests folder to support test on tizen target.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Introduce DepthwiseConv2D to support MobileNet (#967)

This commit introduces DepthwiseConv2D layer to support Mobilenet
with a simple test case.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Reflect dir changes to gen_coverage_report script (#962)

Now, coverage report's target includes libs, include, runtimes, and
tools folder.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Cleanup ci and docker directory (#960)

- Cleanup ci and docker directory

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix typo in script (#961)

- Fix typo in script

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix typo in docker_gbs_build.sh (#959)

- Fix typo in docker_gbs_build.sh

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update Tizen build scripts with new directory structure (#958)

- Update Tizen build scripts with new directory structure

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update scripts in new location (#957)

- Update scripts in new location

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Rename src as runtimes (#956)

For issue #831 and #925

This patch renames `src` as `runtimes`.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Update change_gitmodule.sh and using it (#954)

- Update change_gitmodule.sh with new directory structure
- Update follow scripts using change_gitmodule.sh
    docker_build_ubuntu_svace.sh
    docker_cross_test_coverage_build.sh
    docker_run_test.sh

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Move `src/nn/runtime/sample` to `src/tests/BringUpTest` (#955)

* Move `src/nn/runtime/sample` to `src/tests/BringUpTest`

As discussed from #831, this commit changes directory structure.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Fix the way of adding subdirectory

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Rename src/runtime/test as src/tests/NeuralNetworksTest (#953)

For issue #831 and #925

This commit renames src/runtime/test as src/tests/NeuralNetworksTest.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Update scripts/command (#952)

Make following scrtips work well in new directory structure

- scripts/command/docker_build.sh
- scripts/command/docker_build_cross_arm_ubuntu.sh
- scripts/command/docker_build_cross_arm_ubuntu_without_aclbuild.sh

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Extract CMakeLists.txt for sample directory (#951)

This commit extracts test executable part from `src/nn/runtime/CMakeLists.txt`
into `src/nn/runtime/sample/CMakeLists.txt`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Relocate NeuralNetworks.h to include (#950)

For issue #831 and #925

This commit moves NeuralNetworks.h to the top-level include directory.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Relocate NN runtime from src/runtime/ref to src (#949)

* Relocate NN runtime from src/runtime/ref to src

- Relocate NN runtime from src/runtime/ref to src

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Make a copy of scripts and files in docker from scripts/command

- Make a copy of scripts and files in ./docker from ./scripts/command
- This files will be used with currrent CI and
  will be removed when CI is updated

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>