Introduce weights extractor from .tflite (#288)

This commit introduces weight/bias extractor from .tflite file.
You can execute this script like below:

`$ extract_from_tflite.sh inception.tflite`

Then, you can find *.npy files in the current working directory.
Those *.npy files contain weight or bias values.
The name of each file is set to be the name of each layer.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Modify add sample (#349)

This commit modifies add sample to fix the bug and show printing results.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Update TODO of NeuralNetworks.cpp (#344)

- Update TODO comment to use REF-ANN and TODO-NNRT
- Implment some TODO-NNRT

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable MUL of CpuExecutor (#345)

- Enable MUL of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable the methods of `RunTimePoolInfo` to prepare to use memory (#343)

This commit enables the methods of `RunTimePoolInfo` to prepare to use memory.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Enable StepExecutor::startComputeOnCpu (#341)

- Enable StepExecutor::startComputeOnCpu

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Skip pthread TRY_RUN when cross build (#340)

Enable Conv2D and FullyConnected operations (#333)

- Introduce Conv2D and FullyConnected operations
- Enable OperationType::CONV_2D and OperationType::FULLY_CONNECTED
  of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix NN_RUNTIME build option (#336)

This will move BUILD_NN_RUNTIME option into src of cmake as src has separate util project

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix link fail for pthread on obs (#338)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Rename experiments to labs (#296)

As external and experiments both start with ex, it makes more typing.
This will change experiments folder name to labs to work more efficiently.

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix name of target in nn/runtime/CMakeLists.txt

- Fix name of target in nn/runtime/CMakeLists.txt

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Enable three operation of CpuExecutor

- Introduce Concatenation operation
- Enable OperationType::CONCATENATION, OperationType::SOFTMAX
  and OperationType::MAX_POOL_2D of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add target external_acl for docker build (#325)

To skip acl build on docker env, `make external_acl` will copy shared libs
to lib folder.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Fix compilation errors in StepExecutor::startComputeOnCpu

- Link pthread for NNRuntime test executables
- Add using statement for Status
- IExecutionCallback to ExecutionCallback

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Enable Pooling of CpuExecutor

- Enable Poolinig of CpuExecutor
- Enable OperationType::AVERAGE_POOL_2D of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Copy `Status.cpp` from libhidl of Android

This commit copies `Status.cpp` from libhidl of Android.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

T/F Lite Conv Example: Use NN API (if possible)

This commit revises T/F Lite Conv Example to use NN API (if possible).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Do not build ACL static libraries (#306)

* Do not build ACL static libraries

This commit updates acl.cmake not to build static libraries in order to
reduce build time.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add arm ubuntu cross build script (#312)

* Add arm ubuntu cross build script

build step
1. prepare rootfs for arm ubuntu
2. run docker/docker_build_cross_arm_ubuntu.sh

TODO
Cache ACL build artifacts

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* Add install target

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* apply comment and extract long command string

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Introduce 'tflite_conv_example' (#317)

This commit introduce 'tflite_conv_example' which creates and runs a simple
NN model with one convolution with T/F Lite interpreter.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable SimpleMath of CpuExecutor

- Enable SimpleMath of CpuExecutor
- Enable OperationType::ADD of CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Change comment

Add TODO comment into ExecutionBuilder::startCompute

This commit adds TODO comment into ExecutionBuilder::startCompute for future plan.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove dummy return in Execution::create()

This commit removes dummy return which causes 'NeuralNetworksExecution_setInput passed a nullptr' in Execution::create().

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Memory::create()

This commit implements Memory::create().

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce CPU operation of NN runtime

- Introduce CPU operation of NN runtime
- Also introduce eigen and gemmlowp in depend/external

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Remove dummy return in CompilationBuilder::createExecution

This commit removes dummy return which causes 'NeuralNetworksExecution_setInput passed a nullptr' in CompilationBuilder::createExecution.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add std::endl before logging by LOG

Currently, we can see the log logging by LOG only in one line. It is very hard to read.
This commit adds std::endl before logging by LOG helper for easy to read.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Execution_setOutput

This commit implements Execution_setOutput.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add empty template code for kernel testing (#311)

This will add initial empty code for kernel testing programs
Main purpose of this change is to add add_kerneltesting method in cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix acl expierments cmake

This will fix cmake of acl experiment to use common variables defined in root cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Tflite file operator selection tool (#310)

User select operators in input tflite model, and write these operators' number in text file.
This tool read input tflite model and text file,
then generate tflite model including selected operator only

This version can select operations in inception v3 nonslim

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce OperationsUtils

- Introduce OperationsUtils
- Make use of types introduced from OperationUtils in CpuExecutor

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Implement Execution_startCompute for only CPU

This commit implements Execution_startCompute for only CPU.

- Add StepExecutor(const ExecutionBuilder* executionBuilder, const ModelBuilder* model)
- enable StepExecutor::mapInputsAndOutputsTrivially

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Execution_setInput

This commit implements Execution_setInput.

- Enables
  - ModelArgumentInfo::setFromPointer
  - ModelArgumentInfo::updateDimensionInfo
  - DataLocation

Introduce cmake vars for acl (#304)

This will introduce NNFW_ACL_INCLUDES and NNFW_ALC_LIBS to cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Allow users to skip NN Runtime and experimental projects (#292)

This commit updates CMakeLists.txt to allow users to skip NN Runtime and
experimental project build.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Change arm gcc version to 5.4 (#301)

arm gcc 4.9 does not support cross build on docker image.
This fixes such build fail.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Introduce 'tflite_benchmark' tool (#298)

This commit introduces 'tflite_benchmakr' which repeats 'Invoke' call
and measures elapsed time for each 'Invoke' call.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Implement Event_wait Event_free

This commit implements Event_wait, Event_free and enables android::sp in NeuralNetworks.cpp.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[NN Runtime] Add `StringPointer.cpp` to libutils

This commit adds `StringPointer.cpp` to libutils.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix build error in ExecutionBuilder

- Fix build error in ExecutionBuilder
- We don't have ExecutionPlan member in ExecutionBuilder

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add missed ExecutionBuilder constructor

This commit adds missed ExecutionBuilder constructor.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable CpuExecutor::executeOperation

- Enable CpuExecutor::executeOperation by introducing required types

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Handle NNRuntime's testcases consistently

- Put all testcases in ref/nn/runtime/sample
- Use same naming style for source code and binaries

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Add Callbacks without inheritance of IExecuteCallback (#272)

* Add Callbacks without inheritance of IExecuteCallback

This commit adds Callbacks without inhritance of IExecuteCallback.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Inherit RefBase

Use shared library for convolution examples

This commit updates acl.cmake to use shared library for convolution
examples (instead of static one).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce nnapi_test tool (#290)

* Introduce nnapi_test tool

This commit introduces nnapi_test tool, which runs T/F Lite interpreter
with and without NNAPI, and compare their result.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Test script prototype for framework (#266)

* Test script prototype

Make new directory for test script
Add gitignore: cache directory for model download
Define test script

- Download inception v3 model
- Run tflite_run

HOWTO:
Ex) At root directory
DRIVER_BIN=Product/out/bin/tflite_run tests/framework/inception_v3.sh

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Set default for DRIVER_DIR

Set default value for DRIVER_DIR
Define variable for download server

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Run 'warming-up' iterations before measurement

This commit updates 'run_benchmark' function to run 3 warming-up
iterations before actual measurement.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Generate a single shared library for NN runtime

- Generate a single shared library for NN runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Introduce NNFW_INCLUDE_DIR for cmake (#285)

This will add common NNFW_INCLUDE_DIR for cmake

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Change default to use OpenCL for experiments (#284)

This will change ACL to use OpenCL for default for experiments

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix bindacl, convacl experiment to use environment (#280)

This will fix bindacl and convacl expierment to use envionment variable to choose NEON/OpenCL
And also remove alc's utils methods

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Do measure tensor update/extraction time (#279)

This commit revises tflite_run not to measure tensor setting & extraction time (for Invoke).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce 'Inception v3' benchmark (#283)

This commit introduces 'inception v3' benchmark (which is derived from
inception v3 ACL Graph API example).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Build ExecutionBuilder

This commit builds ExecutionBuilder which is not included to build.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Change the library name of NN Runtime to `neuralnetworks`

This commit changes the library name of NN Runtime to `neuralnetworks`.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Update gitignore for acl build outputs

This will add git ignore file/folders for acl

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix convacl to use unique_ptr

This will fix convacl experiment to use std::unique_ptr

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix bindacl experiment (#274)

* Fix bindacl experiment

This will fix bindacl experiment by adding its own dummy accessor

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use new for unique_ptr

Update acl.cmake for v18.03

This commit updates acl.cmake to build ARM Compute Library v18.03
correctly.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable members of CpuExecutor and required types

- Enable members of CpuExecutor and required types

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Implement Execution_free

This commit implements Execution_free.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove including duplicate of CompilationBuilder.h

This commit removes including duplicate of CompilationBuilder.h in NeuralNetworks.cpp

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Update cmake rule for reference NN runtime (#254)

* Update cmake rule for reference NN runtime

- Create a single libneuralnetworks_ref.so for a reference NN runtime
- Later we will remove unnecessary targets after unit tests are updated

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Update cmake rules

- Move TODO-NNRT comment to correct location
- Update rules to correctly include source files

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Implement Execution_create

This commit implements Execution_create.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Change Log.h to android-base/logging.h (#262)

* Change Log.h to android-base/logging.h

This commit changes Log.h to android-base/logging.h for minimum change of exist implementations.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* change quotes to <> for including

Introduce C++ wrapper for NN APIs

- Introduce C++ wrapper for NN APIs, becuase this wrapper is used by unit
  tests of Android NN using gtest
- Introduce a test using C++ wrapper

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Copy StrongPointer from ANN (#255)

* Copy StrongPointer from ANN

This commit copies StrongPointer from ANN.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Inlucde StrongPointer.h into HidlSupport.h

Introduce environment utilities methods (#246)

* Introduce environment utilities methods

This will add some environment utliity methods to make things easy

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add libarmcl-devel dependancy for obs build (#259)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

introduce runtime_sample from android_nn_sample app.

This commit introduces runtime_sample from android_nn_sample app.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add simple example for NNRT

This commit adds simple example for NNRT.
(3x4 tensor ADD 3x4 tensor)

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add vim/ctags/gnu-global temp files into .gitignore (#251)

This commit updates .gitignore to include temporary files of `vim/ctags/gnu-global`.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Import ARM Compute Library (v18.03) (#253)

This commit updates (included) ARM Compute Library. Codes are imported
from c3f34a43ff commit.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Support to create memory by file descriptor only (#224)

* Support to create memory by file descriptor only

This commit makes it supports to create memory by file descriptor only.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Change mPointer to mBuffer

* Modify TODO comment

Update workgroup information links in `roadmap.md` (#250)

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

Update how-to doc links in README.md (#242)

This commit updates how-to doc links in README.md in order to reflect
recent changes in how-to documents.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Add the first version of roadmap.md (#138)

* Add the first version of roadmap.md

For issue #86

This patch adds the first version of roadmap.md to share the goal,
milestones, and tasks among participants in this nnfw project.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Enable copyLargeValuesToSharedMemory in ModelBuilder

This commit enables copyLargeValuesToSharedMemory in ModelBuilder.
It doesn't works now. If the Memory::create() is implemented, it works well.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Set and dump acl-conv experiment (#243)

This will update acl convolution experiment to
set input and weight values and dump input/out values of the tensor

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix arm cross build to refer correct system header (#233)

This will fix arm cross build to reference correct system header path

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add document for xu4 ubuntu (#209)

* Add document for xu4 ubuntu

This will add initial document how to use Ubuntu on ODroid XU4

Introduce GoogLeNet & MobileNet benchmark (#232)

* Introduce GoogLeNet & MobileNet benchmark

This commit introduces GoogLeNet & MobileNet benchmark based on ARM
Compute Library.

These benchmarks are almost same as corresponding examples in ARM Compute
Library except that run method are invoked multiple times.

This commit introduces custom ITensorAccessor implementations (instead of
DummyAccessor in Graph Util) to make it possible measure elpased time over
multiple graph run.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use 'benchmark/acl' directory

* Update 'BUILD_BENCHMARK_ACL' dsecription

Update README.md to mention cross compiler installation

For the cross build for ARM, we may need to install ARM cross gcc/g++.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Update model parser: multiple subgraph (#210)

Update model parser

- Can handle multiple subgraph
- Change while loop
- Remove opcode list generation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update logging to print more information (#198)

- Print type of ANeuralNetworksOperandType
- Print model for ANeuralNetworksModel_addOperation

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Move target device related documents inside device folder (#228)

This will move target device related documents inside device folder

Introduce 'arm_compute_graph_test' library (#227)

This commit introduces 'arm_compute_graph_test' library to make it easy
to add new examples.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce skeleton of ExecutionBuilder from Android NN

- Introduce skeleton of ExecutionBuilder from Android NN
- Comment out implementations using "#if 0 // REF-ANN"
- No modification for the code

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update README for arm cross build (#223)

This will update README with required packages for RootFS preparation used in arm cross build

Set dependency on ACL version tag correctly (#190)

This commit revises 'external/acl.cmake' to set dependency on ACL
version tag correctly to support parallel/incremental build.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add the first version of workgroups.md (#141)

* Add the first version of workgroups.md

For issue #123

This commit adds the first version of workgroups.md.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Introduce hidl_string from libhidl of android.

This commit introduce hidl_string from libhidl of android.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement Model_setOperandValueFromMemory

This commit implements Model_setOperandValueFromMemory.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introduce ashmem from libcutils of android.

This commit introduce ashmem from libcutils of android.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement Model_identifyInputsAndOutputs

This commit implements Model_identifyInputsAndOutputs.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Memory_createFromFd and free

This commit implements Memory_createFromFd and free.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>