Do measure tensor update/extraction time (#279)

This commit revises tflite_run not to measure tensor setting & extraction time (for Invoke).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce 'Inception v3' benchmark (#283)

This commit introduces 'inception v3' benchmark (which is derived from
inception v3 ACL Graph API example).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Build ExecutionBuilder

This commit builds ExecutionBuilder which is not included to build.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Change the library name of NN Runtime to `neuralnetworks`

This commit changes the library name of NN Runtime to `neuralnetworks`.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Update gitignore for acl build outputs

This will add git ignore file/folders for acl

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix convacl to use unique_ptr

This will fix convacl experiment to use std::unique_ptr

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix bindacl experiment (#274)

* Fix bindacl experiment

This will fix bindacl experiment by adding its own dummy accessor

Signed-off-by: SaeHie Park <saehie.park@samsung.com>
* use new for unique_ptr

Update acl.cmake for v18.03

This commit updates acl.cmake to build ARM Compute Library v18.03
correctly.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Enable members of CpuExecutor and required types

- Enable members of CpuExecutor and required types

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Implement Execution_free

This commit implements Execution_free.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove including duplicate of CompilationBuilder.h

This commit removes including duplicate of CompilationBuilder.h in NeuralNetworks.cpp

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Update cmake rule for reference NN runtime (#254)

* Update cmake rule for reference NN runtime

- Create a single libneuralnetworks_ref.so for a reference NN runtime
- Later we will remove unnecessary targets after unit tests are updated

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Update cmake rules

- Move TODO-NNRT comment to correct location
- Update rules to correctly include source files

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Implement Execution_create

This commit implements Execution_create.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Change Log.h to android-base/logging.h (#262)

* Change Log.h to android-base/logging.h

This commit changes Log.h to android-base/logging.h for minimum change of exist implementations.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* change quotes to <> for including

Introduce C++ wrapper for NN APIs

- Introduce C++ wrapper for NN APIs, becuase this wrapper is used by unit
  tests of Android NN using gtest
- Introduce a test using C++ wrapper

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Copy StrongPointer from ANN (#255)

* Copy StrongPointer from ANN

This commit copies StrongPointer from ANN.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Inlucde StrongPointer.h into HidlSupport.h

Introduce environment utilities methods (#246)

* Introduce environment utilities methods

This will add some environment utliity methods to make things easy

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add libarmcl-devel dependancy for obs build (#259)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

introduce runtime_sample from android_nn_sample app.

This commit introduces runtime_sample from android_nn_sample app.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add simple example for NNRT

This commit adds simple example for NNRT.
(3x4 tensor ADD 3x4 tensor)

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add vim/ctags/gnu-global temp files into .gitignore (#251)

This commit updates .gitignore to include temporary files of `vim/ctags/gnu-global`.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Import ARM Compute Library (v18.03) (#253)

This commit updates (included) ARM Compute Library. Codes are imported
from c3f34a43ff commit.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Support to create memory by file descriptor only (#224)

* Support to create memory by file descriptor only

This commit makes it supports to create memory by file descriptor only.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Change mPointer to mBuffer

* Modify TODO comment

Update workgroup information links in `roadmap.md` (#250)

Signed-off-by: Sung-Jae Lee <sj925.lee@samsung.com>

Update how-to doc links in README.md (#242)

This commit updates how-to doc links in README.md in order to reflect
recent changes in how-to documents.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Add the first version of roadmap.md (#138)

* Add the first version of roadmap.md

For issue #86

This patch adds the first version of roadmap.md to share the goal,
milestones, and tasks among participants in this nnfw project.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Enable copyLargeValuesToSharedMemory in ModelBuilder

This commit enables copyLargeValuesToSharedMemory in ModelBuilder.
It doesn't works now. If the Memory::create() is implemented, it works well.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Set and dump acl-conv experiment (#243)

This will update acl convolution experiment to
set input and weight values and dump input/out values of the tensor

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Fix arm cross build to refer correct system header (#233)

This will fix arm cross build to reference correct system header path

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Add document for xu4 ubuntu (#209)

* Add document for xu4 ubuntu

This will add initial document how to use Ubuntu on ODroid XU4

Introduce GoogLeNet & MobileNet benchmark (#232)

* Introduce GoogLeNet & MobileNet benchmark

This commit introduces GoogLeNet & MobileNet benchmark based on ARM
Compute Library.

These benchmarks are almost same as corresponding examples in ARM Compute
Library except that run method are invoked multiple times.

This commit introduces custom ITensorAccessor implementations (instead of
DummyAccessor in Graph Util) to make it possible measure elpased time over
multiple graph run.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use 'benchmark/acl' directory

* Update 'BUILD_BENCHMARK_ACL' dsecription

Update README.md to mention cross compiler installation

For the cross build for ARM, we may need to install ARM cross gcc/g++.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Update model parser: multiple subgraph (#210)

Update model parser

- Can handle multiple subgraph
- Change while loop
- Remove opcode list generation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update logging to print more information (#198)

- Print type of ANeuralNetworksOperandType
- Print model for ANeuralNetworksModel_addOperation

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Move target device related documents inside device folder (#228)

This will move target device related documents inside device folder

Introduce 'arm_compute_graph_test' library (#227)

This commit introduces 'arm_compute_graph_test' library to make it easy
to add new examples.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce skeleton of ExecutionBuilder from Android NN

- Introduce skeleton of ExecutionBuilder from Android NN
- Comment out implementations using "#if 0 // REF-ANN"
- No modification for the code

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update README for arm cross build (#223)

This will update README with required packages for RootFS preparation used in arm cross build

Set dependency on ACL version tag correctly (#190)

This commit revises 'external/acl.cmake' to set dependency on ACL
version tag correctly to support parallel/incremental build.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add the first version of workgroups.md (#141)

* Add the first version of workgroups.md

For issue #123

This commit adds the first version of workgroups.md.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Introduce hidl_string from libhidl of android.

This commit introduce hidl_string from libhidl of android.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement Model_setOperandValueFromMemory

This commit implements Model_setOperandValueFromMemory.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introduce ashmem from libcutils of android.

This commit introduce ashmem from libcutils of android.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement Model_identifyInputsAndOutputs

This commit implements Model_identifyInputsAndOutputs.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Memory_createFromFd and free

This commit implements Memory_createFromFd and free.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Model_addOperation

This commits Model_addOperation and enables below helpers.

- setFromIntList
- validCode

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add Memory.h, Memory.cpp without IMemory (#207)

* Add Memory.h, Memory.cpp without IMemory

This commit adds Memory.h and Memory.cpp without IMemory.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Add getPointer of MemoryFd

Add gitignore: python cache file (#206)

Add python cache file in gitignore
It's generated when we import python module in console mode

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce image importer (#205)

This commit introduces image importer to convert
jpeg or png images to bin.
The binary file only has the pixel values.
It does not have size.
The output will be used for `tflite_run`.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add loading input(jpg) and printing output for tflite_run (#200)

This commit introduces:
- Loading a jpeg image as an input
- Printing max index from the output feature map of the last layer.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Implement Model_setOperandValue

This commit implements Model_setOperandValue and enalbes below helpers.

- sizeOfData
- alignBytesNeeded

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Model_addOperand

This commit implements Model_addOperand.
It has dependency on #195.
If #195 is landed, it would work well.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Use shared library for LeNet example (#188)

This commit revises 'external/acl.cmake' to use shared library (instead
of static library) for LeNet example build.

This allows users to run 'graph_lenet' example.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

TFLite model file parser

Print operator and tensor information in TF Lite model file

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Helper python code for TFLite model file parsing

Include generated python helper by flatc with schema in tools/tflitefile_tool/tflite

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove duplicated Dockerfile (#204)

- Remove duplicated Dockerfile, becasue now we have Dockerfile
  based on Ubuntu 16.04 at docker/Dockerfile

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add experiment code for Convolution with ACL (#186)

* Add experiment code for Convolution with ACL

This will add experimental code to work on Convolution with ACL

* add todo using  env var

Disable details::logAlwaysFatal

This commit disables details::logAlwaysFatal.
If we use 'hidl_vec', we will meet unreferenced error now.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add gitignore for python 3 (#181)

Add python 3 compile cache to gitignore

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Build flatbuffer and install flatc (#148)

Build flatbuffer when native build and host is x86_64
Install flatc to use model tflite file for parsing and compile

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add the skeleton of Utils.cpp

This commit adds the skeleton of Utils.cpp

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add Log.h into Utils.h

This commit adds Log.h into Utils.h

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Model_finish without copyLargeValuesToSharedMemory (#191)

* Implement Model_finish without copyLargeValuesToSharedMemory

This commits implements Model_finish() without copyLargeValuesToSharedMemory.

copyLargeValuesToSharedMemory needs to include "Memory.h"

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Remove string.h

Copy unused dummy codes from hidl base of ANN

This commit copies unused dummy codes from hidl base of ANN.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Include Utils.h from CompilationBuilder

- Include Utils.h from CompilationBuilder
- Remove tempory decalaration of const vairable

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Include Utils.h in ModelBuilder

This commit includes Utils.h into ModelBuilder for using nnAssert.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable nnAssert in Utils.h

This commit enables nnAssert in Utils.h

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Import declaration of Model, Operand and Operation

This commit imports declaration of Model, Operand and
Operation from Android NN withtout implemenation.

ModelBuilder and CpuExecutor are built successfully with struct Model, Operand
and Operation.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix bindacl experiment to run with acl graph layer

This will fix bindacl failure and run with one SoftMaxLayer in the network

Turn on embed_kernels options of ACL

This will turn on embed_kernels option of scons build

[ACL] Link system libaries correctly (#174)

ARM Compute Library needs libdl and libpthread, but these libraries are
not linked, or incorrectly linked.

This commit fixes this link issue. Now, cl_convolution and
neon_convolution examples built by CMake works on ODROID.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Update aclbind experiment to link with acl (#150)

* aclbind experiment to link with acl

This will update aclbind experiment program to link with current ACL

Add Dockerfile and docker build script (#125)

This commit introduces `Dockerfile` of Ubuntu 16.04 and docker build/run scripts.
- To build a docker image, `cd docker;./docker_build.sh`
- To enter the docker image, `cd docker;./docker_run.sh`

This docker image is useful especially for Ubuntu 14.04 users.
ACL cannot be built on Ubuntu 14.04 due to build failure of default gcc(4.8).

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Use npu_u16.04 docker image for CI

- Use npu_u16.04 docker image for CI

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add Utils.h for reference NN runtime

- add src/runtime/ref/nn/common/include/Utils.h
- include Utils.h from CpuExecutor.h

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix multiple definition error.

This commit fixes multiple definition error.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Import declaration of hidl_memory and hidl_vec.

This commit imports declaration of hidl_memory and hidl_vec.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement Compiilation_setPreference

Basically the same as android NN implementation.
One global constant defined from Utils.h but it is temporarily defined by
the method until we import that file.

Extract eigen3.cmake from external/CMakeLists.txt

This commit extracts Eigen-related commands from external/CMakeLists.txt
to simplify external/CMakeLists.txt.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Implement Compilation_create()

Same implementation with Android NN

Implement Compilation_finish()

Compilation_finish is almost same as original code but without ExecutionPlan.

Build arm_compute_graph library (#151)

This commit allows folks to build libarm_compute_graph.so with CMake.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce VLOG implemented by LOG

This commit introduces VLOG implemented by LOG for using in ModelBuilder/CpuExecutor

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Compilation_free()

Update README.md for reference NN runtime

- Remove ambigous word `Design` from tile ofsecond chapter
- Add two comment styles for convenience

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Implement Model_free() (#159)

This commit implements Model_free()

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable ModelBuilder::createCompilation (#156)

Now that CompilationBuilder is available we can enable it.

Add simple macro for LOG (#154)

* Add simple macro for LOG

This commit adds simple macro for exist android LOG codes.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Move include folder

Add skeleton of CpuExecutor (#136)

* Add skeleton of CpuExecutor

- Copy CpuExecutor.h and CpuExecutor.cpp from Android NN
- And comment out implementation which we don't support now

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Apply new comment style for reference NN runtime

- Apply new comment style for reference NN runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Separate ACL build target (#142)

* Separate ACL build target

This will separate ACL build to a target in the Makefile
- ACL mostly will be reused after a single build
- Only dependency check in scons takses several seconds
- This will speed up for arm cross build

* use lib

Apply review feedback

- Apply review feedback on README.md

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add description of a reference NN runtime

- Add description and reasonings of a reference NN runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update README.md of reference runtime

- Add design philosophies of reference runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Build Modelbuilder

This commit adds the Modelbuilder.cpp file to CMakeList for building.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Make NN API methods return enum value for error

Rather than return magic number 0.

Support ACL build without scon (#132)

* Support ACL build without scon

This commit updates CMakeLists.txt to support ACL build without scon.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add CompilationBuilder skeleton

Get CompilationBuilder source from Android NN but implementation commented out

Add bindacl project to use ACL from NNAPI (#114)

This will introduce bindacl project to enable binding of ACL from NNAPI
This patch is a copy of logging without logging and does not include ACL for staring point

Remove original codes

Implement ANeuralNetworksModel_create

This commit implements ANeuralNetworksModel_create and adds skeletons of ModelBuilder.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>