Implement Model_finish without copyLargeValuesToSharedMemory (#191)

* Implement Model_finish without copyLargeValuesToSharedMemory

This commits implements Model_finish() without copyLargeValuesToSharedMemory.

copyLargeValuesToSharedMemory needs to include "Memory.h"

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Remove string.h

Copy unused dummy codes from hidl base of ANN

This commit copies unused dummy codes from hidl base of ANN.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Include Utils.h from CompilationBuilder

- Include Utils.h from CompilationBuilder
- Remove tempory decalaration of const vairable

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Include Utils.h in ModelBuilder

This commit includes Utils.h into ModelBuilder for using nnAssert.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable nnAssert in Utils.h

This commit enables nnAssert in Utils.h

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Import declaration of Model, Operand and Operation

This commit imports declaration of Model, Operand and
Operation from Android NN withtout implemenation.

ModelBuilder and CpuExecutor are built successfully with struct Model, Operand
and Operation.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix bindacl experiment to run with acl graph layer

This will fix bindacl failure and run with one SoftMaxLayer in the network

Turn on embed_kernels options of ACL

This will turn on embed_kernels option of scons build

[ACL] Link system libaries correctly (#174)

ARM Compute Library needs libdl and libpthread, but these libraries are
not linked, or incorrectly linked.

This commit fixes this link issue. Now, cl_convolution and
neon_convolution examples built by CMake works on ODROID.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Update aclbind experiment to link with acl (#150)

* aclbind experiment to link with acl

This will update aclbind experiment program to link with current ACL

Add Dockerfile and docker build script (#125)

This commit introduces `Dockerfile` of Ubuntu 16.04 and docker build/run scripts.
- To build a docker image, `cd docker;./docker_build.sh`
- To enter the docker image, `cd docker;./docker_run.sh`

This docker image is useful especially for Ubuntu 14.04 users.
ACL cannot be built on Ubuntu 14.04 due to build failure of default gcc(4.8).

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Use npu_u16.04 docker image for CI

- Use npu_u16.04 docker image for CI

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add Utils.h for reference NN runtime

- add src/runtime/ref/nn/common/include/Utils.h
- include Utils.h from CpuExecutor.h

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix multiple definition error.

This commit fixes multiple definition error.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Import declaration of hidl_memory and hidl_vec.

This commit imports declaration of hidl_memory and hidl_vec.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement Compiilation_setPreference

Basically the same as android NN implementation.
One global constant defined from Utils.h but it is temporarily defined by
the method until we import that file.

Extract eigen3.cmake from external/CMakeLists.txt

This commit extracts Eigen-related commands from external/CMakeLists.txt
to simplify external/CMakeLists.txt.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Implement Compilation_create()

Same implementation with Android NN

Implement Compilation_finish()

Compilation_finish is almost same as original code but without ExecutionPlan.

Build arm_compute_graph library (#151)

This commit allows folks to build libarm_compute_graph.so with CMake.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce VLOG implemented by LOG

This commit introduces VLOG implemented by LOG for using in ModelBuilder/CpuExecutor

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Compilation_free()

Update README.md for reference NN runtime

- Remove ambigous word `Design` from tile ofsecond chapter
- Add two comment styles for convenience

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Implement Model_free() (#159)

This commit implements Model_free()

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable ModelBuilder::createCompilation (#156)

Now that CompilationBuilder is available we can enable it.

Add simple macro for LOG (#154)

* Add simple macro for LOG

This commit adds simple macro for exist android LOG codes.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Move include folder

Add skeleton of CpuExecutor (#136)

* Add skeleton of CpuExecutor

- Copy CpuExecutor.h and CpuExecutor.cpp from Android NN
- And comment out implementation which we don't support now

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Apply new comment style for reference NN runtime

- Apply new comment style for reference NN runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Separate ACL build target (#142)

* Separate ACL build target

This will separate ACL build to a target in the Makefile
- ACL mostly will be reused after a single build
- Only dependency check in scons takses several seconds
- This will speed up for arm cross build

* use lib

Apply review feedback

- Apply review feedback on README.md

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add description of a reference NN runtime

- Add description and reasonings of a reference NN runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update README.md of reference runtime

- Add design philosophies of reference runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Build Modelbuilder

This commit adds the Modelbuilder.cpp file to CMakeList for building.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Make NN API methods return enum value for error

Rather than return magic number 0.

Support ACL build without scon (#132)

* Support ACL build without scon

This commit updates CMakeLists.txt to support ACL build without scon.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add CompilationBuilder skeleton

Get CompilationBuilder source from Android NN but implementation commented out

Add bindacl project to use ACL from NNAPI (#114)

This will introduce bindacl project to enable binding of ACL from NNAPI
This patch is a copy of logging without logging and does not include ACL for staring point

Remove original codes

Implement ANeuralNetworksModel_create

This commit implements ANeuralNetworksModel_create and adds skeletons of ModelBuilder.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[acl] add .gitignore (#110)

This will add .gitignore for acl temporary files to make development happy

Update dummy runner to use libruntime

The dummy executable calls model creation/freeing API.

Support build with multiple jobs (#105)

To make build faster, we should give `-j #` option for `make`.
The number of jobs will be same as the number of the processors by default.

Fix ACL install order (#109)

* Fix ACL install order

This will fix to install ACL libraries befor installing nnfw

* move mkdir inside if

Fix comment for tizen for cmake option file (#115)

This will fix some todo comment for tizen

Add skeleton of NeuralNetworks.cpp

Import NeuralNetworks.cpp from Android NN but most implmentation are commented
out for reference.

Have NeuralNetworks.h in runtime/ref

Add NN API header to runtime/ref.

Restructure runtime source (#104)

Add subdirectory `nn/runtime` and put files in it to be same as original
directory structure.

Enable ACL build (#99)

This will call ACL build when building nnfw. Output .SO files will be copied to out/bin folder with install.

Add CMakeLists.txt for runtime

And this adds a "Hello World" executable for dummy build.

Modified to build on x86_64.

Actually, This commit changed it to build on another environment not Tizen, but test for build was only on x86_64.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

obs spec file added (#97)

move runtime to src/runtime

- move runtime to src/runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Merge pull request #96 from jiseob-jang/import_android_nn

Merge source of android nn from NN_Runtime

Fix armv7l native build fail on obs (#93)

1. Add option_armv7l-tizen.cmake
2. Set default HOST_OS to be linux

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

fix problems caused by using different kinds of compilers.

* problems
- Taking address of temporary array
- Calling an class's methods within a lambda function
- Non initializing constant value
An static constant variable in the class is called by static_assert in the constructor before it makes to a constant expression by static constant initialization.
- Missing noexcept Keyword
- Non-trivial designated initializers not supported

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix problems caused by using other kinds of standard libraries.

- change including atomic.h to including catomic.
- change including sched.h to including linux/sched.h.
- add including cstdint, vector, cstring.
- add defining SIZE_T_MAX.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

remove dependencies related to the system property of android.

This dependency is not completely removed here.
The system property of android must be replaced to doing the same thing in tizen.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

remove dependencies related to the binding of android.

This dependency is not completely removed here for suppored other devices.
This binding feature must be replaced as d-bus of tizen and shared memory of tizen.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

remove dependencies related to logging.

This dependencies are not completely removed.
Ultimately it should be replaced by logging system in Tizen.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

remove depended on CallStack

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

remove depended on android/dlext.h.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

added cmake files to build in tizen and source files of dependent libraries.

nn/depend/hal : Sources of hal interfaces for nn
nn/depend/android-base : Base sources of system core in android
nn/depend/liblog : Some sources of system core for logging in android
nn/depend/libsystem : Some source of a library for system core in android
nn/depend/libvndksupport : Some source of a library to supported vendor of device
nn/depend/external : Some sources of some external libraries used by android
nn/depend/libhidl : Some sources of the HIDL library in android
nn/depend/libhwbinder : Some sources of a library for binder IPC in android
nn/depend/libc : Some C sources of android bionic
nn/depend/libcutil : Some sources of a C library for utilities
nn/depend/libutil : Some sources of a C++ library for Utilities

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Merge commit '11b57bfbc908c6620123aafb6b874f0ee6e0f57d' as 'experiments/android_nn'

Squashed 'experiments/android_nn/' content from commit d1ca7d8

git-subtree-dir: experiments/android_nn
git-subtree-split: d1ca7d857759855a2c5a98d63af0404bba549361

Initial commit of reference implemeantion of NN runtime (#95)

- Initial commit of a reference implemeantion of NN runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Introduce CROSS_BUILD to Makefile (#89)

This will add CROSS_BUILD variable to explictly set a cross building to give CMAKE_TOOLCHAIN_FILE to cmake or not.

Simplify cmake config folder (#88)

This will move cmake config files to config folder like option files are placed in option folder

Change cmake option to be form of arch-os (#85)

This will rename cmake option files to form of arch-os so to support Tizen

Add cmake native/cross build flag (#83)

This will add a flag to determine native or cross build
And with this flag this patch will fix build for protobuf and graphdef

Fix build problem with protoc (#66)

* Fix build problem with protoc

This will fix arm cross build problem with protoc that may not be needed in target device

* add protobuf_BUILD_TESTS inside if clause

Add boost to arm rootfs (#65)

This will add boost library to arm rootfs build script

Support basic benchmark (tflite_run) (#52)

This commit revises tflite_run to show elapsed time on prepare and
invoke step.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Import ARM Compute Library (v17.12) (#59)

This commit imports ARM Compute Library (v17.12) source tree as an
external dependency.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add eigen3 library (#53)

This commit addes eigen3 as a CMake target, which allows us to easily
use eigen3 in our internal implementation.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix bugs in encode.sh and decode.sh

This commit fixes the following bugs in encode.sh and decode.sh:
 - The use of BASH-extended syntax with /bin/sh
 - The use of relative path in protoc input

It seems that latest protoc recognizes relative path, but this commit
revises scripts to use absolute path to improve compatibility.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Build tensorflow_graphdef by default

This commit enables tensorflow_graphdef (and graphdump) build by
default (using protobuf in external).

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Simplify external/CMakeLists.txt (#44)

This commit simplifies 'external/CMakeLists.txt' via replacing foreach
statement with list(REMOVE_ITEM ...) statement.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add Dockerfile (#48)

This commit adds 'Dockerfile' which allows users to build minimal
development environment easily.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Include protobuf (#46)

This commit imports protocol buffer 3.5.1 as an external dependency.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce graphdump tool (#43)

This commit introduces graphdump tool that shows the content of saved
models(.pb) in text.

Note that decode.sh under tools/graphdef already allows us to dump
the content of saved models, but this graphdump is introduced to test
tensorflow_graphdef library.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce run (#41)

This commit introduces 'run' script which will serve as an entry point
for various utility scripts.

This commit also introduces 'build' command as an example.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce libtensorflow_graphdef

This commit introduces tensorflow_graphdef library which allows us to access
saved tensorflow graph definition.

Note that this library is disabled by default.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

CMake variable: TARGET_ARCH (#40)

* CMake variable: TARGET_ARCH

Define and use TARGET_ARCH in CMake
Remain HOST_ARCH for cross-architecture build and run (not used yet)

* Define TARGET_OS

Define TARGET_OS to avoid confusion about target environment

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce (Dummy) Custom Operators

This commit introduces dummy custom operators.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Cross compile variable: TARGET_ARCH

Change HOST_ARCH to TARGET_ARCH that set build target architecture to avoid confusion
Fix readme: BUILD_HOST -> HOST_ARCH -> TARGET_ARCH

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update local cache server

Update local cache server for packages to build TF

Introduce TensorFlow model encode/decode

This commit introduces TensorFlow model encode/decode script based on
protoc command.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[tf] Add operator dump in toco (#30)

* [tf] Add operator dump in toco

This will dump operators in toco tool

* simplify for

Docs add how to setup odroid xu3 link (#29)

* Docs add how to setup odroid xu3 link

This will add a link to how to setup odroid xu3 with ubuntu

* add space

* add xu3_ubunut.md

Add CI scripts

Currently, we use the docker image 'npu' which is used for NPU_Compiler.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Correct build tf from source doc

This will correct Build TF from source document to match package version file name

Add build TF from source document

This will add a document how to build TensorFlow and TOCO tool from source

Correct ubuntu release

This will add trusty and remove wily, zesty as we work on 14.04:trusty and 16.04:xenial

Enable cross build for arm (#20)

* Enable cross build for arm

This will modify makefile to enable arm cross building
- use toolchain file for cpu architecutre
- use build path name with architecture and type(debug,release,etc)
- create existing build/install folder as an symbolic link not to alter current use case
- use cmake -B and -H option not to chdir into build folder
- update README.md file about how to cross build

* apply comments
* update readme
* fix input param

[tf] Add local cache server for packages

This will add local cache server for packages that fails download through our corporate proxy server
Server address may change when relocated to another place

Introduce cmake folder

This will move cmake related files into cmake folder

Update README.md

This commit updates README.md to guide how to download pre-built
TensorFlow Lite models that Google provides.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix cmake build (#16)

This will fix build failure of previous commit

Support multiple NN API bindings

This commit revises CMake script to support multiple NN API bindings.

To support multiple NN API bindings, CMake sciprt for simple logging NN API binding
is revised not to install libneuralnetworks.so into lib.

In addition, directory structres are revised.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add cmake config and options (#14)

* Add cmake config and options

This will add cmake config and options for multi-arch and cross building for arm
This will not affect current makefile build configuration

* platform to os

* fix for rootfs checking

* separate os and arch

* simplify folder

Update README.md

This commit updates README.md to provide basic usage of this repo.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>