Add document for xu4 ubuntu (#209)

* Add document for xu4 ubuntu

This will add initial document how to use Ubuntu on ODroid XU4

Introduce GoogLeNet & MobileNet benchmark (#232)

* Introduce GoogLeNet & MobileNet benchmark

This commit introduces GoogLeNet & MobileNet benchmark based on ARM
Compute Library.

These benchmarks are almost same as corresponding examples in ARM Compute
Library except that run method are invoked multiple times.

This commit introduces custom ITensorAccessor implementations (instead of
DummyAccessor in Graph Util) to make it possible measure elpased time over
multiple graph run.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>
* Use 'benchmark/acl' directory

* Update 'BUILD_BENCHMARK_ACL' dsecription

Update README.md to mention cross compiler installation

For the cross build for ARM, we may need to install ARM cross gcc/g++.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Update model parser: multiple subgraph (#210)

Update model parser

- Can handle multiple subgraph
- Change while loop
- Remove opcode list generation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update logging to print more information (#198)

- Print type of ANeuralNetworksOperandType
- Print model for ANeuralNetworksModel_addOperation

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Move target device related documents inside device folder (#228)

This will move target device related documents inside device folder

Introduce 'arm_compute_graph_test' library (#227)

This commit introduces 'arm_compute_graph_test' library to make it easy
to add new examples.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce skeleton of ExecutionBuilder from Android NN

- Introduce skeleton of ExecutionBuilder from Android NN
- Comment out implementations using "#if 0 // REF-ANN"
- No modification for the code

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update README for arm cross build (#223)

This will update README with required packages for RootFS preparation used in arm cross build

Set dependency on ACL version tag correctly (#190)

This commit revises 'external/acl.cmake' to set dependency on ACL
version tag correctly to support parallel/incremental build.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add the first version of workgroups.md (#141)

* Add the first version of workgroups.md

For issue #123

This commit adds the first version of workgroups.md.

Signed-off-by: Sangmin Seo <sangmin7.seo@samsung.com>

Introduce hidl_string from libhidl of android.

This commit introduce hidl_string from libhidl of android.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement Model_setOperandValueFromMemory

This commit implements Model_setOperandValueFromMemory.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introduce ashmem from libcutils of android.

This commit introduce ashmem from libcutils of android.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement Model_identifyInputsAndOutputs

This commit implements Model_identifyInputsAndOutputs.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Memory_createFromFd and free

This commit implements Memory_createFromFd and free.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Model_addOperation

This commits Model_addOperation and enables below helpers.

- setFromIntList
- validCode

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add Memory.h, Memory.cpp without IMemory (#207)

* Add Memory.h, Memory.cpp without IMemory

This commit adds Memory.h and Memory.cpp without IMemory.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Add getPointer of MemoryFd

Add gitignore: python cache file (#206)

Add python cache file in gitignore
It's generated when we import python module in console mode

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce image importer (#205)

This commit introduces image importer to convert
jpeg or png images to bin.
The binary file only has the pixel values.
It does not have size.
The output will be used for `tflite_run`.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Add loading input(jpg) and printing output for tflite_run (#200)

This commit introduces:
- Loading a jpeg image as an input
- Printing max index from the output feature map of the last layer.

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Implement Model_setOperandValue

This commit implements Model_setOperandValue and enalbes below helpers.

- sizeOfData
- alignBytesNeeded

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Model_addOperand

This commit implements Model_addOperand.
It has dependency on #195.
If #195 is landed, it would work well.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Use shared library for LeNet example (#188)

This commit revises 'external/acl.cmake' to use shared library (instead
of static library) for LeNet example build.

This allows users to run 'graph_lenet' example.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

TFLite model file parser

Print operator and tensor information in TF Lite model file

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Helper python code for TFLite model file parsing

Include generated python helper by flatc with schema in tools/tflitefile_tool/tflite

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove duplicated Dockerfile (#204)

- Remove duplicated Dockerfile, becasue now we have Dockerfile
  based on Ubuntu 16.04 at docker/Dockerfile

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add experiment code for Convolution with ACL (#186)

* Add experiment code for Convolution with ACL

This will add experimental code to work on Convolution with ACL

* add todo using  env var

Disable details::logAlwaysFatal

This commit disables details::logAlwaysFatal.
If we use 'hidl_vec', we will meet unreferenced error now.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add gitignore for python 3 (#181)

Add python 3 compile cache to gitignore

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Build flatbuffer and install flatc (#148)

Build flatbuffer when native build and host is x86_64
Install flatc to use model tflite file for parsing and compile

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add the skeleton of Utils.cpp

This commit adds the skeleton of Utils.cpp

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add Log.h into Utils.h

This commit adds Log.h into Utils.h

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Model_finish without copyLargeValuesToSharedMemory (#191)

* Implement Model_finish without copyLargeValuesToSharedMemory

This commits implements Model_finish() without copyLargeValuesToSharedMemory.

copyLargeValuesToSharedMemory needs to include "Memory.h"

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Remove string.h

Copy unused dummy codes from hidl base of ANN

This commit copies unused dummy codes from hidl base of ANN.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Include Utils.h from CompilationBuilder

- Include Utils.h from CompilationBuilder
- Remove tempory decalaration of const vairable

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Include Utils.h in ModelBuilder

This commit includes Utils.h into ModelBuilder for using nnAssert.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable nnAssert in Utils.h

This commit enables nnAssert in Utils.h

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Import declaration of Model, Operand and Operation

This commit imports declaration of Model, Operand and
Operation from Android NN withtout implemenation.

ModelBuilder and CpuExecutor are built successfully with struct Model, Operand
and Operation.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix bindacl experiment to run with acl graph layer

This will fix bindacl failure and run with one SoftMaxLayer in the network

Turn on embed_kernels options of ACL

This will turn on embed_kernels option of scons build

[ACL] Link system libaries correctly (#174)

ARM Compute Library needs libdl and libpthread, but these libraries are
not linked, or incorrectly linked.

This commit fixes this link issue. Now, cl_convolution and
neon_convolution examples built by CMake works on ODROID.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Update aclbind experiment to link with acl (#150)

* aclbind experiment to link with acl

This will update aclbind experiment program to link with current ACL

Add Dockerfile and docker build script (#125)

This commit introduces `Dockerfile` of Ubuntu 16.04 and docker build/run scripts.
- To build a docker image, `cd docker;./docker_build.sh`
- To enter the docker image, `cd docker;./docker_run.sh`

This docker image is useful especially for Ubuntu 14.04 users.
ACL cannot be built on Ubuntu 14.04 due to build failure of default gcc(4.8).

Signed-off-by: Junghyun Kim <jh0822.kim@samsung.com>

Use npu_u16.04 docker image for CI

- Use npu_u16.04 docker image for CI

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add Utils.h for reference NN runtime

- add src/runtime/ref/nn/common/include/Utils.h
- include Utils.h from CpuExecutor.h

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Fix multiple definition error.

This commit fixes multiple definition error.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Import declaration of hidl_memory and hidl_vec.

This commit imports declaration of hidl_memory and hidl_vec.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement Compiilation_setPreference

Basically the same as android NN implementation.
One global constant defined from Utils.h but it is temporarily defined by
the method until we import that file.

Extract eigen3.cmake from external/CMakeLists.txt

This commit extracts Eigen-related commands from external/CMakeLists.txt
to simplify external/CMakeLists.txt.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Implement Compilation_create()

Same implementation with Android NN

Implement Compilation_finish()

Compilation_finish is almost same as original code but without ExecutionPlan.

Build arm_compute_graph library (#151)

This commit allows folks to build libarm_compute_graph.so with CMake.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Introduce VLOG implemented by LOG

This commit introduces VLOG implemented by LOG for using in ModelBuilder/CpuExecutor

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement Compilation_free()

Update README.md for reference NN runtime

- Remove ambigous word `Design` from tile ofsecond chapter
- Add two comment styles for convenience

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Implement Model_free() (#159)

This commit implements Model_free()

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Enable ModelBuilder::createCompilation (#156)

Now that CompilationBuilder is available we can enable it.

Add simple macro for LOG (#154)

* Add simple macro for LOG

This commit adds simple macro for exist android LOG codes.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Move include folder

Add skeleton of CpuExecutor (#136)

* Add skeleton of CpuExecutor

- Copy CpuExecutor.h and CpuExecutor.cpp from Android NN
- And comment out implementation which we don't support now

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>
* Apply new comment style for reference NN runtime

- Apply new comment style for reference NN runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Separate ACL build target (#142)

* Separate ACL build target

This will separate ACL build to a target in the Makefile
- ACL mostly will be reused after a single build
- Only dependency check in scons takses several seconds
- This will speed up for arm cross build

* use lib

Apply review feedback

- Apply review feedback on README.md

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Add description of a reference NN runtime

- Add description and reasonings of a reference NN runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Update README.md of reference runtime

- Add design philosophies of reference runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Build Modelbuilder

This commit adds the Modelbuilder.cpp file to CMakeList for building.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Make NN API methods return enum value for error

Rather than return magic number 0.

Support ACL build without scon (#132)

* Support ACL build without scon

This commit updates CMakeLists.txt to support ACL build without scon.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Add CompilationBuilder skeleton

Get CompilationBuilder source from Android NN but implementation commented out

Add bindacl project to use ACL from NNAPI (#114)

This will introduce bindacl project to enable binding of ACL from NNAPI
This patch is a copy of logging without logging and does not include ACL for staring point

Remove original codes

Implement ANeuralNetworksModel_create

This commit implements ANeuralNetworksModel_create and adds skeletons of ModelBuilder.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[acl] add .gitignore (#110)

This will add .gitignore for acl temporary files to make development happy

Update dummy runner to use libruntime

The dummy executable calls model creation/freeing API.

Support build with multiple jobs (#105)

To make build faster, we should give `-j #` option for `make`.
The number of jobs will be same as the number of the processors by default.

Fix ACL install order (#109)

* Fix ACL install order

This will fix to install ACL libraries befor installing nnfw

* move mkdir inside if

Fix comment for tizen for cmake option file (#115)

This will fix some todo comment for tizen

Add skeleton of NeuralNetworks.cpp

Import NeuralNetworks.cpp from Android NN but most implmentation are commented
out for reference.

Have NeuralNetworks.h in runtime/ref

Add NN API header to runtime/ref.

Restructure runtime source (#104)

Add subdirectory `nn/runtime` and put files in it to be same as original
directory structure.

Enable ACL build (#99)

This will call ACL build when building nnfw. Output .SO files will be copied to out/bin folder with install.

Add CMakeLists.txt for runtime

And this adds a "Hello World" executable for dummy build.

Modified to build on x86_64.

Actually, This commit changed it to build on another environment not Tizen, but test for build was only on x86_64.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

obs spec file added (#97)

move runtime to src/runtime

- move runtime to src/runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Merge pull request #96 from jiseob-jang/import_android_nn

Merge source of android nn from NN_Runtime

Fix armv7l native build fail on obs (#93)

1. Add option_armv7l-tizen.cmake
2. Set default HOST_OS to be linux

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

fix problems caused by using different kinds of compilers.

* problems
- Taking address of temporary array
- Calling an class's methods within a lambda function
- Non initializing constant value
An static constant variable in the class is called by static_assert in the constructor before it makes to a constant expression by static constant initialization.
- Missing noexcept Keyword
- Non-trivial designated initializers not supported

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix problems caused by using other kinds of standard libraries.

- change including atomic.h to including catomic.
- change including sched.h to including linux/sched.h.
- add including cstdint, vector, cstring.
- add defining SIZE_T_MAX.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

remove dependencies related to the system property of android.

This dependency is not completely removed here.
The system property of android must be replaced to doing the same thing in tizen.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

remove dependencies related to the binding of android.

This dependency is not completely removed here for suppored other devices.
This binding feature must be replaced as d-bus of tizen and shared memory of tizen.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

remove dependencies related to logging.

This dependencies are not completely removed.
Ultimately it should be replaced by logging system in Tizen.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

remove depended on CallStack

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

remove depended on android/dlext.h.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

added cmake files to build in tizen and source files of dependent libraries.

nn/depend/hal : Sources of hal interfaces for nn
nn/depend/android-base : Base sources of system core in android
nn/depend/liblog : Some sources of system core for logging in android
nn/depend/libsystem : Some source of a library for system core in android
nn/depend/libvndksupport : Some source of a library to supported vendor of device
nn/depend/external : Some sources of some external libraries used by android
nn/depend/libhidl : Some sources of the HIDL library in android
nn/depend/libhwbinder : Some sources of a library for binder IPC in android
nn/depend/libc : Some C sources of android bionic
nn/depend/libcutil : Some sources of a C library for utilities
nn/depend/libutil : Some sources of a C++ library for Utilities

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Merge commit '11b57bfbc908c6620123aafb6b874f0ee6e0f57d' as 'experiments/android_nn'

Squashed 'experiments/android_nn/' content from commit d1ca7d8

git-subtree-dir: experiments/android_nn
git-subtree-split: d1ca7d857759855a2c5a98d63af0404bba549361

Initial commit of reference implemeantion of NN runtime (#95)

- Initial commit of a reference implemeantion of NN runtime

Signed-off-by: Hyung-Kyu Choi <hk0110.choi@samsung.com>

Introduce CROSS_BUILD to Makefile (#89)

This will add CROSS_BUILD variable to explictly set a cross building to give CMAKE_TOOLCHAIN_FILE to cmake or not.

Simplify cmake config folder (#88)

This will move cmake config files to config folder like option files are placed in option folder

Change cmake option to be form of arch-os (#85)

This will rename cmake option files to form of arch-os so to support Tizen