Use -fPIC build flag for tflite only (#4175)

* Use -fPIC build flag for tflite only

Instead of global setting, use -fPIC build flag for tenroflow lite only

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Specify to build tensorflow lite library static

Correction in validation func in CL Host files (#4139)

Since ARM_COMPUTE_RETURN_ERROR_ON_MSG() is an "ERROR_ON" macro,
which means an error will be thrown if the expression evaluates to "true"
Hence, checks need to be inverted.
This patch will correct the checks in th following files:

1. CLBatchToSpaceNDKernel.cpp
2. CLDepthToSpaceKernel.cpp
3. CLPadLayerKernel.cpp
4. CLReduceOperationKernel.cpp
5. CLSpaceToDepthKernel.cpp

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove warning from external acl and tensorflow (#4181)

Remove warning from external acl and tensorflow by using SYSTEM keyword

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Use acl pre-built binary (#4179)

Remove workaround to avoid build fail by acl version update
Use pre-built acl v18.11 binary

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update version of ARMComputeEx to 18.11 (#3877)

* Update version of ARMComputeEx to 18.11

This commit updates the version of ARMComputeEx to 18.11.
  - Change the name of the kernel of StridedSlice and PadLayer to StridedSliceEx and PadLayerEx to prevent duplicated name.
  - Remove the code related to fixed point(QS8, QS16).
  - Update CLKernelLibraryEx to 18.11.
  - Apply using the same context for CLKernelLibraryEx as CLScheduler.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>
* Change config files to build with acl v18.11

This commit changes config files to build with acl v18.11.
- Change download url of acl from v18.05 to v18.11
- Change acl to always build

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>
* Enable the build of neurun with v18.11

This commit enables the build of neurun with v18.11.
For detail : https://github.sec.samsung.net/STAR/nnfw/pull/3877#issuecomment-227170

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>
* acl benchmark patch

* Fix missing cl kernel function

This commit adds missing cl kernel function to map list.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove acl link for neurun ineternal (#4174)

Remove acl link for neurun ineternal
Becasue neurun internal is independent with acl, we can remove acl link

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Environment variable to disable compile (#4172)

Introduce environment variable to disable compile
Return with bad state in exection phase when compile state is NOT_COMPILED

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Move Permute Type struct to PermuteNode (#4166)

In order for StageGenerator to not have dependency on backends.
This commit moves Permute Type decision from StageGenerator to creation
of PermuteNode(which is created only in PermutationInsertionPass).

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Remove StageGenerator log prints (#4167)

Remove StageGenerator log prints since it is not useful anymore.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Revert acl cmake build (#4164)

Revert acl cmake build to update acl v18.11
This reverts commit 5e4e7e27d7b4a20ef300bb4577c4e14369db7e06.
This reverts commit 7d484e5c3acd4b3ad8039226a25f78d26748be0a.

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add pause time between each tests in benchmark-op (#4158)

To reduce the impact of high temperature due to prior running,
this patch will add pause time  between each run.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Correcting assertion in transposeConv CPU implementation (#4153)

This patch will correct the position of bracket which has
been wrongly placed.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove unnecessary headers from CLReduce and CLArg ops (#4124)

This patch will remove unnecessary headers from CLReduce
and CLArg op files. And Replace CLArray to CLScheduler
since only CLScheduler header file is enough.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove unused variables in CLArgMinMaxKernel file (#4127)

This patch will remove unused variables from
CLArgMinMaxKernel.cpp

Signed-off-by: shubham <shub98.gupta@samsung.com>

Block gtest install (#4146)

- Update add_extdirectory macro for EXCLUDE_FROM_ALL setting
- Disable gtest install using add_subdirectory with EXCLUDE_FROM_ALL

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Removing ambiguity from pack gtests (#4074)

This patch rectifies the name of one of the inputs.

Signed-off-by: b.devansh <b.devansh@samsung.com>

Update docker builder script (#4141)

- Fix to handle multiple docker image build argument
- Set default image name

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update cmake for revised directory structure (#4143)

Update cmake for android and gbs build for revised directory structure

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Adding quant8 gtest for split (#4046)

This patch adds quant8 gtest for split.

Signed-off-by: b.devansh <b.devansh@samsung.com>

[neurun] Extract Operation LowerInfo from Node (#4136)

As `model::operation::Node` is pure node info so LowerInfo should not
be Node class. `graph::Graph` holds them instead.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove workaround for test script path change (#4134)

Remove workaround for test script path change because CI scripts are updated

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update validation test skiplist (#4133)

Remove model vaildation tests in neurun skiplist

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Clean up dependencies of backends (#4112)

After resolving dependencies and converting backends to plugins, these
dependencies aren't actual anymore

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Remove nnapi library (#4105)

Related issue: 4103
Remove nnapi library since just one of its functions is used in
backends: better to move it into neurun/utils

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Changes in cl kernel files related to #if defined conditions (#4106)

1. Add missing #if defined conditions
2. Remove the Vec_size from #if defined check since kernel
   should execute even if it is not passed as an preprocessor
   argument with an assumption VEC_SIZE=1 i.e., processing
   on one element at a time.

Files modified are:
1. embedding_lookup.cl
2. exp.cl
3. hashtable_lookup.cl
4. neg_tensor.cl

Signed-off-by: shubham <shub98.gupta@samsung.com>

Changes in Cast op files (#4104)

1. Add missing comments in Cast kernel
2. Add #if defined to have error handling
3. Renaming of OFFSET_IN/SCALE_IN to offset and scale
   to remove ambiguity if it is for input or output
   due to the variable name

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add missing condition in Batch_to_space kernel for #if defined (#4101)

This patch will add one more condition to check if defined(Batch_OUT).

Signed-off-by: shubham <shub98.gupta@samsung.com>

Corrections in comments and adding #if defined for PRELU kernel (#4100)

This patch will corrects the comments and add  #if defined for PRELU kernel

Signed-off-by: shubham <shub98.gupta@samsung.com>

Revise compile state (#4086)

Move lower, linearize state setting to plan

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add QASYMM8 support for PReLU op (#4079)

This patch adds QASYMM8 support for PReLU op.
Issue: #3884

Signed-off-by: prasannar <prasanna.r@samsung.com>

Arrange GTests in linux skip lists in order (#4092)

Gtest in skiplist were in order before #3878
This patch arranges the same for better organizing and tracking

Signed-off-by: prasannar <prasanna.r@samsung.com>

Fix build for svace and coverity (#4121)

Fix build for svace and coverity: fix for renamed generated test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix ARMCompute build script bug (#4097)

The current version is unable to build ARMCompute from the downloaded
source.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Load backend dynamically as plugin (#3863)

Load backends dynamically as plugins during runtime

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Removing unnecessary preprocessor argument in StridedSlice op (#4102)

Since Element_size is not getting used in the kernel, hence
this patch will remove this unnecessary preprocessor argument
for Element_size

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun]Merge 2 for-loops of PlanBuilder::finalize (#4118)

Since these two loops are independent and loop over the same
tensor_builders, better to merge them

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] CamelCase DotDumper::dump_if_needed (#4117)

Convert style of DotDumper::dump_if_needed to camel case

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Calculate build depth before script backup (#4107)

Calculate build depth and make depth count text file
Prepare CI update and removing backup

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Cmake for gbs build fix (#4115)

Fix gbs build failure: changed nnapi gtest directory name

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add #ifndef block for VEC_SIZE in comparison op cl kernel (#4109)

This patch adds #ifndef block for VEC_SIZE in comparison op cl kernel

Signed-off-by: prasannar <prasanna.r@samsung.com>

Changes req in Binary Logical op files (#4082)

1. Add op_code related comment
2. Initialize op_code variable to have error handling
3. Indentation and correction in already present commnets
   changing #if defined conditions

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add #endif to #ifndef block in comparison_op_quantized cl (#4110)

This patch adds  #endif to #ifndef block in comparison_op_quantized cl
Else it would be a fatal error stating unterminated #ifndef

Signed-off-by: prasannar <prasanna.r@samsung.com>

Adding runtime asserts in TransposeConv. (#4099)

This patch adds shape related asserts for transpose_conv.

Signed-off-by: b.devansh <b.devansh@samsung.com>

[neurun] Refactory call of DotDumper in compile() (#4113)

No need to complicate Compiler::compile with codes, that don't relate to
compilation. So, this change moves env checking DotDumber related
branching into DotDumper

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Rename generated test (#4096)

* Rename generated test

Rename generated test binary: nnapi_gtest
Rename directory including generated test: tests/nnapi
Revise directory structure

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Fix typo

Correction of Datatypes supported by SquareDiff op (#4070)

This patch will remove S16/S32 validations and comment
since it is not supported as of now by the current
implementation.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Changes in Reduce op files (#4081)

1. Add missing op_code comment
2. Initialise op_code variable to have error handling
3. Indenting kernel code

Signed-off-by: shubham <shub98.gupta@samsung.com>

Changes in Comparison op files (#4080)

1. Add missing comments for op_code
2. Add #if definition to verify the preprocessors before executing
3. initialise op_code = 0 and changing the op_code values assigned
   to operation to have runtime error handling
4. Indentation of the kernel code.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Unified ArgMin and ArgMax kernel (#4083)

This patch will create a single kernel which can
handle both ArgMax and ArgMin op, hence reducing the
code redundancy.

Signed-off-by: shubham <shub98.gupta@samsung.com>

[tflite_run] Do not support image inputs (#4098)

The image file as input is not our way of testing any longer. Since this
only support inception v3 IFM, it would be nicer not to have this
option.

Resolve #1206

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Redefine LogicalOperation as BinaryLogicalOperation in TypesEx and remove NOT (#4089)

This patch renames LogicalOperations as BinaryLogicalOperations in TypesEx.h
Removes NOT from enum.
Reason:
This enum was introduced with an aim of providing unified kernels for LogicalOps
But unified kernel is provided only for BinaryLogicalOps
and hence LogicalNot enum value is never used.
Hence it would be better to rename and remove NOT flag from it,

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Move operation files from graph to model (#4095)

* [neurun] Move operation files from graph to model

Move pure model related classes from `graph/operaation` to
`model/operation`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Update ifdef guards

* Fix ifdef guards

[neurun] Move logging.h to `util` dir (#4087)

* [neurun] Move logging.h to `util` dir

Move logging.h to `util` dir and update namespace accordingly.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Fix namespace

Add calls to CPU version of SimpleArgMinMax op (#4029)

This patch will add call to CPU version of ArgMinMax op
and changing SimpleArgMinMax files to use ArgOperation enum

Signed-off-by: shubham <shub98.gupta@samsung.com>

Move generated test into tests directory (#4090)

Move generated test in runtimes/tests to tests/runtime directory

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Making comparison_op_quantized.cl generic with VEC_SIZE (#4042)

This patch makes comparison op quantized.cl more generic based on VEC_SIZE
replacement from 16 -> vec_size
This is done for better scaling of this kernel.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Remove CL implementation of Equal & Not Equal (#4069)

Since CLComparisonOp which is an unified CL for comparison op is merged
the redundant files can be removed.
Related issue: #3851

Signed-off-by: prasannar <prasanna.r@samsung.com>

Introduce Nonius CMake Package (#4068)

This commit integrates nonius benchmark framework as a nnfw
external dependency package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix format and license in include (#4064)

Fix format of NeuralNetworksEx.h and NeuralNetworksExShim.h
Fix format of NeuralNetworksLoadHelpers.h: minimize diff with upstream code
Fix license of NeuralNetworksLoadHelpers.h: This file is comes from tensorflow, not android
Add comment in NeuralNetworksShim.h and NeuralNetworksLoadHelpers.h: related upstream code
Modify format checker to ignore NeuralNetworks.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix coverage report script (#4085)

Fix test tool directory
Remove remove-matching not existed: runtime/nn

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add default block in CLReduceOperation kernel (#4078)

This patch adds default block in CLReduceOperation kernel

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add default block to CLComparisonOp CL Kernel (#4077)

This patch adds default block to CLComparisonOp CL Kernel

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Move operand files from graph to model (#4071)

Move pure model related classes from `graph/operand` to `model/operand`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove Passing logicaOr gtest from skiplist (#3960)

Remove Passing logicaOr gtest from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add gtests to test Pad op for 2D/3D tensors (#3946)

This patch will add Pad gtest to test for 2D/3D tensors

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add gtests for ArgMax op to test int32 dataype (#4034)

Since the kernel states it support int32 datatype
So, these test cases will verfiy the same.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add gtests for transposeConv op to test Int32 dataype (#4037)

This patch will add gtest to test TransposeConv op
for int datatype

Signed-off-by: shubham <shub98.gupta@samsung.com>

Configure ARMCompute correctly (#4066)

This commit updates Makefile and ARMComputeConfig.cmake to correctly
configure ARMCompute library targets even for CI build.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Correction in datatypes supported in NeuralNetworksEx (#4017)

This patch will add INT32 supported comment in
1. arg_max
2. pack and unpack
3. abs
And remove INT32 supported comment from SquaredDifference

Signed-off-by: shubham <shub98.gupta@samsung.com>

Optimising ArgMinMax kernel: remove extra global memeroy access (#4020)

This patch will optimise ArgMinMax kernel by remove the extra global memory
access which can done by local variable.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Define compile state (#4055)

* Define compile state

- Define 4 compile state getter/setter in plan
- Set compiled state when compile finished

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Rename getter & setter

* Use class enum instead of enum

Move test-related codes in tools into tests (#4058)

Move test-related codes in tools into tests
- nnapi_test
- tflite_run
- tflite_benchmark
- tflite_benchmark_model

Update cmake, root makefile, and spec file

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add gtests to test pack and unpack op for int daatypes (#4038)

This patch will add gtests to test pack and unpack
op for int32 datatypes

Signed-off-by: shubham <shub98.gupta@samsung.com>

Rearranging non-class func to seperate from CLass func (#4051)

It will be better to put non-class func in namespace
to have clear seperation of class and non-class func

This patch will rearrange the val_arg func so as to
have that in a namespace.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Collect implementation test code into contrib/labs (#4025)

Collect contribs build by BUILD_LABS into contrib/labs
Move tools/tflite_examples into contrib/labs

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove backend depenency in Permute (#4011)

This commit removes backend dependency in `Permute` such as `Window`, `Iterator` and `ICLTensor`...

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove environment checking in profiling library (#4053)

* Remove environment checking in profiling library

Remove Sync class
Define boolean sync field and setter in Context
Remove environment checking in profiling library

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Rename env: PROFILING_OP_SYNC

Move build flag for benchmark model tool checking (#4056)

Move build flag BUILD_TFLITE_BENCHMARK_MODEL checking into tool's cmake

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove PReLU Layer from internal/layers (#4043)

This patch removes PReLU layer from internal/layers
Since cl kernel for the same has been implemented and merged.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Realignment of doxygen comments in various CL Host files (#4052)

In order to have uniformity and similarity to ACL
and NeuralNetworks.h's style of doxygen comments,
this patch realigns the comments.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add CLKernel calls for Comparison operators (#4044)

This patch adds CLKernel calls for comparison operators
- Equal
- Not Equal

Signed-off-by: prasannar <prasanna.r@samsung.com>

Changes in DataType supported by CL and host files of SquaredDifference and Neg (#4013)

This patch adds changes in DataType supported by CL and host files of SquaredDifference and Neg
Reference NeuralNetworksEx.h

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Replace EnvVar with ConfigManager (#4045)

Replace EnvVar with ConfigManager. Some default values are revised to
work in the same way as before.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Correction in various gtests (#4036)

1.correction in datatype for shape
2.correction in input and output values based on datatype
3.renaming files based on the datatype they are testing for.

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Remove backend/acl_cl/kernel/View.h (#4003)

Related : #3983

This commit removes `backend/acl_cl/kernel/View.h` that is duplicated with other `View` classes.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add missing assertions in TransposeConv visit func (#4027)

This patch will add assertions for tensors rank in TransposeConv
visit func

Signed-off-by: shubham <shub98.gupta@samsung.com>

Renaming of gtests to provide the datatype info they are testing (#4035)

Since many of the gtests have datatype in their name which they are
testing. Moreover, having datatype in the names will give more clear
distinction in gtests, this patch renames the gtest files to do the
same.

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Move template specializations (#4039)

Move template specializations to source file to avoid duplicated
definition error.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Create a singleton for ConfigManager (#4040)

Create a singleton for ConfigManager. Restrict ctor to be private so it
does not instantiated by code from other places.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove unnecessary switch case from ArgMinMax kernel (#4033)

Since axis is always less than input rank and in Host file
there is already an assertion of axis<rank.
this switch case is not req and hence reducing the unnecessary
switch arithematic.

This patch will remove this unnecessary switch case and reducing code
redundancy.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove dependece of data format(NHWC) of PACL runtime from kernels of SPACE_TO_BATCH_ND (#4024)

This commit removes dependece of data format(NHWC) of PACL runtime from kernels of SPACE_TO_BATCH_ND.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Adding float gtests for split (#4028)

This patch adds float gtests for split.

Signed-off-by: b.devansh <b.devansh@samsung.com>

Implementation for CL to support padding for tensors upto rank<=4 (#3945)

This patch will enable pad op to support padding of tensors having
rank <=4

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove AND GTests from skiplist (#3982)

This patch removes AND GTests from skiplists.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add DataTypes supported by BinaryLogicalOp CL Kernel (#4012)

This patch adds DataType supported by BinaryLogicalOp CL Kernel

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add CL Kernel for PRELU (#3961)

This patch adds single CL Kernel for PReLU implemented as,

f(x) = alpha * x for x < 0, f(x) = x for x >= 0.

As of now (#3901 ) PReLU implemented as,

f(x) = Relu(x) + (negative_alpha * Neg(x, activation=Relu))

Scope:

- Optimization
- No switch between CPU & GPU

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add tests for LogicalNot (#3600)

This commit adds tests for LogicalNot op

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Propose unified kernel for Comparison operators and bug fix (#3914)

This patch proposed unified CL Kernel for Comparison operator
This patch includes:
- CL kernel for EQUAL/NOT_EQUAL
- TRUTH value bug fix
- CL Kernel that can be easily extended for GT, LT, GE, LE

Signed-off-by: prasannar <prasanna.r@samsung.com>

Update namespace and ifdef for libs/misc (#4022)

Update ifdef for libs/misc
Update namespace libs/misc as nnfw::misc

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move tools/test_driver to tests/scripts (#4019)

* Move tools/test_driver to tests/scripts

Move tools/test_driver to tests/scripts
Update test path
Workaround for CI

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Comment in Makefile for workaround