Remove nnapi library (#4105)

Related issue: 4103
Remove nnapi library since just one of its functions is used in
backends: better to move it into neurun/utils

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Changes in cl kernel files related to #if defined conditions (#4106)

1. Add missing #if defined conditions
2. Remove the Vec_size from #if defined check since kernel
   should execute even if it is not passed as an preprocessor
   argument with an assumption VEC_SIZE=1 i.e., processing
   on one element at a time.

Files modified are:
1. embedding_lookup.cl
2. exp.cl
3. hashtable_lookup.cl
4. neg_tensor.cl

Signed-off-by: shubham <shub98.gupta@samsung.com>

Changes in Cast op files (#4104)

1. Add missing comments in Cast kernel
2. Add #if defined to have error handling
3. Renaming of OFFSET_IN/SCALE_IN to offset and scale
   to remove ambiguity if it is for input or output
   due to the variable name

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add missing condition in Batch_to_space kernel for #if defined (#4101)

This patch will add one more condition to check if defined(Batch_OUT).

Signed-off-by: shubham <shub98.gupta@samsung.com>

Corrections in comments and adding #if defined for PRELU kernel (#4100)

This patch will corrects the comments and add  #if defined for PRELU kernel

Signed-off-by: shubham <shub98.gupta@samsung.com>

Revise compile state (#4086)

Move lower, linearize state setting to plan

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add QASYMM8 support for PReLU op (#4079)

This patch adds QASYMM8 support for PReLU op.
Issue: #3884

Signed-off-by: prasannar <prasanna.r@samsung.com>

Arrange GTests in linux skip lists in order (#4092)

Gtest in skiplist were in order before #3878
This patch arranges the same for better organizing and tracking

Signed-off-by: prasannar <prasanna.r@samsung.com>

Fix build for svace and coverity (#4121)

Fix build for svace and coverity: fix for renamed generated test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix ARMCompute build script bug (#4097)

The current version is unable to build ARMCompute from the downloaded
source.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

[neurun] Load backend dynamically as plugin (#3863)

Load backends dynamically as plugins during runtime

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Removing unnecessary preprocessor argument in StridedSlice op (#4102)

Since Element_size is not getting used in the kernel, hence
this patch will remove this unnecessary preprocessor argument
for Element_size

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun]Merge 2 for-loops of PlanBuilder::finalize (#4118)

Since these two loops are independent and loop over the same
tensor_builders, better to merge them

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] CamelCase DotDumper::dump_if_needed (#4117)

Convert style of DotDumper::dump_if_needed to camel case

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Calculate build depth before script backup (#4107)

Calculate build depth and make depth count text file
Prepare CI update and removing backup

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Cmake for gbs build fix (#4115)

Fix gbs build failure: changed nnapi gtest directory name

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add #ifndef block for VEC_SIZE in comparison op cl kernel (#4109)

This patch adds #ifndef block for VEC_SIZE in comparison op cl kernel

Signed-off-by: prasannar <prasanna.r@samsung.com>

Changes req in Binary Logical op files (#4082)

1. Add op_code related comment
2. Initialize op_code variable to have error handling
3. Indentation and correction in already present commnets
   changing #if defined conditions

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add #endif to #ifndef block in comparison_op_quantized cl (#4110)

This patch adds  #endif to #ifndef block in comparison_op_quantized cl
Else it would be a fatal error stating unterminated #ifndef

Signed-off-by: prasannar <prasanna.r@samsung.com>

Adding runtime asserts in TransposeConv. (#4099)

This patch adds shape related asserts for transpose_conv.

Signed-off-by: b.devansh <b.devansh@samsung.com>

[neurun] Refactory call of DotDumper in compile() (#4113)

No need to complicate Compiler::compile with codes, that don't relate to
compilation. So, this change moves env checking DotDumber related
branching into DotDumper

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Rename generated test (#4096)

* Rename generated test

Rename generated test binary: nnapi_gtest
Rename directory including generated test: tests/nnapi
Revise directory structure

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Fix typo

Correction of Datatypes supported by SquareDiff op (#4070)

This patch will remove S16/S32 validations and comment
since it is not supported as of now by the current
implementation.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Changes in Reduce op files (#4081)

1. Add missing op_code comment
2. Initialise op_code variable to have error handling
3. Indenting kernel code

Signed-off-by: shubham <shub98.gupta@samsung.com>

Changes in Comparison op files (#4080)

1. Add missing comments for op_code
2. Add #if definition to verify the preprocessors before executing
3. initialise op_code = 0 and changing the op_code values assigned
   to operation to have runtime error handling
4. Indentation of the kernel code.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Unified ArgMin and ArgMax kernel (#4083)

This patch will create a single kernel which can
handle both ArgMax and ArgMin op, hence reducing the
code redundancy.

Signed-off-by: shubham <shub98.gupta@samsung.com>

[tflite_run] Do not support image inputs (#4098)

The image file as input is not our way of testing any longer. Since this
only support inception v3 IFM, it would be nicer not to have this
option.

Resolve #1206

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Redefine LogicalOperation as BinaryLogicalOperation in TypesEx and remove NOT (#4089)

This patch renames LogicalOperations as BinaryLogicalOperations in TypesEx.h
Removes NOT from enum.
Reason:
This enum was introduced with an aim of providing unified kernels for LogicalOps
But unified kernel is provided only for BinaryLogicalOps
and hence LogicalNot enum value is never used.
Hence it would be better to rename and remove NOT flag from it,

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Move operation files from graph to model (#4095)

* [neurun] Move operation files from graph to model

Move pure model related classes from `graph/operaation` to
`model/operation`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Update ifdef guards

* Fix ifdef guards

[neurun] Move logging.h to `util` dir (#4087)

* [neurun] Move logging.h to `util` dir

Move logging.h to `util` dir and update namespace accordingly.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Fix namespace

Add calls to CPU version of SimpleArgMinMax op (#4029)

This patch will add call to CPU version of ArgMinMax op
and changing SimpleArgMinMax files to use ArgOperation enum

Signed-off-by: shubham <shub98.gupta@samsung.com>

Move generated test into tests directory (#4090)

Move generated test in runtimes/tests to tests/runtime directory

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Making comparison_op_quantized.cl generic with VEC_SIZE (#4042)

This patch makes comparison op quantized.cl more generic based on VEC_SIZE
replacement from 16 -> vec_size
This is done for better scaling of this kernel.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Remove CL implementation of Equal & Not Equal (#4069)

Since CLComparisonOp which is an unified CL for comparison op is merged
the redundant files can be removed.
Related issue: #3851

Signed-off-by: prasannar <prasanna.r@samsung.com>

Introduce Nonius CMake Package (#4068)

This commit integrates nonius benchmark framework as a nnfw
external dependency package.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Fix format and license in include (#4064)

Fix format of NeuralNetworksEx.h and NeuralNetworksExShim.h
Fix format of NeuralNetworksLoadHelpers.h: minimize diff with upstream code
Fix license of NeuralNetworksLoadHelpers.h: This file is comes from tensorflow, not android
Add comment in NeuralNetworksShim.h and NeuralNetworksLoadHelpers.h: related upstream code
Modify format checker to ignore NeuralNetworks.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix coverage report script (#4085)

Fix test tool directory
Remove remove-matching not existed: runtime/nn

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add default block in CLReduceOperation kernel (#4078)

This patch adds default block in CLReduceOperation kernel

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add default block to CLComparisonOp CL Kernel (#4077)

This patch adds default block to CLComparisonOp CL Kernel

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Move operand files from graph to model (#4071)

Move pure model related classes from `graph/operand` to `model/operand`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove Passing logicaOr gtest from skiplist (#3960)

Remove Passing logicaOr gtest from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add gtests to test Pad op for 2D/3D tensors (#3946)

This patch will add Pad gtest to test for 2D/3D tensors

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add gtests for ArgMax op to test int32 dataype (#4034)

Since the kernel states it support int32 datatype
So, these test cases will verfiy the same.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add gtests for transposeConv op to test Int32 dataype (#4037)

This patch will add gtest to test TransposeConv op
for int datatype

Signed-off-by: shubham <shub98.gupta@samsung.com>

Configure ARMCompute correctly (#4066)

This commit updates Makefile and ARMComputeConfig.cmake to correctly
configure ARMCompute library targets even for CI build.

Signed-off-by: Jonghyun Park <jh1302.park@samsung.com>

Correction in datatypes supported in NeuralNetworksEx (#4017)

This patch will add INT32 supported comment in
1. arg_max
2. pack and unpack
3. abs
And remove INT32 supported comment from SquaredDifference

Signed-off-by: shubham <shub98.gupta@samsung.com>

Optimising ArgMinMax kernel: remove extra global memeroy access (#4020)

This patch will optimise ArgMinMax kernel by remove the extra global memory
access which can done by local variable.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Define compile state (#4055)

* Define compile state

- Define 4 compile state getter/setter in plan
- Set compiled state when compile finished

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Rename getter & setter

* Use class enum instead of enum

Move test-related codes in tools into tests (#4058)

Move test-related codes in tools into tests
- nnapi_test
- tflite_run
- tflite_benchmark
- tflite_benchmark_model

Update cmake, root makefile, and spec file

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add gtests to test pack and unpack op for int daatypes (#4038)

This patch will add gtests to test pack and unpack
op for int32 datatypes

Signed-off-by: shubham <shub98.gupta@samsung.com>

Rearranging non-class func to seperate from CLass func (#4051)

It will be better to put non-class func in namespace
to have clear seperation of class and non-class func

This patch will rearrange the val_arg func so as to
have that in a namespace.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Collect implementation test code into contrib/labs (#4025)

Collect contribs build by BUILD_LABS into contrib/labs
Move tools/tflite_examples into contrib/labs

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove backend depenency in Permute (#4011)

This commit removes backend dependency in `Permute` such as `Window`, `Iterator` and `ICLTensor`...

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove environment checking in profiling library (#4053)

* Remove environment checking in profiling library

Remove Sync class
Define boolean sync field and setter in Context
Remove environment checking in profiling library

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Rename env: PROFILING_OP_SYNC

Move build flag for benchmark model tool checking (#4056)

Move build flag BUILD_TFLITE_BENCHMARK_MODEL checking into tool's cmake

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove PReLU Layer from internal/layers (#4043)

This patch removes PReLU layer from internal/layers
Since cl kernel for the same has been implemented and merged.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Realignment of doxygen comments in various CL Host files (#4052)

In order to have uniformity and similarity to ACL
and NeuralNetworks.h's style of doxygen comments,
this patch realigns the comments.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add CLKernel calls for Comparison operators (#4044)

This patch adds CLKernel calls for comparison operators
- Equal
- Not Equal

Signed-off-by: prasannar <prasanna.r@samsung.com>

Changes in DataType supported by CL and host files of SquaredDifference and Neg (#4013)

This patch adds changes in DataType supported by CL and host files of SquaredDifference and Neg
Reference NeuralNetworksEx.h

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Replace EnvVar with ConfigManager (#4045)

Replace EnvVar with ConfigManager. Some default values are revised to
work in the same way as before.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Correction in various gtests (#4036)

1.correction in datatype for shape
2.correction in input and output values based on datatype
3.renaming files based on the datatype they are testing for.

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Remove backend/acl_cl/kernel/View.h (#4003)

Related : #3983

This commit removes `backend/acl_cl/kernel/View.h` that is duplicated with other `View` classes.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add missing assertions in TransposeConv visit func (#4027)

This patch will add assertions for tensors rank in TransposeConv
visit func

Signed-off-by: shubham <shub98.gupta@samsung.com>

Renaming of gtests to provide the datatype info they are testing (#4035)

Since many of the gtests have datatype in their name which they are
testing. Moreover, having datatype in the names will give more clear
distinction in gtests, this patch renames the gtest files to do the
same.

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Move template specializations (#4039)

Move template specializations to source file to avoid duplicated
definition error.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Create a singleton for ConfigManager (#4040)

Create a singleton for ConfigManager. Restrict ctor to be private so it
does not instantiated by code from other places.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove unnecessary switch case from ArgMinMax kernel (#4033)

Since axis is always less than input rank and in Host file
there is already an assertion of axis<rank.
this switch case is not req and hence reducing the unnecessary
switch arithematic.

This patch will remove this unnecessary switch case and reducing code
redundancy.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove dependece of data format(NHWC) of PACL runtime from kernels of SPACE_TO_BATCH_ND (#4024)

This commit removes dependece of data format(NHWC) of PACL runtime from kernels of SPACE_TO_BATCH_ND.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Adding float gtests for split (#4028)

This patch adds float gtests for split.

Signed-off-by: b.devansh <b.devansh@samsung.com>

Implementation for CL to support padding for tensors upto rank<=4 (#3945)

This patch will enable pad op to support padding of tensors having
rank <=4

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove AND GTests from skiplist (#3982)

This patch removes AND GTests from skiplists.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add DataTypes supported by BinaryLogicalOp CL Kernel (#4012)

This patch adds DataType supported by BinaryLogicalOp CL Kernel

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add CL Kernel for PRELU (#3961)

This patch adds single CL Kernel for PReLU implemented as,

f(x) = alpha * x for x < 0, f(x) = x for x >= 0.

As of now (#3901 ) PReLU implemented as,

f(x) = Relu(x) + (negative_alpha * Neg(x, activation=Relu))

Scope:

- Optimization
- No switch between CPU & GPU

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add tests for LogicalNot (#3600)

This commit adds tests for LogicalNot op

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Propose unified kernel for Comparison operators and bug fix (#3914)

This patch proposed unified CL Kernel for Comparison operator
This patch includes:
- CL kernel for EQUAL/NOT_EQUAL
- TRUTH value bug fix
- CL Kernel that can be easily extended for GT, LT, GE, LE

Signed-off-by: prasannar <prasanna.r@samsung.com>

Update namespace and ifdef for libs/misc (#4022)

Update ifdef for libs/misc
Update namespace libs/misc as nnfw::misc

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move tools/test_driver to tests/scripts (#4019)

* Move tools/test_driver to tests/scripts

Move tools/test_driver to tests/scripts
Update test path
Workaround for CI

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Comment in Makefile for workaround

[neurun] Introduce ConfigManager (#4021)

Introduce ConfigManager that manages global configuration data.
The values are from Environment Variables.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Correction in GTests of Equal_Ex with truth value as 0xff (255) (#3927)

This patch corrects GTests of Equal_Ex with truth value as 0xff (255)
Related issue: #3823 #3851

As quoted by @hseok82-oh

>IMO, use 0xff (255) for true, and 0x00 (0) for false in test.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add gtest to test broadcasting in Notequal op (#3717)

This patch will test broadcasting in notequal op

Signed-off-by: shubham <shub98.gupta@samsung.com>

Update namespace in libs/tflite/ext (#4015)

Update namespace in libs/tflite/ext to nnfw::tflite
Reduce namespace depth for custom op

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Use IObject in PermuteLayer (#4005)

This commit uses `IObject` insted of `ITensor` in `PermuteLayer`, since we don't want to use `map/unmap` functions explicitly and to get any `ACL` dependencies.

Related : #3279
Part of : #3873

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Fix external tensorflow lite build cmake (#4007)

- Remove BUILD_TFLITE_BENCHMARK_MODEL check for profiling source code
- Fix typo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Rename tensorflow lite interpreter test (#4009)

* Rename tensorflow lite interpreter test

Rename tensorflow lite interpreter test by comparing with result of tensorflow
: tf_test -> tflite_test

* Fix build option description

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move how to run guideline into readme file (#3987)

This patch moves the how to run guideline into readme file

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Add argmax quant8 to skiplist (#4004)

Add argmax quant8 to skiplist: test fail

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move libs/misc/profiling to libs/profiling (#3997)

Move libs/misc/profiling to libs/profiling for profiling library
Update cmake to link profiling library
Update header path for profiling
Update cmake for tensorflow build to support build with BUILD_TFLITE_BENCHMARK_MODEL option

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

ArgMinMax CL kernel for ArgMax and ArgMin (#3867)

The changes introduce the argmax and argmin CL kernel in one cl file.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Add gtest to test LogicalAnd op for 2D and 3D tensors (#3938)

This patch will add gtests to test logicalAnd op for 2D and 3D tensors

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add gtest to test LogicalOr for 2D and 3D tensors (#3939)

This patch will add gtests to test logicalOr for 2d and 3d tensors

Signed-off-by: shubham <shub98.gupta@samsung.com>

Pass explicitly local workgroup size to enqueue in acl (#3996)

This patch allows the local workgroup size(_lws_hint) value pass to enqueue function

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[neurun] Introduce Config.lst (#3999)

Config.lst is a macro list with fields "Name", "Type", "Default value".

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Fix wrong size calculation when permuting (#3998)

This commit fixes wrong size calculation when permuting.
It should be data size not pointer size.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Apply dim correction to neg operator (#3986)

This allows to apply dim correction to Neg operator

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[neurun] Change ifdef guard in Convert.h (#3990)

This commit changes ifdef guard in `Convert.h` to correct.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Use host memory in acl_cl (#3974)

Related issue:3735
Add CLTensor::setBuffer to be able to use host memory from the acl_cl

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Add GTests to test broadcast of LogicalAND op (#3950)

This patch adds GTests to test broadcast of LogicalAND op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

ADD 1D, 2D, 3D, 4D GTests for RSQRT (#3932)

This patch adds 1D, 2D, 3D, 4D GTests for RSQRT

Signed-off-by: prasannar <prasanna.r@samsung.com>

Fix build bug by tflite library namespace (#3993)

Fix build bug by tflite library namespace change

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update namespace and ifdef for tflite library (#3968)

* Update namespace and ifdef for tflite library

Make tflite/extend directory for ported codes from public tensorflow
Update namespace except extended directory
Update ifdef in header

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Rename tflite/extend to tflite/ext

* Fix format

* Update ifdef in ext

* Flatten namespace nnfw::tflite::interp to nnfw::tflite

* Add comment for endif