Add GTest to test for the enabled Broadcast feature in SquaredDifference op (#3185)

This patch adds GTest to test for the enabled Broadcast feature in SquaredDifference op.
Added GTests:
```
squared_difference_ex_broadcast
squared_difference_ex_broadcast_4D_2D
```
Signed-off-by: prasannar <prasanna.r@samsung.com>

Add CL Kernels for Equal op (#3029)

This patch adds CL Kernels for Equal op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Make TensorBuilder on CPU have MemoryAllocator (#3215)

* [neurun] Make TensorBuilder have MemoryAllocator

Makes TensorBuilder have MemoryAllocator as its member. Now there is no
resolution to access MemoryAllocator globally.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix format-checker fail

Introduce UNPACK_EX in NeuralNetworkEx (#3189)

Introduced upack_ex in neural network ex

Signed-off-by: Vishal keshav <vishal.k1@samsung.com>

[neurun] Remove Source/Sink codes divided to dimensions (#3213)

Related : #2874

Part of : #3178

Because #3208 and #3187 are merged, we can remove `Source`/`Sink` codes divided to dimensions.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add NNAPI_Delegation for SQUEEZE (#3065)

This patch adds NNAPI Delegation for SQUEEZE op.
Related issue: #2891 #2884

Signed-off-by: prasannar <prasanna.r@samsung.com>

Fix offset bug for BatchToSpace (#3204)

For issue #3105

This patch will fix offset bug from BatchToSpace

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Get only CPU shape as Input/Output (#3208)

This commit gets only CPU shape as Input/Output(it would insert Permute ops).

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Remove Unsupported Datatype Cases in DepthToSpace (#3202)

NN api defines only for U8 and F32 dataype for DepthToSpace op.
Hence, leaving code only for supported dataypes.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove passed GTest from Skiplist (#3200)

This patch removes passed GTests batch_to_space* from skip_list.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Introduce OperandConstraint (#3182)

Introduce OperandConstraint to simplify implementation of
setInputs/Outputs. They were virtual methods but this commit makes it
non-virtual to make the code simpler. Instead `Node` class now uses
`OperandConstraint` which limits the number of input operands(and
possibly output operands).

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Workaround for operand::Set iteration (#3196)

`OperandPass` sometimes manipulate the set while iteration, this
workaround forces the `iterate` method to iterate only elements that
has been existed from the beginning of the iteration.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Fix use of static var in BackendResolver (#3195)

Using static local variable can cause when compilation multiple times in
a run. This was first known by #3178(Not because of this, but it is
shown with this PR).

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Introduce IMemoryAllocator (#3190)

Introduces IMemoryAllocator as an interface of memory allocator. Now
BumpAllocator inherits to it.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[neurun] Refine BackendManager ctor (#3206)

This commit makes the local variables more readable. The prefix can be
removed since we have two different blocks and fix the wrong name
`backend_initializer to be `config`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove duplicated header inclusion in ARMComputeEx (#3160)

CLHelpers.h is included twice so it is removed.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[cherry-pick] Build tflite_benchmark on gbs build (#3176)

Enable building tflite_benchmark on gbs build
Catch exception in main to remove warning
Change makefile to build tflite_benchmark on testbuild

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove duplicated header inclusion (#3168)

Multiple inclusions in the same file -<memory>
<cassert> present in model.h.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Enable SquaredDifference to support BroadCast (#3183)

This patch enables SquaredDifference CL Kernel to support broadcasting.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[tfltool] OP selector: Support more operators (#3099)

This patch add support for SpaceToDepth and PAD operators in select_opertor.py

Signed-off-by: shubham <shub98.gupta@samsung.com>

Implement BATCH_TO_SPACE_ND in runtime (#3101)

This patch implements BATCH_TO_SPACE_ND in runtime.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Support to permute for all other dimensions (#3187)

Related : #3106, #2874

Part of : #3178 PR

This commit supports to permute for all other dimensions.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introducing PACK_EX operation (#3181)

Added the missing comma in ABS_EX line

Signed-off-by: Vishal keshav <vishal.k1@samsung.com>

Remove un-necessary header file <iostream> from SimpleNeg.cc (#3177)

This patch removes un-necessary header file <iostream> from SimpleNeg.cc.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Fix padding bug of some kernels. (#3161)

This commit Fixes padding bug of some kernels used by Coordinates of ACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Apply BumpAllocator to TensorBuilder (#3172)

Applies BumpAllocator to TensorBuilder so that now one memory allocator
has started allocating tensors.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

version update to 0.2 on gbs spec file (#2735) (#3156)

- version update to 0.2 on gbs spec file

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add a generated test for testing broadcast SUB (#3144)

This test is for testing broadcast sub with tensors of 4D & 2D shape.
Added GTest: sub_broadcast_4D_2D_float_nnfw.
Related issue: #3143

Signed-off-by: prasannar <prasanna.r@samsung.com>

Fix CRLF to LF in Abs.cpp (#3175)

Fix wrong line break in Abs.cpp.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[cherry-pick] Remove debug files in package (#2778) (#3158)

Remove debug files in nnfw & nnfw-test package

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[cherry-pick] Remove unused module on gbs build (#2755) (#3157)

Remove unused module on gbs build

- tools (except nnapi_test)
- benchmark
- contrib
- template & logging in runtime

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

tflite_benchmark custom op on tizen (#3170)

On tizen, custom op is not found when runnning tflite_benchmark.
This patch changes link order for tflite_benchmark.
cf) This bug is not found on arm-ubuntu(IDK why)

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add a generated test for broadcast add (#3125)

This test is consist of an ADD, a CONCATENATION and a RESHAPE operation.
CONCATENATION and RESHAPE are NOP just copy the value to the output.
They are exist for making test easier with different layouts(NCHW/NHWC)
on neurun.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tfltool] OP selector: Support more operators (#3096)

Supports BATCH_TO_SPACE_ND and SPACE_TO_BATCH_ND operators

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[neurun] Introduce BumpAllocator (#3149)

* [neurun] Introduce BumpAllocator

Introduces BumpAllocator an early version of MemoryAllocator.
The BumpAllocator only allocates memory without any deallocating.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Adds unit test of BumpAllocator

* Remove capacity()

[tfltool] OP selection: Add support for L2Norm and Split (#3109)

This patch will add support for L2Norm and Split operators
in tfltool select_operator.
Signed-off-by: Praveen D N <praveen.dn@samsung.com>

nnfw: RSQRT PACL Changes for RSQRT Support (#3040)

This patch adds support for RSQRT in PACL Codebase(compilation.cc)

Signed-off-by: Tanuj Tekriwal <tanuj.tekri@samsung.com>

Remove old ACL temp files from gitignore (#3115)

This will remove ACL generated files that don't need anymore in gitignore
- /externals/acl itself is ignored now

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

[tftool] OP selector: Support TransposeConv op (#3133)

For issue #3093
This patch will add support for transposeconv in tfltool selec_operator.py

Signed-off-by: shubham <shub98.gupta@samsung.com>

[tfltool] OP selector: Support more operator (#3094)

This commit supports SQUEEZE option in op selector

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[neurun] Fix operation::Concat input assertion (#3164)

Just like the comment says, it should be equal or greater than 2.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Remove passed GTest from skiplist (#3165)

This patch removes sub_broadcast_float GTest from skiplist.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[tfltool] OP selection: Enable for EqualOptions (#3112)

This patch will enable EqualOptions in tfltool select_operator.
Related issue: #2610 #2822

Signed-off-by: prasannar <prasanna.r@samsung.com>

Removing function overhead of pow in Squarediff kernel (#3130)

This patch will remove function overhead of pow since pow(x,2) can be wirtten as x*x

Signed-off-by: shubham <shub98.gupta@samsung.com>

Correction in reduction mean kernel (#3131)

This patch removes unnecessary temp varaible and modifies comments

Signed-off-by: shubham <shub98.gupta@samsung.com>

Offset function not required (#3132)

This patch will remove unused offset4D function from CLReduceSum.cpp

Signed-off-by: shubham <shub98.gupta@samsung.com>

Use dlopen for generated test (#3154)

Use dlopen instead of static link for generated test

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove duplicated codes from SimpleEmbeddingLookup (#3159)

This commit removes duplicated codes from SimpleEmbeddingLookup.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add CRLF detect in format-checker (#3162)

This will add CRLF newline check in format-checker script

Signed-off-by: SaeHie Park <saehie.park@samsung.com>

Initialize Objects and other variables (#3129)

This patch will initialize class objects and variables

Signed-off-by: Shubham <shub98.gupta@samsung.com>

Remove unnecessary Headerfile <iostream> from op BatchToSpaceNd (#3108)

This patch removes unnecessary headerfile <iostream> from op/BatchToSpaceNd.cc

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add a function that converts the coordinates of the runtime into the coordinates of ACL. (#3117)

This commit adds a function that converts the coordinates of the runtime into the coordinates of ACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Convert CRLF line endings to LF (#3148)

Some files use CRLF(Windows) for line ending while most files use LF
(Unix-like).

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Revert "[neurun] Only one item for codegen operand Context (#3043)" (#3127)

This reverts commit f607de26dcf88a20de5e1d303390f9253cb27c34.

There is no easy way to fix #3126, so reverting the problematic change.
However still, we need to fix it.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Remove unnecessary header includes (#3142)

Remove more unnecessary header includes in
`frontend/wrapper/compilation.cc`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add Abs custom op in tflite (#3033)

This commit resgiters and performs Custom(Abs) op in tflite.
Related issue:#2828

Signed-off-by: Siva Sai <siva.sai@samsung.com>

Block size assert for space_to_depth (#3087)

The block size should be asserted for size, divisor of
height and weight and output depth as per NNAPI specification.
The change asserts as per specification.

Assert moved from execution to compile time.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Remove Unsupported Datatye Cases in StridedSlice (#3111)

NN api defines only for U8 and F32 dataype for stridedslice op.
Hence, leaving code only for supported dataypes.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add missing definition for Cast.h (#3120)

This commit Add missing definition for Cast.h

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Change external source code download setting (#3116)

Use tar.gz file instead of zip file
Change external source code download setting to server path only
- Support smooth external code update
- Support simple mirror server moving

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add SimpleNeg to process NEG on CPU (#2979)

* Add SimpleNeg to process NEG on CPU

This patch allows to process NEG on CPU by default

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Update if branch statement of NEG

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Use USE_SIMPLE_NEG environment of NEG cpu operation

It is quite many slower than gpu operation.
But for debugging, keep this codes.

* Revert an irrelevant correction

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[contrib] running/synchronizing kernels on two devices in a GPU (#2780)

This is a experiment code to test how to synchronize kernels on two devices in a GPU.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Add bash shebang to generate_test.sh (#3102)

`$BASH_SOURCE` is not available even for some other bash-compatible
shells.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Assert moved:exec to compile time for DepthToSpace Layer (#3088)

If shape constraint has done well at compilation time, then there is no
need of assert at execution time.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Adding Scale, Overflow policy and Rounding policy to Div op (#3086)

Same as Mul op which uses the following values.

Signed-off-by: Siva Sai <siva.sai@samsung.com>

Remove space_to_batch gtest from skiplist armv7l-linux (#3079)

This patch will remove passing space_to_batch gtest from skiplist.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Enable to check operand status in pureacl (#2438)

This commit will enable to check if operand exists or not

Signed-off-by: Seok NamKoong <sk.namkoong@samsung.com>

[neurun] Rename IBackendConfig to IConfig (#3098)

Rename `IBackendConfig` to `IConfig` since it is in namespace
`neurun::backend` so "Backend" in the class name is redundant.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Seperate functions of Cast.h into the declaration and the definition (#3104)

This commit seperates functions of Cast.h into the declaration and the definition.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Show other inputs on dot graph (#3078)

* [neurun] Show other inputs on dot graph

This commit shows other inputs(kernel,bias..) on dot graph.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Add options to switch showing range

* merge condition

Fix max_pool op to support quant type (#3016)

This patch will fix the max_pool_quant8_3 Gtest
And adds support for Quantization.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Move TRANSPOSE_CONV_EX case to AddOperationEx in model.cc (#3103)

This patch moves TRANSPOSE_CONV_EX case to AddOperationEx since it's an Ex operation.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Make codegen impl less verbose (#3084)

Since we have the inputs and outputs as operand::Index we do not need the full
scope resolution, hence changing those to auto for codegen.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Add NNAPI Delegation Changes for L2_Normalization op (#3080)

This patch adds NNAPI Delegation Changes for L2_Normalization op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

NNAPI delegation changes for Batch_To_Space_ND op (#3057)

This patch gives the required NNAPI_Delegation changes for Batch_To_Space_op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Remove Unsupported Datatye Cases in SpaceToDepth (#3077)

NN api defines only for U8 and F32 dataype for spacetodepth op.
Hence, leaving code only for supported dataypes.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove S8,U32,S32 dataype cases from DepthToSpace (#3076)

This patch will remove S8, U32 and S32 cases since nnapi doesnot defines for them in DepthToSpace

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add LRN codes in NE-ACL to supp both odd/even val (#2908)

This patch contains RS7-RuntimeNTools/ComputeLibrary#47 PR
For NEON-ACL LRN support
Updated license contents for NENormalizationLayerEx

Signed-off-by: shubham <shub98.gupta@samsung.com>

Fix for avg_pool_quant8_4 Gtest (#3017)

This patch will fix avg_pool_quant8_4 gtest

Signed-off-by: shubham <shub98.gupta@samsung.com>

nnfw: RSQRT support for Extended ACL. (#3039)

SQRT is supported as an Activation function in ACL, so RSQRT is also
added as in Activation Function in case of Extended ACL for nnfw.

Full framework for Activation function is added with this patch so
that if similar functionality is required for some other operator
then it can be added easily.

Signed-off-by: Tanuj Tekriwal <tanuj.tekri@samsung.com>

Introduce BATCH_TO_SPACE_ND in runtime. (#3058)

This patch introduces BATCH_TO_SPACE_ND in PACL runtime.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Remove cmake for acl build (#3092)

Remove cmake for acl build (not used anymore)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add NNAPI_Delegation changes for HashTableLookup op (#3082)

This patch adds NNAPI_Delegation changes for HashTableLookup op

Signed-off-by: prasannar <prasanna.r@samsung.com>

Introduce Custom(Abs) op in runtime (#3035)

This commit introduces Custom(Abs) op in PACL runtime.
Related issue: #2828

Signed-off-by: Siva Sai <siva.sai@samsung.com>

[PureACL] remove unused code (tanh activation code) (#3072)

Remove tanh fuseCode since we don't have tanh supported.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Updating skiplist for HashtableLookup (#2907)

With #2655 and #2708 both the removed gtests are passing,
hence removing them from the skiplist.

Signed-off-by: Siva Sai <siva.sai@samsung.com>

[neurun] Fix condition typo in lowering (#3071)

This commit fixes condition typo in lowering.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Remove dot dump env verbose (#3073)

This commit removes dot dump env verbose which is not needed anymore.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Fix wrong return of EnvVar::asBool (#3075)

Previously `asBool` always return `1`. Fixed the bug.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[neurun] Combine generateWeight and generateBias (#3066)

Combine `generateWeight` and `generateBias` into one `generate` method
in `IInitializerGenerator`.

The type `Initializer` is now a list of a pair of Index and Initializer
function. To keep the legacy code as much as possible, the two functions
are still there as private and non-virtual.

Resolve #3042

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add CL Kernels for SquaredDifference op. (#3037)

This patch adds CL Kernels for SquaredDifference op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Move backend interfaces to interface dir (#3041)

Move backend interfaces to interface dir.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Setting quantization info to fix bug (#3020)

This patch will set quantization info for the quant8 supported ops.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove passed Generated Tests from skiplist armv7l-linux (#3049)

This patch removes the passed Generated Tests
```
tensorflowmax_ex*
space_to_depth*
```
from the skiplist ```runtime_run_android_nn_test.skip.armv7l-linux```.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add Generated Test for Squared Difference op (#3019)

Add squared_difference_ex_1D_float for testing 1d tensor.
Add squared_difference_ex_2D_float for testing 2d tensor.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Included file is not required (#2910)

This patch will remove #include CLArithmeticSubtraction which is not getting used at all.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Changes in Generated files of gather gTests (#3045)

The files
```
gather_1D_quant8.example.cpp
gather_2D_quant8.example.cpp
gather_1D_quant8.model.cpp
gather_2D_quant8.model.cpp
```
have changes that is not reflected in the nnfw repo.
This patch points out those necessary changes.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Only one item for codegen operand Context (#3043)

* [neurun] Only one item for codegen operand Context

Now that Permutation insertion has changed that there must be only one
`backend::operand::Object` for each operand. So this commit removes
vector container which made it one-to-many relationship between graph
operand and backend operand.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Add assertion

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add NNAPI Delegation and Custom Op for Equal (#2984)

This patch adds NNAPI Delegation and Custom op definition for Equal.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Remove depth_to_space gtest from skiplist armv7l-linux (#3052)

This patch will remove passing depth_to_space gtest from skiplist.

Signed-off-by: shubham <shub98.gupta@samsung.com>