[tool] Enable select operator for reduce operators (#3810)

Enable select operator for reduce operators: reduce_max, reduce_min, reduce_any, mean, sum,

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[tfltool] Enable select operator for RNN op (#3825)

This patch enables RNN in tflitetool in select_operator.py

Signed-off-by: b.devansh <b.devansh@samsung.com>

Add NNAPI delegation to PRELU op (#3807)

This patch adds NNAPI delegation to PRELU op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Handle optional input & output on frontend (#3763)

- Throw exception when optional input is set because we cannot support this yet
- Return with do nothing for optional output

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add a generated test for SpaceToBatchND (#3637)

This commit adds a generated test for SpaceToBatchND.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Initialize and reset for bool type in Diff.cpp (#3777)

Define initializer, reseter and comparator for bool type tensor

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove registraton of EQUAL, RSQRT as custom op. (#3809)

Since ops like EQUAL, RSQRT have been introduced in TF v1.12
They need not be registered as Custom ops anymore.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Rename topk_v2 gtests to topk_v2_ex (#3765)

This patch renames topk_v2 gtests to topk_v2_ex.
This is done for maintaining uniformity.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Rename split Generated test to split_ex (#3766)

This patch renames split Generated test to split_ex.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Renaming Gather GTests to gather_ex (#3767)

This patch renames Gather GTests to gather_ex.
This is done to maintain the uniformity.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Extract Coordinate4D from ParentInfo (#3806)

This commit extracts `Coordinate4D` class from `ParentInfo` to use in other classes generally.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Introduce PReLU op in PACL (#3791)

This patch introduces PReLU op in PACL.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

Support boolean tensor input and output (#3808)

Supprot boolean tensor input and output in nnapi delegate
Use temporary buffer for casting between boolean array and quantized int array

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove SQRT and RSQRT delegated as CUSTOM OP in nnapi_delegate (#3788)

This patch removes SQRT and RSQRT delegated as CUSTOM OP in nnapi_delegate.
Since #3742 is merged.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Fix typo to path lcov-to-cobertura-xml (#3803)

Fix typo to path lcov-to-cobertura-xml:
externals/lcov-to-covertura-xml -> externals/lcov-to-cobertura-xml

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Insert LogicalOr case in Model.cc (#3801)

This patch will add case for LogicalOr in Model.cc

Signed-off-by: shubham <shub98.gupta@samsung.com>

Define SPLIT_EX in NeuralNetworkEx.h (#3755)

This patch defines SPLIT_EX in NeuralNetworkEx.h
Related issue: #3347

Signed-off-by: prasannar <prasanna.r@samsung.com>

Define TOPK_V2_EX in NeuralNetworkEx.h (#3759)

This patch defines TOPK_V2_EX in NeuralNetworkEx.h.
Related issue: #3347

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add nnapi_delegation for Equal and NOT_Equal (#3745)

* Add nnapi_delegation for Equal and NOT_Equal

This patch adds nnapi_delegation for Equal and NOT_Equal.

Signed-off-by: prasannar <prasanna.r@samsung.com>
* Add nnapi_delegation for Equal and NOT_Equal

This patch adds nnapi_delegation for Equal and NOT_Equal.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Implement SQRT_EX op in CPU (#3760)

This patch implements SQRT_EX op in CPU.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

Introduce PRELU_EX in NeuralNetworksEx.h (#3769)

This patch introduces PRELU_EX in NeuralNetworksEx.h
Related issue: #3574 #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

Update generated test files (#3749)

* Remove deprecated generated test files

- Remove deprecated files: already recipe is removed
- Remove deprecated files by renamed: floor, tanh, and div recipe is renamed becasue of namespace conflict

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Update generated files

Update difference between generated by script and code in repo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add gtest to test Logical_OR_Ex op (#3781)

This patch will add gtest to test Logical_OR op

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove Passing mean gtest from skiplist (#3782)

This patch will remove passing mean gtest from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Register reduce_xx operator for internal tflite interpreter (#3785)

Reduce_sum, reduce_min, reduce_max builtin operators are registered
for internal tflite interpreter.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Define TRANSPOSE_CONV_EX in NeuralNetworksEx.h (#3773)

This patch defines TRANSPOSE_CONV_EX in NeuralNetworksEx.h.
Related issue: #3347

Signed-off-by: b.devansh <b.devansh@samsung.com>

[neurun] Move Convert to backend/acl_cl (#3778)

internal/Convert.h and the source file is acl_cl dependent, so it is
moved to `backend/acl_cl` dir.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add Quant8 support to NotEqual CL (#3754)

This patch will provide quant8 support for NotEqual Op

Signed-off-by: shubham <shub98.gupta@samsung.com>

Handle boolean for nnapi delegate (#3775)

To handle boolean for nnapi delegate, change type to quantized tensor and call NNAPI

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Define Abs_Ex op in NeuralNetworksEx.h (#3758)

This patch will define Abs_Ex op in NeuralNetworksEx.h

Signed-off-by: shubham <shub98.gupta@samsung.com>

Move benchmark into contrib (#3774)

Move benchmark into contrib
Revise directory structure: use src directory
Revise cmake to reference src directory and check build option

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce LOGICAL_AND op in runtime (#3564)

This patch introduces LOGICAL_AND op in our runtime.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add delegate for SQRT and RSQRT (#3742)

* Add delegate for SQRT and RSQRT

With tensorflow v1.12, SQRT and RSQRT are built-in operator.
This commit adds delegate for built-in SQRT and RSQRT.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* Add macro to avoid GBS build fail

tizen(obs) has tensorflow v1.9 while this commit requires v1.12.

Introduce optional operand set on frontent (#3751)

Introduce unordered_set field for optional operand
Define API to insert optional operand
Introduce process to handle optional operand at model finish (cannot handle yet)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace ITensor to our own (#3739)

Related : #3273
Part of : #3700

This commit replaces `arm_compute::ITensor` to `neurun::operand::ITensor` finally.

Replaced below classes
- ITensor
- ICLTensor
- CLTensor
- CLSubTensor

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement CL Kernel for ReduceMin op (#3744)

This patch implements CL Kernel for ReduceMin op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Correction in SpaceToBatch CPU version for quant8 datatype (#3686)

This patch will set correct zero_value for quant8 datatype in spaceToBatch.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Adding nnapi delegation changes regarding TransposeConv (#3427)

This patch adds required changes to nnapi delegate to run transpose conv

Signed-off-by: b.devansh <b.devansh@samsung.com>

Remove passing pad_quant8 gtest from skiplist (#3694)

This patch will remove pad_quant8 gtest from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add GTest for ReduceMin op. (#3732)

This patch adds GTest for reduce_min op.
Added files:
```
reduce_min_ex
reduce_min_ex_float_1
reduce_min_ex_float_2
```

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add GTest for LogicalAND op (#3567)

This patch adds GTest for LogicalAND op.
Related issue: 3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add validation function & missing broadcast related code in NOTEQUAL (#3715)

This patch will add validation function and missing broadcast related code.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Introduce ReduceMin in PACL (#3729)

This patch introduces ReduceMin in PACL.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Introduce Node.Include.h (#3740)

This file includes headers of all the nodes

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Change dot_dumper input/output shape (#3741)

This commit changes `input`/`output` shape of dot_dumper graph to `doublecircle`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Removing the not required Pad op files (#3625)

After PR #3428 merged
These PadLayer files are not required.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Update build-docker command (#3697)

- Change command: build_docker -> build-docker
- Can use docker build options
- Update docker file: restrict yapf version to 0.22.0
- Update document

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Save pointer to buffer for operand value setting (#3736)

For operand value setting, save pointer to buffer instead of copy when size is greater than
ANEURALNETWORKS_MAX_SIZE_OF_IMMEDIATELY_COPIED_VALUES defined in NeuralNetworks.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Correction in pad CPU version for quant8 datatype (#3687)

This patch set the correct padding value which is offset for quant8 dataypes.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add CLkernel for Generic Padding (#3428)

This patch will add cl kernel to execute pad op on GPU

Signed-off-by: shubham <shub98.gupta@samsung.com>

Support Layout::NHWC for CL Kernel of SpaceToBatchND (#3734)

This commit supports Layout::NHWC for CL Kernel of SpaceToBatchND.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Apply CL Kernel of SpaceToBatchND to PACL (#3731)

This commit applies CL Kernel of SpaceToBatchND to PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove not req headers from NotEqual cl files (#3728)

This patch will remove not required headers included
in src/runtime/CL/functions/CLNotEqual.cpp

Signed-off-by: shubham <shub98.gupta@samsung.com>

Added implementation for Pack operation with ACL (#3398)

Implements 3D to 4D tensor pack operation
Uses ACL kernels for packing tensors

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Update Validation of Arguments in SquaredDifference CL kernel (#3433)

This patch will update validation of arguments in CL Kernel of SquaredDifference op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Workaround to pass scalar type tensor in nnapi delegate (#3707)

Some model have scalar type input/output, but NNAPI requre tensor type for these operands. (ex. elementwise sub, div)
To satisfy NNAPI spec, change scalar to vector with size 1 in nnapi delegate.

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce ReduceMin in the enum class declared for reduce ops (#3733)

This patch introduces ReduceMin in the enum class declared for reduce ops.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Introduce CLTensor/CLSubTensor (#3723)

Related : #3273
Part of : #3700

This commit introduces `neurun::backend::acl_cl::operand::CLTensor`/`neurun::backend::acl_cl::operand::CLSubTensor`.
Those are inherited to internal `ICLTensor`, and have handles of `ACL` `arm_compute::CLTensor` and `arm_compute::CLSubTensor`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Fix Graph Verifier visit check (#3722)

Visit and OnStack checking assumed ID range as vector which is wrong.
This commit changes variable `visit` and `on_stack` to be a map so it
can correctly check nodes for sure.

In the same manner with #3721

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce REDUCE_MIN_EX in NeuralNetworksEx.h (#3570)

This patch introduces REDUCE_MIN_EX in NeuralNetworksEx.h.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Remove permutation layer for model's input/output and permute in-place (#3617)

Permute while copying from/to interpreter: this will eliminate extra
copying in permutation layer. This is just for NHWC_TO_NCHW in input
and NCHW_TO_NHWC in output.

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Implement CL kernel of SpaceToBatchND for NCHW (#3633)

This commit implements CL kernel of SpaceToBatchND for NCHW.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Rearranging rsqrt gtest according to the name in all_generated_tests.cpp (#3716)

When generate_test script is executed this rsqrt declaration will get moved
to the different line in all_generated_tests file based on the sorting done
with name.
This patch will update the all_generated_tests.cpp in master so as to
have same code as generated by generate_test script

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Introduce ITensor/ICLTensor (#3719)

* [neurun] Introduce ITensor/ICLTensor

This commit introduces `neurun::backend::operand::ITensor`/`neurun::backend::acl_cl::operand::ICLTensor` since we want to define internal interface of `ITensor` that is an common interface of all backends.
In case of `ACL` backend, It should be defined to `ACL` wrapper classes inherited to internal `ICLTensor`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Include some functions of derived classes

Add generated tests of TensorflowSum for 4-D (#3388)

This commit adds generated tests of TensorflowSum(ReduceSum) for 4-D.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add 4 tflite models for framework test (#3720)

* Add 4 tflite models for framework test

exp_4d, neg_4d, rsqrt_4d, sqrt_4d tflite models are added into
framework test.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* Disable sqrt_4d and rsqrt_4d model test

since delegates for SQRT and RSQRT are not prepared

* Remove comments

Correction of selected op in notequal gtest (#3714)

This patch will set notequal op name instead of equal op name
in notequal gtest

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Fix Dfs Iterator (#3721)

As mentioned from #3617 by @d-poshshoev, Visit checking assumed ID range
as vector which is wrong. This commit changes variable `visit` to be a
map so it can correctly check nodes for sure.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Fix incorrect path of lcov_cobertura.py in script (#3718)

There was a typo on sciprt path for lcov_cobertura.py

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add missing unpak gtest declaration from all_generated_test and skiplist (#3691)

This patch will add missing unpack gtest declaration from all_generated_test.cpp and skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Don't run MODELS/* in run_benchmark_op.sh (#3709)

`run_benchmark_op.sh` is for benchmarking a given operator.

Models such as inception_nonslim, inception_slim and mobilenet are
located under MODELS, and executed from `run_benchmark_op.sh`.

Thus, `run_benchmark_op.sh` excludes models under `MODELS`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Generate NNAPI Test Case(a.k.a generatedtests) for Split (#3683)

This PR adds generatedtests for Split. #3459

Signed-off-by: b.devansh <b.devansh@samsung.com>

Add spaceToBatchND gtests to test op for quant8 dataype (#3688)

This patch adds gtest to test SpaceToBatchND op for quant8 dataype

Signed-off-by: shubham <shub98.gupta@samsung.com>

Fix tflite_benchmark_model out-of-memory error (#3706)

Previously, benchmark_model created nnapi_delegate every run.
Now, nnapi_delegate build graph only once.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Remove unused CL Kernels of Reduce Operation (#3702)

This commit removes CL Kernels of Reduce Operation that is no longer needed.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Apply CL Kernel of HashtableLookup for PACL (#3701)

This commit applies CL Kernel of HashtableLookup for PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add generated tests of Mean for 4-D (#3453)

This commit Add generated tests of Mean for 4-D.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Do not use info directory in tflkit (#3647)

Move the *.template files in tflkit into its parent dir
And ignore .info files in tflkit

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Move lcov-to-cobertura-xml script into externals (#3693)

Move lcov-to-cobertura-xml script into externals
Recover script file name to original: lcov_cobertura.py
Change imported_url.txt to README.md

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update include order and comment in Compiler.cc (#3684)

Update include order: categorize as
- header for Compiler.cc
- header in same directory
- header in differnt neurun directory
- header in include

Add and update comment
- Update comment for SubTensorAnlyzer
- Add comment for compilation phase (backend independent, lower, backend dependent, codegen)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix wrong variable name in test_driver.sh (#3699)

I've found report_dir does not pass properly during investigation of #3420.
Then, I found a typo of a vaiable name in test_driver.sh script.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

tflite_benchmark_model is updated to v1.12.0. (#3660)

Most files are not changed from v1.12.0.
My modification is to support multiple kernel expansion operators.
You can find the changes from stats_calculator.cc and profile_summarizer.cc.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Apply CL Kernel of ReduceOperation to PACL. (#3673)

This commit applies CL Kernel of ReduceOperation to PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement CL kernel of HashtableLookup (#3500)

This commit implements CL kernel of HashtableLookup op.
  - Add an IFunction class for HashtableLookup.
  - Add an ICLKernel class for HashtableLookup.
  - Add cl kernel functions for HashtableLookup.
  - Append the cl functions to kernel_program_map.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Remove ptr_to_element in ConstantInitializer (#3696)

Related : #3273

This commit remove using `ptr_to_element` in `ConstantInitializer` for removing `arm_compute` dependency.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[model_parser] Print memory size of each tensor (#3677)

Now model_parser prints memory size of each tensor. In addition,
expected allocating memory also prints.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[neurun] Simplify SubTensorAnalyzer (#3690)

Make SubTensorAnalyzer to Override only ConcatNode.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Make script/config directory (#3692)

Make script/config directory and move configuration files for script into script/config

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Correction in Padding_Same untility function (#3629)

This patch will correct the Paddin_Same function logic.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Delete docker_helper file (#3689)

Delete docker_helper script file: not used any more

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add PermutationEliminationPass to eliminate permutation of I/O (#3552)

Eliminates permutation after model's input and before output
This is just for NHWC_TO_NCHW in input and NCHW_TO_NHWC in output.
Permutation of input/output will be done during source/sink in next commit

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Auto-generate NodeVisitor headers (#3685)

Auto-generate NodeVisitor headers with macro.

Resolve #3664

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Doxygen comments for MemoryPlanner on CPU (#3679)

* [neurun] Doxygen comments for MemoryPlanner on CPU

Doxygen comments for MemoryPlanner on CPU

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Remove @ingroup

* Fix typo. opernad -> operand

Fixed the test cases for CUSTOM pack operations (#3640)

Input tensors are treated as buffer, and packing
will be done with strides determined by axis.

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Defined CUSTOM pack operation (#3648)

Added details for pack operation

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Correction in pad_quant gtest (#3680)

This patch will correct the output buffer values and name of the pad_quant gtest.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Revise coverage build and report script (#3661)

Revise docker_cross_test_coverage_build.sh and docker_coverage_report.sh
- Remove using nnfw_docker file
- Remove deprecated environment variable setting
- Use docker-run-user command

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Extend Op.lst macro (#3681)

Make `Op.lst` always keep the full list of operations. Add a boolean
parameter to determine if it is from NN API or internally used node.
Later, this list will be used for auto generation of visitor code.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Add remove() for operand::Set and operation::Set and Graph (#3678)

These changes are needed to remove some layers from a graph

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Introduce internal TensorInfo class (#3674)

Related : #3273
Part of : #3484

This commit introduces internal `TensorInfo` class that has just `Shape` and `TypeInfo`.
Entire dependency of `arm_compute::TensorInfo` for `cpu` backend will be reduced after cpu `Tensor` class revised in another PR.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>