[neurun] Fix Graph Verifier visit check (#3722)

Visit and OnStack checking assumed ID range as vector which is wrong.
This commit changes variable `visit` and `on_stack` to be a map so it
can correctly check nodes for sure.

In the same manner with #3721

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce REDUCE_MIN_EX in NeuralNetworksEx.h (#3570)

This patch introduces REDUCE_MIN_EX in NeuralNetworksEx.h.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Remove permutation layer for model's input/output and permute in-place (#3617)

Permute while copying from/to interpreter: this will eliminate extra
copying in permutation layer. This is just for NHWC_TO_NCHW in input
and NCHW_TO_NHWC in output.

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Implement CL kernel of SpaceToBatchND for NCHW (#3633)

This commit implements CL kernel of SpaceToBatchND for NCHW.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Rearranging rsqrt gtest according to the name in all_generated_tests.cpp (#3716)

When generate_test script is executed this rsqrt declaration will get moved
to the different line in all_generated_tests file based on the sorting done
with name.
This patch will update the all_generated_tests.cpp in master so as to
have same code as generated by generate_test script

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Introduce ITensor/ICLTensor (#3719)

* [neurun] Introduce ITensor/ICLTensor

This commit introduces `neurun::backend::operand::ITensor`/`neurun::backend::acl_cl::operand::ICLTensor` since we want to define internal interface of `ITensor` that is an common interface of all backends.
In case of `ACL` backend, It should be defined to `ACL` wrapper classes inherited to internal `ICLTensor`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Include some functions of derived classes

Add generated tests of TensorflowSum for 4-D (#3388)

This commit adds generated tests of TensorflowSum(ReduceSum) for 4-D.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add 4 tflite models for framework test (#3720)

* Add 4 tflite models for framework test

exp_4d, neg_4d, rsqrt_4d, sqrt_4d tflite models are added into
framework test.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* Disable sqrt_4d and rsqrt_4d model test

since delegates for SQRT and RSQRT are not prepared

* Remove comments

Correction of selected op in notequal gtest (#3714)

This patch will set notequal op name instead of equal op name
in notequal gtest

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Fix Dfs Iterator (#3721)

As mentioned from #3617 by @d-poshshoev, Visit checking assumed ID range
as vector which is wrong. This commit changes variable `visit` to be a
map so it can correctly check nodes for sure.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Fix incorrect path of lcov_cobertura.py in script (#3718)

There was a typo on sciprt path for lcov_cobertura.py

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add missing unpak gtest declaration from all_generated_test and skiplist (#3691)

This patch will add missing unpack gtest declaration from all_generated_test.cpp and skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Don't run MODELS/* in run_benchmark_op.sh (#3709)

`run_benchmark_op.sh` is for benchmarking a given operator.

Models such as inception_nonslim, inception_slim and mobilenet are
located under MODELS, and executed from `run_benchmark_op.sh`.

Thus, `run_benchmark_op.sh` excludes models under `MODELS`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Generate NNAPI Test Case(a.k.a generatedtests) for Split (#3683)

This PR adds generatedtests for Split. #3459

Signed-off-by: b.devansh <b.devansh@samsung.com>

Add spaceToBatchND gtests to test op for quant8 dataype (#3688)

This patch adds gtest to test SpaceToBatchND op for quant8 dataype

Signed-off-by: shubham <shub98.gupta@samsung.com>

Fix tflite_benchmark_model out-of-memory error (#3706)

Previously, benchmark_model created nnapi_delegate every run.
Now, nnapi_delegate build graph only once.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Remove unused CL Kernels of Reduce Operation (#3702)

This commit removes CL Kernels of Reduce Operation that is no longer needed.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Apply CL Kernel of HashtableLookup for PACL (#3701)

This commit applies CL Kernel of HashtableLookup for PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add generated tests of Mean for 4-D (#3453)

This commit Add generated tests of Mean for 4-D.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Do not use info directory in tflkit (#3647)

Move the *.template files in tflkit into its parent dir
And ignore .info files in tflkit

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Move lcov-to-cobertura-xml script into externals (#3693)

Move lcov-to-cobertura-xml script into externals
Recover script file name to original: lcov_cobertura.py
Change imported_url.txt to README.md

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update include order and comment in Compiler.cc (#3684)

Update include order: categorize as
- header for Compiler.cc
- header in same directory
- header in differnt neurun directory
- header in include

Add and update comment
- Update comment for SubTensorAnlyzer
- Add comment for compilation phase (backend independent, lower, backend dependent, codegen)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix wrong variable name in test_driver.sh (#3699)

I've found report_dir does not pass properly during investigation of #3420.
Then, I found a typo of a vaiable name in test_driver.sh script.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

tflite_benchmark_model is updated to v1.12.0. (#3660)

Most files are not changed from v1.12.0.
My modification is to support multiple kernel expansion operators.
You can find the changes from stats_calculator.cc and profile_summarizer.cc.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Apply CL Kernel of ReduceOperation to PACL. (#3673)

This commit applies CL Kernel of ReduceOperation to PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement CL kernel of HashtableLookup (#3500)

This commit implements CL kernel of HashtableLookup op.
  - Add an IFunction class for HashtableLookup.
  - Add an ICLKernel class for HashtableLookup.
  - Add cl kernel functions for HashtableLookup.
  - Append the cl functions to kernel_program_map.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Remove ptr_to_element in ConstantInitializer (#3696)

Related : #3273

This commit remove using `ptr_to_element` in `ConstantInitializer` for removing `arm_compute` dependency.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[model_parser] Print memory size of each tensor (#3677)

Now model_parser prints memory size of each tensor. In addition,
expected allocating memory also prints.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[neurun] Simplify SubTensorAnalyzer (#3690)

Make SubTensorAnalyzer to Override only ConcatNode.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Make script/config directory (#3692)

Make script/config directory and move configuration files for script into script/config

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Correction in Padding_Same untility function (#3629)

This patch will correct the Paddin_Same function logic.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Delete docker_helper file (#3689)

Delete docker_helper script file: not used any more

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add PermutationEliminationPass to eliminate permutation of I/O (#3552)

Eliminates permutation after model's input and before output
This is just for NHWC_TO_NCHW in input and NCHW_TO_NHWC in output.
Permutation of input/output will be done during source/sink in next commit

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Auto-generate NodeVisitor headers (#3685)

Auto-generate NodeVisitor headers with macro.

Resolve #3664

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Doxygen comments for MemoryPlanner on CPU (#3679)

* [neurun] Doxygen comments for MemoryPlanner on CPU

Doxygen comments for MemoryPlanner on CPU

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Remove @ingroup

* Fix typo. opernad -> operand

Fixed the test cases for CUSTOM pack operations (#3640)

Input tensors are treated as buffer, and packing
will be done with strides determined by axis.

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Defined CUSTOM pack operation (#3648)

Added details for pack operation

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Correction in pad_quant gtest (#3680)

This patch will correct the output buffer values and name of the pad_quant gtest.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Revise coverage build and report script (#3661)

Revise docker_cross_test_coverage_build.sh and docker_coverage_report.sh
- Remove using nnfw_docker file
- Remove deprecated environment variable setting
- Use docker-run-user command

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Extend Op.lst macro (#3681)

Make `Op.lst` always keep the full list of operations. Add a boolean
parameter to determine if it is from NN API or internally used node.
Later, this list will be used for auto generation of visitor code.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Add remove() for operand::Set and operation::Set and Graph (#3678)

These changes are needed to remove some layers from a graph

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Introduce internal TensorInfo class (#3674)

Related : #3273
Part of : #3484

This commit introduces internal `TensorInfo` class that has just `Shape` and `TypeInfo`.
Entire dependency of `arm_compute::TensorInfo` for `cpu` backend will be reduced after cpu `Tensor` class revised in another PR.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Move Plan and related codes into compiler (#3676)

Move Plan and related codes into compiler
Update namespace and comments

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce internal IFunction class (#3672)

* [neurun] Introduce internal IFunction class

Related : #3273
Part of : #3484

This commit introduces internal `IFunction` class.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Change directory

Support generate rootfs for target os ubuntu 18.04 (#3675)

Support generate rootfs for target os ubuntu 18.04 (ex. xu4 ubuntu mate 18.04)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fixed unpack node inputs (#3639)

The inputs buffer contains number of splits
Following tf_ops_compatibility

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Move BackendResolver into compiler (#3671)

Move BackendResolver into compiler and fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Rename operation Node files (#3668)

Rename operation Nodes from `{NodeName}.h` to `{NodeName}Node.h` so
they can match with their class names.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Move ConstantInitializer into compiler (#3670)

Move ConstantInitializer into compiler and fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce an enum class declaration for logical operations (#3624)

To have unified cl kernels for logical operations,
This commit introduces a enum declaration for logical operations.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Update nnfw's register.cc to v1.12.0 (#3607)

- Add v1.12 missing operators into register.cc
- FIXME: In obs build, do not apply this patch

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[neurun] Remove NOP node (#3665)

NOP node was first introduced for general testing purpose but it does
not used or necessary any longer.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Define PermutationEliminationPass class (#3652)

This class eliminates permutation of input/output
just for NHWC_TO_NCHW in input and NCHW_TO_NHWC in output.

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Implement unified CL Kernel of Reduce operations into ARMComputeEx (#3490)

This commit implements unified CL Kernel of Reduce operations into ARMComputeEx.
  - Introduce class CLReduceOperation.
  - Introduce class CLReduceOperationKernel.
  - Add cl functions for Reduce operations to reduce_operation.cl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove transpose gtests from skiplist (#3471)

This patch will remove transpose gtests from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Move PlanBuilder into compiler (#3667)

Move PlanBuilder.cc/h into compiler and fix namespace
Remove IPlanBuilder interface

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move SubTensorInfo into compiler (#3666)

Move SubTensorInfo.h into compiler and fix namespace
Remove acl dependency header from SubTensorInfo.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Added defenition for CUSTOM unpack ops (#3650)

Defined the constraints for unpack ops

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Move OperationValidator into compiler (#3662)

Move OperationValidator into compiler directory
Fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Graph holds Model as pointer (#3663)

Graph holds Model as pointer. This is for the next work that `_model` is moved
to Linear.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Merge middleend into compiler directory (#3658)

Move SubTensorAnalyzer.cc/h into compiler directory
Fix namespace and cmake

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Removing unused variables and rearranging by name in TransposeConv (#3656)

This patch will remove unused variables and rearranges the variables by their name

Signed-off-by: shubham <shub98.gupta@samsung.com>

Introduce Compiler class (#3632)

Introduce neurun::compiler::Compiler class to hide compilation phase from frontend
Introduce src/compiler directory for compile phases

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Added generated test data for CUSTOM unpack ops (#3638)

The input tensor data is treated as buffer.
Along any given axis, the output buffer are to be generated
according to the strides (determined by axis and num_splits)

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Introduce LOGICAL_OR_EX in NeuralNetworksEx.h (#3618)

This patch Introduces LOGICAL_AND_EX in NeuralNetworksEx.h.
Related issue: #3459

Signed-off-by: shubham <shub98.gupta@samsung.com>

Generate text file to save build path depth in coverage build (#3651)

Generate text file tools/test_driver/build_path_depth.txt to save build path depth.
gcov for cross build need directory strip to match build host directory and target directory.
Build path depth will be used to set GCOV_PREFIX_STRIP environment variable on target.

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix comment for argmax_ex in NeuralNetworksEx.h (#3606)

Fix incorrect comment for output of argmax_ex in NeuralNetworksEx.h
- Output rank should be same rank with input
- Reduced axes are retained with length 1

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

NeuralNetworkEx code cleanup (#3649)

Just little code cleanup for NeuralNetworkEx.h

Signed-off-by: Tanuj Tekriwal <tanuj.tekri@samsung.com>

[neurun] Fix TensorBuilder to add subtensors to Plan::operands (#3614)

Fix TensorBuilder to add subtensors to Plan::operands
Related issue is #3611

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Introduce LOGICAL_AND_EX in NeuralNetworksEx.h (#3563)

This patch Introduces LOGICAL_AND_EX in NeuralNetworksEx.h.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

Added Generic test file for RSQRT_EX (#3297)

This patch adds the Gtest file for RSQRT_EX.

Signed-off-by: Tanuj Tekriwal <tanuj.tekri@samsung.com>

Pass all arguments in summarize_tflite tool (#3646)

To use various options of model_parser.py tool,
it allows to pass all arguments to model_parser.py file in summarize_tflite file.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Fix non-string passed to CreateString issue in tfltool (#3645)

If the operator_codes is empty, select_operator.py tool occurs an error.
This patch is fixed the issue.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[neurun] Rename Planner as OperationValidator (#3582)

Now Planner has only have assertions, so rename accordingly.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add gtest to test for quant8 input for Pad op (#3620)

This patch will add gtest to test for quant8 input for pad op.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add GTests for SQRT op (#3608)

This patch addds GTests for SQRT op.
Added files:
```
sqrt_ex_1D_float
sqrt_ex_4D_float
```

Signed-off-by: prasannar <prasanna.r@samsung.com>

Removing unnecessary included header files in NENormalization (#3621)

This patch will remove unnecessary headers included in src and runtime
of NENormalization.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Introduce LogicalOr op in runtime (#3622)

This patch will add node for LogicalOr op in PACL

Signed-off-by: shubham <shub98.gupta@samsung.com>

Correcting the comments in equal and notequal cl (#3627)

This patch will corrects the comments in equal and notequal cl
And Adds the missing comments.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Removing unnecessary headers included in clfiles of Permute op (#3628)

This patch will remove unnecessary headers included in clfiles of Permute op.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Correction in Error checking conditions and namespace missalignment (#3630)

This patch will correct:
1. error checking condition for output, since output is always QASSYM8
input1 and output datatypes cannot be compared. Also, output can omnly be
checked for QASSYM8 in validate function.

2.Since all the non class functions are placed in namespace (format followed
by ACL) hence placing validate the function in the defined namespace.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Minor changes in TransposeConv op (#3619)

* Minor changes in TransposeConv op

Addressing the comments by jh1302-park in #3423

Signed-off-by: b.devansh <b.devansh@samsung.com>
* Minor changes in TransposeConv op

Addressing the comments by jh1302-park in #3423

Signed-off-by: b.devansh <b.devansh@samsung.com>

Introducing LogicalNot op in NeuralNetworksEx (#3598)

This commit introduces LogicalNot op in NeuralNetworksEx.h
Related issues: #3596

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[model_parser] Fix wrong printing type of tensor (#3635)

* [model_parser] Fix wrong printing type of tensor

Fixes wrong printing type of tensor. The type names like FLOAT32,
UINT8 not 0 should be printed.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix to get type_name from tensor_wrapping

Nnapi delegate for ArgMax (#3558)

The changes introduces the nnapi delegate for ArgMax operation.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Add generated test for ARG_MAX (#3554)

The changes adds the generated test's for ARG max operation.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Apply CL Kernel of Embedding_Lookup to PACL (#3616)

This commit applies CL Kernel of Embedding_Lookup to PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add gtest to test Transpose op for Tensors with rank < 4 (#3601)

This patch will add gtest to verify Transpose op for input tensors
having rank < 4

Signed-off-by: shubham <shub98.gupta@samsung.com>

[model_parser] Prints optons for Depthwise_Conv_2D (#3613)

This commit adds feature to print optons for Depthwise_Conv_2D.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[model parser] Fix parsing bug when operator don't have option (#3610)

Fix parsing bug invaild exit when operator don't have option

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Change SimpleSpaceToBatchND's inputs to arm_compute::ITensor (#3553)

This commit changes SimpleSpaceToBatchND's inputs to arm_compute::ITensor.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add freeze_graph script into tflkit (#3556)

freeze_graph tool will freeze a standalone graphdef with the stored variables.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Add GTest for testing the enabled Broadcast of EqualEx op (#3304)

This patch adds GTest for testing the enabled Broadcast of EqualEx op.
Added GTests:
```
equal_ex_broadcast
equal_ex_broadcast_4D_2D
```
Signed-off-by: prasannar <prasanna.r@samsung.com>

Implementation of TransposeConv op in PACL for CPU (#3423)

This patch will add TransposeConv op
Related issues : #2739 #2809

Signed-off-by: b.devansh <b.devansh@samsung.com>

Implement CL kernel of EmbeddingLookup (#3489)

This commit implements CL kernel of EmbeddingLookup op.
  - Add an IFunction class for EmbeddingLookup.
  - Add an ICLKernel class for EmbeddingLookup.
  - Add cl kernel functions for EmbeddingLookup.
  - Append the cl functions to kernel_program_map.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introducing LogicalNot op in pure_arm_compute runtime (#3599)

This commit introduces LogicalNot op in in pure_arm_compute runtime
Related PR is #3598
Related issues: #3596 and #3459

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Pack generated test update (#3557)

The changes updates the pack operation in all_generated_test.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Revise x86 build script (#3604)

x86 build by non-root anomymous user: same userid with host user
Use docker-run-user command and remove docker setting code

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add transform_graph script into tflkit (#3545)

* Add transform_graph script into tflkit

transform_graph tool will transform a TensorFlow GraphDef applying some transformations.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Update detailed usage to README.md

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[tfltool] Update option parsing in select operator for v1.12 (#3594)

Add comment for new options
Fix DepthwiseConv2DOptions for additional field

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>