Don't run MODELS/* in run_benchmark_op.sh (#3709)

`run_benchmark_op.sh` is for benchmarking a given operator.

Models such as inception_nonslim, inception_slim and mobilenet are
located under MODELS, and executed from `run_benchmark_op.sh`.

Thus, `run_benchmark_op.sh` excludes models under `MODELS`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Generate NNAPI Test Case(a.k.a generatedtests) for Split (#3683)

This PR adds generatedtests for Split. #3459

Signed-off-by: b.devansh <b.devansh@samsung.com>

Add spaceToBatchND gtests to test op for quant8 dataype (#3688)

This patch adds gtest to test SpaceToBatchND op for quant8 dataype

Signed-off-by: shubham <shub98.gupta@samsung.com>

Fix tflite_benchmark_model out-of-memory error (#3706)

Previously, benchmark_model created nnapi_delegate every run.
Now, nnapi_delegate build graph only once.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Remove unused CL Kernels of Reduce Operation (#3702)

This commit removes CL Kernels of Reduce Operation that is no longer needed.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Apply CL Kernel of HashtableLookup for PACL (#3701)

This commit applies CL Kernel of HashtableLookup for PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add generated tests of Mean for 4-D (#3453)

This commit Add generated tests of Mean for 4-D.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Do not use info directory in tflkit (#3647)

Move the *.template files in tflkit into its parent dir
And ignore .info files in tflkit

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Move lcov-to-cobertura-xml script into externals (#3693)

Move lcov-to-cobertura-xml script into externals
Recover script file name to original: lcov_cobertura.py
Change imported_url.txt to README.md

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update include order and comment in Compiler.cc (#3684)

Update include order: categorize as
- header for Compiler.cc
- header in same directory
- header in differnt neurun directory
- header in include

Add and update comment
- Update comment for SubTensorAnlyzer
- Add comment for compilation phase (backend independent, lower, backend dependent, codegen)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix wrong variable name in test_driver.sh (#3699)

I've found report_dir does not pass properly during investigation of #3420.
Then, I found a typo of a vaiable name in test_driver.sh script.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

tflite_benchmark_model is updated to v1.12.0. (#3660)

Most files are not changed from v1.12.0.
My modification is to support multiple kernel expansion operators.
You can find the changes from stats_calculator.cc and profile_summarizer.cc.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Apply CL Kernel of ReduceOperation to PACL. (#3673)

This commit applies CL Kernel of ReduceOperation to PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement CL kernel of HashtableLookup (#3500)

This commit implements CL kernel of HashtableLookup op.
  - Add an IFunction class for HashtableLookup.
  - Add an ICLKernel class for HashtableLookup.
  - Add cl kernel functions for HashtableLookup.
  - Append the cl functions to kernel_program_map.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Remove ptr_to_element in ConstantInitializer (#3696)

Related : #3273

This commit remove using `ptr_to_element` in `ConstantInitializer` for removing `arm_compute` dependency.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[model_parser] Print memory size of each tensor (#3677)

Now model_parser prints memory size of each tensor. In addition,
expected allocating memory also prints.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[neurun] Simplify SubTensorAnalyzer (#3690)

Make SubTensorAnalyzer to Override only ConcatNode.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Make script/config directory (#3692)

Make script/config directory and move configuration files for script into script/config

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Correction in Padding_Same untility function (#3629)

This patch will correct the Paddin_Same function logic.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Delete docker_helper file (#3689)

Delete docker_helper script file: not used any more

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add PermutationEliminationPass to eliminate permutation of I/O (#3552)

Eliminates permutation after model's input and before output
This is just for NHWC_TO_NCHW in input and NCHW_TO_NHWC in output.
Permutation of input/output will be done during source/sink in next commit

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Auto-generate NodeVisitor headers (#3685)

Auto-generate NodeVisitor headers with macro.

Resolve #3664

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Doxygen comments for MemoryPlanner on CPU (#3679)

* [neurun] Doxygen comments for MemoryPlanner on CPU

Doxygen comments for MemoryPlanner on CPU

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Remove @ingroup

* Fix typo. opernad -> operand

Fixed the test cases for CUSTOM pack operations (#3640)

Input tensors are treated as buffer, and packing
will be done with strides determined by axis.

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Defined CUSTOM pack operation (#3648)

Added details for pack operation

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Correction in pad_quant gtest (#3680)

This patch will correct the output buffer values and name of the pad_quant gtest.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Revise coverage build and report script (#3661)

Revise docker_cross_test_coverage_build.sh and docker_coverage_report.sh
- Remove using nnfw_docker file
- Remove deprecated environment variable setting
- Use docker-run-user command

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Extend Op.lst macro (#3681)

Make `Op.lst` always keep the full list of operations. Add a boolean
parameter to determine if it is from NN API or internally used node.
Later, this list will be used for auto generation of visitor code.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Add remove() for operand::Set and operation::Set and Graph (#3678)

These changes are needed to remove some layers from a graph

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Introduce internal TensorInfo class (#3674)

Related : #3273
Part of : #3484

This commit introduces internal `TensorInfo` class that has just `Shape` and `TypeInfo`.
Entire dependency of `arm_compute::TensorInfo` for `cpu` backend will be reduced after cpu `Tensor` class revised in another PR.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Move Plan and related codes into compiler (#3676)

Move Plan and related codes into compiler
Update namespace and comments

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce internal IFunction class (#3672)

* [neurun] Introduce internal IFunction class

Related : #3273
Part of : #3484

This commit introduces internal `IFunction` class.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Change directory

Support generate rootfs for target os ubuntu 18.04 (#3675)

Support generate rootfs for target os ubuntu 18.04 (ex. xu4 ubuntu mate 18.04)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fixed unpack node inputs (#3639)

The inputs buffer contains number of splits
Following tf_ops_compatibility

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Move BackendResolver into compiler (#3671)

Move BackendResolver into compiler and fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Rename operation Node files (#3668)

Rename operation Nodes from `{NodeName}.h` to `{NodeName}Node.h` so
they can match with their class names.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Move ConstantInitializer into compiler (#3670)

Move ConstantInitializer into compiler and fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce an enum class declaration for logical operations (#3624)

To have unified cl kernels for logical operations,
This commit introduces a enum declaration for logical operations.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Update nnfw's register.cc to v1.12.0 (#3607)

- Add v1.12 missing operators into register.cc
- FIXME: In obs build, do not apply this patch

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[neurun] Remove NOP node (#3665)

NOP node was first introduced for general testing purpose but it does
not used or necessary any longer.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Define PermutationEliminationPass class (#3652)

This class eliminates permutation of input/output
just for NHWC_TO_NCHW in input and NCHW_TO_NHWC in output.

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Implement unified CL Kernel of Reduce operations into ARMComputeEx (#3490)

This commit implements unified CL Kernel of Reduce operations into ARMComputeEx.
  - Introduce class CLReduceOperation.
  - Introduce class CLReduceOperationKernel.
  - Add cl functions for Reduce operations to reduce_operation.cl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove transpose gtests from skiplist (#3471)

This patch will remove transpose gtests from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Move PlanBuilder into compiler (#3667)

Move PlanBuilder.cc/h into compiler and fix namespace
Remove IPlanBuilder interface

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move SubTensorInfo into compiler (#3666)

Move SubTensorInfo.h into compiler and fix namespace
Remove acl dependency header from SubTensorInfo.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Added defenition for CUSTOM unpack ops (#3650)

Defined the constraints for unpack ops

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Move OperationValidator into compiler (#3662)

Move OperationValidator into compiler directory
Fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Graph holds Model as pointer (#3663)

Graph holds Model as pointer. This is for the next work that `_model` is moved
to Linear.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Merge middleend into compiler directory (#3658)

Move SubTensorAnalyzer.cc/h into compiler directory
Fix namespace and cmake

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Removing unused variables and rearranging by name in TransposeConv (#3656)

This patch will remove unused variables and rearranges the variables by their name

Signed-off-by: shubham <shub98.gupta@samsung.com>

Introduce Compiler class (#3632)

Introduce neurun::compiler::Compiler class to hide compilation phase from frontend
Introduce src/compiler directory for compile phases

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Added generated test data for CUSTOM unpack ops (#3638)

The input tensor data is treated as buffer.
Along any given axis, the output buffer are to be generated
according to the strides (determined by axis and num_splits)

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Introduce LOGICAL_OR_EX in NeuralNetworksEx.h (#3618)

This patch Introduces LOGICAL_AND_EX in NeuralNetworksEx.h.
Related issue: #3459

Signed-off-by: shubham <shub98.gupta@samsung.com>

Generate text file to save build path depth in coverage build (#3651)

Generate text file tools/test_driver/build_path_depth.txt to save build path depth.
gcov for cross build need directory strip to match build host directory and target directory.
Build path depth will be used to set GCOV_PREFIX_STRIP environment variable on target.

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix comment for argmax_ex in NeuralNetworksEx.h (#3606)

Fix incorrect comment for output of argmax_ex in NeuralNetworksEx.h
- Output rank should be same rank with input
- Reduced axes are retained with length 1

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

NeuralNetworkEx code cleanup (#3649)

Just little code cleanup for NeuralNetworkEx.h

Signed-off-by: Tanuj Tekriwal <tanuj.tekri@samsung.com>

[neurun] Fix TensorBuilder to add subtensors to Plan::operands (#3614)

Fix TensorBuilder to add subtensors to Plan::operands
Related issue is #3611

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Introduce LOGICAL_AND_EX in NeuralNetworksEx.h (#3563)

This patch Introduces LOGICAL_AND_EX in NeuralNetworksEx.h.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

Added Generic test file for RSQRT_EX (#3297)

This patch adds the Gtest file for RSQRT_EX.

Signed-off-by: Tanuj Tekriwal <tanuj.tekri@samsung.com>

Pass all arguments in summarize_tflite tool (#3646)

To use various options of model_parser.py tool,
it allows to pass all arguments to model_parser.py file in summarize_tflite file.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Fix non-string passed to CreateString issue in tfltool (#3645)

If the operator_codes is empty, select_operator.py tool occurs an error.
This patch is fixed the issue.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[neurun] Rename Planner as OperationValidator (#3582)

Now Planner has only have assertions, so rename accordingly.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add gtest to test for quant8 input for Pad op (#3620)

This patch will add gtest to test for quant8 input for pad op.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add GTests for SQRT op (#3608)

This patch addds GTests for SQRT op.
Added files:
```
sqrt_ex_1D_float
sqrt_ex_4D_float
```

Signed-off-by: prasannar <prasanna.r@samsung.com>

Removing unnecessary included header files in NENormalization (#3621)

This patch will remove unnecessary headers included in src and runtime
of NENormalization.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Introduce LogicalOr op in runtime (#3622)

This patch will add node for LogicalOr op in PACL

Signed-off-by: shubham <shub98.gupta@samsung.com>

Correcting the comments in equal and notequal cl (#3627)

This patch will corrects the comments in equal and notequal cl
And Adds the missing comments.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Removing unnecessary headers included in clfiles of Permute op (#3628)

This patch will remove unnecessary headers included in clfiles of Permute op.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Correction in Error checking conditions and namespace missalignment (#3630)

This patch will correct:
1. error checking condition for output, since output is always QASSYM8
input1 and output datatypes cannot be compared. Also, output can omnly be
checked for QASSYM8 in validate function.

2.Since all the non class functions are placed in namespace (format followed
by ACL) hence placing validate the function in the defined namespace.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Minor changes in TransposeConv op (#3619)

* Minor changes in TransposeConv op

Addressing the comments by jh1302-park in #3423

Signed-off-by: b.devansh <b.devansh@samsung.com>
* Minor changes in TransposeConv op

Addressing the comments by jh1302-park in #3423

Signed-off-by: b.devansh <b.devansh@samsung.com>

Introducing LogicalNot op in NeuralNetworksEx (#3598)

This commit introduces LogicalNot op in NeuralNetworksEx.h
Related issues: #3596

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[model_parser] Fix wrong printing type of tensor (#3635)

* [model_parser] Fix wrong printing type of tensor

Fixes wrong printing type of tensor. The type names like FLOAT32,
UINT8 not 0 should be printed.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix to get type_name from tensor_wrapping

Nnapi delegate for ArgMax (#3558)

The changes introduces the nnapi delegate for ArgMax operation.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Add generated test for ARG_MAX (#3554)

The changes adds the generated test's for ARG max operation.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Apply CL Kernel of Embedding_Lookup to PACL (#3616)

This commit applies CL Kernel of Embedding_Lookup to PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add gtest to test Transpose op for Tensors with rank < 4 (#3601)

This patch will add gtest to verify Transpose op for input tensors
having rank < 4

Signed-off-by: shubham <shub98.gupta@samsung.com>

[model_parser] Prints optons for Depthwise_Conv_2D (#3613)

This commit adds feature to print optons for Depthwise_Conv_2D.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[model parser] Fix parsing bug when operator don't have option (#3610)

Fix parsing bug invaild exit when operator don't have option

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Change SimpleSpaceToBatchND's inputs to arm_compute::ITensor (#3553)

This commit changes SimpleSpaceToBatchND's inputs to arm_compute::ITensor.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add freeze_graph script into tflkit (#3556)

freeze_graph tool will freeze a standalone graphdef with the stored variables.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Add GTest for testing the enabled Broadcast of EqualEx op (#3304)

This patch adds GTest for testing the enabled Broadcast of EqualEx op.
Added GTests:
```
equal_ex_broadcast
equal_ex_broadcast_4D_2D
```
Signed-off-by: prasannar <prasanna.r@samsung.com>

Implementation of TransposeConv op in PACL for CPU (#3423)

This patch will add TransposeConv op
Related issues : #2739 #2809

Signed-off-by: b.devansh <b.devansh@samsung.com>

Implement CL kernel of EmbeddingLookup (#3489)

This commit implements CL kernel of EmbeddingLookup op.
  - Add an IFunction class for EmbeddingLookup.
  - Add an ICLKernel class for EmbeddingLookup.
  - Add cl kernel functions for EmbeddingLookup.
  - Append the cl functions to kernel_program_map.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introducing LogicalNot op in pure_arm_compute runtime (#3599)

This commit introduces LogicalNot op in in pure_arm_compute runtime
Related PR is #3598
Related issues: #3596 and #3459

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Pack generated test update (#3557)

The changes updates the pack operation in all_generated_test.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Revise x86 build script (#3604)

x86 build by non-root anomymous user: same userid with host user
Use docker-run-user command and remove docker setting code

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add transform_graph script into tflkit (#3545)

* Add transform_graph script into tflkit

transform_graph tool will transform a TensorFlow GraphDef applying some transformations.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Update detailed usage to README.md

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[tfltool] Update option parsing in select operator for v1.12 (#3594)

Add comment for new options
Fix DepthwiseConv2DOptions for additional field

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove IPlanBuilder::addShapeConstr (#3591)

Since #2741 is merged, we do not need this method. We can remove this
from IPlanBuilder.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] DotDumper shows model outputs (#3590)

Just like model inputs, this commit shows model outputs as a different
shape.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tfltool] Update tflite schema API version (#3581)

Update tflite schema API version v1.9 -> v1.12

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Support docker run as non-root user (#3592)

Run non-root anomymous user: same userid with host user
Used on arm cross build and tizen build

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce Model class (#3586)

Model class is a container of actual operands/operations and model's
inputs/outputs.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[model_parser] Supports printing specific tensors and operators (#3580)

Now model_parser.py supports argument options for features which prints
specific tensors and operators.

./model_parser.py ./tflite -t 1 2 3   # tensor id
./model_parser.py ./tflite -o 1 2 3   # operator id

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Implementing NotEqual op in runtime (#3515)

This commit implements the CL version of NotEqual op.
Related issues: #3335, #3337

Signed-off-by: Siva Sai <siva.sai@samsung.com>

Removing TODO for mul (#3363)

This patch will remove TODO for mul op.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add Pad gtests to test padding across any dimention (#3308)

This patch will add gtests to test padding across any dimension.
This will verify padding op is working when in addition to spatial padding,
Padding is done across batch or depth too.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add comment for argmax_ex (#3576)

Add comment for ANEURALNETWORKS_ARGMAX_EX in NeuralNetworksEx.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove NDEBUG in planTensors (#3579)

* [neurun] Remove NDEBUG in planTensors

Removes NDEBUG code in Linear::planTensors.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix format-checker failed

Define TENSORFLOW_SUM in NeuralNetworksEx.h (#3578)

This patch defines TENSORFLOW_SUM in NeuralNetworksEx.h.
Related issue: #3347.

Signed-off-by: prasannar <prasanna.r@samsung.com>