[neurun] Auto-generate NodeVisitor headers (#3685)

Auto-generate NodeVisitor headers with macro.

Resolve #3664

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Doxygen comments for MemoryPlanner on CPU (#3679)

* [neurun] Doxygen comments for MemoryPlanner on CPU

Doxygen comments for MemoryPlanner on CPU

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Remove @ingroup

* Fix typo. opernad -> operand

Fixed the test cases for CUSTOM pack operations (#3640)

Input tensors are treated as buffer, and packing
will be done with strides determined by axis.

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Defined CUSTOM pack operation (#3648)

Added details for pack operation

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Correction in pad_quant gtest (#3680)

This patch will correct the output buffer values and name of the pad_quant gtest.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Revise coverage build and report script (#3661)

Revise docker_cross_test_coverage_build.sh and docker_coverage_report.sh
- Remove using nnfw_docker file
- Remove deprecated environment variable setting
- Use docker-run-user command

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Extend Op.lst macro (#3681)

Make `Op.lst` always keep the full list of operations. Add a boolean
parameter to determine if it is from NN API or internally used node.
Later, this list will be used for auto generation of visitor code.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Add remove() for operand::Set and operation::Set and Graph (#3678)

These changes are needed to remove some layers from a graph

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Introduce internal TensorInfo class (#3674)

Related : #3273
Part of : #3484

This commit introduces internal `TensorInfo` class that has just `Shape` and `TypeInfo`.
Entire dependency of `arm_compute::TensorInfo` for `cpu` backend will be reduced after cpu `Tensor` class revised in another PR.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Move Plan and related codes into compiler (#3676)

Move Plan and related codes into compiler
Update namespace and comments

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce internal IFunction class (#3672)

* [neurun] Introduce internal IFunction class

Related : #3273
Part of : #3484

This commit introduces internal `IFunction` class.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Change directory

Support generate rootfs for target os ubuntu 18.04 (#3675)

Support generate rootfs for target os ubuntu 18.04 (ex. xu4 ubuntu mate 18.04)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fixed unpack node inputs (#3639)

The inputs buffer contains number of splits
Following tf_ops_compatibility

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Move BackendResolver into compiler (#3671)

Move BackendResolver into compiler and fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Rename operation Node files (#3668)

Rename operation Nodes from `{NodeName}.h` to `{NodeName}Node.h` so
they can match with their class names.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Move ConstantInitializer into compiler (#3670)

Move ConstantInitializer into compiler and fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce an enum class declaration for logical operations (#3624)

To have unified cl kernels for logical operations,
This commit introduces a enum declaration for logical operations.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Update nnfw's register.cc to v1.12.0 (#3607)

- Add v1.12 missing operators into register.cc
- FIXME: In obs build, do not apply this patch

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[neurun] Remove NOP node (#3665)

NOP node was first introduced for general testing purpose but it does
not used or necessary any longer.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Define PermutationEliminationPass class (#3652)

This class eliminates permutation of input/output
just for NHWC_TO_NCHW in input and NCHW_TO_NHWC in output.

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Implement unified CL Kernel of Reduce operations into ARMComputeEx (#3490)

This commit implements unified CL Kernel of Reduce operations into ARMComputeEx.
  - Introduce class CLReduceOperation.
  - Introduce class CLReduceOperationKernel.
  - Add cl functions for Reduce operations to reduce_operation.cl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove transpose gtests from skiplist (#3471)

This patch will remove transpose gtests from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Move PlanBuilder into compiler (#3667)

Move PlanBuilder.cc/h into compiler and fix namespace
Remove IPlanBuilder interface

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move SubTensorInfo into compiler (#3666)

Move SubTensorInfo.h into compiler and fix namespace
Remove acl dependency header from SubTensorInfo.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Added defenition for CUSTOM unpack ops (#3650)

Defined the constraints for unpack ops

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Move OperationValidator into compiler (#3662)

Move OperationValidator into compiler directory
Fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Graph holds Model as pointer (#3663)

Graph holds Model as pointer. This is for the next work that `_model` is moved
to Linear.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Merge middleend into compiler directory (#3658)

Move SubTensorAnalyzer.cc/h into compiler directory
Fix namespace and cmake

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Removing unused variables and rearranging by name in TransposeConv (#3656)

This patch will remove unused variables and rearranges the variables by their name

Signed-off-by: shubham <shub98.gupta@samsung.com>

Introduce Compiler class (#3632)

Introduce neurun::compiler::Compiler class to hide compilation phase from frontend
Introduce src/compiler directory for compile phases

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Added generated test data for CUSTOM unpack ops (#3638)

The input tensor data is treated as buffer.
Along any given axis, the output buffer are to be generated
according to the strides (determined by axis and num_splits)

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Introduce LOGICAL_OR_EX in NeuralNetworksEx.h (#3618)

This patch Introduces LOGICAL_AND_EX in NeuralNetworksEx.h.
Related issue: #3459

Signed-off-by: shubham <shub98.gupta@samsung.com>

Generate text file to save build path depth in coverage build (#3651)

Generate text file tools/test_driver/build_path_depth.txt to save build path depth.
gcov for cross build need directory strip to match build host directory and target directory.
Build path depth will be used to set GCOV_PREFIX_STRIP environment variable on target.

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix comment for argmax_ex in NeuralNetworksEx.h (#3606)

Fix incorrect comment for output of argmax_ex in NeuralNetworksEx.h
- Output rank should be same rank with input
- Reduced axes are retained with length 1

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

NeuralNetworkEx code cleanup (#3649)

Just little code cleanup for NeuralNetworkEx.h

Signed-off-by: Tanuj Tekriwal <tanuj.tekri@samsung.com>

[neurun] Fix TensorBuilder to add subtensors to Plan::operands (#3614)

Fix TensorBuilder to add subtensors to Plan::operands
Related issue is #3611

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Introduce LOGICAL_AND_EX in NeuralNetworksEx.h (#3563)

This patch Introduces LOGICAL_AND_EX in NeuralNetworksEx.h.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

Added Generic test file for RSQRT_EX (#3297)

This patch adds the Gtest file for RSQRT_EX.

Signed-off-by: Tanuj Tekriwal <tanuj.tekri@samsung.com>

Pass all arguments in summarize_tflite tool (#3646)

To use various options of model_parser.py tool,
it allows to pass all arguments to model_parser.py file in summarize_tflite file.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Fix non-string passed to CreateString issue in tfltool (#3645)

If the operator_codes is empty, select_operator.py tool occurs an error.
This patch is fixed the issue.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[neurun] Rename Planner as OperationValidator (#3582)

Now Planner has only have assertions, so rename accordingly.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add gtest to test for quant8 input for Pad op (#3620)

This patch will add gtest to test for quant8 input for pad op.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add GTests for SQRT op (#3608)

This patch addds GTests for SQRT op.
Added files:
```
sqrt_ex_1D_float
sqrt_ex_4D_float
```

Signed-off-by: prasannar <prasanna.r@samsung.com>

Removing unnecessary included header files in NENormalization (#3621)

This patch will remove unnecessary headers included in src and runtime
of NENormalization.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Introduce LogicalOr op in runtime (#3622)

This patch will add node for LogicalOr op in PACL

Signed-off-by: shubham <shub98.gupta@samsung.com>

Correcting the comments in equal and notequal cl (#3627)

This patch will corrects the comments in equal and notequal cl
And Adds the missing comments.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Removing unnecessary headers included in clfiles of Permute op (#3628)

This patch will remove unnecessary headers included in clfiles of Permute op.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Correction in Error checking conditions and namespace missalignment (#3630)

This patch will correct:
1. error checking condition for output, since output is always QASSYM8
input1 and output datatypes cannot be compared. Also, output can omnly be
checked for QASSYM8 in validate function.

2.Since all the non class functions are placed in namespace (format followed
by ACL) hence placing validate the function in the defined namespace.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Minor changes in TransposeConv op (#3619)

* Minor changes in TransposeConv op

Addressing the comments by jh1302-park in #3423

Signed-off-by: b.devansh <b.devansh@samsung.com>
* Minor changes in TransposeConv op

Addressing the comments by jh1302-park in #3423

Signed-off-by: b.devansh <b.devansh@samsung.com>

Introducing LogicalNot op in NeuralNetworksEx (#3598)

This commit introduces LogicalNot op in NeuralNetworksEx.h
Related issues: #3596

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[model_parser] Fix wrong printing type of tensor (#3635)

* [model_parser] Fix wrong printing type of tensor

Fixes wrong printing type of tensor. The type names like FLOAT32,
UINT8 not 0 should be printed.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix to get type_name from tensor_wrapping

Nnapi delegate for ArgMax (#3558)

The changes introduces the nnapi delegate for ArgMax operation.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Add generated test for ARG_MAX (#3554)

The changes adds the generated test's for ARG max operation.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Apply CL Kernel of Embedding_Lookup to PACL (#3616)

This commit applies CL Kernel of Embedding_Lookup to PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add gtest to test Transpose op for Tensors with rank < 4 (#3601)

This patch will add gtest to verify Transpose op for input tensors
having rank < 4

Signed-off-by: shubham <shub98.gupta@samsung.com>

[model_parser] Prints optons for Depthwise_Conv_2D (#3613)

This commit adds feature to print optons for Depthwise_Conv_2D.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

[model parser] Fix parsing bug when operator don't have option (#3610)

Fix parsing bug invaild exit when operator don't have option

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Change SimpleSpaceToBatchND's inputs to arm_compute::ITensor (#3553)

This commit changes SimpleSpaceToBatchND's inputs to arm_compute::ITensor.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add freeze_graph script into tflkit (#3556)

freeze_graph tool will freeze a standalone graphdef with the stored variables.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Add GTest for testing the enabled Broadcast of EqualEx op (#3304)

This patch adds GTest for testing the enabled Broadcast of EqualEx op.
Added GTests:
```
equal_ex_broadcast
equal_ex_broadcast_4D_2D
```
Signed-off-by: prasannar <prasanna.r@samsung.com>

Implementation of TransposeConv op in PACL for CPU (#3423)

This patch will add TransposeConv op
Related issues : #2739 #2809

Signed-off-by: b.devansh <b.devansh@samsung.com>

Implement CL kernel of EmbeddingLookup (#3489)

This commit implements CL kernel of EmbeddingLookup op.
  - Add an IFunction class for EmbeddingLookup.
  - Add an ICLKernel class for EmbeddingLookup.
  - Add cl kernel functions for EmbeddingLookup.
  - Append the cl functions to kernel_program_map.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introducing LogicalNot op in pure_arm_compute runtime (#3599)

This commit introduces LogicalNot op in in pure_arm_compute runtime
Related PR is #3598
Related issues: #3596 and #3459

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Pack generated test update (#3557)

The changes updates the pack operation in all_generated_test.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

Revise x86 build script (#3604)

x86 build by non-root anomymous user: same userid with host user
Use docker-run-user command and remove docker setting code

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Add transform_graph script into tflkit (#3545)

* Add transform_graph script into tflkit

transform_graph tool will transform a TensorFlow GraphDef applying some transformations.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Update detailed usage to README.md

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[tfltool] Update option parsing in select operator for v1.12 (#3594)

Add comment for new options
Fix DepthwiseConv2DOptions for additional field

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove IPlanBuilder::addShapeConstr (#3591)

Since #2741 is merged, we do not need this method. We can remove this
from IPlanBuilder.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] DotDumper shows model outputs (#3590)

Just like model inputs, this commit shows model outputs as a different
shape.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[tfltool] Update tflite schema API version (#3581)

Update tflite schema API version v1.9 -> v1.12

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Support docker run as non-root user (#3592)

Run non-root anomymous user: same userid with host user
Used on arm cross build and tizen build

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce Model class (#3586)

Model class is a container of actual operands/operations and model's
inputs/outputs.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[model_parser] Supports printing specific tensors and operators (#3580)

Now model_parser.py supports argument options for features which prints
specific tensors and operators.

./model_parser.py ./tflite -t 1 2 3   # tensor id
./model_parser.py ./tflite -o 1 2 3   # operator id

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Implementing NotEqual op in runtime (#3515)

This commit implements the CL version of NotEqual op.
Related issues: #3335, #3337

Signed-off-by: Siva Sai <siva.sai@samsung.com>

Removing TODO for mul (#3363)

This patch will remove TODO for mul op.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add Pad gtests to test padding across any dimention (#3308)

This patch will add gtests to test padding across any dimension.
This will verify padding op is working when in addition to spatial padding,
Padding is done across batch or depth too.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add comment for argmax_ex (#3576)

Add comment for ANEURALNETWORKS_ARGMAX_EX in NeuralNetworksEx.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove NDEBUG in planTensors (#3579)

* [neurun] Remove NDEBUG in planTensors

Removes NDEBUG code in Linear::planTensors.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix format-checker failed

Define TENSORFLOW_SUM in NeuralNetworksEx.h (#3578)

This patch defines TENSORFLOW_SUM in NeuralNetworksEx.h.
Related issue: #3347.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Refine DAGChecker implementation (#3538)

Make DAGChecker implementation simpler by using operands' use info.
Cannot make a cyclic test for now, since after creating a cycle then
`finishBuilding` is called, it will cause assert failure by runtime.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add gtest for mul op to test 4D tensors (#3452)

This patch will add gtest to test mul op for 4D tensors

Signed-off-by: shubham <shub98.gupta@samsung.com>

[model_parser] Print options of Conv2D, AvgPool2D, MaxPool2D (#3573)

Through this commit, model parser prints options of Conv2D, AvgPool2D, MaxPool2D such as stride, padding, etc.

Signed-off-by: Hyun Sik Yoon <hyunsik.yoon@samsung.com>

Add missing comments in NodeVisitor.h (#3575)

This patch adds the missing comments in NodeVisitor.h

Signed-off-by: prasannar <prasanna.r@samsung.com>

Implement SQRT op in PACL (#3418)

This patch implements SQRT op in PACL.
Related issue: #3341

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add optimize_for_inference script into tflkit (#3546)

* Add optimize_for_inference script into tflkit

optimize_for_inference tool optimizes a TensorFlow GraphDef for inference.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Add detail information to README.md

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Add NNAPI delegation for SQRT_EX (#3422)

This patch adds NNAPI delegation for SQRT_EX

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Remove Planner implementation (#3560)

Now that we are able to have uniform planning procedure for all Nodes,
We do not need Planner class anymore. The planning procedure is now
unified and moved to `compilation.cc` but Planner class is left for
assertion checks which will be renamed as `OperationAsserter` later.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Mismatch in generated test files for NOT_EQUAL_EX (#3550)

This patches the mismatch in the GTest files for NOT_EQUAL_EX.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add tflite_convert scripts into tflkit (#3544)

* Add tflite_convert scripts into tflkit

tflite_convert tool will convert a TensorFlow GraphDef into TfLite model.

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Add check routine for bazel

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Change the PB_PATH to GRAPHDEF_PATH and add detail usages

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Add detail usage to README.md

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Fixed wrong exitcode

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[neurun] Add const iterate method to Linear (#3547)

Add const iterate method to Linear

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Revise IStageGenerator (#3536)

* [neurun] Revise IStageGenerator

Revise IStageGenerator to be a NodeVisitor. This will make it possible
to unify Planner implementation.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>
* Pass Stage as const reference

Use pre-built acl by environment variable (#3533)

* Use pre-built acl by environment variable

When environment variable EXT_ACL_FOLDER is set, use pre-built acl binary

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Fix if-else syntax in Makefile

Adding testcases for NotEqual Op (#3516)

This commit adds Gtest testcases for NotEqual op.
Related issues: #3335,#3337

Signed-off-by: Siva Sai <siva.sai@samsung.com>

Configure parallel execution job count (#3531)

User can configure parallel execution job count using NPROCS environment variable
- Reduce local compilation overhead when doing multiple job
- Protect excessive CI processor consumtion by one job

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Create tflkit directory (#3438)

* Create tflite_easytool directory

This directory is created to make it easier to run frequently used tools in scripts.
Now, it has two functions:
- Summraize PB model
- Summraize TfLite model

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Change the directory name to tflkit

Also changes the relative path to absolute path

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Add Prerequires and TF tool guideline

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>
* Add additional description for prerequires

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

[neurun] Default implementation for NodeVisitor (#3530)

Implement default implementation for NodeVisitor which is just doing
nothing.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Enable concat elimination on acl backend (#3528)

Enable concat elimination on acl backend
Change config and remove assertion block

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Remove IInitializerGenerator (#3525)

Remove IInitializerGenerator and its implementations. We do not need
this backend API anymore.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add comment for tensorflow_max_ex (#3526)

Add comment for tensorflow_max_ex in NeuralNetworksEx.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix typo in nnapi delegate (#3527)

Fix typo in nnapi delegate: v1.11 -> v1.12

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>