Add Quant8 support to NotEqual CL (#3754)

This patch will provide quant8 support for NotEqual Op

Signed-off-by: shubham <shub98.gupta@samsung.com>

Handle boolean for nnapi delegate (#3775)

To handle boolean for nnapi delegate, change type to quantized tensor and call NNAPI

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Define Abs_Ex op in NeuralNetworksEx.h (#3758)

This patch will define Abs_Ex op in NeuralNetworksEx.h

Signed-off-by: shubham <shub98.gupta@samsung.com>

Move benchmark into contrib (#3774)

Move benchmark into contrib
Revise directory structure: use src directory
Revise cmake to reference src directory and check build option

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce LOGICAL_AND op in runtime (#3564)

This patch introduces LOGICAL_AND op in our runtime.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add delegate for SQRT and RSQRT (#3742)

* Add delegate for SQRT and RSQRT

With tensorflow v1.12, SQRT and RSQRT are built-in operator.
This commit adds delegate for built-in SQRT and RSQRT.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* Add macro to avoid GBS build fail

tizen(obs) has tensorflow v1.9 while this commit requires v1.12.

Introduce optional operand set on frontent (#3751)

Introduce unordered_set field for optional operand
Define API to insert optional operand
Introduce process to handle optional operand at model finish (cannot handle yet)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Replace ITensor to our own (#3739)

Related : #3273
Part of : #3700

This commit replaces `arm_compute::ITensor` to `neurun::operand::ITensor` finally.

Replaced below classes
- ITensor
- ICLTensor
- CLTensor
- CLSubTensor

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Implement CL Kernel for ReduceMin op (#3744)

This patch implements CL Kernel for ReduceMin op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Correction in SpaceToBatch CPU version for quant8 datatype (#3686)

This patch will set correct zero_value for quant8 datatype in spaceToBatch.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Adding nnapi delegation changes regarding TransposeConv (#3427)

This patch adds required changes to nnapi delegate to run transpose conv

Signed-off-by: b.devansh <b.devansh@samsung.com>

Remove passing pad_quant8 gtest from skiplist (#3694)

This patch will remove pad_quant8 gtest from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add GTest for ReduceMin op. (#3732)

This patch adds GTest for reduce_min op.
Added files:
```
reduce_min_ex
reduce_min_ex_float_1
reduce_min_ex_float_2
```

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add GTest for LogicalAND op (#3567)

This patch adds GTest for LogicalAND op.
Related issue: 3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

Add validation function & missing broadcast related code in NOTEQUAL (#3715)

This patch will add validation function and missing broadcast related code.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Introduce ReduceMin in PACL (#3729)

This patch introduces ReduceMin in PACL.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Introduce Node.Include.h (#3740)

This file includes headers of all the nodes

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Change dot_dumper input/output shape (#3741)

This commit changes `input`/`output` shape of dot_dumper graph to `doublecircle`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Removing the not required Pad op files (#3625)

After PR #3428 merged
These PadLayer files are not required.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Update build-docker command (#3697)

- Change command: build_docker -> build-docker
- Can use docker build options
- Update docker file: restrict yapf version to 0.22.0
- Update document

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Save pointer to buffer for operand value setting (#3736)

For operand value setting, save pointer to buffer instead of copy when size is greater than
ANEURALNETWORKS_MAX_SIZE_OF_IMMEDIATELY_COPIED_VALUES defined in NeuralNetworks.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Correction in pad CPU version for quant8 datatype (#3687)

This patch set the correct padding value which is offset for quant8 dataypes.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add CLkernel for Generic Padding (#3428)

This patch will add cl kernel to execute pad op on GPU

Signed-off-by: shubham <shub98.gupta@samsung.com>

Support Layout::NHWC for CL Kernel of SpaceToBatchND (#3734)

This commit supports Layout::NHWC for CL Kernel of SpaceToBatchND.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Apply CL Kernel of SpaceToBatchND to PACL (#3731)

This commit applies CL Kernel of SpaceToBatchND to PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove not req headers from NotEqual cl files (#3728)

This patch will remove not required headers included
in src/runtime/CL/functions/CLNotEqual.cpp

Signed-off-by: shubham <shub98.gupta@samsung.com>

Added implementation for Pack operation with ACL (#3398)

Implements 3D to 4D tensor pack operation
Uses ACL kernels for packing tensors

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Update Validation of Arguments in SquaredDifference CL kernel (#3433)

This patch will update validation of arguments in CL Kernel of SquaredDifference op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Workaround to pass scalar type tensor in nnapi delegate (#3707)

Some model have scalar type input/output, but NNAPI requre tensor type for these operands. (ex. elementwise sub, div)
To satisfy NNAPI spec, change scalar to vector with size 1 in nnapi delegate.

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce ReduceMin in the enum class declared for reduce ops (#3733)

This patch introduces ReduceMin in the enum class declared for reduce ops.

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Introduce CLTensor/CLSubTensor (#3723)

Related : #3273
Part of : #3700

This commit introduces `neurun::backend::acl_cl::operand::CLTensor`/`neurun::backend::acl_cl::operand::CLSubTensor`.
Those are inherited to internal `ICLTensor`, and have handles of `ACL` `arm_compute::CLTensor` and `arm_compute::CLSubTensor`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[neurun] Fix Graph Verifier visit check (#3722)

Visit and OnStack checking assumed ID range as vector which is wrong.
This commit changes variable `visit` and `on_stack` to be a map so it
can correctly check nodes for sure.

In the same manner with #3721

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Introduce REDUCE_MIN_EX in NeuralNetworksEx.h (#3570)

This patch introduces REDUCE_MIN_EX in NeuralNetworksEx.h.
Related issue: #3459

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Remove permutation layer for model's input/output and permute in-place (#3617)

Permute while copying from/to interpreter: this will eliminate extra
copying in permutation layer. This is just for NHWC_TO_NCHW in input
and NCHW_TO_NHWC in output.

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Implement CL kernel of SpaceToBatchND for NCHW (#3633)

This commit implements CL kernel of SpaceToBatchND for NCHW.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Rearranging rsqrt gtest according to the name in all_generated_tests.cpp (#3716)

When generate_test script is executed this rsqrt declaration will get moved
to the different line in all_generated_tests file based on the sorting done
with name.
This patch will update the all_generated_tests.cpp in master so as to
have same code as generated by generate_test script

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Introduce ITensor/ICLTensor (#3719)

* [neurun] Introduce ITensor/ICLTensor

This commit introduces `neurun::backend::operand::ITensor`/`neurun::backend::acl_cl::operand::ICLTensor` since we want to define internal interface of `ITensor` that is an common interface of all backends.
In case of `ACL` backend, It should be defined to `ACL` wrapper classes inherited to internal `ICLTensor`.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Include some functions of derived classes

Add generated tests of TensorflowSum for 4-D (#3388)

This commit adds generated tests of TensorflowSum(ReduceSum) for 4-D.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add 4 tflite models for framework test (#3720)

* Add 4 tflite models for framework test

exp_4d, neg_4d, rsqrt_4d, sqrt_4d tflite models are added into
framework test.

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>
* Disable sqrt_4d and rsqrt_4d model test

since delegates for SQRT and RSQRT are not prepared

* Remove comments

Correction of selected op in notequal gtest (#3714)

This patch will set notequal op name instead of equal op name
in notequal gtest

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Fix Dfs Iterator (#3721)

As mentioned from #3617 by @d-poshshoev, Visit checking assumed ID range
as vector which is wrong. This commit changes variable `visit` to be a
map so it can correctly check nodes for sure.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Fix incorrect path of lcov_cobertura.py in script (#3718)

There was a typo on sciprt path for lcov_cobertura.py

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

Add missing unpak gtest declaration from all_generated_test and skiplist (#3691)

This patch will add missing unpack gtest declaration from all_generated_test.cpp and skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Don't run MODELS/* in run_benchmark_op.sh (#3709)

`run_benchmark_op.sh` is for benchmarking a given operator.

Models such as inception_nonslim, inception_slim and mobilenet are
located under MODELS, and executed from `run_benchmark_op.sh`.

Thus, `run_benchmark_op.sh` excludes models under `MODELS`.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Generate NNAPI Test Case(a.k.a generatedtests) for Split (#3683)

This PR adds generatedtests for Split. #3459

Signed-off-by: b.devansh <b.devansh@samsung.com>

Add spaceToBatchND gtests to test op for quant8 dataype (#3688)

This patch adds gtest to test SpaceToBatchND op for quant8 dataype

Signed-off-by: shubham <shub98.gupta@samsung.com>

Fix tflite_benchmark_model out-of-memory error (#3706)

Previously, benchmark_model created nnapi_delegate every run.
Now, nnapi_delegate build graph only once.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Remove unused CL Kernels of Reduce Operation (#3702)

This commit removes CL Kernels of Reduce Operation that is no longer needed.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Apply CL Kernel of HashtableLookup for PACL (#3701)

This commit applies CL Kernel of HashtableLookup for PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Add generated tests of Mean for 4-D (#3453)

This commit Add generated tests of Mean for 4-D.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Do not use info directory in tflkit (#3647)

Move the *.template files in tflkit into its parent dir
And ignore .info files in tflkit

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Move lcov-to-cobertura-xml script into externals (#3693)

Move lcov-to-cobertura-xml script into externals
Recover script file name to original: lcov_cobertura.py
Change imported_url.txt to README.md

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update include order and comment in Compiler.cc (#3684)

Update include order: categorize as
- header for Compiler.cc
- header in same directory
- header in differnt neurun directory
- header in include

Add and update comment
- Update comment for SubTensorAnlyzer
- Add comment for compilation phase (backend independent, lower, backend dependent, codegen)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix wrong variable name in test_driver.sh (#3699)

I've found report_dir does not pass properly during investigation of #3420.
Then, I found a typo of a vaiable name in test_driver.sh script.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

tflite_benchmark_model is updated to v1.12.0. (#3660)

Most files are not changed from v1.12.0.
My modification is to support multiple kernel expansion operators.
You can find the changes from stats_calculator.cc and profile_summarizer.cc.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Apply CL Kernel of ReduceOperation to PACL. (#3673)

This commit applies CL Kernel of ReduceOperation to PACL.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Implement CL kernel of HashtableLookup (#3500)

This commit implements CL kernel of HashtableLookup op.
  - Add an IFunction class for HashtableLookup.
  - Add an ICLKernel class for HashtableLookup.
  - Add cl kernel functions for HashtableLookup.
  - Append the cl functions to kernel_program_map.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Remove ptr_to_element in ConstantInitializer (#3696)

Related : #3273

This commit remove using `ptr_to_element` in `ConstantInitializer` for removing `arm_compute` dependency.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

[model_parser] Print memory size of each tensor (#3677)

Now model_parser prints memory size of each tensor. In addition,
expected allocating memory also prints.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[neurun] Simplify SubTensorAnalyzer (#3690)

Make SubTensorAnalyzer to Override only ConcatNode.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Make script/config directory (#3692)

Make script/config directory and move configuration files for script into script/config

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Correction in Padding_Same untility function (#3629)

This patch will correct the Paddin_Same function logic.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Delete docker_helper file (#3689)

Delete docker_helper script file: not used any more

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Add PermutationEliminationPass to eliminate permutation of I/O (#3552)

Eliminates permutation after model's input and before output
This is just for NHWC_TO_NCHW in input and NCHW_TO_NHWC in output.
Permutation of input/output will be done during source/sink in next commit

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Auto-generate NodeVisitor headers (#3685)

Auto-generate NodeVisitor headers with macro.

Resolve #3664

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Doxygen comments for MemoryPlanner on CPU (#3679)

* [neurun] Doxygen comments for MemoryPlanner on CPU

Doxygen comments for MemoryPlanner on CPU

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Remove @ingroup

* Fix typo. opernad -> operand

Fixed the test cases for CUSTOM pack operations (#3640)

Input tensors are treated as buffer, and packing
will be done with strides determined by axis.

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Defined CUSTOM pack operation (#3648)

Added details for pack operation

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Correction in pad_quant gtest (#3680)

This patch will correct the output buffer values and name of the pad_quant gtest.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Revise coverage build and report script (#3661)

Revise docker_cross_test_coverage_build.sh and docker_coverage_report.sh
- Remove using nnfw_docker file
- Remove deprecated environment variable setting
- Use docker-run-user command

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Extend Op.lst macro (#3681)

Make `Op.lst` always keep the full list of operations. Add a boolean
parameter to determine if it is from NN API or internally used node.
Later, this list will be used for auto generation of visitor code.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Add remove() for operand::Set and operation::Set and Graph (#3678)

These changes are needed to remove some layers from a graph

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

[neurun] Introduce internal TensorInfo class (#3674)

Related : #3273
Part of : #3484

This commit introduces internal `TensorInfo` class that has just `Shape` and `TypeInfo`.
Entire dependency of `arm_compute::TensorInfo` for `cpu` backend will be reduced after cpu `Tensor` class revised in another PR.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Move Plan and related codes into compiler (#3676)

Move Plan and related codes into compiler
Update namespace and comments

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce internal IFunction class (#3672)

* [neurun] Introduce internal IFunction class

Related : #3273
Part of : #3484

This commit introduces internal `IFunction` class.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>
* Change directory

Support generate rootfs for target os ubuntu 18.04 (#3675)

Support generate rootfs for target os ubuntu 18.04 (ex. xu4 ubuntu mate 18.04)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fixed unpack node inputs (#3639)

The inputs buffer contains number of splits
Following tf_ops_compatibility

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Move BackendResolver into compiler (#3671)

Move BackendResolver into compiler and fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Rename operation Node files (#3668)

Rename operation Nodes from `{NodeName}.h` to `{NodeName}Node.h` so
they can match with their class names.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Move ConstantInitializer into compiler (#3670)

Move ConstantInitializer into compiler and fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce an enum class declaration for logical operations (#3624)

To have unified cl kernels for logical operations,
This commit introduces a enum declaration for logical operations.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Update nnfw's register.cc to v1.12.0 (#3607)

- Add v1.12 missing operators into register.cc
- FIXME: In obs build, do not apply this patch

Signed-off-by: Chunseok Lee <chunseok.lee@samsung.com>

[neurun] Remove NOP node (#3665)

NOP node was first introduced for general testing purpose but it does
not used or necessary any longer.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Define PermutationEliminationPass class (#3652)

This class eliminates permutation of input/output
just for NHWC_TO_NCHW in input and NCHW_TO_NHWC in output.

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Implement unified CL Kernel of Reduce operations into ARMComputeEx (#3490)

This commit implements unified CL Kernel of Reduce operations into ARMComputeEx.
  - Introduce class CLReduceOperation.
  - Introduce class CLReduceOperationKernel.
  - Add cl functions for Reduce operations to reduce_operation.cl.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove transpose gtests from skiplist (#3471)

This patch will remove transpose gtests from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Move PlanBuilder into compiler (#3667)

Move PlanBuilder.cc/h into compiler and fix namespace
Remove IPlanBuilder interface

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Move SubTensorInfo into compiler (#3666)

Move SubTensorInfo.h into compiler and fix namespace
Remove acl dependency header from SubTensorInfo.h

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Added defenition for CUSTOM unpack ops (#3650)

Defined the constraints for unpack ops

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Move OperationValidator into compiler (#3662)

Move OperationValidator into compiler directory
Fix namespace

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Graph holds Model as pointer (#3663)

Graph holds Model as pointer. This is for the next work that `_model` is moved
to Linear.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Merge middleend into compiler directory (#3658)

Move SubTensorAnalyzer.cc/h into compiler directory
Fix namespace and cmake

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Removing unused variables and rearranging by name in TransposeConv (#3656)

This patch will remove unused variables and rearranges the variables by their name

Signed-off-by: shubham <shub98.gupta@samsung.com>

Introduce Compiler class (#3632)

Introduce neurun::compiler::Compiler class to hide compilation phase from frontend
Introduce src/compiler directory for compile phases

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Added generated test data for CUSTOM unpack ops (#3638)

The input tensor data is treated as buffer.
Along any given axis, the output buffer are to be generated
according to the strides (determined by axis and num_splits)

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Introduce LOGICAL_OR_EX in NeuralNetworksEx.h (#3618)

This patch Introduces LOGICAL_AND_EX in NeuralNetworksEx.h.
Related issue: #3459

Signed-off-by: shubham <shub98.gupta@samsung.com>

Generate text file to save build path depth in coverage build (#3651)

Generate text file tools/test_driver/build_path_depth.txt to save build path depth.
gcov for cross build need directory strip to match build host directory and target directory.
Build path depth will be used to set GCOV_PREFIX_STRIP environment variable on target.

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix comment for argmax_ex in NeuralNetworksEx.h (#3606)

Fix incorrect comment for output of argmax_ex in NeuralNetworksEx.h
- Output rank should be same rank with input
- Reduced axes are retained with length 1

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

NeuralNetworkEx code cleanup (#3649)

Just little code cleanup for NeuralNetworkEx.h

Signed-off-by: Tanuj Tekriwal <tanuj.tekri@samsung.com>

[neurun] Fix TensorBuilder to add subtensors to Plan::operands (#3614)

Fix TensorBuilder to add subtensors to Plan::operands
Related issue is #3611

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>