[model_parser] Hide instruction counts by verbose option (#3487)

Hides instruction counts by verbose option. Now -v or --verbose can skip
printing instruction counts. You can use this verbose option as follows
- With verbose level 0, prints only summary of tflite
- With verbose level 1(default), prints all like current default except for
instructions
- With verbose level 2, prints all like current default including for
instructions

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

[neurun] Introduce FirstfitAllocator (#3458)

* [neurun] Introduce FirstfitAllocator

Introduces FirstfitAllocator instead of BumpAllocator. This allocator
allocates a block for tensor at the first-fit offset.

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Revise allocate() of FirstfitAllocator

- Adds comment for description of allocate()
- Removes inner lambda allocateBlock() in allocate()

* Change the name from Firstfit to FirstFit

* Fix typo

* Adds comment for _alloc_table

Introduce a enum class declaration for reduce operations. (#3461)

This commit introduces a enum declaration for reduce operations.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce registerSubTensorInfo (#3474)

Introduce registerTensorInfo to register subtensor information (not used yet)
Backend allocator will use this info for allocation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introducing NotEqual op in NeuralNetworksEx (#3473)

This commit introduces NotEqual op in NeuralNetworksEx.h
Related issues: #3335, #3337

Signed-off-by: Siva Sai <siva.sai@samsung.com>

Add CL kernel call for Transpose op from runtime (#3470)

This patch adds cl kernel call for transpose op from PACL.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Updating comment to create more formal equation (#3466)

This patch will updates comment for sqrt so as to remove x and y and to
have more formal equation.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Enable broadcast support for Equal_Ex op (#3431)

This patch enables broadcast support for Equal_Ex op.
Related issue: #3295.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Correction of comments by adding shape info in NeuralNetworksEx.h (#3463)

This patch will add correction in comments by adding shape info in NeuralNetworksEx.h

Signed-off-by: shubham <shub98.gupta@samsung.com>

Defining CAST_EX in NeuralNetworksEx.h (#3424)

This patch defines CAST_EX in NeuralNetworksEx.h

Signed-off-by: shubham <shub98.gupta@samsung.com>

Defining RSQRT_EX in NeuralNetworksEx.h (#3415)

This patch defines RSQRT_EX in NeuralNetworksEx.h

Signed-off-by: shubham <shub98.gupta@samsung.com>

Introduce registerTensorInfo (#3467)

Introduce registerTensorInfo to
- Divide tensor info register and use-def notify
- Prepare subtensor information register

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix build failure on neuurun (#3468)

Fix build failure on neurun by operator structure change

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Structural changes for ops (#3436)

This commit follows the discussions on #3250

Signed-off-by: Siva Sai <siva.sai@samsung.com>

Support ReduceMax kernel for cl up to 4-dimensions (#3340)

* Support ReduceMax kernel for cl up to 4-dimensions

This commit supports ReduceMax kernel for cl up to 4-dimensions.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>
* Optimize ReduceMax Kernel for cl

This commit optimizes ReduceNMax kernel for cl.
  - Change calling kernel from at once kernel to call separated kernels multiple times.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Introduce backend config for subtensor (#3460)

Introduce backend config for subtensor
CPU and ACL backend are not support subtensor yet

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Comment correction in CLBatchToSpaceND.h (#3313)

This patch will correct the doxygen comment for CLBatchToSpaceND.h

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Apply tensor lifetime-info(use-def) to Linear/TensorBuilder (#3409)

* [neurun] Apply tensor lifetime-info(use-def) to memory allocation

Applies tensor lifetime-info(use-def) to memory allocation with revising
Linear and TensorBuilder.
- Introduce vassignTensors(virtually assign tensors) in Linear instead
  of markTensors
- Introduce assign(assign memory virtually)/unassign(unassign memory
  virtually) in TensorBuilder instead of mark

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>
* Fix release build error

* Rename functions properly

Linear::vassignTensors -> planTensors
ITensorBuilder::assign -> notifyFirstUse
ITensorBuilder::unassign -> notifyLastUse

* Fix log

* Fix searching output first than input

Implementation of Generic Permute CL Kernel (#3114)

This patch will add generic permute kernel supporting all permutations for nD Tensors
This kernel is required for Reshape and Transpose op

Signed-off-by: shubham <shub98.gupta@samsung.com>

Added test cases for Pack operation (#3399)

Test cases for 3D to 4D pack along 2 axises
Added test in skiplist of arm-linux, neuran and x86-linux

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Defining NEG_EX in NeuralNetworksEx.h (#3417)

This patch defines NEG_EX in NeuralNetworksEx.h
Related issue: #3347

Signed-off-by: prasannar <prasanna.r@samsung.com>

Defining EXP_EX in NeuralNetworksEx.h (#3416)

This patch defines EXP_EX in NeuralNetworksEx.h
Related issue: #3347

Signed-off-by: prasannar <prasanna.r@samsung.com>

Remove deprecated coverity script (#3440)

Remove deprecated coverity script (used nowhere)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove svace and coverity build script (#3439)

Remove svace and coverity build script
- These scripts are not used in CI any more
- These scripts are not used by developer

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove unnecessary headers from src/core/CL/kernels/* (#3375)

This patch will remove unnecessary headers from src/core/CL/kernels/* files

Signed-off-by: shubham <shub98.gupta@samsung.com>

Revise script for docker image build (#3430)

Revise script for docker image build
- Change script name
- Rename common.sh and move
- Set argument for docker image name and tizen build image
- Update documents

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce SubTensorAnalyzer (#3410)

Introduce SubTensorAnalyzer and insert subtensor analyze phase in compilation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Introduce iterate method for Context (#3425)

Introduce `iterate` method for `codegen::operand::Context`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Move Graph::insertPermute to PermutationInsertionPass (#3408)

Since this method is used just in `PermutationInsertionPass` it's
reasonable to move into this class
Related issue is https://github.sec.samsung.net/STAR/nnfw/issues/3388

Signed-off-by: Poshshoev Dilshodzhon <d.poshshoev@samsung.com>

Defining SQUARED_DIFFERENCE_EX in NeuralNetworksEx.h (#3413)

This patch defines SQUARED_DIFFERENCE_EX in NeuralNetworksEx.h
Related issue: #3347

Signed-off-by: prasannar <prasanna.r@samsung.com>

Defining EQUAL_EX in NeuralNetworksEx.h (#3354)

This patch defines EQUAL_EX in NeuralNetworksEx.h
Related issue: #3347

Signed-off-by: prasannar <prasanna.r@samsung.com>

[neurun] Modification for Add op (#3414)

The changes made are aligned with the discussion in #3250

Signed-off-by: Siva Sai <siva.sai@samsung.com>

Introduce SQRT in PACL (#3412)

This patch introduces SQRT op in PACL
Related issue: #3341

Signed-off-by: prasannar <prasanna.r@samsung.com>

Introduce SQRT_EX in NeuralNetworksEx.h (#3400)

This patch includes SQRT_EX in NeuralNetworksEx.h
Related issue: #3341

Signed-off-by: prasannar <prasanna.r@samsung.com>

Run benchmark for all tflite model under tests/framework (#3402)

Related: #3397 #3264

Previously, run_benchmark_op.sh runs the tests in `benchmark_op_models.txt`.
- No one maintains the list.
- It contains only a few tests.
- If the location or folder name is changed, the list should be updated.

Now, run_benchmark_op.sh runs all tests under `tests/frameworks`.
- No one need to update whenever a new model is added/removed, location is changed....

This PR also removes

- option  `--frameworktest_list_file` option from `run_benchmark_op.sh`.
- benchmark_op_list.txt

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

[neurun] Introduce OperationPass (#3403)

Introduce `OperationPass` class which iterates over `operation::Node`s.
This is the same manner with `OperandPass`.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Removing TODO for pool op (#3370)

This patch will remove TODO statement for max_pool and avg_pool

Signed-off-by: shubham <shub98.gupta@samsung.com>

Use rpm macro instead of user define macro in spec file (#3406)

%{install_prefix} -> %{_prefix}
%{install_prefix}/lib -> %{_libdir}

Signed-off-by: Jiyoung Yun <jy910.yun@samsung.com>

Adding Unpack Node (#3216)

Added unpack node in pure_arm_compute

Signed-off-by: Vishal Keshav <vishal.k1@samsung.com>

Introduce SubTensorInfo class (#3407)

Introduce SubTensorInfo class to use at backend tensor allocation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce ParentInfo class (#3401)

Introduce ParentInfo class to represent parent tensor information
Add field in neurun::graph::operand::Object for ParentInfo

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

[neurun] Revise MemoryAllocator (#3386)

- MemoryBlock -> Block
- base_offset -> offset
- Remove mem_id concept
- Introduce graph::operand::Index instead of uint32_t
- Apply above changes to symbols of MemoryAllocator
- Apply above changes to tests of MemoryAllocator
- Append Logging

Signed-off-by: Yongseop Kim <yons.kim@samsung.com>

Revise tizen build script (#3393)

- Revise tizen cross build script
- Revise tizen gbs build script

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Removing ambigous/unused num_elem_processed_per_iteration variable (#3315)

This patch will remove unused num_elem_processed_per_iteration variable from CLGatherKernel.cpp

Signed-off-by: shubham <shub98.gupta@samsung.com>

Removing extra header files included in topkv2 files (#3372)

This patch will remove extra unnecessary headers in topkv2 op.
Also add CLScheduler.h which was getting included by CLArray
ClArray was including headers which were not required, hence it has been removed

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add a generated test for HashTable_Lookup 4-D (#3381)

This commit add a generated test for HashTable_Lookup 4-D.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

[neurun] Fix wrong ifdef guard (#3350)

This commit fixes ifdef guard in neurun.

Signed-off-by: sjsujinkim sjsujin.kim@samsung.com

Update nnapi delegate for LRN (#3270)

This patch will add nnapi delegation changes for LocalResponseNormalization.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add GeneratedTests of ReduceMax for 4-D (#3366)

This commit adds GeneratedTests of ReduceMax(TensorflowMax) for 4-D.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Remove unnecessary headers from src/runtime/CL/functions/* (#3374)

This patch will remove unnecessary headers from src/runtime/CL/functions

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove unnecessary headers from arm_compute/runtime/CL/* (#3373)

This patch will remove unnecessary headers from arm_compute/runtime/CL files.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove unnecessary headers from arm_compute/core/CL/* (#3371)

This patch will remove unnecessary headers included in the following files:

arm_compute/core/CL/kernels/CLActivationLayerExKernel.h
arm_compute/core/CL/kernels/CLArithmeticSubtractionExKernel.h
arm_compute/core/CL/kernels/CLEqualKernel.h
arm_compute/core/CL/kernels/CLGatherKernel.h
arm_compute/core/CL/kernels/CLNegKernel.h
arm_compute/core/CL/kernels/CLPixelWiseDivisionKernel.h
arm_compute/core/CL/kernels/CLReduceMaxKernel.h
arm_compute/core/CL/kernels/CLReductionMeanKernel.h
arm_compute/core/CL/kernels/CLSquaredDifferenceKernel.h
arm_compute/core/CL/kernels/CLStridedSliceKernel.h

Signed-off-by: shubham <shub98.gupta@samsung.com>

Updating addStage function declaration of Iplanbuilder (#3355)

This patch updates the declaration of addStage function of Iplanbuilder and it's associated comments.
Due to ambiguous 's' in doxygen comment, this change is made.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Allign comment to have same formatting (#3369)

This patch will remove tab spaces and align the comment to have same formating style in same_padding function

Signed-off-by: shubham <shub98.gupta@samsung.com>

Support Padding accross all dimensions (#3305)

This patch will provide support to pad accross all dimensions of input tensor

Signed-off-by: shubham <shub98.gupta@samsung.com>

Correcting and adding arm_compute assertions in CL core/kernel files (#3312)

This patch will add more asertions required to be tested and corrects the wrong assertions that have been added.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Revise docker_build_cross_arm_ubuntu.sh (#3348)

Revise docker_build_cross_arm_ubuntu.sh
- Remove using nnfw_docker file
- Use docker-run and docker-shell command

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce ArgMax operation. (#3288)

This patch will introduce the ArgMax operation in NNFW.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

[neurun] Fix Shape4D in LowerInfo order (#3339)

Fix Shape4D order bug (NHWC)

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Fix padding bug of EmbeddingLookup (#3184)

This commit fixes padding bug of EmbeddingLookup.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Support HashtableLookup greater than 2 dimensions (#3210)

This commit supports HashtableLookup greater than 2 dimensions.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

Fix docker-shell command bug (#3336)

Need docker option -it for interactive

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove unused headers and functions (#3316)

This patch will remove all unused headers and functions from following files:
CLActivationLayerExKernel.cpp
CLBatchToSpaceNDKernel.cpp
CLDepthToSpaceKernel.cpp
CLEqualKernel.cpp
CLGatherKernel.cpp
CLNegKernel.cpp
CLPixelWiseDivisionKernel.cpp
CLReduceMaxKernel.cpp
CLReduceSumKernel.cpp
CLReductionMeanKernel.cpp
CLSpaceToDepthKernel.cpp
CLSquaredDifferenceKernel.cpp
CLStridedSliceKernel.cpp

Signed-off-by: shubham <shub98.gupta@samsung.com>

Check invalid format-checker exit (#3327)

Check invalid format-checker exit and return fail

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Update docker-shell and configuration (#3324)

* Update docker-shell and configuration

Update docker-shell

- Use docker.configuration

Update docker.configuration

- Change default docker image name
- Fix tab to space
- Fix setting DOCKER_VOLUMES variable
- Enable using environment file

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>
* Update environment variable setting

Remove unused environment setting and add download server setting

Setting missing quantization info (#3330)

This patch will pass scale and offset so as to set quantization info.
If required, this quantization info can be used by the operations

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove unused shape variables from L2Pool (#3329)

This patch will remove the unused shape variable from L2Pool.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add Generated Test for Testing broadcast DIV (#3296)

This patch adds a generated test for testing broadcast DIV.
This consist of testing broadcast div with tensors of shape 4D & 2D.
Added GTest : div_broadcast_float_4D_2D_nnfw

Signed-off-by: prasannar <prasanna.r@samsung.com>

Fix python syntax error (#3326)

Fix python syntax error in select_operator.py

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Change misleading FATAL error message from nnapi_delegate (#3307)

This patch changes misleading FATAL error message from nnapi_delegate for ```BatchToSpaceND```

Signed-off-by: prasannar <prasanna.r@samsung.com>

Remove unused build script (#3323)

Remove unused two build script
- docker_build_cross_arm_neurun.sh (can build neurun using env file)
- docker_build_cross_arm_ubuntu_without_aclbuild.sh

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove passing pad gtest from skiplist (#3320)

This patch will remove pad gtest from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

Update `run_benchmark_op.sh` to enable neon properly (#3318)

Related Issue: #3262

`run_benchmark_op.sh` was written in the era of legacy runtime.
Currently we uses pure acl runtime as default.
Thus, I updated the way of enabling neon, and the labels.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Update assertions for BatchToSpaceND op in compile time. (#3286)

This patch updates the assertions required for BatchToSpaceND at compile time in PACL.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Removing unused cstdint header from the runtime/CL/functions/CL* (#3311)

This patch will remove cstdint header from runtime/CL/functions/CL* since it is not getting used.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Adding function call to validate_arg in CLGatherKernel.cpp (#3314)

This patch will add function call to validate_arg which was defined but was not getting used.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Utility function to get ACL_PermutationVector from Runtime_PV (#3128)

For issue #3022
This commit adds a function that converts the Permutation vector of the runtime into the Permutation Vector of ACL

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add CL Kernel Calls for SpaceToDepth from runtime. (#3267)

This patch adds CL Kernel Calls for SpaceToDepth from runtime

Signed-off-by: shubham <shub98.gupta@samsung.com>

Removing TODO comment for reshape (#3309)

This patch will remove TODO assert comment of reshape since that TODO is already implemented.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Fix typos in Shape.h's comment (#3317)

I've found a lot of typos in Shape.h during reading code for SMP documentation.

Signed-off-by: Sanggyu Lee <sg5.lee@samsung.com>

Removing typo in comment for Squaredifference (#3310)

This patch will remove the typing error for comment related to #define in SquareDifference op

Signed-off-by: shubham <shub98.gupta@samsung.com>

Remove Passing gtest of max_pool and avg_pool from skiplist (#3302)

This patch will remove passing gtest of max and avg pool from skiplist

Signed-off-by: shubham <shub98.gupta@samsung.com>

[tfltool] Op selector for LRN (#3284)

This patch will provide support to select LRN op in select_operator.py

Signed-off-by: shubham <shub98.gupta@samsung.com>

Add if defined block and remove ambiguous comments from BatchToSpaceND CL kernel (#3294)

This patch adds if defined block and removes ambiguous comment from BatchToSpaceND CL Kernel.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Adding assertions block for SpaceToBatch layer (#3269)

This patch will add assertions for SpaceToBatch layer in visit function to handle exceptions

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Add default generate method (#3293)

Add default generate method for all IInitalizerGenerator. It returns
an empty list - i.e. no-op. Also this makes `Planner::visit` methods
call the initializer generation so all of them are identical. Later,
Planner implementation will be unified.

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

Add GTests for Equal_Ex (#3030)

equal_ex_1D_float.mod.py for 1D Tensor Inputs.
    equal_ex_4D_float.mod.py for 4D Tensor Inputs.
    equal_ex_quant.mod.py for QUANT8 Inputs.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Fix build command script (#3299)

Fix build command script
- configure: Add home, binary home option
- build-acl: Fix to build-acl before configure

By this, we can build
"[env-set] ./run build-acl & [env-set] ./run configure & ./run build & ./run install"

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Introduce ArgMax_EX in NeuralNetworkEx (#3207)

Introducing ArgMax operation in NeuralNetworkEx.

Signed-off-by: Praveen D N <praveen.dn@samsung.com>

[neurun] Rename OperandConstraint generators (#3291)

This commit renames OperandConstraint static generator methods to be
natural.

Resolve #3239

Signed-off-by: Hanjoung Lee <hanjoung.lee@samsung.com>

[neurun] Add missed license to newly added files (#3290)

This commit adds missed license to newly added files.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add restrictions and comments for several operations applying reducing (#3280)

This commit adds restrictions and comments for several operations applying reducing.

- Restrictions
  In case of that input rank is 4 and output rank is not 4, supports reducing height and width or reducing depth.

Signed-off-by: jiseob.jang <jiseob.jang@samsung.com>

PAD op in PACL as CPU Fallback (#2857)

This patch will add PAD op in PACL as CPU version

Signed-off-by: shubham <shub98.gupta@samsung.com>

Support scalar type for operand rank larger than 0 (#3281)

Support scalar type for operand rank larger than 0
Operand rank can be changed to 1 ~ 4 for broadcast operation

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>

Remove conflict helper comments in FeatureLoggingLayer.h (#3282)

This commit removes conflict helper comments in `FeatureLoggingLayer.h`

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add missed comment in asARMComputeCoordinates function (#3268)

This patch will add missed comments for asARMComputeCoordinates function in Cast.h

Signed-off-by: shubham <shub98.gupta@samsung.com>

[neurun] Change bg color managing and colors in DotDumper (#3257)

close : #3241

This commit changes bg color managing and color scheme in DotDumper.

Signed-off-by: sjsujinkim <sjsujin.kim@samsung.com>

Add missing Apache License to PACK op. (#3277)

This patch adds apache license to PACK op.

Signed-off-by: prasannar <prasanna.r@samsung.com>

Patch to remove unused shape variables (#3271)

This patch will remove unused shape variables.

Signed-off-by: shubham <shub98.gupta@samsung.com>

Check url for external source download (#3275)

Check url for external source download
If download url is not matched, download again

Signed-off-by: Hyeongseok Oh <hseok82.oh@samsung.com>