[Build] dependency to api

Code clean, fix cyclic dependency between nntrainer and ml-api.
Build dependency to ml-api on nntrainer is unnecessary.

Signed-off-by: Jaeyun Jung <jy1210.jung@samsung.com>

[LLaMA] Bugfix in LLaMA application

- This commit fixes a bug in `applyTKP` function.
- It seems applying Top-K and Top-P to logits didn't work as intended

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[hgemm] hgemm noTrans with 1x4 kernel

Added hgemm_kernel_1x4
Added hgemm_noTrans_1x4 calls
Added unittest dot_gemm_50_768_516

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[bugfix] Fix build issues when fp16 is enabled

This PR resolves build issues occur in acti_func.h when fp16 is enabled.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[LoRA] add alpha parameter to LoRA

- This commit adds `alpha` parameter to LoRA (fc)
- In the original paper,they adopted `alpha (int)` as a parameter to
derive the scaling factor internally, i.e., scaling = alpha / rank
- This commit takes `alpha` as a hyper-parameter and apply the scaling
factor to the LoRA layer.
- This commit's updates are summarized as follows:
- `common_properties.h` : add LoraAlpha as a parameter.
- `fc_layer.cpp`: update forwarding / calcGradient /
calcDerivative func to apply scaling factor in LoRA computation
- `fc_layer.h`: update to take LoraAlpha as fc_props
- `node_exporter.cpp/h`: add LoraAlpha as a parameter in
tf.export format of fc layer (to pass the test code)
- fix the code lines which may cause coverity issue.
- LoRA initialization is updated:
- LoRA A : ZEROS
- LoRA B : Normal
- [TODO] update tf exporter of fc layer

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

Add Mish activation function

- Now, user can use Mish activation function like torch or tensorflow.

**Self evaluation**:
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Boseong Seo <suzy13549@snu.ac.kr>

[hgemm] Removed unused header

Deleted unused header inclusion
Removed #include <iostream>

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[hgemm] hgemm noTrans with kernel 1x8

Added 1x8 hgemm kernel, packing_A1, packing_B1 functions.
Incorporated hgemm_noTrans_1x8.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

ci / remove cpp-linter's false positive reports.

It gives an error of "iostream" not found.

Install libstdc++-dev for possible compilers.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[API] Add tensor&operations API structure for supporting autograd

I added tensor & function(operation) api structure for supporting autograd.

Users can make a model graph using this api.

The operators will be supported one-to-one with ONNX.

Signed-off-by: Seungbaek Hong <sb92.hong@samsung.com>

Add Softplus activation function

- Now, user can use Softplus activation function like torch or tensor flow.
- Furthermore, we can use this function to build Mish or other activation functions

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: heka1024 <heka1024@gmail.com>

[neuralnet] bugfix multi batch incremental inference

 - This commit will handle when the model activation datatype is fp32

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Docs] add yolov3 readme file

added yolov3 readme file

Signed-off-by: Seungbaek Hong <sb92.hong@samsung.com>

[OpenCL/GPU] Modified ifstream condition

Updated ifstream object valid condition

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[GPU/OpenCL] Create kernel utility with binaries

Added feature for reading kernel binaries.
Managing already created kernels.
Added static flag and bitmask to check existing kernels.

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

Add ELU activation function

- Now, user can use ELU activation function like torch or tensor flow.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Co-authored-by: Hanbyeol Kim kimhan0515@snu.ac.kr
Co-authored-by: Boseong Seo suzy13549@snu.ac.kr
Signed-off-by: heka1024 <heka1024@gmail.com>

[application] add repetition_penalty to generate func

add some options to 'generate' function of llm

- add naive repetition_penalty option
- add bad_words option

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Seungbaek Hong <sb92.hong@samsung.com>

Remove LSTM example in Applications/README.md

- existing link to LSTM example does not work
- user can find LSTM example in Layers dir
  + LSTM dir merged to Layers dir (in PR nnstreamer#2107)
- delete LSTM example in Applications/README.md file in order to reduce confusion

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Boseong Seo <suzy13549@snu.ac.kr>

[ hgemm ] Use macro kernel in 8x8 kernel

- Using macro kernel, we can choose somewhere between accuracy-latency tradeoff. Furthermore, it is easier to maintain this way.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ hgemm ] Apply software prefetching in 4x8 kernel

- We can expect to minimize cache miss using software prefetching

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ hgemm ] Implement 8x16 hgemm kernel

- This commit introduces 2 types of 8x16 hgemm kernel
1. full-fp16
2. fp16-fp32 partial accumulation

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[neuralnet] enable multi batch incremental inference

 - The output was not considered multi batch input in incremental inference.
   Now it will return multi batch output.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[application] update llm generate function

- fix "temperature" operation
- add "top-k, top-p" option
- support batch mode

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Seungbaek Hong <sb92.hong@samsung.com>

Reformat code with .clang_format

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Boseong Seo <suzy13549@snu.ac.kr>

[ BugFix ] Modify the wrong input in `EXPECT_EQ`

- `registerFactory` function returns the unsigned value of the int_key when int_key is given as -1 (default), but it was not considered in the code.
 - So, modified the second argument (expected value) of `EXPECT_EQ` as follows.

Signed-off-by: Boseong Seo <suzy13549@snu.ac.kr>

Use parameterized test in unittest

Use parameterized test according to existing TODO comment.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Boseong Seo <suzy13549@snu.ac.kr>

Fix typo in docs

Fix typos for some docs
- README.md and docs/configuration-ini.md: simple typo
- Applications/MNIST/README.md: typo and duplicate image

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hanbyeol Kim kimhan0515@snu.ac.kr
Signed-off-by: kimhan0515 <kimhan0515@gmail.com>

[layer] multi batch incremental forwarding

 - Enable multi batch incremental forwarding by looping batchwise

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[OpenCL] Added stringification macro and kernel path

Add DEFAULT_KERNEL_PATH as static member of Program class
Modified macros for stringification

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[OpenCL] Added opencl kernel path as option

Added opencl-kernel-path preprocessor directive and handled inside opencl_program.

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[OpenCL] Proper cleanup and readability

Used better C++ paradigm to enhance readability.
Added proper cleanup stub.

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[OpenCL/GPU] Kernel binary caching

Added utilities for saving kernel as binary files.
Added wrapper for clCreateProgramWithBinary.

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[LoRA] Apply Inception-LoRA

- updates the LoRA computation (applying Inception-LoRA)
- compute with LoRA vectors without matrix construction
- revise `forwarding()`
- revise `calcGradient()`
- revise `calcDerivative()`

Self evaluation:
Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[ Trivial ] apply clang-format to fc_layer.cpp

- clang-format re-apply to pass static checker
- `fc_layer.cpp`

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[ trivial ] fix doxgen tag check error

- remove a redundant and incorrect block comment in
`nntrainer/layers/fc_layer.cpp`

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[ trivial ] apply clang-format

- apply clang format to
- nntrainer/tensor/tensor_v2.cpp
- nntrainer/utils/node_exporter.cpp

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[LoRA/Trivial] fix typo and edit comments

- Fix typo in the code
- edit comments to to add some explanations

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[LoRA] Revise LoRA implementation for fc_layer

- remove `forwarding_lora()` function
- update forwarding path with LoRA option
- First, compute the forwarding logits of base weight (W) and lora weight (A @ B) respectively.
- then merge the logits to return
- [update] (W + A @ B)x -> Wx + (A @ B)x
- update `calcDerivative` to reflect the changes in forwarding operation
- implicit update of calcDerivative is updated.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[LoRA] revise type of LoraRank property & fix error in fc_layer

- update type of LoraRank property : Property<int> -> PositiveIntegerProperty
- fix typo dot_batched_deriv_wrt_1 -> dot_deriv_wrt_1
- update code with add -> add_i
- apply clang-format

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[LoRA] update node_exporter of fully connected layer

This commit updates TfLite node exporter of fully conntected layer. It adds new property (LoraRank) as additional input property of fullyconnected layer

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[LoRA]  add a new feat(lora) to fc layer

This commit includes implementation of lora only for the FC layer, which means it is not the generalized version. It is required to be written as a seperate class in order to remove code duplicates for other layers

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[Layer] Create Depthwise 2D Convolution

This pull request defines a header file for depthwise convolution.

It is a draft for a new layer and welcome any feedback or assistance you may have.

This layer is necessary to support various applications such as SV.

- Depthwise convolution is a type of convolution in which each input channel is convolved with a different kernel (called a depthwise kernel).
- Unlike a regular 2D convolution, depthwise convolution does not mix information across different input channels.

**Changes proposed in this PR:**
- Add Depthwise Convolution 2D Layer

Resolves:
- #2520

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghak PARK <donghak.park@samsung.com>

[ neon ] Apply kernel based hgemm

- Now hgemm subdirectory is included when neon fp16 is in use
- WIP : hgemm 8x16 kernel

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ Trivial ] Fix typo

- GEMM unittest for square 1024 was generating improper dimension. Fix accordingly.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ hgemm ] Use optimized hgemm if possible

- We can use optimized version of hgemm with following condition:
1. noTrans hgemm
2. M, N, K is divisible with 4 or 8
3. Row Major GEMM
4. alpha = 1.0, beta = 0.0 (will be patched soon)
- Otherwise, use previous version as a fallback.
- Note that there are a few optimization strategy is left for optimal hgemm.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ hgemm ] Implement 8x8 hgemm kernel

- This commit introduces 2 types of 8x8 hgemm kernel
    1. full-fp16
    2. fp16-fp32 partial accumulationCommit title (Until 50 colums per line)

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ hgemm ] Implement 4x8 hgemm kernel

- This commit introduces 2 types of 4x8 hgemm kernel
        1. full-fp16
        2. fp16-fp32 partial accumulation
- Additionally, 4x8 kernel has macro kernel that can regulate accuracy-latency tradeoff. By default it uses partial sum up to 256 digits. Other kernels will be refactored in this way ASAP.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

Fix typo in test

Fix some typo in testcase. `duing` -> `during`, `TSETS` -> `TESTS`. And add doxgen for `nntrainer_LazyTensorOpsTest`

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: heka1024 <heka1024@gmail.com>

[ HGEMM/draft ] Draft of kernel-based hgemm

- Previously, hgemm was implemented without taking packing / kernel into consideration.
- Here I would like to introduce kernel-based hgemm. It consists of:
1. packing A / B matrix for 4 / 8 divisible case
2. 4x4, 8x8 hgemm kernel for full-fp16 case
- More features like fine-grained packing strategies and kernels will be updated in the near future.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[Coverity] Fix coverity issues

This PR resolves coverity issues of overflow, use of auto that causes a copy, missing lock and thread lock.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[svace] fix svace issues

fixed all svace issues on main branch

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Seungbaek Hong <sb92.hong@samsung.com>

[Coverity] Fix coverity issues

This PR resolves coverity issues of use of auto that causes a copy and missing lock.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[Trivial] Disable cpp-linter action's clang-format

We currently perform a Clang format check during our static checks.
The CPP-Linter we are using is from the Action Market and occasionally produces different results even when the same version is specified.
This reduces efficiency for developers, so only the static check with more detailed logs will be left and the CPP-Linter function will be disabled.
However, the existing Linter function will remain.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghak PARK <donghak.park@samsung.com>

[coverity] fix coverity issues

 - Added const auto & to avoid copy of an object
 - Added missing lock

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ coverity ] Fix Coverity issue

Fix Coverity issue on
- /test/unittest/layers/layers_golden_tests.cpp
- /test/unittest/models/unittest_models_recurrent.cpp
- /test/unittest/unittest_nntrainer_models.cpp

Resolves:
```
Use of auto that causes a copy (AUTO_CAUSES_COPY)
auto_causes_copy: This lambda has an unspecified return type
copy: This return statement creates a copy.
```
**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghak PARK <donghak.park@samsung.com>

[coverity] fix coverity issue

- This commit fixes the coverity issues
- AUTO_CAUSES_COPY
- MSSING_LOCK

Self-evaluation:

1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[coverity] fix coverity issue

Fix coverity issue on
- /test/unittest/layers/layers_golden_recurrent.cpp

The other issues assigned have already been fixed.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Seungbaek Hong <sb92.hong@samsung.com>

[Coverity] Fix the coverity issue

This PR resolves the coverity issues of use of auto that causes a copy.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

Fix minor errors in github action

- `actions/setup-python@v1` is deprecated. So, bump version to v5.
- Step name says it uses python3.9, but it actually installs 3.10. Match name and what it actually doing.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: heka1024 <heka1024@gmail.com>

[ coverity ] Fix coverity issue

- Fix coverity issue 1774230, 1774235, 1774238, 1774239, 1774243

Resolves:
```
Use of auto that causes a copy (AUTO_CAUSES_COPY)
auto_causes_copy: This lambda has an unspecified return type
copy: This return statement creates a copy.
```

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

Use parameterized test in `NamePropertyTest`

To make code more readable, use parameterized test according to existing TODO comment.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: heka1024 <heka1024@gmail.com>

Bump actions/checkout in Ubuntu Meson build & test

Node 16 has reached end of life. So, github recommend transition to actions which use node 20+. [Ref](https://github.blog/changelog/2023-09-22-github-actions-transitioning-from-node-16-to-node-20/)

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: heka1024 <heka1024@gmail.com>

[coverity] fix coverity issues

This commit fixes coverity issues of auto_causes_copy
- 1739360
- 1740106

Self-evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Eunju Yang <ej.yang@samsung.com>

[Coverity] Fix the coverity issue

This PR resolves the coverity issues of missing lock and use of auto that causes a copy.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[Layer] Remove Tensor setDataType() usuage

In several layers, there are attempts to change the data type of a Tensor object after initializing it.
This is currently possible but can cause issues down the line (e.g., treat FloatTensor object as HalfTensor).
As such, the setDataType() method will be removed and considered not to be used in future updates.
Instead, users will need to provide the desired data type when creating a new tensor.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[ neon/trivial ] Use N8 for hgemm, and for starting index for the remaining Tensor area

- Like hgemv_transpose, use N8 for hgemm_noTrans as well
- we can re-use this value for the starting index for the remaining area

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ neon ] Use bigger kernel in hgemv

- Using up to 16x8 sized kernel shows highest latency. Apply accordingly.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ neon ] Use N8 for shorter code

- Use 8-divisible N8 for desired vector length for multithreading

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[TensorV2] Completed integration of remaining functions from Tensor

This commit integrated all remaining functions from Tensor class into TensorV2.
This includes fill(), setData(), setValueInt(), sin(), and cos().

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[TensorV2] Feature Scaling Functions

This pull request adds two new feature scaling functions - standardization and normalization - to the Tensor class. These functions help users preprocess input data before feeding it into models, improving model performance and accuracy.

**Changes proposed in this PR:**
* Added normalization() function to rescale values to a range between 0 and 1
* Added standardization() function to center data around the mean and scales to a standard deviation of 1

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[ Tensor ] Apply fallback blas operations in Tensor : div, sub

- Previous Tensor::subtract has been relying on Tensor::add with input scalar multiplier as -1. However, I found that this is quite slower than explicit implementation of subtract operation. Implement and add accordingly.
- Ditto with previous commit

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ Tensor ] Apply fallback blas operations in Tensor : mul, add

- for stride size of 1, when there is additional SIMD implementation, we can enjoy accelerated function
- with neither if non-1-stride size case nor the SIMD implementation, use fallback function
- note that fallback functions also get the same parameters for future refactorization

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ Tensor ] Use ele_mul instead of std::transform with std::multiplies

- As far as I am concerned, this code will not deteriorate function latency, but make it clearer
- Implement ele_mul_fallback for default option

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ BLAS ] Remove beta condition for fallback function in BLAS

- `apply_broadcast` function would throw error when the input Tensor is not allocated.
- Thus, checking for NaN in BLAS level would be redundant. Remove accordingly.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[TensorV2] Add utility member functions to TensorV2 class

This pull request adds several new utility member functions to the TensorV2 class, enabling users to perform various tasks with their tensors more easily and efficiently.
These include saving and loading tensors, updating batches, getting argmax and max absolute values, and more.
The implementation is based on the current Tensor class and aims to improve the overall usability and flexibility of the TensorV2 class.

**Changes proposed in this PR:**
- Added save() and read() methods to allow saving and loading of saved tensor data.
- Added Map() method to create a new Tensor object from a buffer.
- Added argmax() and max_abs() methods to retrieve the indices of max value by batch and the value of the maximum absolute element in a tensor.
- Added updateBatch() to update tensor batch size.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[build] Updated Android build script for OpenCl inclusion

Added enable-opencl flag for Android build.

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[TensorV2] Add functions to split and concatenate tensors

This pull request adds two new methods to the Tensor class: split() and cat().
The split() method allows users to divide a tensor into multiple smaller tensors along the specified axis.
The cat() method enables them to combine multiple tensors into a single larger tensor along a given axis.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[ bugfix ] Fix wrong input when hgemv_transpose

- Wrong input has been fed when hgemv
- Previously it was quite unclear to evaluate similar A-B case, need to implement a proper way/convention to generate random input data.

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[Trivial/CI] sync cpp-linter version with clang-format

sync cpp-linter version with clang-format
- change cpp-linter version to 14

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghak PARK <donghak.park@samsung.com>

[TensorV2] Average Tensor element by axes

This pull request adds new functions to the TensorV2 that allow users to average tensor elements along specified axes.
The functions take in an axis or list of axes as input and return a new tensor with elements replaced by their corresponding means. If no axis is provided, it returns a tensor value by averaging the elements by all axes.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[OpenCL] Reduced ifdef checks

Handled conditions by reducting ifdef checks

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[OpenCL] CI issues fixed for clang and doxygen

Fixed CI issues for the following:
Third party files: clang
Non third party files: clang, doxygen

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[OpenCL] Addressed review comments

Modified doc for OpenCL buffer move constructor
Addressed review comments

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[OpenCL] Added doxygen comments

Added comments.
Modified command queue manager to have dynamic local_work_size.

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[GPU] Added unit test for cl_context

Modified layers_dependent_common_tests to add cl_context instance creation
Updated build setup for test

** Self-evaluation**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[GPU] Added cl_context and compute engine information

Created enum LayerComputeEngine at layer.h API level
Modified layer.h, factory.cpp, layer_node.h/cpp to propagate compute engine information
Added cl_context to handle global configuration of OpenCL environment
Modified RunLayerContext to enable getter/setter for compute engine
Added kernel creation utility in RunLayerContext
Used FullyConnected layer as example for propagating compute info

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[OpenCL]Refactored example tensor GPU ops

Refactored GPU SGEMV ops at tensor level.
Modified tensor.h and tensor.cpp to remove GPU info.
Renamed headers of OpenCL wrappers and added opencl namespace.

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[OpenCL] enable-opencl flag added to build option

enable-opencl flag added which defines ENABLE_OPENCL macro internally.
Fixed clang issues.

** Self-evaluation**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[GPU] Sum tensor signature updated for GPU operation

Modified sum and sum_by_bath function signatures to incorporate boolean flag.
This flag will help to decide which compute unit will be used.

** Self-evaluation**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[GPU] Added OpenCL interface for OpenCL tensor operations

Create cl_interface.h to handle tensor operation calls on GPU
Added experimental SGEMV GPU kernel

** Self-evaluation**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[OpenCL] OpenCL GPU wrappers added

Created OpenCL wrappers for the following:
- Context
- Command queue
- Kernel
- Program
- Buffer

Added operation interface to handle the flow of operation

** Self-evaluation**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Debadri Samaddar <s.debadri@samsung.com>

[ util ] Use proper STL in max element comparison

- For cleaner code use std::max_element instead of for-loop

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ util ] Implement exp_i function

- Add exponential inplace function

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ util ] Use max value in softmax function

- For numerical stability, using negative values for the input of exponential function is recommended. (since negative output will range from 0 to 1)
- Subtract the maximum value before calculating exponential vectors

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ util ] Implement max function in util_simd

- Unlike isamax function of BLAS, this function returns the maximum 'value', not index
- Note that this function is applicable only when the input data is continuous

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[ util ] Implement softmax function in util_simd

- Current softmax implementation does not consider fp32 use in half-precision softmax
- Implement raw, and neon-simd version of softmax function with fp32 and fp16 with fp32 accumulation

**Self evaluation:**
1. Build test:     [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: skykongkong8 <ss.kong@samsung.com>

[TensorV2] Tensor element summation by axes feature

This pull request introduces a new feature that enables the summation of tensor elements by axes.
This feature allows users to sum up tensor values along specified axes, making it easier to perform complex mathematical operations involving tensors.

**Changes proposed in this PR:**
- Added new function sum() that takes a tensor and an axis as input and returns the sum of all elements along that axis.
- Added mergeAxis feature which merges the two axes for tensor into one.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[util] Add numpy file reader

In deep learning data feeding, there are often tasks that involve reading and processing numpy (.npy) files.

Therefore, it would be much more convenient to develop by entering the file name and returning the data in a vector instead of manually writing code to read it every time.

Function Signature
```
void read_npy_file(const char *file_path, std::vector<int> &dims,
                   std::vector<float> &values);
```

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghak PARK <donghak.park@samsung.com>

[TensorV2] Create a mask of dropout, filter, and zoneout

This PR adds new functionalities for getting masks of the following techniques: dropout, filter, and zoneout.
These functions enable working with masks, making it easier to perform such techniques in regularization.

**Changes proposed in this PR:**
- Added dropout_mask(), which calculates the dropout mask by multiplying tensor elements by 1.0 / (1.0 - dropout rate), in place.
- Added filter_mask(), which takes an input tensor and applies a filter mask based on the given mask length and invert option.
- Added zoneout_mask(), which generates two zoneout masks, one for in-place operation and another for opposite operation, based on the specified zoneout rate.

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>

[Coverity] Fix the coverity issue

This PR resolves the coverity issue of resource leak.

**Changes proposed in this PR:**
- Switch the order of assert to check if the output is a nullptr to ensure releasing acquired resources (e.g., outdata_beta)

**This fixes:**
- leaked_storage: Variables going out of scope leak the storage it points to

**Self-evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test:   [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Donghyeon Jeong <dhyeon.jeong@samsung.com>