[split layer] make a unittest to test split input dimension by split number

 - Make a unittest to test split input dimension by split number
 - Conv2d layer is added to make model has a weight

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[split_layer] enhance split layer to split input dimension by given number

 - Until now split layer split input dimension by input dimension size which makes output dimension to 1.
   But for now we can set split number which makes output dimension to (input dimension / split number).
 - In this commit given split numbers are expected to divide input dimension equally.
   Otherwise it will raise an error.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ CI ] Temporal Fix for the CI about NNStreamer Backone

Temporarily, we have to turn off the nnstreamer backbone until some issue is fixed.

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ CI ] Temperal Fix for the CI about NNStreamer Backone

Temporarily, we have to turn off the nnstreamer backbone until some
issue is fixed.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[TEST] Add Cache pool test

Legacy MemoryPool test is modifed to both MemoryPool and CachePool.
Parameterized test is used for this. CachePool specific tests are also
created.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[TENSOR] modified for CachePool test

- Several methos are chagend to virtual to use mock test.
- Throw same exception with MemoryPool

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[compiler] Revisit tflite_interpreter for TF Lite Export

This commit is for TF Lite Export

Revisit FC Layer reorder
- in case of (FC - Conv -FC)

Disable Inplace in Test Case
- should be fix

Signed-off-by: DonghakPark <donghak.park@samsung.com>

[compiler] Revisit FullyConnected Layer Weights Transpose and Reorder for TF Lite Export

This commit is for TFlite export (REVISIT)
Transpose FullyConnected Layer's Weights (NCHW --> NHWC)

update at : 2022/09/26

Related : nnstreamer#1912
Signed-off-by: DonghakPark <donghak.park@samsung.com>

[compiler] FullyConnevted Layer Weights Transpose for TFLite Export

This commit  is for TFlite export
Transpose FullyConnected Layer's weights (NCHW --> NHWC)

update at : 2022/09/13

Related : #1912

Signed-off-by: DonghakPark <donghak.park@samsung.com>

[compiler] Revisit tflite interpreter

This patch revisits tflite interpreter.

1. Refactor the way of exporting tflite binary.
2. Support operators included in Resnet network.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: seongwoo <mhs4670go@naver.com>

[Profile] Add annotate for memory profiling

It adds several annotations for memory profiling.
Each of them can help to teach profile steps.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[INI] Add memory swap properties

This patch is adding memory swap properties.

memory_swap: enable memory swap feature
memory_swap_path: path to save swap file

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[Context] Propergate property to model

This patch is for app properties propergation.
App properties is described in global configuration file (ini),
and the properties are under section, which only have a meaning for
human readability. It means section deos not have any real role for
behavior. Propergated properties can be used in anywhere in the network.
In this patch include 'memmory_swap' and 'memory_swap_path' which is
used for Model flex properties.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[typo] Fix typo

fix the typo error in README.md file

Signed-off-by: SeoHyungjun <hyungjun.seo@samsung.com>

[typo] Fix typo error

Fix the typo error through spell checker
- Application/
- api/ccapi/
- nntrainer/

Signed-off-by: DonghakPark <donghak.park@samsung.com>

Fix typo error

Fix the typo error in getting-started.md file.

Signed-off-by: Seungbaek Hong <sb92.hong@samsung.net>

[fix] fix coverity_tizen issue
- Add try, catch statement to catch exception
- Add NNTR_THROW_IF to check return

Signed-off-by: DonghakPark <donghak.park@samsung.com>

[unittest] refine unittest

 - Use epsilon to compare float variable
 - Use unused enum LayerCreateSetPropertyOptions
 - fix typos

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] remove unittest_nntrainer_layers

 - Remove unittest_nntrainer_layers.cpp cause this test have been disable.
 - Rename unittest_layers_v2 to unittest

Close #2002

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] migrate unittest from unittest_nntrainer_layers to unittest_layers

 - Migrate unittest for test negative property from unittest_nntrainer_layer to
   unittest_layers
 - Added LayerPropertySemantics which is inherited from LayerSemantics
   to test negative property only
 - Added LayerPropertySemantics in Simpleshot and pow layer unittest

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[typo] Fix typo error

Fix the typo errors in bellow dir
- Applications/
- nntrainer/optimizers/

Signed-off-by: DonghakPark <donghak.park@samsung.com>

[Tensor] Add constructor for user swap path

Swap file path could be changed by model property.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[Model] Add memory swap path property

MemorySwapPath property is added to define path for swap files.
If it's not defined, it creates files in crurent directory.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[README] Fix typo error in README

Fixed the typo error in the title of the paper below.
- NNTrainer: Light-Weight On-Device Training Framework, arXiv, 2022

Signed-off-by: seungbaek <sb92.hong@samsung.com>

[memory] extract MemoryData class from memory_pool to another file

 - Extract MemoryData class from memory_pool.h and make memory_data.h file
 - Add doxygen

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[neuralnet] check stop_cb by every layer

 - Check stop_cb before doing forwarding/calcGrading/calcDerivative by every layer
   to stop training more quickly.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[TEST] fix for cache pool modification

It modified for cache pool implementation.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[Property] Add memory_swap property

'memory_swap' property is added, and it can be used to select
which pool to use, memory pool or cache pool.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[Memory] Implement memory pool for swap device

Memory pool is modified for swap device.
New memory data class is introduced and stores allocation information.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[Tensor] Add swap device

Swap device class is introduce.
It operates with cache memory and keeps data permantly in the device.
The storage size is fixed when the device opens, sparse data size
is occupied with garbage data. When the device close, the storage
file is removed.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[Memory] Add cache pool

Initial implementaion of cache pool.
It inherites from memory pool to utilize optimized memory information.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

debian: fix occasional debuild error

Sometime debuild has errors with dh_clean:

```
dh_clean: error: find .  \( \( \
\( -path .\*/.git -o -path .\*/.svn -o -path .\*/.bzr -o -path .\*/.hg -o -path .\*/CVS -o -path .\*/.pc -o -path .\*/_darcs \) -prune -o -type f -a \
        \( -name '#*#' -o -name '.*~' -o -name '*~' -o -name DEADJOE \
 -o -name '*.orig' -o -name '*.rej' -o -name '*.bak' \
 -o -name '.*.orig' -o -name .*.rej -o -name '.SUMS' \
 -o -name TAGS -o \( -path '*/.deps/*' -a -name '*.P' \) \
\) -exec rm -f {} + \) -o \
\( -type d -a -name autom4te.cache -prune -exec rm -rf {} + \) \) returned exit code 1
make: *** [debian/rules:28: clean] Error 25
```

Override dh_clean to avoid this.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[trivial] fix ahub issues

 - Remove noexcept in copy function cause it throws when data is non contiguous
 - Initialize char array
 - Delete array not element("[]" was missing)

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[padding1d] change padding1d key to padding

 - Change Padding1D key to padding to use same key with Padding2D.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[neuralnet] add log about training

 - Added log when start/finish training
 - Added log when get current epoch is called

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Profile] Add memory statiscs & annotation

It add two functions:
- provide PROFILE_MEM_ANNOTATE macro
- print average and maximum usage of memory.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[lstm] make lstm_core as class

 - Make lstm_core as class so let lstm/lstm_cell/zoneout_lstmcell inherit this.

close #1997

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Release] NNTrainer 0.4.0 Release

NNTrainer v0.4.0 is released.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[bugfix] initialize local variable

 - Initialize local variable

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] added negative testcase

 - Added negative testcase

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] rename negative testcase name to _n place at the end

 - Since the indicator _p/_n is at the middle of testcase name all of test cases
   are regarded as positive testcases(default). So place indicator at the end.
 - Added '_' right before 'n' to indicate negative testcase.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ README ] add new features in README

Add new features:
  . positional encoding layer
  . Multi-head attention layer
  . layer normalization layer
  . kld loss
  . learning rate schedule

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[layer] convert throw to nntr_throw in layer finalize

 - Instead of directly using throw convert it to use NNTR_THROW_IF in layer finalize

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] generate transformer unittest

 - Generate transformer encoder layer unittest
 - Generate transformer decoder layer unittest
 - Generate transformer unittest

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] layer normalization

 - generate layer normalization layer unittest

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[layer normalization] implement layer normalization

 - implement layer normalization layer based on batch normalization

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] generate positional encoding unittest

 - Generate positional encoding layer/model unittest.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[positional encoding] implement positional encoding layer

 - Positional encoding just needed to be calculated only once
   so make its lifespan as max lifespan

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[multi head attention] added unittest

 - Added layer/model unittest for multi head attention
 - Change == operator overloading to pass if both tensor has nan value

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[multi_head_attention] implement calcDerivative, calcGradient

 - Implement multi head attention calcDerivative, calcGradient
 - Needs to support bool type attention mask

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[multi head attention] implement calcCommonDerivative

 - implement multi head attention calcCommonDerivative

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[multi head attention] implement forwarding

 - implement multi head attention forwarding

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[multi head attention] implement finalize

 - Implement multi head attention finalize
 - Remove finalizeCommon
 - Remove ProvideAttentionMask proeperty, inout_idx member variable
   cause NNTrainer assumes that input of multi head attention will be at least 3

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[api] added newly implemented layer enum

 - Added newly implemented layer enum to nntrainer-api-common.h

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Trivial] Fix Typo

Fix Typo in nntrainer/compiler/*

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: DonghakPark <donghak.park@samsung.com>

[ LSTM ] Optimize LSTM Gradient calculation

Gradient computaion of LSTM takes over 60% of computation. This patch
includes the optimization using the tensor dimenson which only has
width.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Applicatin] Add profile for VGG

This patch adds the profile in VGG Application

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[multi head attention] Added multi head attention scaffold

 - Added calcCommonDerivative
 - Added finalizeCommon

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ Layer ] pallelizaiton along batch for polling forward computation

This patch includes parallelization along batch in forward computation
of Pooling 2D layer

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ LAYERS ] LSTM : parallelization along batch direction (calGradient)

This patch includes parallelization along batch direction for
calculation of LSTM Gradient.
Also thread id is added in thread callback parameter to use it internally.

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Property] Remove if-else statement in DroupOutRate::isValid()

- Remove if-else statement

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[ UTIL ] add frequency data in mem_usage.sh

Sometimes, cpu frequency check is required.
This patch includes the cpu frequency logging in mem_usage.sh

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[neuralnet] adjust epoch_idx when stop_cb is called

 - Assume that stop_cb immediately called so reduce current epoch_idx by 1

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Applicatin] Add profile for VGG

This patch adds the profile in VGG Application

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[jni] revise android build

 - remove jni/Android.mk file. Will use jni/Android.mk.in
 - Revise docs to use tools/package_android.sh when build for android

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

Fix inappropriate SPDX license tag

SPDX-License_Identifier --> SPDX-License-Identifier

Added one more # to the first line for doxygen.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[trivial] Reorganize README.md files

This is Proposal PR with issue #1974

- Remove Exmaple contents in nntrainer/README.md
- Add Example contents in nntrainer/Application/README.md
- Close #1974

Signed-off-by: DonghakPark <donghak.park@samsung.com>

[ Activation ] improve tanh compuataion

This patch improves the computation of tanh.
Rather than calling tanh fuction, it is faster when
sigmoid is used.

tanh(x) = 2.0*sigmoid(2.0*x) -1.0;

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Layer ] Conv2d Gradient Computation with Multi-Threads

This patch includes multi-threading for gradient computation of conv2d
layer.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Application] Add AlexNet(Fused) Application, Merge cifar_dataloader into utils

- Add AlexNet(Fused) Application
- Update meson.build (add Alexnet subdir)
- ADD main.cpp (AlexNet), alex.ini, README.md
- Merge cifar_dataloader into utils/datagen/cifar
- Close #1969

Signed-off-by: Donghak Park <donghak.park@samsung.com>

[conv] support causal padding in conv1d

 - Replace padding2d to padding1d in conv1d
 - Enable causal property in conv1d
 - Added unittest for causal padding in conv1d

Close #1947

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Application] Update README.md File
- Update README res/mnist.ini part (Split Optimizer, LearningRateScheduler)
- Update align code comment

Signed-off-by : DongHak Park <donghak.park@samsung.com>

[ Layers ] paralleize Forwarding of conv2d

This patch includes the batch direction parallelization of forwarding
in Conv2D layer.

**Changes proposed in this PR:**
- Added TOC generator for README.md

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[trivial] fix ahub issue

 - Added try catch statement
 - Delete structually dead code

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ Utils ] create NNTrThread Features

This patch includes the NNTrThreads Features. This will be used for the
Multi-Thread Feature of nntrainer, such as Thread Pool, for loop
multi-threading along batch direction.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Layers ] Add Parallelization along batch direction

This patch demostrate the batch direction parallelization with conv2d
calcDerivatives.
. add the meson option with 'nntr-num-threads' key and int value.
. add extra compile option, NNTR_NUM_THREADS ( default value is 1 )

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Application] Rename main_sample.cpp to main.cpp in KNN

- Rename the filename main_sample.cpp to main.cpp
- Modify meson.build and Android.mk

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[Application] Remove unused file of KNN

- Remove main.cpp

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[conv] support dilation property

 - Support dilation property in conv1d/conv2d layer
 - Added unittest with dilation

Close #1922

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ Trivial ] Fix the "Deprecated-declarations" error

This patch updates 'INSTANTIATE_TEST_CASE_P' which will be deprecated
with 'INISTATIATE_TEST_SUITE_P'.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[BUILD] fix supported gmock version

google mock API is changed from 1.10.0,
and it does not support MOCK_METHOD under 1.10.0 version.
'profiler' test is only enabled for proper gmock.

MOCK_METHOD macro needs the upper verison(>=1.10) of gmock.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[ Application ] Fix VGG using CCAPI

This patch includes the fixes of VGG Application.
- Remove the training data generation with batch size.
  : Recently we update the data generation callback to fill one data
  set a time
- Remove include the nntrainer interanls : neuralnet.h
  : Update to use CCAPI
- Reuse the data generation with ciar_dataloader.h in Resnet

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[TEST] Add unittest related to setProperty for dataset

Add unittest for ml_train_dataset_set_property_for_mode_with_single_param()

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[CAPI] Add set property with single param for dataset

Add ml_train_dataset_set_property_for_mode_with_single_param().
ml_train_dataset_set_property_for_mode() has a va_list and this is a problem with DllImport in C#.
va_list must be passed dynamically for each architect, this is not guaranteed to
work for some architects. This api receive param as a single string from C# DllImport.

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[ BUILD ] fix binary size of libnntrainer with android build script

This patch fix the wrong size of nntrainer library, libnntrainer.so,
when using the android build script.

- change the ndk-build options with NDK_LIBS_OUT

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[neuralnet] check tflite interpreter is enabled when export

 - Added ifdef statement to check tflite interpreter is enabled
 - Added override specifier in get/setWeights
 - Restore precision ostream format

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[profiler] restore precision

 - After print profile information restore precision

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[fix] fix svace issue

 - Delete duplicated unittest
 - Added try catch statement to catch exception

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Application] add step learning rate scheduler example

 - Added how to use step learning rate scheduler in mnist application

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ TEST ] add golden data for grucell_fc

This patch includes the golden data of grucell_fc unit test.

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Recurrent ] property for dynamic time sequence

.This patch provides property for dynamic time sequence in recurrent
realizer. The sementic of this is "dynamic_time_seq = true/false"

.Add grucell + Fully Connected uint test case for reference of dynamic
time sequence

Related : #1933

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[TEST] Add unittest related to setProperty for optimizer

- Add unittest for ml_train_optimizer_set_property_with_single_param()

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[CAPI] Add set property with single param for optimizer

Add ml_train_optimizer_set_property_with_single_param().
ml_train_optimizer_set_property() has a va_list and this is a problem with DllImport in C#.
va_list must be passed dynamically for each architect, this is not guaranteed to
work for some architects. This api receive param as a single string from C# DllImport.

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[trivial] fix typo

- Fix typo
- Fix ist --> ⁱ for readability

Signed-off-by: Donghak Park donghak.park@samsung.com

[CAPI] Add unittest related to setProperty for layer

- Add unittest for ml_train_layer_set_property_with_single_param()

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[CAPI] Add ml_train_layer_set_property_with_single_param() internally for C# DllImport

ml_train_layer_set_property() has a va_list and this is a problem with DllImport in C#.
va_list must be passed dynamically for each architect, this is not guaranteed to
work for some architects. This api receive param as a single string from C# DllImport.

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[CAPI] Modify model_compile_with_single_param() and ml_train_model_run_with_single_param()

Modified the internal APIs created as a C# va_list issue since capi can receive
single string in the form "key=value | key=value" and all objects have loadProperties
in setProperty which can split it with '|'.
so, the original code was reverted and added new code related call capi directly.

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[Spec] Add flatbuffers-devel BuildRequires as default

The compiler module always uses flatc command but 'flatbuffers-devel'
dependency is added in case of the Tizen version is lower than 6.5.
Because of this reason, the buildbreak issue occurs when building for
Tizen 7.0. This patch fixes this bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[ Tensor ] remove rank 2 limitation for dot op

This patch removes the limitaion of rank 2 for dot op.
It expectes to compute with 4D tensor as 2D with [BxCxH, W]
dimension.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[unittest] added zoneout mask unittest

 - Test the zoneout mask is generated according to the zoneout rate

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>