[multi head attention] added unittest

 - Added layer/model unittest for multi head attention
 - Change == operator overloading to pass if both tensor has nan value

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[multi_head_attention] implement calcDerivative, calcGradient

 - Implement multi head attention calcDerivative, calcGradient
 - Needs to support bool type attention mask

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[multi head attention] implement calcCommonDerivative

 - implement multi head attention calcCommonDerivative

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[multi head attention] implement forwarding

 - implement multi head attention forwarding

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[multi head attention] implement finalize

 - Implement multi head attention finalize
 - Remove finalizeCommon
 - Remove ProvideAttentionMask proeperty, inout_idx member variable
   cause NNTrainer assumes that input of multi head attention will be at least 3

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[api] added newly implemented layer enum

 - Added newly implemented layer enum to nntrainer-api-common.h

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Trivial] Fix Typo

Fix Typo in nntrainer/compiler/*

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: DonghakPark <donghak.park@samsung.com>

[ LSTM ] Optimize LSTM Gradient calculation

Gradient computaion of LSTM takes over 60% of computation. This patch
includes the optimization using the tensor dimenson which only has
width.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Applicatin] Add profile for VGG

This patch adds the profile in VGG Application

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[multi head attention] Added multi head attention scaffold

 - Added calcCommonDerivative
 - Added finalizeCommon

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ Layer ] pallelizaiton along batch for polling forward computation

This patch includes parallelization along batch in forward computation
of Pooling 2D layer

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ LAYERS ] LSTM : parallelization along batch direction (calGradient)

This patch includes parallelization along batch direction for
calculation of LSTM Gradient.
Also thread id is added in thread callback parameter to use it internally.

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Property] Remove if-else statement in DroupOutRate::isValid()

- Remove if-else statement

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyunil park <hyunil46.park@samsung.com>

[ UTIL ] add frequency data in mem_usage.sh

Sometimes, cpu frequency check is required.
This patch includes the cpu frequency logging in mem_usage.sh

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[neuralnet] adjust epoch_idx when stop_cb is called

 - Assume that stop_cb immediately called so reduce current epoch_idx by 1

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Applicatin] Add profile for VGG

This patch adds the profile in VGG Application

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[jni] revise android build

 - remove jni/Android.mk file. Will use jni/Android.mk.in
 - Revise docs to use tools/package_android.sh when build for android

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

Fix inappropriate SPDX license tag

SPDX-License_Identifier --> SPDX-License-Identifier

Added one more # to the first line for doxygen.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[trivial] Reorganize README.md files

This is Proposal PR with issue #1974

- Remove Exmaple contents in nntrainer/README.md
- Add Example contents in nntrainer/Application/README.md
- Close #1974

Signed-off-by: DonghakPark <donghak.park@samsung.com>

[ Activation ] improve tanh compuataion

This patch improves the computation of tanh.
Rather than calling tanh fuction, it is faster when
sigmoid is used.

tanh(x) = 2.0*sigmoid(2.0*x) -1.0;

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Layer ] Conv2d Gradient Computation with Multi-Threads

This patch includes multi-threading for gradient computation of conv2d
layer.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Application] Add AlexNet(Fused) Application, Merge cifar_dataloader into utils

- Add AlexNet(Fused) Application
- Update meson.build (add Alexnet subdir)
- ADD main.cpp (AlexNet), alex.ini, README.md
- Merge cifar_dataloader into utils/datagen/cifar
- Close #1969

Signed-off-by: Donghak Park <donghak.park@samsung.com>

[conv] support causal padding in conv1d

 - Replace padding2d to padding1d in conv1d
 - Enable causal property in conv1d
 - Added unittest for causal padding in conv1d

Close #1947

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Application] Update README.md File
- Update README res/mnist.ini part (Split Optimizer, LearningRateScheduler)
- Update align code comment

Signed-off-by : DongHak Park <donghak.park@samsung.com>

[ Layers ] paralleize Forwarding of conv2d

This patch includes the batch direction parallelization of forwarding
in Conv2D layer.

**Changes proposed in this PR:**
- Added TOC generator for README.md

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[trivial] fix ahub issue

 - Added try catch statement
 - Delete structually dead code

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ Utils ] create NNTrThread Features

This patch includes the NNTrThreads Features. This will be used for the
Multi-Thread Feature of nntrainer, such as Thread Pool, for loop
multi-threading along batch direction.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Layers ] Add Parallelization along batch direction

This patch demostrate the batch direction parallelization with conv2d
calcDerivatives.
. add the meson option with 'nntr-num-threads' key and int value.
. add extra compile option, NNTR_NUM_THREADS ( default value is 1 )

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Application] Rename main_sample.cpp to main.cpp in KNN

- Rename the filename main_sample.cpp to main.cpp
- Modify meson.build and Android.mk

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[Application] Remove unused file of KNN

- Remove main.cpp

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[conv] support dilation property

 - Support dilation property in conv1d/conv2d layer
 - Added unittest with dilation

Close #1922

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ Trivial ] Fix the "Deprecated-declarations" error

This patch updates 'INSTANTIATE_TEST_CASE_P' which will be deprecated
with 'INISTATIATE_TEST_SUITE_P'.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[BUILD] fix supported gmock version

google mock API is changed from 1.10.0,
and it does not support MOCK_METHOD under 1.10.0 version.
'profiler' test is only enabled for proper gmock.

MOCK_METHOD macro needs the upper verison(>=1.10) of gmock.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[ Application ] Fix VGG using CCAPI

This patch includes the fixes of VGG Application.
- Remove the training data generation with batch size.
  : Recently we update the data generation callback to fill one data
  set a time
- Remove include the nntrainer interanls : neuralnet.h
  : Update to use CCAPI
- Reuse the data generation with ciar_dataloader.h in Resnet

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[TEST] Add unittest related to setProperty for dataset

Add unittest for ml_train_dataset_set_property_for_mode_with_single_param()

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[CAPI] Add set property with single param for dataset

Add ml_train_dataset_set_property_for_mode_with_single_param().
ml_train_dataset_set_property_for_mode() has a va_list and this is a problem with DllImport in C#.
va_list must be passed dynamically for each architect, this is not guaranteed to
work for some architects. This api receive param as a single string from C# DllImport.

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[ BUILD ] fix binary size of libnntrainer with android build script

This patch fix the wrong size of nntrainer library, libnntrainer.so,
when using the android build script.

- change the ndk-build options with NDK_LIBS_OUT

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[neuralnet] check tflite interpreter is enabled when export

 - Added ifdef statement to check tflite interpreter is enabled
 - Added override specifier in get/setWeights
 - Restore precision ostream format

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[profiler] restore precision

 - After print profile information restore precision

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[fix] fix svace issue

 - Delete duplicated unittest
 - Added try catch statement to catch exception

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Application] add step learning rate scheduler example

 - Added how to use step learning rate scheduler in mnist application

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ TEST ] add golden data for grucell_fc

This patch includes the golden data of grucell_fc unit test.

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Recurrent ] property for dynamic time sequence

.This patch provides property for dynamic time sequence in recurrent
realizer. The sementic of this is "dynamic_time_seq = true/false"

.Add grucell + Fully Connected uint test case for reference of dynamic
time sequence

Related : #1933

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[TEST] Add unittest related to setProperty for optimizer

- Add unittest for ml_train_optimizer_set_property_with_single_param()

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[CAPI] Add set property with single param for optimizer

Add ml_train_optimizer_set_property_with_single_param().
ml_train_optimizer_set_property() has a va_list and this is a problem with DllImport in C#.
va_list must be passed dynamically for each architect, this is not guaranteed to
work for some architects. This api receive param as a single string from C# DllImport.

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[trivial] fix typo

- Fix typo
- Fix ist --> ⁱ for readability

Signed-off-by: Donghak Park donghak.park@samsung.com

[CAPI] Add unittest related to setProperty for layer

- Add unittest for ml_train_layer_set_property_with_single_param()

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[CAPI] Add ml_train_layer_set_property_with_single_param() internally for C# DllImport

ml_train_layer_set_property() has a va_list and this is a problem with DllImport in C#.
va_list must be passed dynamically for each architect, this is not guaranteed to
work for some architects. This api receive param as a single string from C# DllImport.

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[CAPI] Modify model_compile_with_single_param() and ml_train_model_run_with_single_param()

Modified the internal APIs created as a C# va_list issue since capi can receive
single string in the form "key=value | key=value" and all objects have loadProperties
in setProperty which can split it with '|'.
so, the original code was reverted and added new code related call capi directly.

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[Spec] Add flatbuffers-devel BuildRequires as default

The compiler module always uses flatc command but 'flatbuffers-devel'
dependency is added in case of the Tizen version is lower than 6.5.
Because of this reason, the buildbreak issue occurs when building for
Tizen 7.0. This patch fixes this bug.

Signed-off-by: Sangjung Woo <sangjung.woo@samsung.com>

[ Tensor ] remove rank 2 limitation for dot op

This patch removes the limitaion of rank 2 for dot op.
It expectes to compute with 4D tensor as 2D with [BxCxH, W]
dimension.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[unittest] added zoneout mask unittest

 - Test the zoneout mask is generated according to the zoneout rate

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[layer] fix typo

 - Fix typo
 - Delete duplicated code

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ Doc ] Update Readme.md

Add new doc which explains NNTrainer internal

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[docs] Update configuration-ini.md file

- Remove learning_rate from oprimizer section
- Add learning rate scheduler section
- Remove dataset section
- Add train set, validation set and test set section
- Add many types to layer section
- Add table about type, key, value, default value and description for each layers
- Update configuration file example

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[ Packaging ] Packaging for Tizen 6.0

This patch includes fixes to support Tizne 6.0 build
 . Fix .spec & meson.build

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[bug_fix] bug fix zoneout lstmcell layer

 - This patch enable zoneout even though the zoneout rate is smaller than epsilon

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[CAPI] Add unittest related to compile and train

- Add unittest for ml_train_model_compile_with_single_param()
- Add unittest for ml_train_model_run_with_single_param()

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[Property] Modify error log

- Add double quotation mark to log to indicate wrong with "key=value, key=value"
- Add example key and value

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[CAPI] Add ml_train_model_run_with_single_param() internally for C# DllImport

ml_train_model_run() has a va_list and this is a problem with DllImport in C#.
va_list must be passed dynamically for each architect, this is not guaranteed to
work for some architects. This api receive model compile param as a single string
from C# DllImport.

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[CAPI] Add ml_train_model_compile_with_single_param() internally for C# DllImport

ml_train_model_compile() has a va_list and this is a problem with DllImport in C#.
va_list must be passed dynamically for each architect, this is not guaranteed to
work for some architects. This api receive model compile param as a single string
from C# DllImport.

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[Utils] Add Memory profile feature to Profiler

This patch implement memory profiling feature.

Profile is refactored to handle memory statics information.
Unnecessary dependency from ProfileListener to Profile
class is removed, and inner information is redesigned to handle
both time and memory profiling.

For the memory profile, below infomation is managed:

event: ALLOC | DEALLOC
current size: total allocated memory size
info: user friendly tag for the analysis
duration: time interval between alloc and dealloc

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[Test] Modify profiler test to add Memory event

This patch implement profiler test.

Whole codes are refectored to test both 'time' and 'memory' profiling.
It uses fixture test and gmock is used to checking callback function.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[ccapi/nntrainer] Add getters for compiled, initialized and loadedFromConfig

This commit adds bool getters for the states of compiled, initialized and loadedFromConfig in ml::train::Model class.

Signed-off-by: JRazek <jakub.razek2@gmail.com>

[ccapi] include common header in meson

 - Newly created common header file was missing in meson build

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ Application ] Update Logistic Regression to use CCAPI

This patch includes
 . Update Logistic Regression to use CCAPIs
 . Update Inference process
 . static link about openmp

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ccapi] Add exports interface.

This patch adds "exports" interface and implementation of neuralnet which literally exports the model according to given export method.

Also, this patch includes introducing `common.h` to ccapi, which defines ExportMethods.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: seongwoo <mhs4670go@naver.com>

[layers] flatten layer consider target_shape

This patch makes a flatten layer consider target_shape and use it during exporting.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: seongwoo <mhs4670go@naver.com>

[ Compiler ] add loss layer realizer

This patch includes loss realizer implementation and tests which removes the loss layer for exports.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: seongwoo <mhs4670go@naver.com>

Update how-to-run-example-android.md

Updated documentation to include some additional things I needed and added some troubleshooting cases.
Signed-off-by: Udit <udit.jain@samsung.com>

[unittest] add negative unittest

 - Added negative unittest

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] added assertion in unittest

 - For the unittest which has no assertion add assertion to the test

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] remove duplicated unittest

 - remove duplicated unittest

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

:[test] Add some negative tests to unittest

There are some case where there is a positive test but no negative test

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[ CCAPI ] add copy model configuration & get/set Weight of layer

This patch enables the API for the copy model configuration and
get/set Weight Tensor data with vector of float pointer.

sementics of this APIs are:
  . copyConfigurarion(ml::train::Model &from)
  . std::vector<float*> getWeights()
  . void setWeights(const std::vector<float*>)

This is only copy the model configuration, it reauires the compile and
initialization before train.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[rnncell] generate testcase for muli in/out of rnncell

 - Generate multi in/out rnncell and replace testcase of 1 input/output of rnncell

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[rnncell] implement multiout for rnncell

 - Calculate derivative inlcude duplicated process with calculate gradient.
   Needs to be optimized.
 - Remove hidden state and get previous hidden state from input
 - Remove timestep property
 - Disabled rnncell unittest. Proper unittest will be followed.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[neuralnet] set epoch_idx to zero only if train from scratch

 - Until now, the epoch property had a meaning of how many epoch to run,
   but from now it will have a meaning of final epochs to run

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[model] added getter for current epoch_idx

 - Through this function user can get epoch_idx

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[model] support stop training

 - During the training the function will check every epoch to decide stop
   the training or not.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[lstm] implement calcGradient for bidirectional lstm

 - Implement calcGradient for bidirectional lstm
 - Added test case for bidirectional lstm

close #1726

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ CAPI ] change set_feature_state to compatible with tizen api

This patch make the set_featture_state variable compatible with tizen
ml api. It requires ml feature parameter to set and get, it fixs
accordingly.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Unit Test ] remove mse loss layer  in makeCompiledGraph

This patch remove the mse loss layer in makeCompiledGraph

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Fix] Clean code for resnet application

- fix typo
- Use const for catched exception
- use EXIT_SUCCESS macro
- use error code

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[ TEST ] add more test cases for batch normalization realizer

This patch adds the test case for batch normazliation realizer with
kind of resnet basic block which includes the multiout layer.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Compiler ] Implement bn realizer with test

This patch completes the bn realizer for the inference.
This path is only for the inference and therefore it supposed to 1 to
1 connection ( one input and one output for the bn layer ) in the
model graph. That means if there are multiple connections, then
multi-out layer is follows and make sure bn layer has 1 to 1
in/output during compilation.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Compilier ] implement BN realzier

Describe a commit content (Until 80 colums per line) in detail ASAP.

**Changes proposed in this PR:**
- Added TOC generator for README.md

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Interpreter ] add batch normalziation realizer

This patch removes the batch normalizaiton layers with bn_realizer in
the GraphRepresentation for TfliteInterperter which is for the
inference.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Compiler ] Implement bn realizer with test

This patch completes the bn realizer for the inference.
This path is only for the inference and therefore it supposed to 1 to
1 connection ( one input and one output for the bn layer ) in the
model graph. That means if there are multiple connections, then
multi-out layer is follows and make sure bn layer has 1 to 1
in/output during compilation.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[CAPI] Add check if model is null to ml_train_model_get_summary()

- Check if model is null or not before checking in ml_train_model_get_summary_util()

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[ Android ] fix the warnning message

This patch fixs the warnning message for the android

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[zoneout] enable zoneout only when used

 - Allocate and use zoneout mask, lstm_cell_state only when used

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[grucell] remove temporary tensor

 - Reduce temporary tensor

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[zoneout lstmcell] share zoneout mask tensors

 - Makes zoneout_mask tensors to be shared when it is unrolled

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[optimizer/lr] Add learning rate scheduler to ccapi

Open learning rate scheduler for the ccapi with the optimizer.
Corresponding changes are made and some tests are updated to use the new
way to set the learning rate.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[lr] Support step wise decay scheduler

Support step wise decay learning rate scheduler, where the iterations
and learning rate are taken as parameter.
The corresponding unittests are also added.

See Also #1776

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[test] Bug fix for unittest

ccapi and capi use the same filenames for their ini files which can be
buggy if the unittests are run in parallel or unittests differ.
Make ini untitest names independent.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[modelloader] Support learning rate scheduler

Support learning rate scheduler with model loader along with a unittest.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[optimizer] Cleanup optimizers

cleanup the optimizer interface and existing implementations.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[optimizer] Update to use learning rate schedulers

Update the optimizer to use the learning rate scheduler in the training
and weight updation.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>