[Utils] Add Memory profile feature to Profiler

This patch implement memory profiling feature.

Profile is refactored to handle memory statics information.
Unnecessary dependency from ProfileListener to Profile
class is removed, and inner information is redesigned to handle
both time and memory profiling.

For the memory profile, below infomation is managed:

event: ALLOC | DEALLOC
current size: total allocated memory size
info: user friendly tag for the analysis
duration: time interval between alloc and dealloc

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[Test] Modify profiler test to add Memory event

This patch implement profiler test.

Whole codes are refectored to test both 'time' and 'memory' profiling.
It uses fixture test and gmock is used to checking callback function.

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[ccapi/nntrainer] Add getters for compiled, initialized and loadedFromConfig

This commit adds bool getters for the states of compiled, initialized and loadedFromConfig in ml::train::Model class.

Signed-off-by: JRazek <jakub.razek2@gmail.com>

[ccapi] include common header in meson

 - Newly created common header file was missing in meson build

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ Application ] Update Logistic Regression to use CCAPI

This patch includes
 . Update Logistic Regression to use CCAPIs
 . Update Inference process
 . static link about openmp

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ccapi] Add exports interface.

This patch adds "exports" interface and implementation of neuralnet which literally exports the model according to given export method.

Also, this patch includes introducing `common.h` to ccapi, which defines ExportMethods.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: seongwoo <mhs4670go@naver.com>

[layers] flatten layer consider target_shape

This patch makes a flatten layer consider target_shape and use it during exporting.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: seongwoo <mhs4670go@naver.com>

[ Compiler ] add loss layer realizer

This patch includes loss realizer implementation and tests which removes the loss layer for exports.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: seongwoo <mhs4670go@naver.com>

Update how-to-run-example-android.md

Updated documentation to include some additional things I needed and added some troubleshooting cases.
Signed-off-by: Udit <udit.jain@samsung.com>

[unittest] add negative unittest

 - Added negative unittest

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] added assertion in unittest

 - For the unittest which has no assertion add assertion to the test

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[unittest] remove duplicated unittest

 - remove duplicated unittest

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

:[test] Add some negative tests to unittest

There are some case where there is a positive test but no negative test

**Self evaluation:**
1. Build test:   [X]Passed [ ]Failed [ ]Skipped
2. Run test:     [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[ CCAPI ] add copy model configuration & get/set Weight of layer

This patch enables the API for the copy model configuration and
get/set Weight Tensor data with vector of float pointer.

sementics of this APIs are:
  . copyConfigurarion(ml::train::Model &from)
  . std::vector<float*> getWeights()
  . void setWeights(const std::vector<float*>)

This is only copy the model configuration, it reauires the compile and
initialization before train.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[rnncell] generate testcase for muli in/out of rnncell

 - Generate multi in/out rnncell and replace testcase of 1 input/output of rnncell

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[rnncell] implement multiout for rnncell

 - Calculate derivative inlcude duplicated process with calculate gradient.
   Needs to be optimized.
 - Remove hidden state and get previous hidden state from input
 - Remove timestep property
 - Disabled rnncell unittest. Proper unittest will be followed.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[neuralnet] set epoch_idx to zero only if train from scratch

 - Until now, the epoch property had a meaning of how many epoch to run,
   but from now it will have a meaning of final epochs to run

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[model] added getter for current epoch_idx

 - Through this function user can get epoch_idx

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[model] support stop training

 - During the training the function will check every epoch to decide stop
   the training or not.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[lstm] implement calcGradient for bidirectional lstm

 - Implement calcGradient for bidirectional lstm
 - Added test case for bidirectional lstm

close #1726

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ CAPI ] change set_feature_state to compatible with tizen api

This patch make the set_featture_state variable compatible with tizen
ml api. It requires ml feature parameter to set and get, it fixs
accordingly.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Unit Test ] remove mse loss layer  in makeCompiledGraph

This patch remove the mse loss layer in makeCompiledGraph

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Fix] Clean code for resnet application

- fix typo
- Use const for catched exception
- use EXIT_SUCCESS macro
- use error code

Signed-off-by: Jiho Chu <jiho.chu@samsung.com>

[ TEST ] add more test cases for batch normalization realizer

This patch adds the test case for batch normazliation realizer with
kind of resnet basic block which includes the multiout layer.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Compiler ] Implement bn realizer with test

This patch completes the bn realizer for the inference.
This path is only for the inference and therefore it supposed to 1 to
1 connection ( one input and one output for the bn layer ) in the
model graph. That means if there are multiple connections, then
multi-out layer is follows and make sure bn layer has 1 to 1
in/output during compilation.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Compilier ] implement BN realzier

Describe a commit content (Until 80 colums per line) in detail ASAP.

**Changes proposed in this PR:**
- Added TOC generator for README.md

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Interpreter ] add batch normalziation realizer

This patch removes the batch normalizaiton layers with bn_realizer in
the GraphRepresentation for TfliteInterperter which is for the
inference.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ Compiler ] Implement bn realizer with test

This patch completes the bn realizer for the inference.
This path is only for the inference and therefore it supposed to 1 to
1 connection ( one input and one output for the bn layer ) in the
model graph. That means if there are multiple connections, then
multi-out layer is follows and make sure bn layer has 1 to 1
in/output during compilation.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[CAPI] Add check if model is null to ml_train_model_get_summary()

- Check if model is null or not before checking in ml_train_model_get_summary_util()

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[ Android ] fix the warnning message

This patch fixs the warnning message for the android

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[zoneout] enable zoneout only when used

 - Allocate and use zoneout mask, lstm_cell_state only when used

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[grucell] remove temporary tensor

 - Reduce temporary tensor

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[zoneout lstmcell] share zoneout mask tensors

 - Makes zoneout_mask tensors to be shared when it is unrolled

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[optimizer/lr] Add learning rate scheduler to ccapi

Open learning rate scheduler for the ccapi with the optimizer.
Corresponding changes are made and some tests are updated to use the new
way to set the learning rate.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[lr] Support step wise decay scheduler

Support step wise decay learning rate scheduler, where the iterations
and learning rate are taken as parameter.
The corresponding unittests are also added.

See Also #1776

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[test] Bug fix for unittest

ccapi and capi use the same filenames for their ini files which can be
buggy if the unittests are run in parallel or unittests differ.
Make ini untitest names independent.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[modelloader] Support learning rate scheduler

Support learning rate scheduler with model loader along with a unittest.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[optimizer] Cleanup optimizers

cleanup the optimizer interface and existing implementations.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[optimizer] Update to use learning rate schedulers

Update the optimizer to use the learning rate scheduler in the training
and weight updation.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[optimizer] Use optimizer wrapped

Update to use the optimizer wrapped instead of optimizer directly, and
prepare for the using learning rate scheduler.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[optimizer] Add optimizer wrapped

Add optimizer wrapped which wraps the opitmizer and the learning rate
scheduler.
In order to be backward compatible, each optimizer must support setting
the learning rate, decay rate and decay steps, even for new optimizers.
To make this extensible without each optimizer storing this information
and merging with the learning rate schedulers, and not creating new
interfaces, optimizer wrapped is added.
Optimizer wraps around optimizer, and owns both the optimizer and
learning rate scheduler. If the properties of LR or decay are passed to
the optimizer, they are intercepted by the optimizer wrapped and passed
to the learning rate scheduler appropriately.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[test] Add finalize tests for lr schedulers

Add tests for finalize member function for the learning rate schedulers.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[ Compiler ] add batch norm layer realizer

This patch includes skeleton code for bn realizer which removes the
batch normalization layer for inference

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Doc] Change nnstreamer CI server domain name.

Change nnstreamer CI server domain name.
nnstreamer.mooo.com -> ci.nnstreamer.ai

Signed-off-by: gichan <gichan2.jang@samsung.com>

[ BLAS ] use openblas function to set num threads

This patch use openblas_set_num_thread() to set the number of thread
for BLAS computation, instread of set environment variables

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[capi] added unittest for get layer

 - Added 4 unittest for capi ml_train_model_get_layer
 - get layer api is validate using get summary function
   but this should be replace by layer getProperty(#1875)

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[neuralnet] enhance print function to print graph info

 - Enhance print function in neuralnet to print layer connection
   printing input tensor info is omitted.
 - Enhance print function in layer_node to print layer properties

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ TEST ] disable app draw classification if nnstreamer is disabled

This patch disable the test when the nnstreamer is
disabled. Prerequisite of this test is nnstreamer is enabled.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[Exporter] move builtin options for tflite into tflite_opnode

This patch add getter of Flatbuffer builtin options in TfOpNodes.
More case will be added to get the builtin options.

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ MESON ] fix bug when meson test

This patch cp the golden data for enable-tflite-interpreter when do
meson test.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[neuralnet] Add null character when load optizmier type from bin file

 - Added missing null character when load optimizer type from bin file

Self evaluation:

Build test: [X]Passed [ ]Failed [ ]Skipped
Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[CI] fix android build

This patch fix ci fail when we build android using
tools/package_andorid.sh script

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[CCAPI] Rearrange enumeration of layer type

- Classified enumeration as neural network, simple transformation and loass layer
- To perform TCT added newly, match position of enumeration between nntrainer-api-common.h and layer.h

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:    [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Hyunil <hyunil46.park@samsung.com>

[README] update reviewers

This patch update reviewers in README

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[COVERITY] remove unreachec code

This patch remove unreachable code

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[CAPI] Move getlayer api to public

This patch moves the get_layer api to public

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

jni/Android: build error fix

Add ML_API_COMMON=1 for Android.mk build

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

ML-API dependency clean-up.

If it's not Tizen, ML-API(C) is not mandatory.
Allow to build w/o dependencies on ML-API by default.

Fixes #1853

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

api: clean up dependencies

Remove unnecessary dependencies.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

test: remove unnecessary capi dependencies

Many test cases do not require capi.
Reexamine api dependencies and corrected them.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

application: remove unnecessary capi dep.

1. Remove unnecessary capi dependencies.
2. Don't build apps requiring capi if capi is not available.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

meson: dependency on ml-api should be optional

Users should be able to build nntrainer in a system without
ML-API and nnstreamer by default.

ML-API and nnstreamer dependency should only be mandated
in related systems (a few embedded systems).

Let's keep it "auto" so that most external users can forget
about nnstreamer and ML-API.

Addresses #1853

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[CAPI] Expose Layer Enums

This patch contains layer enums to be exposed.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[COVERITY] remove unreachec code

This patch remove unreachable code

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

Portability: unittest uninit vars.

1. gtest code has maybe-uninitialized warnings. Suppress it.
2. maybe-unitialized warning from unittest code fixed.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Portability: g++-11 has different std policy.

It requires stdexcept and limits for std::invalid_arguments and std::numeric_limits.

Fixes #1857

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

Portability: gcc structured binding declaration error

gcc-7 does not comply with c++-17 fully with structured binding declaration.
This allows maybe-unused globally as a workaround.

Signed-off-by: MyungJoo Ham <myungjoo.ham@samsung.com>

[fix] check return value

 - Added missing statement to check called function works properly

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

Change loading meta information behavior

**Before this PR**

optimizer variable loaded from load_path every time.
Calling model->train(); in a row became unintuitive

1. model->train() load from original load path
thus iteration number roll back to the first one.
2. Same happens for the adam weight
3. model->load(); after model->initialize(); is noop
because loadedWeight becomes true

**After this PR**

1. model load from load_path only at initialize time
2. model->load is not implicitly overriden

**Additional Changes**

1. optimizer weight became part of weights. Now available after initialize()
2. Save format became coherent with load format
3. Some unused variables deleted

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

Revert "Load Optimizer Variables"

This reverts commit c669732b1f52f4aad3114839fe1ebba0f5d95f27.

As this commit contains some compatibility breaking changes, this commit
should be merged with where nntrainer is being used.

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

Load Optimizer Variables

In this PR,
 1. new property of adam optimizer, "laod_var" is added to set loading
    momentum variables
 2. update the read and save binary file
    using  ml::train::OptimizerType
 3. update read in layer_node to skip the optimizer variables if
    load_var is set as "false"
 4. is_laod_var() is added in optimizer_devel

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[ BUILD ] add lr_scheduler.h in include dir

For the dependency of apt_context.h, we need to install lr_scheduler.h
in install include directory.

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[layer] LSTM weight array size fix

this patch adds LSTM weight array size fix.
The lstm layer requests 17 tensors to the tensor manager. However, lstm
layer only maintains an array of size 15 to store the index of the requested
tensors. This leads to an out of range access error.

This patch increases the size of the array to store the requested
tensors indices from 15 to 17.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[capi/test] Example of batchsize set at train

Update capi test to include an example where batchsize is set at the
training time and not at compile time.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[test] Add finalize tests for lr schedulers

Add tests for finalize member function for the learning rate schedulers.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[test] learning rate scheduler unittest

Add unittests for the constant and exponential learning rate schedulers.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[appcontext] Register learning rate scheduler with app context

register learning rate scheduler with the app context and regiter its
type factories.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[spec] Add gcov package

 - Added gcov package for automatic line coverage

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[weight] weight regularization and decay with clip

Enable weighte regularization and decay with weiht clipping.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[weight-decay] Bug fix for weight decay with adam

weight decay should be applied before calling the optimizer
this was not detected earlier as it was tested with sgd

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[optim] Add pytorch reference for adam

Add pytorch reference mode for adam which references adam implementation
of pytorch.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[Load/Save] Update to load and save the adam momentum variables

In this PR, Load and save is updated for the adam optimizer variables.
In order to do it, optimizer load twice, one for the weight, and one
for the optimizer variables.

**Changes proposed in this PR:**
- Added TOC generator for README.md

Resolves:

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[lr-scheduler] Add finalize to interface

Add finalize to the interface of the learning rate scheduler with the
purpose to verify that the required properties have been set.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[lr] Support exponential learning rate scheduler

Support exponential decay learning rate scheduler with decay rate and
decay steps are the controllable properties.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[lr] Support constant learning rate scheduler

Support constant learning rate scheduler.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[lr] Add interface for learning rate scheduler

Add interface for the learning rate scheduler which all learning rate
schedulers must abide by.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[optimizer] prepare for learning rate scheduler

Move declaration and definition of learning rate related properties out
to common properties from optimizer_impl class.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[api] Update model inference API

Update model inference to accept inputs and labels which are const
vectors.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[weight-decay] Enable for batch normalization

Enable weight decay for batch normalization.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[test] unittest for weight decay

added unittest for weight decay along with fix.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[layers] Support for weight decay to layers

Add support for weight decay to the layers with weights.
Further update the requestWeight API of the layer context to accept
weight decay, and update the usage at manager.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[weight] Support weight decay

Add support for weight decay property which will enable decay of weights
with each applying of the gradient.
Weight decay can be enabled individually for both weight and bias.
This is kept separate from regularizer as they both behave differently.

Signed-off-by: Parichay Kapoor <pk.kapoor@samsung.com>

[lstm] implement bidirectional lstm forward

 - Make batch_first_forward function
 - For now only support forward for bidirectional lstm

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[ SAVE/LOAD ] save / load optimizer variables

Enable save / load optimizer variables such as M and V for adam
optimizer

**Self evaluation:**
1. Build test:  [X]Passed [ ]Failed [ ]Skipped
2. Run test:  [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: jijoong.moon <jijoong.moon@samsung.com>

[lstm] remove timestep property

 - Remove timestep property from lstm layer.
   This will disable unrolling the lstm layer.
 - Adjust recurrent unittest to simple lstm unittest.

Signed-off-by: hyeonseok lee <hs89.lee@samsung.com>

[Fix] Flatten realizer to maintain original name

This patch changes flatten realizer to maintain original node name.
Please see the included test patch to get the concept.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Tensor Pool] Add expose/persist concept

This patch add expose/persist concept to the tensor pool and manager.

When a tensor is exposed, this means that the tensor is gauranteed to
remain valid max_exec where max_exec is the value passed along allocateTensors(max_exec);

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[ExecOrder] Add exec order control and fix inference

This patch add exec order control and reduce memory overhead of saving
inference result

exec order cotrol has two part

1. Additional exec order. This enable graph to add some exec order.
2. Expose bit. This enables request to be visible after the end of the
execution.

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[Network Graph] Split max_exec_order

This patch split max_exec_order to three part.

1. graph_exec_end: graph execution end
2. backward_iter_end: end node of backward operation
3. forward_iter_end: end node of the forward operation

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>

[manager] Separate backwarding -> grad, deriv

This patch separate backwaring to grad and deriv for the requestTensors

**Self evaluation:**
1. Build test: [X]Passed [ ]Failed [ ]Skipped
2. Run test: [X]Passed [ ]Failed [ ]Skipped

Signed-off-by: Jihoon Lee <jhoon.it.lee@samsung.com>